Des chercheurs israéliens ont demandé à l’intelligence artificielle conçue par OpenAI d’analyser de données de santé, d’en tirer des conclusions et de les rédiger sous la forme d’un article scientifique. Voici le résultat.
« Notre étude met en évidence qu’une consommation plus élevée de fruits et légumes ainsi que de l’activité physique régulière sont associées à un risque réduit de diabète chez les adultes. » Rien qu’on ne sache déjà, donc rien de révolutionnaire, a priori. Pourtant, cette conclusion pourrait bien marquer le début d’une révolution inouïe dans le monde scientifique. Car ces mots n’ont pas été écrits par un chercheur après une longue analyse de ses données, mais en moins d’une heure… par une intelligence artificielle.
Le rédacteur de l’étude en question n’est autre que ChatGPT, l’agent conversationnel développé par OpenIA (entreprise partenaire de Microsoft). Des chercheurs de l’Institut israélien de technologie Technion lui ont demandé de faire l’analyse d’un groupe de données disponibles en ligne et d’écrire un article scientifique expliquant les conclusions de cette analyse. L’article résultant (pas revu par les pairs) a été mis en ligne par les chercheurs le 23 juin 2023.
ChatGPT peut analyser des données scientifiques…
Les données analysées proviennent d’un sondage des Centres pour le contrôle et la prévention des maladies, l’agence américaine de santé publique. Le chercheur Roy Kishony, spécialisé dans l’utilisation des big data en biologie, et son étudiant en Master, Tal Ifargan, ont nourri ChatGPT avec un fichier en format CSV (pour « comma separated values », format très utilisé pour encoder les données d’un tableur). Ces données regroupaient des informations de santé et hygiène de vie de 253.680 personnes (données collectées en 2015), notamment sur leur consommation de fruits et légumes, leur activité physique et le fait d’avoir ou pas un diabète.
Les chercheurs ont ensuite demandé à ChatGPT de créer un programme pour analyser ces données. À chaque fois que l’agent conversationnel faisait une erreur, ils lui demandaient de la corriger. Après plusieurs tentatives, ChatGPT a enfin décrit ses résultats (sous la forme de tableurs) et donné sa conclusion : faire de l’exercice et manger des fruits et de légumes diminue le risque de diabète. Pour finir, les chercheurs lui ont demandé de préciser la méthodologie utilisée, d’écrire une introduction, une discussion, et de résumer le tout dans un abstract. “Chaque étape était construite sur le résultat des étapes précédentes”, explique Roy Kishony dans la revue Nature.
… mais il peut aussi raconter n’importe quoi
L’article résultant est très similaire à ce que l’on pourrait trouver pour une vraie étude de petite taille, la seule différence remarquable étant l’absence d’auteurs et leurs affiliations. Mais les chercheurs ont révélé que des versions précédentes de l’article contenaient des informations inventées, notamment des fausses références. Une faille connue de cet agent conversationnel, qui peut inventer des informations pour remplir les « blancs » si jamais il ne possède pas les connaissances nécessaires. Des « hallucinations » que ChatGPT a pu remédier grâce aux chercheurs, comme l’explique Roy Kishony :
3/n. We want to think about how we might use such systems more interactively, like as a "scientist co-pilot" that does the more straight-forward parts of science, allowing us to work at higher levels of abstraction and focus on higher-level questions and challenges.
— Roy Kishony (@RoyKishony) June 25, 2023
Un autre défaut était la faiblesse des analyses statistiques utilisées, car ChatGPT n’a pas réussi à bien contrôler d’éventuels facteurs confondants qui auraient pu biaiser les résultats. Il est donc possible que des articles écrits en utilisant cette IA tirent de fausses conclusions, ce qui serait difficile à déceler sans une supervision humaine profonde. Cependant, Roy Kishony est convaincu que ChatGPT peut devenir un puissant outil pour les chercheurs. Une sorte de copilote qui s’occuperait des tâches répétitives et automatisables pour permettre aux scientifiques de se concentrer sur les questions importantes de leur recherche.
I'm a bit skeptical on the writing a paper part, without a good prewritten abstract and emphases at the very least. (I've played enough around with it on my own works, with prompts and supplied context+findings)
— Dan Ofer (@danofer) June 25, 2023
Quoi qu’il en soit, ce premier article de ChatGPT montre que les grands modèles de langage peuvent être utilisés pour écrire des articles scientifiques, et pour le moment, il sera probablement impossible de les déceler. L’intelligence artificielle dans la recherche est désormais un fait, pour le meilleur ou pour le pire. Son utilité dépendra sans doute de son utilisation, en tant qu’outil pour les chercheurs… ou en remplacement de ceux-ci.
sciencesetavenir
