Les textes de ChatGPT ne peuvent pas être reconnus par le logiciel. Il a maintenant été examiné si les linguistes pouvaient faire la distinction entre les textes humains et les textes de l’IA.
Memphis (États-Unis). Le modèle de langage large (LLM) ChatGPT peut surpasser les étudiants en raisonnement analogique, selon une étude de l’Université de Californie à Los Angeles (UCLA). En outre, des chercheurs de l’Université de New York à Abu Dhabi (NYUAD) ont découvert que l’intelligence artificielle (IA) peut obtenir de meilleurs résultats aux examens que les humains dans de nombreuses matières. De nombreuses universités craignent donc que les étudiants puissent utiliser l’IA pour leurs devoirs et pour tricher aux examens.
Selon Open AI, la société qui développe ChatGPT, les systèmes techniques ne peuvent pas déterminer de manière fiable si un texte a été écrit par un humain ou par une IA. Open AI a donc mis son classificateur hors ligne il y a des mois.
Les linguistes évaluent les textes
Des chercheurs de l’Université de Memphis ont donc mené une expérience dans laquelle 72 linguistes ont été invités à évaluer si un texte scientifique provenait d’un humain ou de ChatGPT. Les linguistes ont chacun analysé quatre échantillons de texte. Aucun des participants n’a pu attribuer correctement les quatre textes. Certains linguistes (13 %) se sont même trompés dans tous les textes.
« Nous pensions que si quelqu’un devait être capable d’identifier des textes produits par l’homme, il faudrait qu’il soit linguiste ayant passé sa carrière à étudier les modèles de langage et d’autres aspects de la communication humaine. »
Les linguistes ont argumenté logiquement
Lors de l’évaluation des textes, les linguistes raisonnaient rationnellement et utilisaient certaines caractéristiques linguistiques et stylistiques pour classer les textes. Néanmoins, selon la publication de la revue Research Methods in Applied Linguistics, ils n’ont pu attribuer correctement que 39 pour cent des textes.
« Ce qui était plus intéressant, c’est lorsque nous leur avons demandé pourquoi ils avaient décidé que quelque chose avait été écrit par une IA ou un humain. Ils ont donné des raisons très logiques, mais à maintes reprises, elles n’étaient ni exactes ni cohérentes.
L’étude montre donc que les professeurs ne peuvent pas dire de manière fiable si les étudiants ont réellement rédigé eux-mêmes leurs articles ou si un LLM comme ChatGPT a été utilisé pour cela. Les résultats ChatGPT ne peuvent souvent être reconnus que pour des textes particulièrement longs.
« Pour les textes plus longs, l’IA a tendance à halluciner et à inventer du contenu, ce qui permet de reconnaître plus facilement qu’il a été généré par une IA. »
Les auteurs espèrent que l’étude mènera à une discussion plus large pour établir les lignes directrices et exigences éthiques nécessaires à l’utilisation de l’IA dans la recherche et l’éducation.
Méthodes de recherche en linguistique appliquée., doi : 10.1016/j.rmal.2023.100068