Les IA les plus sophistiquées sont les plus susceptibles de mentir, selon des recherches inquiétantes

Attention aux malins: ils semblent avoir toutes les réponses, mais peuvent aussi tisser les mensonges les plus convaincants.

Il semble que cette logique s’applique également aux grands modèles de langage, qui deviennent plus puissants à chaque itération. De nouvelles recherches suggèrent que cette génération plus intelligente de chatbots IA est en train de devenir moins dignes de confiance, car ils sont plus susceptibles d’inventer des faits plutôt que d’éviter ou de refuser des questions auxquelles ils ne peuvent pas répondre.

L’étude, publié dans la revue Naturea examiné certains des principaux LLM commerciaux du secteur : GPT d’OpenAI et LLaMA de Meta, ainsi qu’un modèle open source appelé BLOOM créé par le groupe de recherche BigScience.

Même s’il a été constaté que leurs réponses sont dans de nombreux cas de plus en plus précises, elles étaient dans l’ensemble moins fiables, donnant une proportion plus élevée de mauvaises réponses que les modèles plus anciens.

« Ils répondent à presque tout ces jours-ci. Et cela signifie plus correct, mais aussi plus incorrect [answers] », co-auteur de l’étude José Hernández-Orallo, chercheur à l’Institut valencien de recherche sur l’intelligence artificielle en Espagne, dit Nature.

Mike Hicks, philosophe des sciences et technologies à l’Université de Glasgow, a émis une évaluation plus sévère.

« Cela me semble être ce que nous appellerions des conneries », a déclaré Hicks, qui n’a pas participé à l’étude. Nature. « Il est de mieux en mieux de faire semblant d’être bien informé. »

Les modèles ont été interrogés sur des sujets allant des mathématiques à la géographie, et ont également été invités à effectuer des tâches telles que lister des informations dans un ordre spécifié. Les modèles les plus grands et les plus puissants ont donné globalement les réponses les plus précises, mais ont échoué aux questions plus difficiles, pour lesquelles ils avaient une précision moindre.

Selon les chercheurs, certains des plus gros BS étaient les GPT-4 et o1 d’OpenAI, qui répondraient à presque toutes les questions qui leur étaient posées. Mais tous les LLM étudiés semblent suivre cette tendance, et pour la famille de modèles LLaMA, aucun d’entre eux n’a pu atteindre un niveau de précision de 60 % pour les questions les plus simples, selon l’étude.

En résumé, plus les modèles d’IA devenaient volumineux – en termes de paramètres, de données d’entraînement et d’autres facteurs – plus le pourcentage de mauvaises réponses qu’ils donnaient était élevé.

Pourtant, les modèles d’IA parviennent de mieux en mieux à répondre à des questions plus complexes. Le problème, outre leur propension à la bêtise, c’est qu’ils gâchent toujours les plus faciles. En théorie, ces erreurs devraient être un signal d’alarme plus important, mais comme nous sommes impressionnés par la façon dont les grands modèles de langage gèrent des problèmes sophistiqués, nous ignorons peut-être leurs défauts évidents, suggèrent les chercheurs.

En tant que tel, le travail a eu des implications qui donnent à réfléchir sur la façon dont les humains perçoivent les réponses de l’IA. Lorsqu’on leur a demandé de juger si les réponses des chatbots étaient exactes ou inexactes, un groupe sélectionné de participants s’est trompé entre 10 et 40 % du temps.

Selon les chercheurs, le moyen le plus simple de lutter contre ces problèmes consiste à programmer les LLM pour qu’ils soient moins désireux de répondre à tout.

« Vous pouvez fixer un seuil, et lorsque la question est difficile, [get the chatbot to] « non, je ne sais pas » », a déclaré Hernández-Orallo Nature.

Mais l’honnêteté n’est peut-être pas dans l’intérêt des sociétés d’IA qui cherchent à séduire le public avec leur technologie sophistiquée. Si les chatbots étaient limités à répondre uniquement aux informations dont ils ont connaissance, cela pourrait révéler les limites de la technologie.

En savoir plus sur l’IA : Zuckerberg dit qu’il est acceptable d’entraîner l’IA sur vos données, car de toute façon, elles n’ont probablement aucune valeur