Les IA les plus sophistiquées sont les plus susceptibles de mentir, selon une étude inquiétante
infohightech ·
Méfiez-vous des plus intelligentes : elles semblent avoir toutes les réponses, mais peuvent aussi tisser les mensonges les plus convaincants. Il semble que cette logique s'applique également aux grands modèles de langage, qui deviennent plus puissants à chaque itération. De nouvelles recherches suggèrent que ces chatbots d'IA plus intelligents deviennent en fait moins dignes de confiance, car ils sont plus susceptibles d'inventer des faits plutôt que d'éviter ou de refuser des questions auxquelles ils ne peuvent pas répondre.
L'étude, publiée dans la revue Nature, a examiné certains des principaux LLM commerciaux du secteur : GPT d'OpenAI et LLaMA de Meta, ainsi qu'un modèle open source appelé BLOOM créé par le groupe de recherche BigScience.
L'étude a montré que leurs réponses sont souvent plus précises, mais qu'elles sont généralement moins fiables et qu'elles donnent une plus grande proportion de réponses erronées que les anciens modèles.
« Ils répondent à presque tout aujourd'hui. Cela signifie plus de réponses correctes, mais aussi plus de réponses incorrectes », a déclaré à Nature José Hernández-Orallo, coauteur de l'étude et chercheur à l'Institut valencien de recherche sur l'intelligence artificielle en Espagne.
Mike Hicks, philosophe des sciences et des technologies à l'université de Glasgow, est plus sévère.
« Il me semble que cela ressemble à ce que nous appellerions du baratin », a déclaré à Nature Mike Hicks, qui n'a pas participé à l'étude. « Les modèles s'améliorent lorsqu'il s'agit de faire semblant d'être bien informés.
Les modèles ont été interrogés sur des sujets allant des mathématiques à la géographie, et on leur a également demandé d'effectuer des tâches telles que l'énumération d'informations dans un ordre précis. Les modèles les plus grands et les plus puissants ont donné les réponses les plus précises dans l'ensemble, mais ils ont failli lors des questions plus difficiles, pour lesquelles leur précision était moindre.
Selon les chercheurs, les modèles GPT-4 et o1 d'OpenAI, qui répondaient à presque toutes les questions qui leur étaient posées, ont été parmi les plus performants en matière de BS. Mais tous les LLM étudiés semblent suivre cette tendance, et pour la famille de modèles LLaMA, aucun d'entre eux n'a pu atteindre un niveau de précision de 60 % pour les questions les plus faciles, selon l'étude.
En résumé, plus les modèles d'intelligence artificielle sont élaborés - en termes de paramètres, de données d'entraînement et d'autres facteurs - plus le pourcentage de réponses erronées est élevé.
Néanmoins, les modèles d'IA s'améliorent pour répondre à des questions plus complexes. Le problème, outre leur propension à se tromper, c'est qu'ils continuent à se tromper sur les questions les plus faciles. En théorie, ces erreurs devraient constituer un signal d'alarme plus important, mais comme nous sommes impressionnés par la façon dont les grands modèles de langage traitent les problèmes sophistiqués, il se peut que nous négligions leurs défauts évidents, suggèrent les chercheurs.
En tant que tels, les travaux ont eu des conséquences inquiétantes sur la manière dont les humains perçoivent les réponses de l'IA. Lorsqu'on leur a demandé de juger si les réponses des chatbots étaient exactes ou inexactes, un groupe restreint de participants s'est trompé dans 10 à 40 % des cas.
Selon les chercheurs, le moyen le plus simple de résoudre ces problèmes est de programmer les LLM pour qu'ils soient moins enclins à répondre à tout.
Vous pouvez fixer un seuil et, lorsque la question est difficile, [faire en sorte que le chatbot] dise « non, je ne sais pas » », a expliqué José Hernández-Orallo à Nature.
Mais l'honnêteté n'est peut-être pas dans l'intérêt des entreprises d'IA qui cherchent à séduire le public avec leur technologie sophistiquée. Si les chatbots étaient contraints de ne répondre qu'aux questions qu'ils connaissent, les limites de la technologie pourraient être mises en évidence.