Les médecins horrifiés après que l'IA de Google dans le domaine de la santé ait inventé une partie du corps qui n'existe pas chez l'homme

Les professionnels de la santé sont de plus en plus inquiets du fait que la communauté médicale utilise à grande échelle des outils d’IA générative sujets aux erreurs.

La prolifération de cette technologie a été entravée à plusieurs reprises par des « hallucinations » généralisées, un terme euphémique désignant les faits inventés par les robots et les mensonges racontés de manière convaincante.

Une erreur flagrante s'est avérée si convaincante qu'il a fallu plus d'un an pour la détecter. Dans leur article de recherche de mai 2024 présentant un modèle d'IA pour la santé, baptisé Med-Gemini, les chercheurs de Google ont présenté l'IA analysant les scanners cérébraux du laboratoire de radiologie pour diverses pathologies.

Il a identifié un « ancien infarctus des ganglions basilaires gauches », faisant référence à une prétendue partie du cerveau – les « ganglions basilaires » – qui n'existe tout simplement pas dans le corps humain. Le neurologue certifié Bryan Moore a signalé le problème à The Verge , soulignant que Google avait corrigé son article de blog sur l'IA, mais avait omis de réviser l'article de recherche lui-même.

L'IA a probablement confondu les noyaux gris centraux, une zone du cerveau associée aux mouvements moteurs et à la formation des habitudes, et l'artère basilaire, un vaisseau sanguin majeur situé à la base du tronc cérébral. Google a imputé l'incident à une simple faute d'orthographe du terme « noyaux gris centraux ».

C'est une révélation embarrassante qui met en lumière les lacunes persistantes et importantes de cette technologie. Même les dernières IA « raisonnables » de Google et OpenAI propagent des mensonges imaginés par de grands modèles linguistiques entraînés sur de vastes pans d'Internet.

Dans les résultats de recherche de Google, cela peut entraîner des maux de tête pour les utilisateurs lors de leurs efforts de recherche et de vérification des faits.

Mais en milieu hospitalier, ce genre d'erreurs pourrait avoir des conséquences dévastatrices. Si le faux pas de Google n'a probablement pas mis en danger les patients, il crée un précédent inquiétant, affirment les experts.

« Ce dont vous parlez est extrêmement dangereux », a déclaré Maulin Shah, directeur de l'information médicale du système de santé Providence, à The Verge . « Deux lettres, mais c'est un gros problème. »

L'année dernière, Google a vanté le potentiel de son IA dans le domaine de la santé, affirmant qu'elle pourrait être utilisée pour identifier des pathologies dans les rayons X, les scanners, etc.

Après que Moore a signalé l'erreur dans le rapport de recherche de l'entreprise à Google, les employés lui ont indiqué qu'il s'agissait d'une faute de frappe. Dans son article de blog mis à jour , Google a indiqué que « “basilaire” est une transcription erronée courante de “basal” que Med-Gemini a apprise à partir des données d'entraînement, bien que le sens du rapport reste inchangé. »

Pourtant, l’article de recherche fait encore référence à tort aux « ganglions basilaires » au moment de la rédaction.

Dans un contexte médical, les hallucinations de l’IA pourraient facilement conduire à la confusion et potentiellement même mettre des vies en danger.

« Le problème avec ces fautes de frappe ou autres hallucinations, c'est que je ne fais pas confiance à nos humains pour les examiner, ou certainement pas à tous les niveaux », a déclaré Shah à The Verge.

Il ne s'agit pas uniquement de Med-Gemini. Le modèle de santé plus avancé de Google, baptisé MedGemma, a également généré des réponses variables selon la formulation des questions, ce qui a parfois entraîné des erreurs.

« Leur nature est telle qu'ils ont tendance à inventer des choses, et ils ne disent pas « je ne sais pas », ce qui est un très gros problème pour les domaines à enjeux élevés comme la médecine », a déclaré Judy Gichoya, professeure associée de radiologie et d'informatique à l'Université Emory, à The Verge .

D’autres experts affirment que nous nous précipitons pour adapter l’IA dans les contextes cliniques — des thérapeutes , radiologues et infirmières en IA aux services de transcription des interactions avec les patients  — ce qui justifie une approche beaucoup plus prudente.

En attendant, il appartiendra aux humains de surveiller en permanence les résultats des IA hallucinées, ce qui pourrait conduire à des inefficacités.

Et Google poursuit son chemin à plein régime. En mars, Google a annoncé que sa fonction de recherche « Aperçus IA », extrêmement sujette aux erreurs, allait commencer à fournir des conseils de santé. Il a également introduit un « co-scientifique IA » qui aiderait les scientifiques à découvrir de nouveaux médicaments, entre autres « super-pouvoirs ».

Mais si leurs résultats ne sont ni observés ni vérifiés, des vies humaines pourraient être en jeu.

« À mon avis, l'IA doit avoir une marge d'erreur bien plus élevée que celle d'un humain », a déclaré Shah à The Verge . « Peut-être que d'autres se disent : "Si on peut atteindre le niveau d'un humain, on est assez bon." Je n'y crois pas une seconde. »

https://www.theverge.com/health/718049/google-med-gemini-basilar-ganglia-paper-typo-hallucination