ChatGPT est aussi (in)précis en matière de diagnostic que « Dr Google »

Selon une nouvelle étude, ChatGPT est médiocre dans le diagnostic des problèmes médicaux, ne réussissant à le faire que dans 49 % des cas. Les chercheurs affirment que leurs résultats montrent que l'IA ne devrait pas être la seule source d'informations médicales et soulignent l'importance de maintenir l'élément humain dans les soins de santé.

La facilité d'accès aux technologies en ligne a conduit certaines personnes à éviter de consulter un professionnel de la santé et à rechercher leurs symptômes sur Google. Bien qu'être proactif en matière de santé ne soit pas une mauvaise chose, le « Dr Google » n'est tout simplement pas aussi précis. Une étude australienne de 2020 portant sur 36 vérificateurs de symptômes internationaux sur mobile et sur le Web a révélé qu'un diagnostic correct n'était indiqué en premier que 36 % du temps.

L’IA s’est sans aucun doute améliorée depuis 2020. Oui, c’est certain. ChatGPT d’OpenAI a progressé à pas de géant – il est en mesure de réussir l’examen d’agrément médical aux États-Unis , après tout. Mais est-ce que cela le rend meilleur que Dr Google en termes de précision diagnostique ? C’est la question à laquelle des chercheurs de l’Université Western au Canada ont tenté de répondre dans une nouvelle étude.

En utilisant ChatGPT 3.5 , un grand modèle linguistique (LLM) formé sur un ensemble de données massif de plus de 400 milliards de mots provenant d'Internet à partir de sources comprenant des livres, des articles et des sites Web, les chercheurs ont effectué une analyse qualitative des informations médicales fournies par le chatbot en lui demandant de répondre aux défis de cas Medscape.

Les défis de cas Medscape sont des cas cliniques complexes qui mettent à l'épreuve les connaissances et les compétences diagnostiques d'un professionnel de la santé. Les professionnels de la santé doivent établir un diagnostic ou choisir un plan de traitement approprié pour un cas en sélectionnant parmi quatre réponses à choix multiples. Les chercheurs ont choisi les défis de cas de Medscape parce qu'ils sont open source et librement accessibles. Pour éviter la possibilité que ChatGPT ait eu connaissance préalable des cas, seuls ceux rédigés après la formation du modèle 3.5 en août 2021 ont été inclus.

Au total, 150 cas Medscape ont été analysés. Avec quatre réponses à choix multiples par cas, cela signifie qu'il y avait 600 réponses possibles au total, avec une seule réponse correcte par cas. Les cas analysés couvraient un large éventail de problèmes médicaux, avec des titres tels que « La bière et l'aspirine aggravent les problèmes nasaux chez un homme de 35 ans asthmatique », « Défi de cas gastro-intestinal : un homme de 33 ans qui ne peut pas avaler sa propre salive », « Une femme de 27 ans souffrant de maux de tête constants et trop fatiguée pour faire la fête », « Défi de cas pédiatrique : un garçon de 7 ans boiteux et obèse tombé dans la rue » et « Un comptable qui aime l'aérobic avec le hoquet et l'incoordination ». Les cas comportant des éléments visuels, comme des images cliniques, des photographies médicales et des graphiques, ont été exclus.

Un exemple d'invite standardisée envoyée à ChatGPT

Pour garantir la cohérence des informations fournies à ChatGPT, chaque cas a été transformé en une invite standardisée, comprenant un script des résultats que le chatbot devait fournir. Tous les cas ont été évalués par au moins deux évaluateurs indépendants, des stagiaires en médecine, qui ne connaissaient pas les réponses des autres. Ils ont évalué les réponses de ChatGPT en fonction de la précision du diagnostic, de la charge cognitive (c'est-à-dire la complexité et la clarté des informations fournies, de faible à élevée) et de la qualité des informations médicales (y compris si elles étaient complètes et pertinentes).

Sur les 150 cas Medscape analysés, ChatGPT a fourni des réponses correctes dans 49 % des cas. Cependant, le chatbot a démontré une précision globale de 74 %, ce qui signifie qu'il a pu identifier et rejeter les options à choix multiples incorrectes.

« Cette valeur plus élevée est due à la capacité du ChatGPT à identifier les vrais négatifs (options incorrectes), ce qui contribue de manière significative à la précision globale, améliorant son utilité pour éliminer les choix incorrects », expliquent les chercheurs. « Cette différence met en évidence la grande spécificité du ChatGPT, indiquant sa capacité à exceller dans l'élimination des diagnostics incorrects. Cependant, il doit être amélioré en termes de précision et de sensibilité pour identifier de manière fiable le bon diagnostic. »

De plus, ChatGPT a donné des faux positifs (13 %) et des faux négatifs (13 %), ce qui a des implications pour son utilisation comme outil de diagnostic. Un peu plus de la moitié (52 %) des réponses fournies étaient complètes et pertinentes, 43 % étant incomplètes mais néanmoins pertinentes. ChatGPT a tendance à produire des réponses avec une charge cognitive faible (51 %) à modérée (41 %), ce qui les rend faciles à comprendre pour les utilisateurs. Cependant, les chercheurs soulignent que cette facilité de compréhension, combinée au risque d’informations incorrectes ou non pertinentes, pourrait entraîner des « idées fausses et un faux sentiment de compréhension », en particulier si ChatGPT est utilisé comme outil d’enseignement médical.

« ChatGPT a également eu du mal à faire la distinction entre des maladies présentant des présentations subtilement différentes et le modèle a également généré occasionnellement des informations incorrectes ou invraisemblables, connues sous le nom d'hallucinations de l'IA, soulignant le risque de s'appuyer uniquement sur ChatGPT pour des conseils médicaux et la nécessité d'une expertise humaine dans le processus de diagnostic », ont déclaré les chercheurs.

Les chercheurs affirment que l'IA devrait être utilisée comme un outil pour améliorer, et non remplacer, l'élément humain de la médecine

Bien entendu, et les chercheurs soulignent que c’est une limite de l’étude, ChatGPT 3.5 n’est qu’un modèle d’IA parmi d’autres, qui n’est peut-être pas représentatif des autres modèles et qui est voué à s’améliorer dans les prochaines itérations, ce qui pourrait améliorer sa précision. De plus, les cas Medscape analysés par ChatGPT se concentraient principalement sur les cas de diagnostic différentiel, où les professionnels de la santé doivent faire la distinction entre deux ou plusieurs pathologies présentant des signes ou symptômes similaires.

Même si les recherches futures devraient évaluer la précision des différents modèles d’IA en utilisant un éventail plus large de sources de cas, les résultats de la présente étude n’en sont pas moins instructifs.

« La combinaison d’une grande pertinence et d’une précision relativement faible déconseille de se fier à ChatGPT pour des conseils médicaux, car il peut présenter des informations importantes qui peuvent être trompeuses », ont déclaré les chercheurs. « Bien que nos résultats indiquent que ChatGPT fournit systématiquement les mêmes informations à différents utilisateurs, démontrant une fiabilité inter-évaluateurs substantielle, ils révèlent également les lacunes de l’outil à fournir des informations médicales factuellement correctes, comme en témoigne sa faible précision diagnostique. »

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0307383