Skip to main content

4 Jan, 2024

ChatGPT avait un taux d’erreur élevé pour les cas pédiatriques

ChatGPT avait un taux d’erreur élevé pour les cas pédiatriques

Les chercheurs ont découvert que ChatGPT avait mal diagnostiqué plus de 8 études de cas pédiatriques sélectionnées sur 10, soulevant des questions sur l’aptitude de certains robots à aider les médecins à évaluer des conditions complexes.

Vue d’ensemble : les grands modèles de langage comme ChatGPT d’OpenAI sont formés sur d’énormes quantités de données Internet et ne peuvent pas faire la distinction entre les informations fiables et non fiables, ont écrit des chercheurs du Cohen Children’s Medical Center.

  • Ils n’ont pas non plus accès en temps réel aux informations médicales, ce qui les empêche de se tenir au courant des nouvelles recherches et des tendances en matière de santé.

Ce qu’ils ont trouvé : Le chatbot a mal diagnostiqué 72 des 100 cas sélectionnés et a posé un diagnostic trop large pour être considéré comme correct pour 11 autres, ont écrit les chercheurs dans JAMA Pediatrics .

  • L’étude n’a pas permis d’identifier des relations comme celle entre l’autisme et les carences en vitamines, soulignant l’importance continue de l’expérience clinique des médecins.
  • Mais plus de la moitié des diagnostics incorrects (56,7 %) appartenaient au même système organique que le diagnostic correct, ce qui indique qu’un entraînement plus sélectif de l’IA est nécessaire pour que la précision du diagnostic soit à la hauteur.
  • On pense que l’étude est la première à explorer l’exactitude des robots dans des scénarios entièrement pédiatriques, qui nécessitent de prendre en compte l’âge du patient ainsi que les symptômes.

L’un des points à retenir est que les médecins devront peut-être jouer un rôle plus actif dans la génération d’ensembles de données pour les modèles d’IA afin de les préparer intentionnellement à des fonctions médicales – un processus connu sous le nom de réglage.

Entre les lignes : les modèles d’IA ont réussi les examens de licence médicale et se sont avérés plus performants que les professionnels de la santé dans des tâches spécifiques, même si les médecins sont toujours aux prises avec ce qui compte comme un taux de réussite acceptable pour un diagnostic basé sur l’IA.

  • L’utilisation de la technologie dans la prise de décision clinique reste controversée , les critiques se demandant dans quelle mesure l’IA a réellement fait une différence dans le contexte médical.
  • Les auteurs de l’étude affirment que le domaine est mûr pour des études plus approfondies, tout en notant que les grands modèles de langage et les robots peuvent être des outils administratifs utiles pour des tâches telles que la rédaction d’articles de recherche et la génération d’instructions pour les patients.

https://www.axios.com/2024/01/03/ai-fails-diagnosing-childrens-cases