« J’ai été choqué par les résultats. »
Un chatbot pourrait-il devenir un jour votre médecin ? Cela semble plus probable que vous ne le pensez. Dans une étude récemment publiée, 50 médecins ont été invités à diagnostiquer des problèmes de santé à partir de rapports de cas examinés, certains d’entre eux étant assignés au hasard à l’utilisation de ChatGPT pour les aider dans leur prise de décision.
Au cours de l’expérience, les médecins participants ont été notés non seulement sur la justesse de leur diagnostic final, mais également sur la façon dont ils pouvaient expliquer leur processus de réflexion.
Sur la base de ces critères, les médecins qui ont travaillé seuls ont obtenu un score moyen de 74 %, et ceux qui ont collaboré avec le chatbot IA pour parvenir à leur diagnostic ont obtenu un score de 76 %.
Mais les deux groupes ont été largement surpassés par quelque chose qui n’a jamais été à l’école de médecine : ChatGPT, agissant de lui-même, a surpassé les médecins humains avec un score moyen de 90 pour cent.
L’étude, publiée dans la revue JAMA Network Open , était de petite envergure (les 50 médecins n’ont examiné que six études de cas), mais elle a néanmoins des implications frappantes sur le rôle de l’IA dans le domaine médical (et peut-être sur les préjugés des médecins humains).
« J’ai été choqué par les résultats », a déclaré Adam Rodman, co-auteur de l’étude et spécialiste en médecine interne au Beth Israel Deaconess Medical Center de Boston, dans une interview sur le podcast Hard Fork du New York Times . « Mon hypothèse de départ était que les personnes utilisant [ChatGPT] seraient les meilleures. Je suis donc surpris par cela. »
Ces cas, basés sur de vrais patients, étaient volontairement difficiles. Néanmoins, ChatGPT a largement prévalu. Selon Adam Rodman, cela pourrait autant témoigner des capacités du modèle d’IA que de l’entêtement d’un médecin humain.
Les médecins utilisant ChatGPT, par exemple, ont peut-être été réticents au deuxième avis du chatbot et l’ont rejeté comme étant erroné, doublant ainsi leur première hypothèse en conséquence.
Un autre facteur qui pourrait expliquer pourquoi les médecins étaient à la traîne face à cette technologie est qu’ils n’étaient tout simplement pas familiarisés avec son utilisation.
Mais Adam Rodman a rejeté l’idée selon laquelle ChatGPT est plus compétent que le médecin humain moyen. « La différence est que les personnes qui ont rassemblé le dossier, comme les informations, si vous voulez réfléchir aux invites, étaient des cliniciens experts », a-t-il déclaré dans le podcast. « Nous l’organisons de cette manière. »
En d’autres termes, ce sont des professionnels de la santé qui ont fait tout le travail difficile consistant à recueillir et à présenter avec précision les informations médicales dans les rapports de cas finaux, ce qu’une IA ne peut pas faire , du moins pas encore. Déclarer que l’IA surpasse de toute évidence les médecins, c’est un peu comme si un chef s’attribuait tout le mérite d’un repas savoureux alors qu’il a utilisé la recette de quelqu’un d’autre.
L’étude avait également pour objectif principal de tester l’efficacité d’un chatbot pour aider les médecins, ce qui s’est avéré peu probant – et non de démontrer la supériorité de l’IA. En fait, des études similaires ont montré que ChatGPT était très mauvais pour diagnostiquer les cas .
Ce qui est frappant, c’est que l’expérience a été menée il y a un an avec une ancienne version de ChatGPT. Les résultats pourraient être encore plus impressionnants aujourd’hui.
« Les modèles d’IA sont peut-être plus efficaces que les médecins pour établir des diagnostics. Mais je ne pense pas que ce soit le cas avec GPT-4 Turbo, le modèle utilisé ici », a déclaré Adam Rodman. « Mais cela finira par se produire, et nous nous en approchons rapidement. »
https://futurism.com/neoscope/chatgpt-outperforms-human-doctors
