L'IA open source égale le meilleur LLM propriétaire pour la résolution de cas médicaux complexes

En un coup d'œil :

• Le modèle d'IA open source a obtenu des résultats comparables à ceux des principaux outils d'IA propriétaires pour résoudre des cas médicaux difficiles qui nécessitent un raisonnement clinique complexe.
• L’IA peut optimiser les performances des cliniciens et contribuer à réduire les erreurs et les retards de diagnostic.
• Une concurrence accrue, un choix plus large d’outils de diagnostic d’IA pour mieux servir les patients, les cliniciens et les systèmes de santé.

L’intelligence artificielle peut transformer la médecine de multiples façons, notamment en promettant d’agir comme un assistant de diagnostic fiable pour les cliniciens occupés.

Au cours des deux dernières années, les modèles d'IA propriétaires, également appelés modèles à code source fermé, ont excellé dans la résolution de cas médicaux complexes nécessitant un raisonnement clinique complexe. Ces modèles d'IA à code source fermé ont notamment surpassé les modèles open source, ainsi appelés car leur code source est accessible au public et peut être modifié par tous.

L’IA open source a-t-elle rattrapé son retard ?

La réponse semble être oui, du moins en ce qui concerne un tel modèle d'IA open source, selon les conclusions d'une nouvelle étude financée par le NIH et menée par des chercheurs de la Harvard Medical School et réalisée en collaboration avec des cliniciens du Beth Israel Deaconess Medical Center et du Brigham and Women's Hospital, affiliés à Harvard.

Les résultats, publiés le 14 mars dans le JAMA Health Forum , montrent qu'un outil d'IA open source challenger appelé Llama 3.1 405B a obtenu des résultats comparables à ceux de GPT-4, un modèle propriétaire à code source fermé de premier plan. Dans leur analyse, les chercheurs ont comparé les performances des deux modèles sur 92 cas complexes présentés dans la rubrique hebdomadaire du New England Journal of Medicine consacrée aux scénarios cliniques difficiles à diagnostiquer.

Les résultats suggèrent que les outils d’IA open source deviennent de plus en plus compétitifs et pourraient offrir une alternative précieuse aux modèles propriétaires.

« À notre connaissance, c'est la première fois qu'un modèle d'IA open source atteint les performances de GPT-4 sur des cas aussi complexes, évalués par des médecins », a déclaré l'auteur principal Arjun Manrai , professeur adjoint d'informatique biomédicale à l'Institut Blavatnik de l'HMS. « Il est vraiment étonnant que les modèles Llama aient rattrapé si rapidement le modèle propriétaire leader. Les patients, les soignants et les hôpitaux ont tout à gagner de cette compétition. »

Les avantages et les inconvénients des systèmes d'IA open source et fermés

L'IA open source et l'IA fermée diffèrent sur plusieurs points importants. Premièrement, les modèles open source peuvent être téléchargés et exécutés sur les ordinateurs privés d'un hôpital, conservant ainsi les données des patients en interne. En revanche, les modèles fermés fonctionnent sur des serveurs externes, obligeant les utilisateurs à transmettre des données privées à l'extérieur.

« Le modèle open source est susceptible d'être plus attrayant pour de nombreux directeurs de l'information, administrateurs d'hôpitaux et médecins, car il y a quelque chose de fondamentalement différent dans le fait que les données quittent l'hôpital pour une autre entité, même de confiance », a déclaré l'auteur principal de l'étude, Thomas Buckley, doctorant dans le nouveau domaine de l'IA en médecine au département d'informatique biomédicale de HMS.

Deuxièmement, les professionnels de la santé et de l'informatique peuvent adapter les modèles open source aux besoins cliniques et de recherche spécifiques, tandis que les outils propriétaires sont généralement plus difficiles à adapter.

« C'est essentiel », précise Thomas Buckley. « Vous pouvez utiliser les données locales pour affiner ces modèles, de manière simple ou sophistiquée, afin qu'ils soient adaptés aux besoins de vos médecins, chercheurs et patients. »

Troisièmement, les développeurs d'IA à code source fermé comme OpenAI et Google hébergent leurs propres modèles et fournissent un support client traditionnel, tandis que les modèles open source confient la responsabilité de la configuration et de la maintenance des modèles aux utilisateurs. Jusqu'à présent, les modèles à code source fermé se sont avérés plus faciles à intégrer aux dossiers médicaux électroniques et à l'infrastructure informatique hospitalière.

IA open source versus IA fermée : un tableau de bord pour résoudre les cas cliniques difficiles

Les algorithmes d'IA, qu'ils soient open source ou non, sont entraînés sur d'immenses ensembles de données, notamment des manuels médicaux, des recherches évaluées par des pairs, des outils d'aide à la décision clinique et des données patients anonymisées, telles que des études de cas, des résultats d'examens, des scanners et des diagnostics confirmés.

En analysant ces montagnes de données à grande vitesse, les algorithmes apprennent des schémas. Par exemple, à quoi ressemblent les tumeurs cancéreuses et bénignes sur une lame d'anatomopathologie ? Quels sont les premiers signes révélateurs d'une insuffisance cardiaque ? Comment distinguer un côlon normal d'un côlon enflammé sur un scanner ? Lorsqu'ils sont confrontés à un nouveau scénario clinique, les modèles d'IA comparent les informations reçues au contenu qu'ils ont assimilé pendant l'entraînement et proposent des diagnostics possibles.

Dans leur analyse, les chercheurs ont testé Llama sur 70 cas cliniques NEJM complexes, précédemment utilisés pour évaluer les performances de GPT-4 et décrits dans une étude antérieure dirigée par Adam Rodman , professeur adjoint de médecine à la HMS Beth Israel Deaconess et co-auteur de la nouvelle recherche. Dans cette nouvelle étude, les chercheurs ont ajouté 22 nouveaux cas publiés après la fin de la période de formation de Llama afin d'éviter que Llama n'ait rencontré par inadvertance certains des 70 cas publiés lors de sa formation de base.

Le modèle open source a fait preuve d'une réelle profondeur : Llama a posé un diagnostic correct dans 70 % des cas, contre 64 % pour GPT-4. Il a également classé le bon choix comme sa première suggestion dans 41 % des cas, contre 37 % pour GPT-4. Pour le sous-ensemble de 22 cas plus récents, le modèle open source a obtenu des résultats encore plus élevés, prenant la bonne décision dans 73 % des cas et identifiant le diagnostic final comme sa principale suggestion dans 45 % des cas.

« En tant que médecin, j'ai constaté que l'intérêt porté aux puissants modèles de langage à grande échelle se concentre principalement sur des modèles propriétaires, impossibles à exécuter localement », souligne Adam Rodman. « Notre étude suggère que les modèles open source pourraient être tout aussi puissants, offrant aux médecins et aux systèmes de santé un contrôle bien plus important sur l'utilisation de ces technologies. »

Chaque année, environ 795 000 patients aux États-Unis meurent ou souffrent d’une invalidité permanente en raison d’une erreur de diagnostic, selon un rapport de 2023 .

Au-delà des préjudices immédiats causés aux patients, les erreurs et les retards de diagnostic peuvent représenter un lourd fardeau financier pour le système de santé. Des diagnostics inexacts ou tardifs peuvent entraîner des examens inutiles, des traitements inappropriés et, dans certains cas, de graves complications qui deviennent plus difficiles – et plus coûteuses – à gérer avec le temps.

« Utilisés judicieusement et intégrés de manière responsable dans les infrastructures de santé actuelles, les outils d'IA pourraient être des copilotes précieux pour les cliniciens débordés et servir d'aides diagnostiques fiables pour améliorer la précision et la rapidité des diagnostics », assure Arjun Manrai. « Mais il reste crucial que les médecins contribuent à ces efforts pour s'assurer que l'IA soit à leur service. »

https://hms.harvard.edu/news/open-source-ai-matches-top-proprietary-llm-solving-tough-medical-cases