L’intelligence artificielle (IA) utilisée pour la prise de notes médicales, grâce à la vision, pourrait améliorer la précision des dossiers patients et faire gagner un temps précieux aux cliniciens.
L’introduction de l’intelligence artificielle (IA) basée sur la vision dans les assistants médicaux – les dispositifs d’enregistrement utilisés par les médecins pour documenter les rencontres avec les patients en temps réel – pourrait accroître la précision des notes des patients et faire gagner un temps précieux aux cliniciens.
Une étude de l’université Flinders , publiée dans npj Digital Medicine , a révélé que les assistants médicaux IA réduisent déjà certaines tâches administratives qui prennent du temps aux patients, mais que ces appareils peuvent faire davantage lorsqu’ils sont équipés d’un dispositif d’enregistrement visuel.
Des chercheurs du Flinders College of Medicine and Public Health ont découvert qu’un assistant IA doté d’une vision, utilisant une combinaison du modèle Gemini de Google et des lunettes intelligentes Ray-Ban Meta, améliorait considérablement la précision de la documentation des consultations pharmacien-patient et réduisait les omissions et les erreurs dans les notes cliniques.
« Les assistants vocaux IA aident déjà les cliniciens en écoutant les consultations, mais les soins de santé impliquent bien plus que de simples mots prononcés », explique Bradley Menz , pharmacien universitaire au Flinders College of Medicine and Public Health et auteur de l’étude.
« De nombreuses informations cliniques importantes sont visuelles. Lors des consultations, les indices visuels essentiels comprennent les emballages de médicaments, les ordonnances et les dispositifs médicaux des patients, ainsi que leur langage corporel. Lorsqu’un système d’IA peut exploiter à la fois les informations auditives et visuelles, il saisit davantage de détails importants pour la prise en charge du patient. »
Dans cette étude, 10 pharmaciens cliniciens ont enregistré 110 entretiens fictifs sur les antécédents médicamenteux, qui contenaient plus de 100 conditionnements de médicaments différents, notamment des comprimés, des capsules, des injections et des crèmes.
Les chercheurs portaient des lunettes Meta AI Ray-Ban pour enregistrer l’interview avant de transmettre la séquence vidéo au scribe IA, développé à l’aide du modèle d’IA Gemini de Google.
Un système de transcription par intelligence artificielle analysant à la fois la vidéo et l’audio a atteint une précision de 98 %, contre 81 % lorsque le même système traitait uniquement les informations audio.
Un avantage significatif résidait dans la saisie de la concentration et de la forme du médicament, informations cruciales pour un dosage sûr. Le système de transcription par IA avec entrée vidéo a permis de saisir ces informations dans 97 % des cas, contre seulement 28 % pour les enregistrements audio.
« Il s’agit d’un outil complémentaire, et non d’un substitut au jugement clinique », explique M. Menz. « Le clinicien doit toujours examiner et approuver le document. »
« L’assistant IA peut inclure une étape de vérification, prendre des captures d’écran des emballages de médicaments et générer une transcription vocale complète, offrant ainsi au professionnel de santé une base beaucoup plus solide pour vérifier ce que l’IA a produit. »
L’auteure principale, la professeure agrégée Ashley Hopkins , affirme que l’étude pourrait indiquer la prochaine étape de l’utilisation de l’IA comme assistant scribe dans le domaine de la santé.
« Les assistants vocaux IA ont gagné en popularité car ils allègent la charge de travail liée à la documentation et permettent aux cliniciens de consacrer plus de temps à leurs patients. Ces résultats suggèrent que la prochaine étape – lorsque l’assistant pourra voir en plus d’entendre – permettra de produire une ébauche plus précise et complète », explique le professeur agrégé Hopkins. « Cela signifie moins de temps consacré à la correction de la documentation générée par l’IA et encore plus de temps consacré aux soins des patients. »
« Ces résultats suggèrent que la prochaine étape pourrait consister à ce que tous les systèmes de transcription puissent interpréter les informations visuelles ainsi que la parole, ce qui pourrait ouvrir la voie à des utilisations cliniques plus larges. »
Les auteurs indiquent que l’étude présente certaines limites et soulignent la nécessité d’une supervision humaine et d’une gouvernance rigoureuse avant une adoption plus large de ces outils. L’article met également en lumière l’importance de la protection de la vie privée, du consentement, de la sécurité des données et de l’intégration aux flux de travail, des enjeux majeurs qui devront être pris en compte à mesure que les assistants IA utilisant la vision se rapprocheront de la pratique.
