Étiquette : L’IA médicale était censée aider. Cette semaine

À New York, une douzaine d’infirmières de l’hôpital Montefiore affirment avoir été remplacées par un logiciel d’intelligence artificielle, en violation d’un contrat qu’elles venaient de signer. Au Minnesota, un ancien responsable de la Mayo Clinic allègue dans une plainte qu’un outil d’IA hospitalier, présentant un taux d’erreur de 67 %, a été utilisé au-delà de ses propres limites de sécurité. Ces deux cas mettent en lumière le même décalage entre les promesses de l’IA médicale et son déploiement réel.

On présente l’intelligence artificielle médicale comme un moyen de libérer les cliniciens pour qu’ils puissent se consacrer aux soins des patients. Deux affaires récentes suggèrent que la réalité peut être tout autre. À New York, des infirmières affirment avoir été remplacées par un logiciel. Au Minnesota, un ancien responsable de la Mayo Clinic déclare que ce logiciel n’était pas fiable.

Marilyn Shuler a passé 39 ans à lire les dossiers des patients à l’hôpital Montefiore, dans le Bronx. Ce mois-ci, elle fait partie d’une douzaine d’infirmières licenciées, remplacées par un logiciel d’intelligence artificielle qui effectue une partie du même travail, selon leur syndicat.

Les infirmières étaient chargées de l’évaluation de l’utilisation des soins. Elles examinaient les dossiers médicaux et négociaient avec les assureurs la prise en charge des soins. L’Association des infirmières de l’État de New York affirme que ces licenciements ont rompu un accord que les infirmières venaient d’obtenir à l’issue d’une grève, rapporte le Guardian .

« Cela devrait également concerner tous les professionnels de santé et les patients soucieux de la qualité des soins qu’ils reçoivent », a déclaré Shaiju Kalathil, infirmier à Montefiore et représentant syndical. Montefiore conteste cette version des faits. L’établissement qualifie les affirmations du syndicat d’« inexactes et trompeuses » et précise que le changement concerne un programme administratif non clinique.

Ce que le lanceur d’alerte a vu

Si New York est synonyme d’emploi, le Minnesota est synonyme de confiance. Et c’est plus alarmant.

L’amour de la technologie européenne

Les dernières rumeurs du secteur technologique européen, une anecdote de notre sage fondateur Boris et des créations artistiques IA pour le moins surprenantes. C’est gratuit, chaque semaine, directement dans votre boîte mail. Inscrivez-vous dès maintenant !

Traci Tamiko Eto a rejoint la Mayo Clinic en 2023 pour contribuer à la mise en place de mesures de sécurité autour de son intelligence artificielle. Dans une nouvelle plainte, elle affirme que l’hôpital l’a rétrogradée puis licenciée pour avoir tiré la sonnette d’alarme concernant le déploiement de son IA, rapporte Minnesota Public Radio .

Ses accusations sont précises. L’équipe à l’origine de l’assistant IA appelé MAYA, allègue-t-elle, a supprimé des résultats de tests défavorables, surestimé les capacités de l’outil et l’a développé sans supervision adéquate. À un moment donné, selon la plainte, le taux d’erreur de l’outil atteignait 67 %.

Mayo affirme être engagée en faveur d’une IA responsable, intégrant la protection de la vie privée, la sécurité et la conformité à ses activités. La version d’Eto, si elle est confirmée par le tribunal, décrit une tout autre réalité : celle d’un système conçu à la hâte, sans passer par les contrôles censés détecter ses erreurs.

L’écart entre la promesse et la pratique

Ce sont deux cas isolés, pas une tendance. Mais ils se situent de part et d’autre d’une même ligne de faille.

C’est dans le domaine de la santé que les avantages de l’IA sont censés être les plus évidents, et que ses échecs sont les moins pardonnables. Une publicité ratée est embarrassante. Un graphique erroné est dangereux.

Le bilan général est déjà préoccupant. L’Utah a autorisé une IA à renouveler des ordonnances sans intervention médicale. Les recherches montrent de plus en plus que le recours à l’IA peut insidieusement éroder les compétences que les professionnels sont censés conserver et interrompre prématurément des carrières expérimentées . Des employeurs comme Allianz et Thomson Reuters remplacent déjà leurs employés par des mannequins.

Qui supporte le risque

Le point commun, c’est qui finit par supporter le risque. Montefiore empoche les économies ; le patient subit les conséquences des erreurs du logiciel. Mayo gagne en efficacité ; la lanceuse d’alerte, dit-elle, a été licenciée.

Aucun de ces cas n’a été examiné par les tribunaux, et les deux hôpitaux défendent leurs antécédents. Mais ensemble, ils remettent en question l’idée simpliste selon laquelle l’IA médicale ne ferait qu’apporter une aide précieuse. Parfois, elle en retire une. Et parfois, la personne qui comprenait le mieux la machine est la première à être licenciée.

https://thenextweb.com/news/medical-ai-montefiore-nurses-mayo-clinic-lawsuit