Sans une mise en œuvre minutieuse, l’intelligence artificielle pourrait aggraver les inégalités en matière de soins de santé.
Lorsque des scientifiques de Chicago, en Illinois, ont entrepris de vérifier si un algorithme d’apprentissage automatique pouvait prédire combien de temps les gens resteraient à l’hôpital, ils ont pensé qu’ils faisaient une faveur à tout le monde. Garder les gens à l’hôpital coûte cher, et si les gestionnaires savaient quels patients sont les plus susceptibles d’être admissibles à un congé, ils pourraient les placer en tête de liste des priorités des médecins pour éviter des retards inutiles. Tout le monde y gagnerait : l’hôpital économiserait de l’argent et les gens pourraient partir le plus tôt possible.
Débutant leurs travaux fin 2017, les scientifiques ont formé leur algorithme sur les données patient du système hospitalier universitaire de l’Université de Chicago. À partir des données des trois années précédentes, ils ont croisé les chiffres pour voir quelle combinaison de facteurs prédisait le mieux la durée du séjour. Au début, ils n’ont examiné que les données cliniques.
Mais lorsqu’ils ont étendu leur analyse à d’autres renseignements sur les patients, ils ont découvert que l’un des meilleurs prédicteurs de la durée du séjour était le code postal de la personne. C’était déroutant. Qu’est-ce que la durée du séjour d’une personne à l’hôpital avait à voir avec l’endroit où elle vivait ?
Au fur et à mesure que les chercheurs creusaient davantage, ils s’inquiétaient de plus en plus. Les codes postaux qui correspondaient à des séjours plus longs à l’hôpital se trouvaient dans des quartiers pauvres et surtout afro-américains. Les gens de ces régions sont restés plus longtemps à l’hôpital que ceux des régions plus riches, à prédominance blanche.
La raison de cette disparité a échappé à l’équipe. Peut-être que les gens des régions les plus pauvres ont été admis dans des conditions plus sévères. Ou peut-être qu’ils étaient moins susceptibles de se faire prescrire les médicaments dont ils avaient besoin.
Cette découverte a soulevé un dilemme éthique. Si l’optimisation des ressources hospitalières était le seul objectif de leur programme, les codes postaux des gens seraient clairement un puissant indicateur de la durée du séjour à l’hôpital. Mais leur utilisation détournerait, dans la pratique, les ressources hospitalières des pauvres noirs vers les riches blancs, exacerbant ainsi les préjugés existants dans le système.
« L’objectif initial était l’efficacité, ce qui, pris isolément, est un objectif louable « , dit Marshall Chin, qui étudie l’éthique des soins de santé à l’Université de médecine de Chicago et qui était l’un des scientifiques qui ont travaillé sur le projet. Mais l’équité est également importante, dit-il, et cela n’a pas été explicitement pris en compte dans la conception de l’algorithme.
Cette histoire de Chicago est une mise en garde opportune alors que les chercheurs médicaux se tournent vers l’intelligence artificielle (IA) pour améliorer les soins de santé. Les outils d’IA pourraient apporter de grands avantages aux personnes qui ne sont pas actuellement bien servies par le système médical. Par exemple, un outil d’IA pour le dépistage des signes de tuberculose par radiographie pulmonaire, mis au point par la start-up Zebra Medical Vision à Shefayim, en Israël, est en cours de déploiement dans les hôpitaux indiens pour accélérer le diagnostic des personnes atteintes de cette maladie.
Les algorithmes d’apprentissage machine pourraient également aider les scientifiques à déterminer quelles personnes sont susceptibles de répondre le mieux à quels traitements, ouvrant ainsi la voie à une ère de médecine sur mesure qui pourrait améliorer les résultats.
L’anthropologue Kadija Ferryman étudie les impacts culturels et éthiques de l’utilisation de l’IA dans les soins de santé Source : Elisabeth Smolarz
Mais cette révolution repose sur les données dont ces outils peuvent s’inspirer et qui reflètent l’inégalité du système de santé que nous connaissons aujourd’hui.
« Dans certains systèmes de soins de santé, il y a des choses très élémentaires qui sont ignorées, des soins de base de qualité que les gens ne reçoivent pas « , dit Kadija Ferryman, anthropologue à la New York University Tandon School of Engineering, qui étudie les impacts sociaux, culturels et éthiques de l’utilisation de l’IA en soins de santé.
« Ces inégalités sont préservées dans les téraoctets de données sur la santé qui sont produites dans le monde entier. Et ces données ont préparé l’industrie des soins de santé au genre de perturbations qu’entraînent les plateformes de covoiturage dans le secteur des transports et les plateformes de location de maisons comme Airbnb dans l’industrie hôtelière, dit Kadija Ferryman. « Apple, Google, Amazon – ils font tous des incursions dans l’espace de la santé. »
Mais comme les algorithmes d’IA tirent des leçons des données existantes, il y a un risque, selon Kadija Ferryman, que les outils qui résultent de cette ruée vers l’or puissent enraciner ou creuser les inégalités – comme le fait que les Noirs dans les salles d’urgence des États-Unis sont 40 % moins susceptibles que les Blancs de recevoir des analgésiques.
L’histoire de Chicago est un exemple de biais documenté dans un système avant sa mise en œuvre. Mais ce ne sont pas toutes les occurrences qui sont prises. En janvier, lors de la Conférence sur l’équité, la responsabilité et la transparence à Atlanta, en Géorgie, des scientifiques de l’Université de Californie à Berkeley et de l’Université de Chicago ont présenté des preuves de » préjugés raciaux importants » dans un algorithme qui détermine les décisions de soins de santé pour plus de 70 millions de personnes aux États-Unis.
Des ordures à l’intérieur, des ordures à l’extérieur
L’accès limité aux soins pour certaines personnes n’est qu’un moyen parmi d’autres pour les outils d’IA de creuser l’écart en matière de santé à l’échelle mondiale. Un autre problème est de s’assurer que les outils à IA peuvent s’appliquer également à différents groupes de personnes. L’information provenant de certains groupes de population tend à manquer dans les données avec lesquelles ces outils apprennent, ce qui signifie que l’outil pourrait fonctionner moins bien pour les membres de ces communautés.
Les hommes blancs adultes sont fortement surreprésentés dans les ensembles de données médicales existants, au détriment des données des femmes et des enfants blancs et des personnes de tous âges appartenant à d’autres groupes ethniques. Ce manque de diversité dans les données est susceptible d’entraîner des algorithmes biaisés.
Des efforts sont déployés pour combler ces lacunes. En 2015, les National Institutes of Health (NIH) des États-Unis ont créé l’initiative « All of Us » avec 130 millions de dollars de financement. Le programme de recherche vise à constituer une base de données sur la génétique et la santé d’un million de volontaires, en élargissant les ensembles de données disponibles pour guider le développement de la médecine de précision afin de fournir des soins de meilleure qualité pour tous aux États-Unis. Il cible spécifiquement les communautés auparavant sous-représentées pour la collecte de données. En juillet, plus de 50 % des participants pleinement inscrits au programme appartenaient à des groupes ethniques minoritaires.
Mais même des ensembles de données aussi divers peuvent ne pas se traduire par des outils d’IA qui peuvent être déployés de manière fiable dans les pays à faible revenu, où les profils de maladie diffèrent souvent de ceux des pays à revenu élevé. En Afrique subsaharienne, les femmes reçoivent un diagnostic de cancer du sein plus jeune, en moyenne, que leurs pairs des pays développés, et leur maladie est plus avancée au moment du diagnostic. Selon Kuben Naidu, président de la Radiological Society of South Africa au Cap, les outils de diagnostic de l’IA formés à la mammographie en Europe sont prêts à identifier la maladie à ses premiers stades chez les femmes plus âgées et pourraient donc ne pas bien voyager.
La façon évidente de résoudre ce problème est de donner aux développeurs d’intelligence artificielle l’accès aux données des pays à faible revenu. Mais cela soulève des inquiétudes quant à la protection des données pour les populations vulnérables, dit M. Naidu. Les données médicales sont très sensibles – des informations telles que la séropositivité peuvent être utilisées pour discriminer certaines populations, par exemple.
Kuben Naidu se souvient s’être senti troublé par l’impatience qu’il a ressentie lors d’une visite à un rassemblement de radiologistes aux États-Unis il y a quelques années. Les sociétés d’IA parmi les exposants » étaient très excitées d’apprendre que je venais d’Afrique et ont demandé comment elles pouvaient avoir accès à nos données « , dit-il.
Les entreprises offrent de payer pour ces données, dit-il, ce qui pourrait inciter les systèmes de santé nationaux à court d’argent ou les chercheurs individuels à se départir des données des patients, peut-être sans réfléchir sérieusement aux droits des personnes dont ils partagent les données. Un certain nombre de pays en développement introduisent des lois sur la protection des données, mais dans les pays où l’application de la loi est laxiste, de telles réglementations pourraient être contournées.
Bien sûr, la protection de la vie privée n’est pas seulement une préoccupation dans les pays en développement. Même dans les pays dotés d’une législation solide en matière de protection des données, comme les États-Unis, il pourrait être plus difficile que prévu de préserver la confidentialité des données personnelles. L’Université de Chicago fait actuellement l’objet d’un recours collectif pour le partage des dossiers des patients avec Google.
Dans le cadre du projet, les identificateurs tels que les numéros de sécurité sociale et les noms ont été supprimés des données, conformément aux lois nationales sur la protection de la vie privée. Mais les plaignants dans la poursuite soutiennent que les dates des visites des patients, qui n’ont pas été supprimées des données, pourraient être combinées avec d’autres renseignements détenus par Google, comme l’emplacement des téléphones intelligents, pour faire correspondre les personnes à leur dossier médical.
Dans le même ordre d’idées, les sociétés de données pourraient inciter les gens à renoncer à leur vie privée en échange de soins médicaux ou d’une récompense financière. De telles pratiques pourraient créer une fracture en matière de vie privée entre les riches et les pauvres, au même titre que la fracture numérique qui sépare déjà différents groupes socio-économiques5.
Kadija Ferryman, qui siège au comité d’examen institutionnel du programme All of Us, admet qu’elle est aux prises avec la tension entre la volonté – aussi bienveillante soit-elle – de recueillir des données auprès de populations historiquement marginalisées et dénigrées, et la nécessité de protéger ces mêmes populations de l’exploitation. « D’une part, nous voulons aider ces personnes en recueillant plus d’informations à leur sujet. Mais d’un autre côté, qu’est-ce qui veut dire que les données ne seront pas utilisées de manière discriminatoire à leur encontre ? »
Promouvoir l’équité par l’IA
Une façon de s’assurer que les outils d’IA n’aggravent pas les inégalités en matière de santé est d’intégrer l’équité dans la conception des outils d’IA. C’est ce qu’a fait l’équipe des données médicales de l’Université de Chicago après avoir découvert les problèmes avec son algorithme proposé d’optimisation des congés d’hôpital. Son unité des sciences des données travaille maintenant en étroite collaboration avec le département de la diversité, de l’inclusion et de l’équité de l’université.
« Cela signifie qu’aborder la question de l’équité en matière d’IA n’est pas une réflexion après coup, mais plutôt un élément central de la façon dont nous mettons en œuvre l’IA dans notre système de santé « , explique John Fahrenbach, spécialiste des données au Center for Healthcare Delivery Science and Innovation de l’université.
Un membre de l’équipe des National Institutes of Health des États-Unis recueille des échantillons d’un participant avec la permission du National Institutes of Health All of Us Research Program.
John Fahrenbach s’inquiète du fait que l’équité n’est pas suffisamment prise en compte dans la conception de la plupart des modèles d’apprentissage machine. « Il y a tellement de modèles d’apprentissage machine dans le domaine des soins de santé qui sont élaborés, déployés et présentés, et je les entends rarement parler de ces préoccupations. Il faut vraiment que cela change et une réglementation officielle est probablement la meilleure façon d’y parvenir « , dit-il.
Il y a encore du chemin à faire à cet égard. Le National Health Service du Royaume-Uni a été critiqué pour ne pas avoir accordé suffisamment d’attention à la possibilité que l’IA aggrave les écarts en matière de santé dans son Code de conduite actualisé pour les technologies de santé et de soins fondées sur des données, publié en février.
De même, la Food and Drug Administration (FDA) des États-Unis, qui réglemente et approuve les nouvelles technologies médicales, a été invitée par l’American Medical Association à souligner les biais comme un risque important d’apprentissage machine dans son processus d’approbation des logiciels médicaux. Une modification au processus, proposée en avril, permettrait aux outils d’IA qui améliorent continuellement leur performance en apprenant de nouvelles données de le faire sans avoir à subir un autre examen par la FDA.
Certains bailleurs de fonds de la recherche s’attaquent de front à ce problème en lançant des programmes de recherche pour étudier comment l’introduction d’outils d’IA affecte l’accès aux soins et leur qualité. Wellcome, une organisation caritative biomédicale basée à Londres, a lancé un tel programme en juin de cette année. Ce programme quinquennal de 75 millions de livres sterling (90 millions de dollars US) cherchera des moyens de s’assurer que les innovations dans l’utilisation des données sur la santé profiteront à tous – non seulement au Royaume-Uni, mais aussi dans d’autres parties du monde, comme l’Afrique orientale et australe et l’Inde, où Wellcome a une forte présence.
Déterminer si des données incomplètes ou biaisées peuvent entraîner une inégalité des soins de santé jouera un rôle dans le programme, dit Nicola Perrin, responsable des données pour la science et la santé à Wellcome, mais ce ne sera pas l’objectif principal. L’initiative se penchera sur la façon dont la composition unique de chaque hôpital – comme la disponibilité de médecins, de médicaments ou d’équipement, et la relation de l’hôpital avec les communautés qui en dépendent pour les soins – influe sur l’efficacité des outils d’IA.
« C’est la partie qui est toujours négligée, la partie inesthétique et peu sexy « , dit-elle. Dans les pays en développement, en particulier, il s’agit de s’assurer que les outils répondent réellement à la demande sur le terrain et de susciter la confiance et l’adhésion des communautés qu’ils sont censés aider, dit-elle. « Nous devons comprendre les attentes des gens et leurs limites. »
Plus d’informations sur les perspectives sur la nature
Ce point fait écho à celui de Kuben Naidu. Le déploiement d’outils de soins de santé dans les pays en développement n’est jamais facile, dit-il, et cela exige une compréhension approfondie des goulots d’étranglement qui existent dans le système de santé.
Par exemple, l’IA qui permet d’identifier les personnes atteintes de tuberculose à partir de radiographies pulmonaires, préparées pour être utilisées en Inde, pourrait également permettre d’économiser du temps, de l’argent et des vies en Afrique du Sud – surtout dans les zones rurales où il n’existe pas de spécialistes pour examiner ces images, dit-il. Mais pour obtenir des images, les collectivités auront d’abord besoin d’appareils à rayons X et de personnes pour les faire fonctionner. Si ces ressources ne sont pas fournies, les outils d’IA ne serviront qu’aux personnes qui vivent déjà à proximité de cliniques mieux dotées en ressources.
Kadija Ferryman pense qu’il est juste d’être prudent face aux nouvelles technologies médicales. « Il n’y a aucune garantie absolue que les avantages des outils l’emporteront sur les inconvénients potentiels qu’ils peuvent causer « , dit-elle. Mais elle pense aussi que la plupart des gens qui travaillent dans les soins de santé aux États-Unis veulent un système plus équitable. Les systèmes de santé s’articulent autour de spécialistes hautement qualifiés dont la motivation première est de prendre soin des gens, et de nombreux médecins sont avides d’innovations qui rendent le système plus équitable, dit-elle. « Ça me donne de l’espoir. »
