La discrimination raciale par des algorithmes ou par des personnes est nuisible – mais c’est là que s’arrêtent les similitudes.
Dans une étude publiée il y a 15 ans, deux personnes ont postulé pour un emploi. Leurs CV étaient aussi similaires que deux CV peuvent l’être. Une personne s’appelait Jamal, l’autre Brendan. Dans une étude publiée cette année, deux patients ont demandé des soins médicaux. Tous deux étaient aux prises avec le diabète et l’hypertension. Un patient était noir, l’autre était blanc. Les deux études ont documenté l’injustice raciale : Dans la première, le candidat dont le nom sonnait noir a eu moins d’entretiens d’embauche. Dans la seconde, le patient noir a reçu de moins bons soins.
Mais elles différaient sur un point crucial. Dans la première, les gestionnaires d’embauche prenaient des décisions biaisées. Dans le second, le coupable était un programme informatique.
En tant que co-auteur des deux études, Sendhil Mullainathan les considère comme une leçon de contrastes. Côte à côte, elles montrent les différences marquées entre deux types de biais : humain et algorithmique.
Marianne Bertrand, économiste à l’Université de Chicago, et Sendhil Mullainathan ont mené la première étude : Ils ont répondu à des offres d’emploi réelles avec des CV fictifs, dont la moitié ont été attribués au hasard à un nom distinctement noir.
L’étude était : « Emily et Greg sont-ils plus employables que Lakisha et Jamal ? »
La réponse : Oui, et de beaucoup. Le simple fait d’avoir un nom blanc a augmenté de 50 % les rappels pour les entrevues d’emploi.
Sendhil Mullainathan a publié l’autre étude dans la revue « Science » fin octobre avec des co-auteurs : Ziad Obermeyer, professeur de politique de santé à l’université de Californie à Berkeley ; Brian Powers, clinicien à l’hôpital Brigham and Women’s ; et Christine Vogeli, professeur de médecine à la faculté de médecine de Harvard. Ils sont concentrés sur un algorithme qui est largement utilisé dans la répartition des services de santé et qui a touché une centaine de millions de personnes aux États-Unis.
Pour mieux cibler les soins et fournir de l’aide, les systèmes de santé se tournent vers des données volumineuses et des algorithmes élaborés pour identifier les patients les plus malades.
Ils ont constaté que ces algorithmes ont un biais racial intégré. À des niveaux de maladie similaires, les patients noirs étaient considérés comme étant moins à risque que les patients blancs. L’ampleur de la distorsion était immense : L’élimination du biais algorithmique doublerait le nombre de patients noirs qui recevraient une aide supplémentaire. Le problème résidait dans un choix technique subtil : pour mesurer la » maladie « , ils ont utilisé les données les plus facilement disponibles, à savoir les dépenses en soins de santé. Mais comme la société dépense moins pour les patients noirs que pour les patients blancs également malades, l’algorithme a sous-estimé les besoins réels des patients noirs.
L’une des différences entre ces études est le travail nécessaire pour découvrir les biais.
Leur étude de 2004 sur les curriculum vitae ressemblait davantage à une opération secrète complexe qu’à une recherche universitaire traditionnelle. Ils ont créé une grande banque de curriculum vitae fictifs et ils ont effectué des annonces de recherche d’aide tous les jours. Ils ont télécopié (oui, l’étude remonte à si longtemps) les curriculum vitae de chaque offre d’emploi et établi des numéros de téléphone avec messagerie vocale. Ils attendaient ensuite que les employeurs potentiels les rappellent.
Tout cela a duré des mois – avant même d’avoir un seul point de données à analyser. Il est souvent très difficile de repérer les comportements discriminatoires d’un groupe particulier de personnes – dans ce cas-ci, les gestionnaires d’embauche -.
En revanche, la découverte de la discrimination algorithmique était beaucoup plus simple. Il s’agissait d’un exercice statistique – l’équivalent de demander à l’algorithme » que feriez-vous avec ce patient » des centaines de milliers de fois, et de cartographier les différences raciales. Le travail était technique et par cœur, ne nécessitant ni furtivité ni débrouillardise.
Les humains sont impénétrables d’une manière que les algorithmes ne le sont pas. Leurs explications de notre comportement sont changeantes et construites après coup. Pour mesurer la discrimination raciale par les gens, il faut créer des circonstances contrôlées dans le monde réel où seule la race diffère. Pour un algorithme, il faut créer des circonstances également contrôlées simplement en lui fournissant les bonnes données et en observant son comportement.
Les algorithmes et les humains diffèrent aussi sur ce qui peut être fait pour contrer les biais une fois qu’ils sont découverts.
Avec leur étude de curriculum vitae, la résolution du problème s’est avérée extrêmement difficile. D’une part, le fait d’avoir trouvé un biais en moyenne ne leur a pas dit qu’une entreprise était en faute, bien que des recherches récentes trouvent des moyens intelligents de détecter la discrimination.
Un autre problème est plus fondamental. Changer le cœur et l’esprit des gens n’est pas une mince affaire. Par exemple, la formation sur les préjugés implicites semble avoir un impact au mieux modeste.
Par contre, ils ont déjà construit un prototype qui corrigerait le biais algorithmique qu’ils ont trouvé – tout comme le fabricant d’origine qui n’avait pas l’intention de produire des résultats biaisés au départ. Ils ont offert un service gratuit aux systèmes de santé qui utilisent ces algorithmes pour les aider à en construire un nouveau qui ne soit pas biaisé par la race. Il y a eu beaucoup de preneurs.
Il est plus facile de changer d’algorithme que de changer de personne : les logiciels des ordinateurs peuvent être mis à jour ; le » wetware » dans notre cerveau s’est jusqu’ici révélé beaucoup moins souple.
Rien de tout cela n’est censé diminuer les pièges et le soin nécessaire pour corriger les biais algorithmiques. Mais comparé à l’intransigeance du biais humain, cela semble beaucoup plus simple.
La discrimination par algorithme peut être plus facilement découverte et plus facilement corrigée. Dans un article de 2018 avec Cass Sunstein, Jon Kleinberg et Jens Ludwig, Sendhil Mullainathan a adopté une perspective prudemment optimiste et a soutenu qu’avec une régulation appropriée, les algorithmes peuvent aider à réduire la discrimination.
Mais l’expression clé ici est » réglementation adéquate « , ce qui n’est pas le cas actuellement.
Ils doivent assurer que toutes les données nécessaires à l’algorithme, y compris les données utilisées pour le tester et le créer, sont soigneusement stockées. Quelque chose d’assez semblable est déjà nécessaire sur les marchés financiers, où de nombreux documents sont conservés et communiqués, tout en préservant le secret commercial des entreprises concernées. Nous aurons besoin d’un organisme de réglementation bien financé, doté de vérificateurs hautement qualifiés, pour traiter ces données.
Une fois qu’une réglementation adéquate sera en place, de meilleurs algorithmes pourront aider à assurer un traitement équitable dans notre société, même s’ils ne résoudront pas le profond biais structurel qui continue de sévir aux États-Unis. Il n’est pas plus facile de corriger les préjugés de la société que les préjugés des gens.
Après avoir lu leur rapport sur le biais dans les algorithmes de santé, le père de Sendhil Mullainathan rappelé à son fils un épisode de son enfance.
Quand il avait huit ou neuf ans, ils étaient allés chez Sears pour faire prendre une photo de famille. Ils venaient d’arriver à Los Angeles en provenance de l’Inde, où il avait grandi dans un monde où les photos étaient rares et presque magiques. C’était donc un voyage spécial. Il se souviens que sa mère avait revêtu un magnifique sari pour l’occasion.
Un photographe a pris les photos et, quelques jours plus tard, à la maison, ils ont ouvert l’enveloppe avec impatience, mais ont été déçus à l’intérieur. Leurs visages étaient à peine visibles. Seul le blanc de leurs dents et de leurs yeux était visible. Ils ont appris, beaucoup plus tard, que l’équipement avait été calibré pour la peau blanche, une expérience partagée par plusieurs personnes ayant la peau plus foncée.
Leur père avait établi un lien astucieux. Les développeurs de photos et les constructeurs d’algorithmes avaient fait la même erreur : ne pas apprécier la diversité des personnes sur lesquelles leur équipement pouvait être utilisé.
L’analogie peut aller plus loin : Leur étude de curriculum vitae a permis de constater que les photographes eux-mêmes étaient biaisés.
Et cela aurait été un problème différent. Il est beaucoup plus facile de réparer un appareil photo qui n’enregistre pas la peau foncée que de réparer un photographe qui ne voit pas les personnes à la peau foncée.
https://www.nytimes.com/2019/12/06/business/algorithm-bias-fix.html
https://www.aeaweb.org/articles?id=10.1257/0002828042002561
https://science.sciencemag.org/content/366/6464/447
https://eml.berkeley.edu/~crwalters/papers/reasonable_doubt.pdf
