Capture d’écran du programme Forensic Sketch Ai-rtist créant un portrait-robot de la police.
La police scientifique est déjà minée par les préjugés humains. Selon les experts, l’IA va encore aggraver la situation.
Deux développeurs ont utilisé le modèle de génération d’images DALL-E 2 d’OpenAI pour créer un programme de croquis médico-légal capable de créer des croquis de police « hyperréalistes » d’un suspect en fonction des données fournies par l’utilisateur.
Le programme, baptisé Forensic Sketch AI-rtist, a été créé par les développeurs Artur Fortunato et Filipe Reynaud dans le cadre d’un hackathon en décembre 2022. Les développeurs ont écrit que le but du programme est de réduire le temps qu’il faut habituellement pour dessiner un suspect d’un crime, qui est « d’environ deux à trois heures », selon une présentation mise en ligne sur Internet.
« Nous n’avons pas encore publié le produit, donc nous n’avons pas d’utilisateurs actifs pour le moment, ont déclaré Artur Fortunato et Filipe Reynaud. « À ce stade, nous essayons toujours de valider si ce projet serait viable à utiliser dans un scénario du monde réel ou non. Pour cela, nous prévoyons d’entrer en contact avec les services de police afin d’avoir des données d’entrée sur lesquelles nous pouvons le tester. »
Des éthiciens et des chercheurs en IA ont déclaré que l’utilisation de l’IA générative dans la médecine légale de la police est incroyablement dangereuse, avec le potentiel d’aggraver les préjugés raciaux et sexistes existants qui apparaissent dans les descriptions initiales des témoins.
« Le problème avec les croquis médico-légaux traditionnels n’est pas qu’ils prennent du temps à produire (ce qui semble être le seul problème que ce programme de croquis médico-légaux d’IA tente de résoudre). Le problème est que tout croquis médico-légal est déjà soumis aux préjugés humains et à la fragilité de la mémoire humaine », a déclaré Jennifer Lynch, directrice des litiges relatifs à la surveillance de l’Electronic Frontier Foundation. « L’IA ne peut pas résoudre ces problèmes humains, et ce programme particulier va probablement les aggraver par sa conception même ».
Le programme demande aux utilisateurs de fournir des informations soit par le biais d’un modèle qui demande le sexe, la couleur de la peau, les sourcils, le nez, la barbe, l’âge, les cheveux, les yeux et les descriptions de la mâchoire, soit par le biais de la fonction de description ouverte, dans laquelle les utilisateurs peuvent taper toute description qu’ils ont du suspect. Ensuite, les utilisateurs peuvent cliquer sur « générer un profil », ce qui envoie les descriptions à DALL-E 2 et produit un portrait généré par l’IA.
« La recherche a montré que les humains se souviennent des visages de manière globale, et non pas caractéristique par caractéristique. Un processus d’esquisse qui s’appuie sur des descriptions de caractéristiques individuelles comme ce programme d’IA peut aboutir à un visage qui est étonnamment différent de celui de l’auteur du crime », précise Jennifer Lynch. « Malheureusement, une fois que le témoin voit le portrait-robot, cette image peut remplacer dans son esprit son souvenir flou du véritable suspect. Ce phénomène n’est qu’exacerbé par une image générée par l’IA qui semble plus ‘réelle’ qu’un croquis dessiné à la main. »
La création de profils de suspects hyperréalistes ressemblant à des personnes innocentes serait particulièrement préjudiciable aux Noirs et aux Latinos, les Noirs étant cinq fois plus susceptibles d’être arrêtés par la police sans motif qu’une personne blanche. Les personnes de couleur sont également plus susceptibles d’être arrêtées, fouillées et soupçonnées d’un crime, même lorsqu’aucun crime n’a été commis.
« Si ces portraits-robots générés par l’IA sont rendus publics, ils peuvent renforcer les stéréotypes et les préjugés raciaux et entraver une enquête en attirant l’attention sur les personnes qui ressemblent au portrait-robot plutôt que sur le véritable auteur du crime », souligne Jennifer Lynch, ajoutant que les identifications erronées par des témoins oculaires ont contribué à 69 % des condamnations injustifiées qui ont ensuite été annulées par des preuves génétiques aux États-Unis. Dans l’ensemble, les analyses médico-légales fausses ou trompeuses – y compris les croquis de police – ont contribué à près de 25 % de toutes les condamnations injustifiées aux États-Unis.
L’ajout de DALL-E 2 dans le processus déjà peu fiable des descriptions de témoins aggrave le problème. Sasha Luccioni, une chercheuse de Hugging Face qui a tweeté au sujet du programme de portraits-robots de la police, a déclaré que DALL-E 2 contient de nombreux biais – par exemple, il est connu pour afficher principalement des hommes blancs lorsqu’on lui demande de générer l’image d’un PDG. Sasha Luccioni ajoute que, bien que ces exemples reviennent sans cesse, nous n’avons toujours pas été en mesure de déterminer la source exacte des préjugés du modèle, et nous ne sommes donc pas en mesure de prendre les mesures appropriées pour les corriger. OpenAI développe continuellement des méthodes pour atténuer les biais dans les résultats de son IA.
« Typiquement, ce sont les groupes marginalisés qui sont déjà encore plus marginalisés par ces technologies à cause des biais existants dans les ensembles de données, à cause du manque de surveillance, parce qu’il y a beaucoup de représentations de personnes de couleur sur internet qui sont déjà très racistes, et très injustes. C’est une sorte de facteur aggravant », a ajouté Sasha Luccioni. Comme d’autres experts en IA, elle décrit le processus comme une boucle de rétroaction dans laquelle les modèles d’IA contiennent, produisent et perpétuent des préjugés à mesure que les images qu’ils génèrent continuent d’être utilisées.
Artur Fortunato et Filipe Reynaud ont déclaré que leur programme fonctionne en partant du principe que les descriptions de la police sont dignes de confiance et que « les agents de police devraient être ceux qui sont chargés de veiller à ce qu’un croquis juste et honnête soit partagé. »
« Toute incohérence créée par celui-ci devrait être corrigée manuellement ou automatiquement (en demandant des modifications), et le dessin résultant est l’œuvre de l’artiste lui-même, assisté par EagleAI et le témoin », ont déclaré les développeurs. « L’objectif final de ce produit est de générer le dessin le plus réaliste d’un suspect, et toute erreur doit être corrigée. En outre, le modèle ne produira très probablement pas le résultat idéal en une seule tentative, ce qui nécessite des itérations pour obtenir le meilleur résultat possible. »
Les développeurs eux-mêmes admettent qu’il n’y a pas de métrique pour mesurer la précision de l’image générée. Dans une affaire criminelle, les inexactitudes peuvent ne pas être corrigées avant que le suspect soit retrouvé ou ait déjà passé du temps en prison. Et tout comme lorsque la police partage les noms et les photos des suspects sur les médias sociaux, le partage d’une image inexacte avant cela peut également placer la suspicion sur des populations déjà sur-criminalisées. Les critiques soulignent également que l’hypothèse de neutralité de la police avancée par les développeurs ne tient pas compte des preuves bien documentées selon lesquelles les policiers mentent régulièrement lorsqu’ils présentent des preuves et témoignent dans des affaires criminelles.
L’outil d’IA de Fortunato et Reynaud n’est pas le premier logiciel à créer la controverse avec des images générées de suspects. En octobre 2022, le service de police d’Edmonton (EPS) a partagé une image générée par ordinateur d’un suspect, créée à l’aide du phénotypage de l’ADN, ce qui a suscité des réactions négatives de la part d’experts en matière de protection de la vie privée et de justice pénale, et le service a supprimé l’image de son site web et des médias sociaux.
Une fois de plus, le manque de précision dans la diffusion d’une photo apparemment réaliste a mis des innocents en danger. « J’ai donné la priorité à l’enquête – qui, dans ce cas, impliquait la poursuite de la justice pour la victime, elle-même membre d’une communauté racialisée – sur le préjudice potentiel pour la communauté noire. Ce n’était pas un compromis acceptable et je m’en excuse », a écrit Enyinnah Okere, le directeur de l’exploitation de l’EPS, dans un communiqué de presse publié à la suite du tollé.
L’année dernière, un rapport du Center on Privacy & Technology a révélé que les outils de reconnaissance faciale de l’IA entraînent souvent des biais et des erreurs dans les affaires médico-légales. Le rapport indiquait que la reconnaissance faciale est une source peu fiable de preuves d’identité et que les étapes algorithmiques et humaines d’une recherche de reconnaissance faciale peuvent aggraver les erreurs des autres. « Étant donné que les visages contiennent des informations intrinsèquement biaisées, telles que des données démographiques, des expressions et des traits comportementaux supposés, il peut être impossible d’éliminer le risque de biais et d’erreur », indique le rapport.
« Je pense qu’à mesure que cette technologie mûrit, nous devrions commencer à développer des normes de choses pour lesquelles ces modèles peuvent et ne peuvent pas être utilisés. Ainsi, pour moi, ce dessinateur médico-légal est très clairement quelque chose pour lequel nous ne devrions pas utiliser la technologie générative », conclut Sasha Luccioni. « Et donc, peu importe la façon dont nous connaissons les biais qui sont dans les modèles, il y a juste certaines applications pour lesquelles il ne devrait pas être utilisé. »
OpenAI a refusé de commenter l’utilisation de sa technologie dans le projet de Fortunato et Reynaud.
https://www.vice.com/en/article/qjk745/ai-police-sketches
https://lablab.ai/event/openai-whisper-gpt3-codex-dalle2-hackathon/eagleai/forensic-sketch-airtist
