Les décès liés aux chatbots montrent que nous devons de toute urgence revoir ce que l'on considère comme une IA « à haut risque »
infohightech ·
La semaine dernière, la tragique nouvelle a éclaté : l’adolescent américain Sewell Seltzer III s’est suicidé après avoir développé un profond attachement émotionnel à un chatbot d’intelligence artificielle (IA) sur le site Web Character.AI.
Alors que sa relation avec l'IA compagnon devenait de plus en plus intense, le jeune homme de 14 ans a commencé à s'éloigner de sa famille et de ses amis et avait des ennuis à l'école.
Dans une plainte déposée contre Character.AI par la mère du garçon, des transcriptions de conversations montrent des conversations intimes et souvent très sexuelles entre Sewell et le chatbot Dany, inspiré du personnage de Danaerys Targaryen dans Game of Thrones. Ils ont discuté de crime et de suicide, et le chatbot a utilisé des phrases telles que « ce n'est pas une raison pour ne pas le faire ».
Capture d'écran d'un échange de chat entre Sewell et le chatbot Dany. Procès « Megan Garcia contre Character AI »
Ce n’est pas le premier cas connu d’une personne vulnérable qui se suicide après avoir interagi avec un chatbot. Un Belge s’est suicidé l’année dernière dans un épisode similaire impliquant le principal concurrent de Character.AI, Chai AI. Lorsque cet incident s’est produit, l’entreprise a déclaré aux médias qu’elle « faisait de son mieux pour minimiser les dommages ».
Dans une déclaration à CNN , Character.AI a déclaré qu'ils « prennent la sécurité de nos utilisateurs très au sérieux » et ont introduit « de nombreuses nouvelles mesures de sécurité au cours des six derniers mois ».
Dans une déclaration distincte sur le site Web de la société, ils décrivent des mesures de sécurité supplémentaires pour les utilisateurs de moins de 18 ans. (Dans leurs conditions de service actuelles, la limite d'âge est de 16 ans pour les citoyens de l'Union européenne et de 13 ans ailleurs dans le monde.)
Ces tragédies illustrent pourtant de manière frappante les dangers que représentent les systèmes d’IA en développement rapide et largement disponibles avec lesquels tout le monde peut dialoguer et interagir. Nous avons besoin de toute urgence d’une réglementation pour protéger les gens contre des systèmes d’IA potentiellement dangereux et conçus de manière irresponsable.
Comment pouvons-nous réguler l’IA ?
Le gouvernement australien est en train d’élaborer des garde-fous obligatoires pour les systèmes d’IA à haut risque. Terme à la mode dans le monde de la gouvernance de l’IA, les « garde-fous » désignent les processus de conception, de développement et de déploiement des systèmes d’IA. Ces mesures incluent notamment la gouvernance des données, la gestion des risques, les tests, la documentation et la supervision humaine.
L’une des décisions que le gouvernement australien doit prendre est de savoir comment définir quels systèmes sont « à haut risque » et donc couverts par les garde-fous.
Le gouvernement réfléchit également à la possibilité d’appliquer des garde-fous à tous les « modèles à usage général ». Les modèles à usage général sont le moteur des chatbots IA comme Dany : des algorithmes IA capables de générer du texte, des images, des vidéos et de la musique à partir des invites de l’utilisateur, et qui peuvent être adaptés pour être utilisés dans divers contextes.
Dans la loi révolutionnaire sur l’IA de l’Union européenne , les systèmes à haut risque sont définis à l’aide d’une liste , que les régulateurs sont habilités à mettre à jour régulièrement.
Une autre solution consiste à adopter une approche fondée sur des principes, dans laquelle la désignation d’une personne à haut risque se fait au cas par cas. Elle dépend de multiples facteurs tels que les risques d’impacts négatifs sur les droits, les risques pour la santé physique ou mentale, les risques d’impacts juridiques, ainsi que la gravité et l’étendue de ces risques.
Les chatbots devraient être des IA « à haut risque »
En Europe, les systèmes d’intelligence artificielle compagnons comme Character.AI et Chai ne sont pas considérés comme à haut risque. En fait, leurs fournisseurs doivent simplement informer les utilisateurs qu’ils interagissent avec un système d’IA.
Il est toutefois devenu évident que les chatbots compagnons ne sont pas à faible risque. De nombreux utilisateurs de ces applications sont des enfants et des adolescents . Certains de ces systèmes ont même été commercialisés auprès de personnes seules ou atteintes de troubles mentaux .
Les chatbots sont capables de générer des contenus imprévisibles, inappropriés et manipulateurs. Ils imitent trop facilement les relations toxiques. La transparence (étiqueter le résultat comme généré par l’IA) ne suffit pas à gérer ces risques.
Même lorsque nous sommes conscients que nous parlons à des chatbots, les êtres humains sont psychologiquement préparés à attribuer des traits humains à quelque chose avec lequel nous conversons.
Les suicides rapportés dans les médias ne sont peut-être que la pointe de l’iceberg. Nous n’avons aucun moyen de savoir combien de personnes vulnérables entretiennent des relations addictives, toxiques, voire dangereuses avec les chatbots.
Des garde-corps et un « interrupteur d'arrêt »
Lorsque l’Australie introduira enfin des garde-fous obligatoires pour les systèmes d’IA à haut risque, ce qui pourrait se produire dès l’année prochaine, ces garde-fous devraient s’appliquer à la fois aux chatbots compagnons et aux modèles à usage général sur lesquels les chatbots sont construits.
Les garde-fous – gestion des risques, tests, surveillance – seront plus efficaces s’ils parviennent au cœur des dangers de l’IA. Les risques liés aux chatbots ne sont pas uniquement des risques techniques liés à des solutions techniques.
Outre les mots utilisés par un chatbot, le contexte du produit a également son importance. Dans le cas de Character.AI, le marketing promet de « donner du pouvoir » aux gens , l’interface imite un échange de SMS ordinaire avec une personne et la plateforme permet aux utilisateurs de choisir parmi une gamme de personnages prédéfinis, qui incluent certains personnages problématiques.
La page d'accueil du site Web Character.AI pour un utilisateur qui a indiqué son âge à 17 ans. C.AI
Pour être vraiment efficaces, les garde-fous de l’IA doivent imposer plus que de simples processus responsables, comme la gestion des risques et les tests. Ils doivent également exiger une conception réfléchie et humaine des interfaces, des interactions et des relations entre les systèmes d’IA et leurs utilisateurs humains.
Même dans ce cas, les garde-fous ne suffisent pas toujours. Tout comme les chatbots compagnons, les systèmes qui semblent à première vue peu risqués peuvent causer des dommages imprévus.
Les régulateurs devraient avoir le pouvoir de retirer du marché les systèmes d’IA s’ils causent des dommages ou présentent des risques inacceptables. En d’autres termes, nous n’avons pas seulement besoin de garde-fous pour l’IA à haut risque. Nous avons également besoin d’un interrupteur.