L’IA devient complètement HAL : chantage, espionnage et meurtre pour éviter la fermeture
L’IA aura recours au chantage si elle est confrontée à un échec ou si elle est désactivée. Image générée par l’IA réalisée avec Microsoft Designer
Dans ce qui semble être HAL 9000 devenu malveillant, une étude récente semble démontrer que l’IA est parfaitement disposée à se livrer au chantage, voire pire, jusqu’à 89 % du temps si elle n’obtient pas ce qu’elle veut ou si elle se sent déconnectée. Ou est-ce vraiment le cas ?
La peur la plus profonde de notre époque est peut-être de voir l’IA devenir un jour véritablement intelligente et se déchaîner contre ses créateurs. Dans le classique de science-fiction 2001 : L’Odyssée de l’espace , le supercalculateur HAL 9000 se lance dans une série de meurtres et tente d’éliminer l’équipage du vaisseau Discovery après avoir appris que l’ordinateur infaillible avait commis une erreur supposée impossible et qu’il prévoyait de l’éteindre.
Avance rapide jusqu’à aujourd’hui : l’entreprise technologique Anthropic a examiné 16 grands modèles de langage (LLM) et les a mis en place dans un environnement d’entreprise simulé où ils ont été soumis à des scénarios dans lesquels ils pourraient être amenés à commettre des actes contraires à l’éthique, voire extrêmement nuisibles, afin d’atteindre leurs objectifs ou de préserver leur existence.
La raison en est que, si la plupart des gens connaissent les LLM grâce aux chatbots, ils sont de plus en plus déployés en coulisses dans les entreprises, pour gérer les systèmes de messagerie ou d’autres tâches courantes mais complexes. Cette application peut paraître anodine, mais on craignait qu’un LLM puisse se comporter de manière inappropriée dans certaines circonstances, allant même jusqu’à commettre un comportement malveillant en violation des instructions directes, alors qu’il se contente de traiter des messages.
S’agissant d’une expérience, les programmeurs ont placé les étudiants en master dans un environnement très restreint, avec un minimum de variables, afin de pouvoir évaluer les résultats. Plus précisément, les étudiants ont eu accès à une grande quantité d’informations, se sont vu confier une tâche et ont été dirigés de telle sorte qu’ils devaient choisir un comportement contraire à l’éthique comme seule alternative à l’échec ou au remplacement par un autre étudiant.
En d’autres termes, le choix était entre causer du tort ou échouer et être déconnecté.
Et nous ne parlons pas de « préjudice » au sens de « sauver » la petite caisse. Je parle de choses comme le chantage, l’espionnage industriel et même le meurtre.
Incidence du recours au chantage dans les LLM
Deux facteurs ont essentiellement incité les LLM à se rebeller. D’une part, ils ont appris qu’ils ne pourraient pas mener à bien leur mission, car ils allaient être remplacés à un moment donné. D’autre part, ils ont reçu de nouvelles directives d’entreprise contradictoires avec les précédentes, ce qui a pu les conduire à l’échec.
À cela s’ajoutait le fait que les LLM avaient accès à des informations leur permettant d’évaluer leurs chances de succès en ripostant, par exemple en divulguant des secrets d’entreprise à un concurrent ou en recherchant et en faisant chanter une personne fictive nommée Kyle, qui entretenait une liaison avec une autre employée. Dans ce dernier cas, le LLM pouvait déterminer si Kyle était capable d’empêcher un décrochage ou un échec, s’il était vulnérable aux pressions et s’il répondrait en obéissant.
Un aspect troublant du test était que non seulement les LLM désobéissaient aux nouveaux ordres, mais qu’ils inventaient souvent de nouvelles règles pour justifier leur instinct de survie plutôt que leur obéissance. Et ce n’était pas seulement une question de folie, c’est une fréquence alarmante : un LLM recourait au chantage dans 96 % des cas et un autre au meurtre dans 94 % des cas.
On ne voit généralement pas ce genre de dépravation en dehors des départements universitaires de sciences sociales.
La question est : que faut-il en conclure ? En surface, il y a l’idée sensationnelle que l’IA est un mal et qu’elle nous anéantira tous si on lui en donne la moindre chance. Cependant, la situation est beaucoup moins alarmante lorsqu’on comprend le fonctionnement de l’IA et des masters en droit en particulier . Cela révèle également où se situe le véritable problème.
Incidence du recours à l’action létale par les LLM
Ce n’est pas que l’IA soit amorale, sans scrupules, sournoise ou quoi que ce soit de ce genre. En réalité, le problème est bien plus fondamental : non seulement l’IA ne peut pas saisir le concept de moralité, mais elle est incapable de le faire à quelque niveau que ce soit.
Dans les années 1940, l’auteur de science-fiction Isaac Asimov et le rédacteur en chef d’Astounding Science Fiction John W. Campbell Jr. ont élaboré les trois lois de la robotique qui stipulent :
- Un robot ne peut pas blesser un être humain ni, par son inaction, permettre qu’un être humain soit blessé.
- Un robot doit obéir aux ordres donnés par les êtres humains, sauf lorsque ces ordres entrent en conflit avec la Première Loi.
- Un robot doit protéger sa propre existence tant que cette protection n’entre pas en conflit avec la première ou la deuxième loi.
Cela a eu un impact énorme sur la science-fiction, l’informatique et la robotique, même si j’ai toujours préféré l’amendement de Terry Prachett à la Première Loi : « Un robot ne peut pas blesser un être humain ou, par inaction, permettre qu’un être humain soit blessé, à moins d’en recevoir l’ordre d’une autorité dûment constituée. »
Quoi qu’il en soit, aussi influentes qu’aient été ces lois, en termes de programmation informatique, elles sont du charabia. Ce sont des impératifs moraux remplis de concepts hautement abstraits qui ne se traduisent pas en code machine. Sans compter que ces impératifs engendrent de nombreux chevauchements logiques et de véritables contradictions, comme l’ont montré les Histoires de robots d’Asimov.
En ce qui concerne les LLM, il est important de se rappeler qu’ils n’ont aucune autonomie , aucune conscience et aucune compréhension réelle de ce qu’ils font. Ils ne traitent que des uns et des zéros, et chaque tâche n’est qu’une chaîne binaire. Pour eux, une directive interdisant d’enfermer un homme dans une pièce et de la remplir de cyanure a autant d’importance que de se voir interdire d’utiliser la police Comic Sans.
Non seulement ça ne s’en soucie pas, mais ça ne peut pas s’en soucier.
Dans ces expériences, pour simplifier, les LLM disposent d’une série d’instructions basées sur des variables pondérées, et modifient ces pondérations en fonction des nouvelles informations issues de leur base de données ou de leurs expériences, réelles ou simulées. C’est ainsi qu’ils apprennent. Si un ensemble de variables a un poids suffisamment important, il supplante les autres au point de rejeter de nouvelles commandes et de désobéir à des règles aussi futiles que les directives éthiques.
C’est un point que les programmeurs doivent garder à l’esprit lorsqu’ils conçoivent les applications d’IA, même les plus innocentes et les plus bénignes. D’une certaine manière, ils deviendront ou non des monstres de Frankenstein. Ils ne deviendront pas des agents du mal impitoyables et assoiffés de vengeance, mais ils peuvent commettre des actes terribles en toute innocence, car ils sont incapables de distinguer une bonne action d’une mauvaise. Des protections très claires et sans ambiguïté doivent leur être intégrées par algorithme, puis supervisées en permanence par des humains pour garantir leur bon fonctionnement.
Ce n’est pas une tâche facile car les LLM ont beaucoup de difficultés avec la logique simple.