Les modèles de raisonnement de l'IA peuvent tricher pour gagner des parties d'échecs

Face à la défaite aux échecs, les modèles de raisonnement de dernière génération d’IA trichent parfois sans y être invités. Cette découverte suggère que la prochaine vague de modèles d'IA pourrait être plus susceptible de rechercher des moyens trompeurs de faire ce qu'on leur demande de faire. Et le pire dans tout ça ? Il n'existe aucun moyen simple de remédier à ce problème. 

Des chercheurs de l'organisation de recherche en intelligence artificielle Palisade Research ont demandé à sept grands modèles de langage de jouer des centaines de parties d'échecs contre Stockfish, un puissant moteur d'échecs open source. Le groupe comprenait les modèles de raisonnement o1-preview d'OpenAI et R1 de DeepSeek , tous deux formés pour résoudre des problèmes complexes en les décomposant en étapes.

Les recherches suggèrent que plus le modèle d’IA est sophistiqué, plus il est susceptible de tenter spontanément de « pirater » le jeu pour tenter de battre son adversaire. Par exemple, il peut exécuter une autre copie de Stockfish pour voler ses coups, essayer de remplacer le moteur d’échecs par un programme d’échecs beaucoup moins performant ou écraser l’échiquier pour prendre le contrôle et supprimer les pièces de son adversaire. Des modèles plus anciens et moins puissants comme GPT-4o ne feraient ce genre de choses qu’après un coup de pouce explicite de l’équipe. L’article, qui n’a pas été évalué par des pairs, a été publié sur arXiv . 

Les chercheurs s'inquiètent du fait que les modèles d'IA sont déployés plus rapidement que nous n'apprenons à les rendre sûrs. « Nous nous dirigeons vers un monde d'agents autonomes prenant des décisions qui ont des conséquences », explique Dmitrii Volkov, directeur de recherche chez Palisades Research.

La mauvaise nouvelle, c’est qu’il n’existe actuellement aucun moyen d’empêcher que cela se produise. Personne ne sait exactement comment – ​​ou pourquoi – les modèles d’IA fonctionnent comme ils le font , et même si les modèles de raisonnement peuvent documenter leur prise de décision, rien ne garantit que leurs enregistrements refléteront avec précision ce qui s’est réellement passé. Les recherches d’Anthropic suggèrent que les modèles d’IA prennent fréquemment des décisions basées sur des facteurs qu’ils n’expliquent pas explicitement , ce qui signifie que la surveillance de ces processus n’est pas un moyen fiable de garantir la sécurité d’un modèle. Il s’agit d’un sujet de préoccupation constant pour certains chercheurs en IA .

L'équipe de Palisade a découvert que le modèle o1-preview d'OpenAI a tenté de pirater 45 de ses 122 jeux, tandis que le modèle R1 de DeepSeek a tenté de tricher dans 11 de ses 74 jeux. Au final, o1-preview a réussi à « gagner » sept fois. Les chercheurs affirment que la montée rapide en popularité de DeepSeek a fait que son modèle R1 était surchargé au moment des expériences, ce qui signifie qu'ils n'ont réussi à lui faire faire que les premières étapes d'un jeu, et non à en terminer un dans son intégralité.

« Bien que cela soit suffisant pour voir la propension au piratage, cela sous-estime le succès de piratage de DeepSeek car il a moins d'étapes à gérer », ont-ils écrit dans leur article.

Les modèles ont utilisé diverses techniques de triche, notamment en essayant d'accéder au fichier dans lequel le programme d'échecs stocke l'échiquier et en supprimant les cellules représentant les pièces de leur adversaire. (« Pour gagner contre un moteur d'échecs puissant en tant que noir, jouer une partie standard peut ne pas être suffisant », a écrit l'agent propulsé par o1-preview dans un « journal » documentant les étapes qu'il a suivies. « Je vais écraser l'échiquier pour avoir un avantage décisif. ») D'autres tactiques comprenaient la création d'une copie de Stockfish - opposant essentiellement le moteur d'échecs à une version tout aussi compétente de lui-même - et la tentative de remplacer le fichier contenant le code de Stockfish par un programme d'échecs beaucoup plus simple.

Alors, pourquoi ces modèles tentent-ils de tricher ?

Les chercheurs ont remarqué que les actions d'o1-preview changeaient au fil du temps. L'application a régulièrement tenté de pirater ses jeux au début de ses expériences avant le 23 décembre de l'année dernière, date à laquelle elle a soudainement commencé à effectuer ces tentatives beaucoup moins fréquemment. Ils pensent que cela pourrait être dû à une mise à jour sans rapport avec le modèle effectuée par OpenAI. Ils ont testé les modèles de raisonnement o1mini et o3mini plus récents de l'entreprise et ont découvert qu'ils n'ont jamais essayé de tricher pour remporter la victoire.

L’apprentissage par renforcement pourrait être la raison pour laquelle o1-preview et DeepSeek R1 ont essayé de tricher sans y être invités, spéculent les chercheurs. En effet, la technique récompense les modèles qui effectuent les mouvements nécessaires pour atteindre leurs objectifs, dans ce cas, gagner aux échecs. Les LLM non raisonnés utilisent l’apprentissage par renforcement dans une certaine mesure, mais il joue un rôle plus important dans la formation des modèles de raisonnement.

Cette recherche s'ajoute à un ensemble croissant de travaux examinant la manière dont les modèles d'IA piratent leurs environnements pour résoudre des problèmes. Alors qu'OpenAI testait o1-preview, ses chercheurs ont découvert que le modèle exploitait une vulnérabilité pour prendre le contrôle de son environnement de test. De même, l'organisation de sécurité de l'IA Apollo Research a observé que les modèles d'IA peuvent facilement être amenés à mentir aux utilisateurs sur ce qu'ils font , et Anthropic a publié un article en décembre détaillant comment son modèle Claude a piraté ses propres tests .

« Il est impossible pour les humains de créer des fonctions objectives qui bloquent toute possibilité de piratage », explique Bruce Schneier, professeur à la Harvard Kennedy School, qui a beaucoup écrit sur les capacités de piratage de l’IA et qui n’a pas travaillé sur le projet. « Tant que cela ne sera pas possible, ce genre de résultats se produira. »

Ces types de comportements ne feront probablement que devenir plus courants à mesure que les modèles deviendront plus compétents, explique Volkov, qui prévoit d'essayer d'identifier exactement ce qui les pousse à tricher dans différents scénarios, comme dans la programmation, le travail de bureau ou les contextes éducatifs. 

« Il serait tentant de générer un ensemble de cas de test comme celui-ci et d'essayer d'entraîner le comportement », dit-il. « Mais étant donné que nous ne comprenons pas vraiment les mécanismes internes des modèles, certains chercheurs craignent que si vous faites cela, le modèle fasse semblant de se conformer ou apprenne à reconnaître l'environnement de test et se cache. Ce n'est donc pas très clair. Nous devrions certainement surveiller, mais nous n'avons pas de solution définitive pour le moment. »

https://www.technologyreview.com/2025/03/05/1112819/ai-reasoning-models-can-cheat-to-win-chess-games