Les géants de la technologie avertissent que la fenêtre permettant de surveiller le raisonnement de l'IA est en train de se refermer et appellent à agir.
infohightech ·
L'intelligence artificielle progresse à une vitesse vertigineuse. Comme beaucoup de nouvelles technologies, elle offre des avantages considérables, mais présente également des risques pour la sécurité. Conscients des dangers potentiels, des chercheurs de renom de Google DeepMind, OpenAI, Meta, Anthropic et une coalition d'entreprises et d'associations se sont réunis pour appeler à intensifier les efforts de surveillance du mode de pensée des systèmes d'IA.
Dans un article conjoint publié plus tôt cette semaine et approuvé par des personnalités éminentes de l'industrie, dont Geoffrey Hinton (largement considéré comme le « parrain de l'IA ») et le cofondateur d'OpenAI Ilya Sutskever, les scientifiques soutiennent qu'une brève fenêtre pour surveiller le raisonnement de l'IA pourrait bientôt se fermer.
Améliorer la surveillance de l'IA
Ils appellent à une surveillance accrue des chaînes de pensée (CoT : Chains-of-Thought), une technique qui permet aux modèles d’IA de résoudre des défis complexes en les décomposant en étapes plus petites, un peu comme les humains travaillent sur des tâches compliquées, comme un problème mathématique délicat.
Les CoT sont des fonctionnalités clés des modèles d'IA avancés, notamment DeepSeek R1 et les modèles d'apprentissage des langues (LLM). Cependant, à mesure que les systèmes d'IA se perfectionnent, l'interprétation de leurs processus décisionnels devient encore plus complexe. Ceci est préoccupant, car les méthodes de surveillance de l'IA existantes sont imparfaites et peuvent passer à côté de comportements inappropriés.
Dans l'article , les scientifiques ont souligné comment la surveillance du CoT a déjà fait ses preuves en détectant des exemples de mauvais comportement de l'IA, comme lorsque les modèles agissent de manière désalignée « en exploitant des failles dans leurs fonctions de récompense pendant la formation » ou « en manipulant des données pour obtenir un résultat ».
Les scientifiques pensent qu’une meilleure surveillance des CoT pourrait être un moyen précieux de garder le contrôle des agents d’IA à mesure qu’ils deviennent plus performants.
« La surveillance de la chaîne de pensée constitue un atout précieux pour la sécurité de l'IA de pointe, offrant un aperçu rare de la manière dont les agents IA prennent des décisions », expliquent les chercheurs dans leur article. « Pourtant, rien ne garantit que le niveau actuel de visibilité perdure. Nous encourageons la communauté des chercheurs et les développeurs d'IA de pointe à exploiter au mieux la capacité de surveillance du CoT et à étudier comment la préserver. »
L'une des principales demandes des chercheurs est que les développeurs d'IA étudient ce qui rend les CoT contrôlables. En d'autres termes, comment mieux comprendre comment les modèles d'IA parviennent à leurs réponses ? Ils souhaitent également que les développeurs étudient comment la contrôlabilité des CoT pourrait être intégrée comme mesure de sécurité.
Ce document conjoint marque un rare moment d'unité entre des géants technologiques en forte concurrence, soulignant leur préoccupation pour la sécurité. À mesure que les systèmes d'IA gagnent en puissance et en intégration dans la société, garantir leur sécurité n'a jamais été aussi important ni urgent.
https://techxplore.com/news/2025-07-tech-giants-window-ai-urge.html
https://tomekkorbak.com/cot-monitorability-is-a-fragile-opportunity/cot_monitoring.pdf