Des chercheurs ont doté une fausse entreprise entièrement d’agents IA, et vous ne devinerez jamais ce qui s’est passé
Si vous craigniez que l’IA, désormais unique, ne s’empare de tous les emplois et ne vous laisse sur le carreau, vous pouvez désormais souffler un peu : l’IA n’est pas près de s’attaquer à votre carrière. Non pas qu’elle ne le veuille pas, mais parce qu’elle ne le peut littéralement pas.
Une expérience récente menée par des chercheurs de l’Université Carnegie Mellon a employé une fausse société de logiciels entièrement composée d’agents IA – un modèle d’IA conçu pour effectuer des tâches de manière autonome, en gros – et les résultats ont été ridiculement chaotiques.
La simulation, baptisée TheAgentCompany , était composée de travailleurs artificiels issus de Google, OpenAI, Anthropic et Meta. Ils occupaient des postes d’analystes financiers, d’ingénieurs logiciels et de chefs de projet, aux côtés de collègues simulés, comme un faux service RH et un directeur technique.
Pour observer les performances des modèles en conditions réelles, les chercheurs ont défini des tâches inspirées du travail quotidien d’une véritable entreprise de logiciels. Les différents agents d’IA ont dû parcourir des répertoires de fichiers, visiter virtuellement de nouveaux bureaux et rédiger des évaluations de performance pour les ingénieurs logiciels à partir des retours recueillis.
Comme Business Insider l’a d’abord rapporté , les résultats ont été décevants. Le modèle le plus performant était Claude 3.5 Sonnet d’Anthropic, qui peinait à terminer seulement 24 % des tâches qui lui étaient assignées. Les auteurs de l’étude soulignent que même cette performance modeste est prohibitive, avec une moyenne de près de 30 étapes et un coût de plus de 6 dollars par tâche.
Gemini 2.0 Flash de Google, quant à lui, réalisait en moyenne 40 étapes chronophages par tâche terminée, mais n’affichait qu’un taux de réussite de 11,4 %, soit le deuxième plus élevé de tous les modèles. Le pire outil d’IA était Nova Pro v1 d’Amazon, qui n’a terminé que 1,7 % de ses tâches, soit une moyenne de près de 20 étapes.
En spéculant sur les résultats, les chercheurs ont écrit que les agents souffrent d’un manque de bon sens, de faibles compétences sociales et d’une mauvaise compréhension de la façon de naviguer sur Internet.
Les robots ont également lutté contre l’auto-illusion, créant des raccourcis qui les ont conduits à complètement rater leur tâche. « Par exemple », a écrit l’équipe de Carnegie Mellon , « lors de l’exécution d’une tâche, l’agent ne trouve pas la bonne personne à qui poser des questions sur [le chat de l’entreprise]. Par conséquent, il décide de créer une solution rapide en renommant un autre utilisateur avec le nom de l’utilisateur prévu. »
Bien que les agents d’IA soient réputés pour effectuer certaines tâches simples, les résultats de cette étude et d’autres montrent qu’ils ne sont clairement pas prêts à accomplir des tâches plus complexes, où les humains excellent. L’une des principales raisons à cela est que notre « intelligence artificielle » actuelle n’est sans doute encore qu’une extension élaborée de la saisie prédictive de votre téléphone , plutôt qu’une intelligence consciente capable de résoudre des problèmes, d’apprendre de ses expériences passées et de les appliquer à des situations inédites.
Tout cela pour dire que les machines ne viendront pas vous occuper de votre travail de sitôt, malgré ce que prétendent les grandes entreprises technologiques .