Le « premier ingénieur logiciel en IA » gâche la grande majorité des tâches qu’on lui demande d’effectuer

Des chercheurs ont découvert que Devin, de la société de technologie d'IA Cognition, qui prétend être le « premier ingénieur logiciel d'IA », est étonnamment mauvais dans son travail.

Dans une analyse récente , repérée pour la première fois par The Register , une équipe de scientifiques spécialisés dans l'apprentissage automatique derrière le laboratoire indépendant de recherche et développement en IA Answer.AI a passé un mois avec l'assistant IA, concluant que malgré près d'un an de battage médiatique, il « fonctionnait rarement ».

« Sur les 20 tâches que nous avons tentées, nous avons constaté 14 échecs, trois résultats non concluants et seulement trois succès », ont constaté les chercheurs, soit un taux de réussite maigre de seulement 15 %.

Super, on a tous eu des collègues comme ça. Mais pour une technologie qui est censée représenter le futur, ça n'inspire pas confiance.

« Le plus inquiétant était notre incapacité à prédire quelles tâches réussiraient », a écrit l’équipe. « Même des tâches similaires à nos premières victoires échouaient de manière complexe et chronophage. La nature autonome qui semblait prometteuse est devenue un handicap : Devin passait des jours à rechercher des solutions impossibles plutôt qu’à reconnaître les obstacles fondamentaux. »

Par exemple, on a demandé à Devin de déployer plusieurs applications sur une plateforme de déploiement baptisée Railway, mais au lieu de se rendre compte qu'il n'était « pas réellement possible de le faire », Devin « a avancé et a essayé de le faire et a eu des hallucinations sur la façon d'interagir avec Railway ».

Les résultats soulignent que malgré le marketing tapageur de Cognition AI sur la capacité de Devin à « créer et déployer des applications de bout en bout » lorsque l'outil a été introduit pour la première fois en mars 2024, la technologie est toujours aux prises avec certains problèmes fondamentaux.

C'est un sujet d'actualité, le PDG de Meta, Mark Zuckerberg, ayant récemment annoncé son intention de remplacer les « ingénieurs de niveau intermédiaire » par l'IA dès cette année. Selon une récente chronique du cofondateur d'Axios, Mike Allen, et du PDG Jim VandeHei, OpenAI devrait également « annoncer une avancée de niveau supérieur qui permettrait à des super-agents de niveau doctorat d'effectuer des tâches humaines complexes ».

Mais la question de savoir si la technologie sera réellement à la hauteur du battage médiatique et sera prête à remplacer les travailleurs humains dans un délai aussi court – ou même à le faire – reste ouverte.

Devin est un amalgame de plusieurs modèles d'IA qui fonctionne via la plateforme de messagerie Slack et a accès à un environnement informatique complet, y compris un navigateur Web, un éditeur de code et un terminal.

Devin n'était disponible que pour un groupe restreint d'utilisateurs lors de sa première annonce, mais a connu une diffusion beaucoup plus large le mois dernier , à partir de 500 $ par mois pour les « équipes d'ingénieurs ».

Comme le souligne l'équipe d'Answer.AI, les premières démonstrations de l'assistant IA étaient impressionnantes. Dans une vidéo de mars , Cognition affirmait que Devin pouvait être utilisé pour « gagner de l'argent en effectuant des tâches fastidieuses » sur la plateforme de freelance Upwork.

Il n'a pas fallu longtemps aux chercheurs pour crier au scandale, un certain nombre de développeurs de logiciels analysant la vidéo de Cognition et accusant l'entreprise de « mentir » sur ses affirmations.

« Tout cela donne l'impression que Devin a accompli beaucoup de travail », a déclaré l'ingénieur logiciel Carl Brown de la chaîne YouTube Internet of Bugs dans une vidéo d'avril . « Cela donne l'impression que Devin a accompli beaucoup de choses. »

« C'est donc honnêtement, en ce qui me concerne, plutôt impressionnant », a-t-il ajouté. « Mais dans le contexte de ce qu'aurait dû être un travail sur Upwork, et surtout dans le contexte d'un groupe de personnes qui disent que Devin « prend des emplois sur Upwork et les fait », et surtout dans le contexte de l'entreprise qui dit que cette vidéo nous permettra de voir Devin se faire payer pour son travail, ce qui n'est, encore une fois, qu'un mensonge. »

Answer.AI et Brown ont tous deux constaté que Devin prenait également beaucoup plus de temps que n'importe quel codeur humain pour accomplir ses tâches.

« Des tâches qui semblaient simples prenaient souvent des jours plutôt que des heures », ont écrit les chercheurs d'Answer.AI, « et Devin se retrouvait coincé dans des impasses techniques ou produisait des solutions trop complexes et inutilisables. »

En bref, Devin de Congition met en évidence l’écart souvent important entre les déclarations des entreprises d’IA et la réalité, qui tourmente l’industrie depuis des années maintenant.

Il reste donc à voir si un assistant IA sera un jour capable de remplacer avec compétence un ingénieur logiciel – sans causer de problèmes majeurs à ses collègues humains, du moins.

https://futurism.com/first-ai-software-engineer-devin-bungling-tasks