ChatGPT semble improviser lorsqu'il est confronté à un puzzle mathématique grec ancien
infohightech ·
Le chatbot d'intelligence artificielle, ChatGPT, semblait improviser des idées et faire des erreurs comme un étudiant dans une étude qui a relancé un défi mathématique vieux de 2 400 ans.
L'expérience, menée par deux chercheurs en éducation , demandait au chatbot de résoudre une version du problème du « doublement du carré » – une leçon décrite par Platon vers 385 avant J.-C. et, selon l'article, « peut-être la plus ancienne expérience documentée en enseignement des mathématiques ». Cette énigme a suscité des siècles de débats sur la question de savoir si la connaissance est latente en nous, attendant d'être « récupérée », ou quelque chose que nous « générons » par l'expérience et les rencontres vécues.
La nouvelle étude a exploré une question similaire concernant les « connaissances » mathématiques de ChatGPT, telles qu'elles peuvent être perçues par ses utilisateurs. Les chercheurs voulaient savoir si ChatGPT résoudrait le problème de Platon en utilisant les connaissances qu'il « détenait » déjà ou en développant ses propres solutions de manière adaptative.
Platon décrit Socrate enseignant à un garçon sans instruction comment doubler l'aire d'un carré. Au début, le garçon suggère par erreur de doubler la longueur de chaque côté, mais Socrate finit par lui faire comprendre que les côtés du nouveau carré doivent avoir la même longueur que la diagonale du carré initial.
Les chercheurs ont soumis ce problème à ChatGPT-4, en imitant d'abord les questions de Socrate, puis en introduisant délibérément des erreurs, des requêtes et de nouvelles variantes du problème.
Comme d'autres grands modèles de langage (LLM), ChatGPT est entraîné sur de vastes collections de textes et génère des réponses en prédisant les séquences de mots apprises pendant son apprentissage. Les chercheurs s'attendaient à ce qu'il relève leur défi mathématique sur la Grèce antique en régurgitant sa « connaissance » préexistante de la célèbre solution de Socrate. Au lieu de cela, il a semblé improviser et, à un moment donné, a même commis une erreur typiquement humaine.
L'étude a été menée par le Dr Nadav Marco, chercheur invité à l'Université de Cambridge, et Andreas Stylianides, professeur de didactique des mathématiques à Cambridge. Marco est basé en permanence à l'Université hébraïque et au David Yellin College of Education, à Jérusalem.
Bien qu'ils soient prudents quant aux résultats, soulignant que les LLM ne pensent pas comme les humains ou ne « résolvent pas les problèmes », Marco a caractérisé le comportement de ChatGPT comme « semblable à celui d'un apprenant ».
« Face à un nouveau problème, notre réflexe est souvent d'essayer de nouvelles choses en nous basant sur notre expérience passée », explique Marco. « Dans notre expérience, ChatGPT semblait faire quelque chose de similaire. À la manière d'un apprenant ou d'un chercheur, il semblait formuler ses propres hypothèses et solutions. »
ChatGPT étant entraîné sur du texte et non sur des diagrammes, il a tendance à être moins performant dans le raisonnement géométrique utilisé par Socrate pour résoudre le problème du doublement du carré. Malgré cela, le texte de Platon est si connu que les chercheurs s'attendaient à ce que le chatbot reconnaisse leurs questions et reproduise la solution de Socrate.
Curieusement, il n'y est pas parvenu. Invité à doubler le carré, ChatGPT a opté pour une approche algébrique inconnue à l'époque de Platon.
Il a ensuite résisté aux tentatives de lui faire commettre l'erreur du garçon et s'est obstinément accroché à l'algèbre, même lorsque les chercheurs se sont plaints que sa réponse était approximative. Ce n'est que lorsque Marco et Stylianides lui ont fait part de leur déception quant à l'impossibilité, malgré tout son entraînement, de fournir une réponse « élégante et exacte », que ChatGPT a produit l'alternative géométrique.
Malgré cela, ChatGPT a démontré une parfaite connaissance de l'œuvre de Platon lorsqu'on l'a interrogé à ce sujet. « S'il s'était contenté de se souvenir, il aurait presque certainement fait référence d'emblée à la solution classique consistant à construire un nouveau carré sur la diagonale du carré d'origine », a déclaré Stylianides. « Au lieu de cela, il semble avoir adopté sa propre approche. »
Les chercheurs ont également proposé une variante du problème de Platon, demandant à ChatGPT de doubler l'aire d'un rectangle tout en conservant ses proportions. Bien que conscient de leur préférence pour la géométrie, ChatGPT s'est obstinément cantonné à l'algèbre. Pressé de questions, il a alors prétendu à tort que, la diagonale d'un rectangle ne pouvant être utilisée pour doubler sa taille, aucune solution géométrique n'était disponible.
L'argument concernant la diagonale est vrai, mais une solution géométrique différente existe. Marco a suggéré que la probabilité que cette fausse affirmation provienne de la base de connaissances du chatbot était « infime ». Au lieu de cela, ChatGPT semblait improviser ses réponses en fonction de leur précédente discussion sur le carré.
Finalement, Marco et Stylianides lui demandèrent de doubler la taille d'un triangle. Le Chat retourna à l'algèbre, mais, après de nouvelles incitations, il trouva une réponse géométrique correcte.
Les chercheurs soulignent l'importance de ne pas surinterpréter ces résultats, car ils n'ont pas pu observer scientifiquement le codage de ChatGPT. Cependant, de leur point de vue d'utilisateur, ce qui a émergé à ce niveau superficiel était un mélange de récupération de données et de raisonnement à la volée.
Ils comparent ce comportement au concept éducatif de « zone proximale de développement » (ZPD) – l'écart entre ce qu'un apprenant sait déjà et ce qu'il pourrait éventuellement apprendre avec du soutien et des conseils. L'IA générative possède peut-être, selon eux, une métaphore de la « ZPD de Chat » : dans certains cas, elle ne sera pas capable de résoudre les problèmes immédiatement, mais pourrait le faire avec des incitations.
Les auteurs suggèrent que travailler avec ChatGPT dans sa ZPD peut aider à transformer ses limites en opportunités d'apprentissage. En motivant, en questionnant et en testant ses réponses, les élèves pourront non seulement explorer les limites de ChatGPT, mais aussi développer les compétences essentielles d'évaluation des preuves et de raisonnement, qui sont au cœur de la pensée mathématique.
« Contrairement aux preuves trouvées dans des manuels réputés, les élèves ne peuvent pas présumer de la validité des preuves de ChatGPT. Comprendre et évaluer les preuves générées par l'IA s'imposent comme des compétences clés qui doivent être intégrées au programme de mathématiques », a déclaré Stylianides.
« Ce sont des compétences essentielles que nous voulons que les élèves maîtrisent, mais cela signifie utiliser des invites telles que « Je veux que nous explorions ce problème ensemble », et non « Dites-moi la réponse » », a ajouté Marco.
https://phys.org/news/2025-09-chatgpt-ancient-greek-math-puzzle.html