La façon dont nous parlons aux chatbots affecte leur précision, révèle une nouvelle étude
Crédit : image générée par l’IA
Que nous recherchions une assistance client, des recommandations ou que nous posions simplement une question rapide, les chatbots IA sont conçus pour nous apporter les réponses que nous cherchons. Mais il y a bien plus en profondeur. Chaque fois que nous discutons avec eux, ils apprennent de nous pour améliorer leur compréhension et leurs réponses. Et le type de langage que nous utilisons, qu’il soit formel ou informel, influence directement la qualité de leurs réponses, selon une nouvelle étude.
En général, les gens adaptent naturellement leur style de conversation à leur interlocuteur. Ainsi, dans une banque, par exemple, lorsqu’on s’adresse à un conseiller en prêts, on utilise un langage plus formel et des phrases complètes. Mais dans un cadre décontracté comme un bar entre amis, on privilégie les abréviations et un vocabulaire plus informel. Fulei Zhang et Zhou Yu, d’Amazon, ont voulu voir si ce même changement de style de conversation se produit lorsque les gens parlent à des chatbots plutôt qu’à d’autres humains, et si oui, comment cela affecte les performances d’un chatbot.
Les chercheurs ont comparé des milliers de messages envoyés à des agents humains avec ceux envoyés à des chatbots IA, en se concentrant sur des caractéristiques comme la grammaire, le vocabulaire et la politesse. Ils ont constaté que les personnes étaient 14,5 % plus polies et formelles et 5,3 % plus fluides grammaticalement lorsqu’elles discutaient avec des humains que lorsqu’elles discutaient avec une IA, selon une analyse du modèle Claude 3.5 Sonnet.
Ils ont ensuite entraîné un modèle d’IA appelé Mistral 7B sur environ 13 000 conversations réelles, puis ont testé sa compréhension de plus de 1 300 messages envoyés aux chatbots. Pour élargir l’exposition de l’IA, ils ont également créé des réécritures directes et polies de ces messages afin de simuler différents styles de communication.
Il s’avère que les chatbots entraînés à utiliser divers styles de messages, incluant des messages réels et fictifs, comprenaient 2,9 % mieux l’intention de l’utilisateur que les IA entraînées uniquement à utiliser des conversations humaines originales. Les chercheurs ont également tenté d’améliorer la compréhension de Mistral AI en réécrivant des messages informels à la dernière minute pour les rendre plus formels, mais cela a entraîné une baisse de compréhension de près de 2 %.
Ainsi, la meilleure façon de rendre les chatbots plus intelligents est de les entraîner à différents styles de communication, comme l’indiquent les chercheurs dans leur article publié sur le serveur de prépublications arXiv . « L’exposition à diverses variations linguistiques pendant l’entraînement est plus efficace que la normalisation pendant l’inférence. Les modèles doivent apprendre à interpréter divers styles de communication pendant l’entraînement, plutôt que de s’appuyer sur des transformations post-hoc fragiles qui risquent de provoquer des distorsions sémantiques. »
Des résultats comme ceux-ci pourraient être essentiels pour améliorer la qualité des réponses des chatbots dans des contextes réels.
https://techxplore.com/news/2025-10-chatbots-affects-accuracy-reveals.html