Les chatbots IA ne sont pas capables de résumer avec précision l'actualité, selon la BBC
infohightech ·
La BBC a donné à ChatGPT d'OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity AI du contenu du site Web de la BBC, puis leur a posé des questions sur l'actualité.
Elle a déclaré que les réponses obtenues contenaient des « inexactitudes importantes » et des distorsions.
Dans un blog , Deborah Turness, PDG de BBC News and Current Affairs, a déclaré que l'IA apportait « des opportunités infinies », mais que les entreprises qui développent ces outils « jouaient avec le feu ».
« Nous vivons une époque troublée, et combien de temps faudra-t-il avant qu'un titre déformé par l'IA ne cause des dommages significatifs dans le monde réel ? », a-t-elle demandé.
Un porte-parole d'OpenAI a déclaré : « Nous soutenons les éditeurs et les créateurs en aidant 300 millions d'utilisateurs hebdomadaires de ChatGPT à découvrir du contenu de qualité grâce à des résumés, des citations, des liens clairs et des attributions. »
Les autres entreprises technologiques propriétaires des chatbots ont été contactées pour commentaires.
'Se retirer'
Dans l’étude , la BBC a demandé à ChatGPT, Copilot, Gemini et Perplexity de résumer 100 articles d’actualité et d’évaluer chaque réponse.
Il a demandé à des journalistes, experts dans le domaine concerné, d'évaluer la qualité des réponses fournies par les assistants IA.
L'étude a révélé que 51 % de toutes les réponses de l'IA aux questions sur l'actualité étaient considérées comme présentant des problèmes importants d'une certaine forme.
De plus, 19 % des réponses de l’IA citant le contenu de la BBC introduisaient des erreurs factuelles, telles que des déclarations factuelles, des chiffres et des dates incorrects.
Dans son blog, Mme Turness a déclaré que la BBC cherchait à « ouvrir une nouvelle conversation avec les fournisseurs de technologie d'IA » afin que nous puissions « travailler ensemble en partenariat pour trouver des solutions ».
Elle a appelé les entreprises technologiques à « retirer » leurs résumés d'actualités basés sur l'IA, comme l'a fait Apple après les plaintes de la BBC selon lesquelles Apple Intelligence déformait les informations.
Voici quelques exemples d’inexactitudes trouvées par la BBC :
- Gemini a déclaré à tort que le NHS ne recommandait pas le vapotage comme aide pour arrêter de fumer
- ChatGPT et Copilot ont déclaré que Rishi Sunak et Nicola Sturgeon étaient toujours en poste même après leur départ
- Perplexity a mal cité BBC News dans un article sur le Moyen-Orient, affirmant que l'Iran avait initialement fait preuve de « retenue » et qualifié les actions d'Israël d'« agressives ».
En général, Copilot de Microsoft et Gemini de Google ont rencontré des problèmes plus importants que ChatGPT d'OpenAI et Perplexity, qui compte Jeff Bezos parmi ses investisseurs.
Normalement, la BBC bloque son contenu auprès des chatbots IA, mais elle a ouvert son site Web pendant toute la durée des tests en décembre 2024.
Le rapport indique qu'en plus de contenir des inexactitudes factuelles, les chatbots « avaient du mal à faire la différence entre l'opinion et les faits, étaient éditorialistes et omettaient souvent d'inclure le contexte essentiel ».
Pete Archer, directeur du programme d'IA générative de la BBC, a déclaré que les éditeurs « devraient avoir le contrôle sur l'utilisation de leur contenu et sur la manière dont il est utilisé, et que les entreprises d'IA devraient montrer comment les assistants traitent les informations ainsi que l'ampleur et la portée des erreurs et des inexactitudes qu'ils produisent ».
Un porte-parole d'OpenAI a déclaré à BBC News : « Nous avons collaboré avec des partenaires pour améliorer la précision des citations en ligne et respecter les préférences des éditeurs, notamment en permettant la manière dont ils apparaissent dans la recherche en gérant OAI-SearchBot dans leur robots.txt. Nous continuerons d'améliorer les résultats de recherche. »
Robots.txt est une instruction dans le code d'une page Web qui demande à un robot de ne pas utiliser cette page dans les résultats de recherche.