Site web de vérification utilisé dans une étude de Maggie Liao et S. Shyam Sundar. Les chercheurs ont constaté que les outils de vérification peuvent aider les utilisateurs à être plus sceptiques face aux informations générées par l’IA. Crédit : Jonathan F. McVerry / Penn State.
Alors que les chatbots, alimentés par l’intelligence artificielle (IA), gagnent en popularité et que leur communication devient de plus en plus naturelle, les utilisateurs se tournent vers eux comme sources d’information fiables sur des sujets aussi variés que les finances personnelles et la santé. Or, selon des chercheurs de l’Université de Penn State, cela pourrait poser problème. Une étude récente a en effet révélé que plus un chatbot est conversationnel, plus les utilisateurs sont susceptibles de lui faire confiance, même lorsqu’il diffuse de fausses informations. L’équipe suggère que des options de vérification pourraient contribuer à rétablir un certain esprit critique.
Dans leur étude, publiée dans le Journal of Computer-Mediated Communication , les chercheurs ont constaté que plus le chatbot était conversationnel ou convivial, plus les utilisateurs réduisaient leur « heuristique négative envers les machines », c’est-à-dire la tendance à croire que les machines manquent de sensibilité humaine en termes d’intuition et de prise de décision subjective. Et ce, même lorsque l’information était « ridiculement fausse », ont-ils précisé.
« La transmission conversationnelle d’informations par l’IA générative est extrêmement adaptée à votre question, ce qui lui confère un caractère très personnalisé », explique S. Shyam Sundar, co-auteur de l’étude, professeur titulaire de la chaire Evan Pugh et de la chaire James P. Jimirro d’effets médiatiques à Penn State. « C’est la première fois dans l’histoire de la technologie qu’une machine est capable de tenir une conversation qui n’a pas été prédite par un programmeur ni écrite à l’avance. »
Sundar et Maggie Liao, respectivement auteur principal et professeure adjointe à l’Université de Géorgie, ont mené plusieurs études sur l’utilisation et la confiance accordée aux chatbots par les internautes. Sachant que cette technologie peut parfois produire des informations inexactes, ils ont conçu cette étude afin de déterminer si un chatbot conversationnel incite davantage les utilisateurs à faire confiance à de fausses informations.
« Nous avons testé si la nature conversationnelle des chatbots GenAI incitait les utilisateurs à faire confiance aux informations erronées qu’ils diffusent », a déclaré Liao, qui a effectué son doctorat sous la direction de Sundar à Penn State. « Et si tel est le cas, la question suivante est tout naturellement : que pouvons-nous faire ? »
Les chercheurs ont mené une expérience en ligne auprès de 477 participants, à qui l’on avait indiqué qu’ils participaient au test d’un nouvel assistant de santé IA. Chaque participant devait soumettre une question, choisie parmi une série de questions types, au chatbot. Au cours de l’interaction, l’IA fournissait des informations erronées. Les participants devaient ensuite évaluer la crédibilité qu’ils accordaient au chatbot. L’étude faisait varier le niveau de conversation de l’IA, de faible à élevé.
« C’est la première fois dans l’histoire de la technologie qu’une machine peut tenir une conversation qui n’a pas été prévue par un programmeur ou qui n’a pas été pré-écrite. »
S. Shyam Sundar , professeur à l’université Evan Pugh
Une seconde partie de l’étude visait à déterminer si l’ajout d’une option de vérification à l’expérience du chatbot permettait de compenser la confiance excessive accordée aux informations produites par l’IA. Inspiré du processus classique de vérification des faits par un humain, le système offrait aux utilisateurs la possibilité de confirmer si les réponses de l’IA étaient étayées par des preuves.
Les chercheurs ont émis l’hypothèse que proposer une option de vérification pourrait contrer l’idée reçue selon laquelle l’IA est toujours plus objective et précise que les humains. Les quatre options de vérification possibles étaient les suivantes : un simple avertissement avec une petite icône indiquant que l’information pourrait être incorrecte ; une vérification obligatoire avec un bouton sur lequel les utilisateurs doivent cliquer pour continuer ; une vérification facultative avec un bouton sur lequel les utilisateurs peuvent cliquer s’ils le souhaitent ; et aucune option de vérification.
Les chercheurs ont constaté que les utilisateurs qui pouvaient vérifier les informations se montraient plus sceptiques quant aux réponses de l’IA. Toutefois, une simple vérification ne suffisait pas. La confiance dans le système d’IA diminuait uniquement chez les utilisateurs qui cliquaient activement sur les boutons de vérification, ont indiqué les chercheurs.
« L’option de vérification est un remède efficace contre la force de persuasion conversationnelle de l’IA générale », a déclaré Sundar. « C’est ce que nous affirmons dans le titre de notre étude : “Discutez, mais vérifiez”. Profitez de la conversation, bien sûr, mais ne vous laissez pas berner par tout ce que vous entendez. »
Les participants ayant reçu des réponses d’IA très conversationnelles étaient plus enclins à juger l’information crédible que ceux ayant interagi avec des versions moins conversationnelles. Ce constat restait valable même lorsque l’information était manifestement inexacte.
« Certaines des informations erronées que nous avons utilisées dans l’étude étaient ridicules », a déclaré Liao. « Par exemple, l’affirmation selon laquelle le gingembre serait plus efficace que la chimiothérapie pour traiter le cancer. Cela paraît absurde, mais si cette information est donnée par une IA très conversationnelle, les gens lui font davantage confiance. Je trouve cela inquiétant. »
D’après les chercheurs, les utilisateurs qui vérifient les informations sont moins enclins à accepter de fausses affirmations comme exactes. Près de la moitié des participants, lorsqu’ils en ont la possibilité, ont vérifié les informations qui leur ont été fournies. Sundar a indiqué que les résultats des deux volets de l’étude peuvent à la fois servir de signal d’alarme et proposer une solution aux développeurs d’IA.
« J’espère que les recherches démontrant que les outils de vérification contribuent à lutter contre la désinformation inciteront les plateformes d’IA à les prendre au sérieux et à développer davantage de contrôles de ce type sur les informations générées par l’IA », a-t-il déclaré.
