La majorité des humains trompés par le GPT-4 dans le test de Turing, selon les scientifiques

infohightech ·

C'est assez énorme.

Le GPT-4 d'OpenAI est si réaliste qu'il peut apparemment tromper plus de 50 % des sujets de test humains en leur faisant croire qu'ils parlent à une personne.

Dans une nouvelle étude , des chercheurs en sciences cognitives de l'Université de Californie à San Diego ont découvert que plus de la moitié du temps, les gens confondaient les écrits du GPT-4 avec ceux d'un être humain en chair et en os. En d'autres termes, le modèle de langage étendu (LLM) passe le test de Turing avec brio.

Les chercheurs ont réalisé une expérience simple : ils ont demandé à environ 500 personnes d'avoir des conversations textuelles de cinq minutes avec un humain ou un chatbot basé sur GPT-4. Ils ont ensuite demandé aux sujets s'ils pensaient avoir discuté avec une personne ou une IA.

Les résultats, comme l'ont rapporté les scientifiques de San Diego dans leur article non encore évalué par des pairs, étaient révélateurs : 54 % des sujets pensaient qu'ils parlaient à des humains alors qu'en réalité ils discutaient avec la création d'OpenAI.

Théorisé pour la première fois en 1950 par le pionnier de l'informatique Alan Turing, le test de Turing est davantage une expérience de pensée qu'une véritable batterie de tests. Dans son test original, Turing avait trois « acteurs » : un interrogateur humain, un témoin d'une humanité ou d'une machine indéterminée et un observateur humain.

Pour leur étude, les chercheurs de l'UC San Diego ont modifié la formule originale à trois joueurs de Turing en éliminant le troisième observateur humain pour simplifier la configuration. Ils ont ensuite demandé aux 500 participants de communiquer avec l'un des quatre types de témoins : un autre humain, GPT-3.5, GPT-4 ou le chatbot rudimentaire ELIZA des années 1960.

Tirage au sort

Jones et Bergen ont émis l'hypothèse que les sujets de l'étude seraient généralement capables de dire la plupart du temps s'ils communiquaient avec un humain ou avec ELIZA, mais que lorsqu'il s'agissait des LLM OpenAI, ils auraient essentiellement 50/50 de chances.

Il s'avère qu'ils avaient raison. Au-delà des 54 % qui ont pris GPT-4 pour un humain, exactement 50 % des sujets ont également confondu GPT-3.5, le prédécesseur direct du dernier LLM, avec une personne. Comparé aux 22 % qui pensaient qu'ELIZA était la vraie affaire, c'est assez étonnant.

https://twitter.com/emollick/status/1790877242525942156

Bien qu'il soit encore en cours d'examen, le document a déjà fait des vagues dans le monde de la technologie avec un message du cofondateur d'Ethereum, Vitalik Buterin , qui a déclaré sur le réseau social Farcaster que, selon lui, la recherche de San Diego « compte comme si [GPT-4] réussissait le test de Turing ».

Alors que d'autres ont affirmé avoir observé les modèles GPT d'OpenAI réussir le test de Turing , l'approbation de Buterin rend cette étude unique - même si nous devrons probablement attendre que l'article soit examiné par des pairs avant de pouvoir faire des déclarations plus ambitieuses.

https://futurism.com/the-byte/gpt-4-passed-turing-test

Cet article vous a été utile ? Partagez-le.