Zoubin Ghahramani, vice-président de la recherche chez Google.
– Le chatbot Bard de Google a été lancé en mars en réponse au chatbot ChatGPT d’OpenAI.
– Le chatbot a été testé en interne par les employés de Google, et maintenant les sous-traitants testent également un chatbot.
– Certains d’entre eux affirment qu’ils ne disposent pas de suffisamment de temps pour évaluer les réponses les plus précises du chatbot.
Google a chargé une partie de son importante main-d’œuvre contractuelle d’aider à évaluer la qualité des réponses produites par son chatbot alimenté par l’IA, et les sous-traitants disent qu’ils n’ont souvent pas assez de temps pour évaluer l’exactitude des réponses.
L’entreprise a lancé le chatbot Bard en version bêta limitée en mars, après le lancement du ChatGPT d’OpenAI, et le bot fonctionne de la même manière : Vous lui posez une question ou lui confiez une tâche, et il vous renvoie une réponse semblable à celle d’un humain.
Des sous-traitants de la société Appen contribuent désormais à l’amélioration du chatbot IA de Google. Ces travailleurs ne sont pas explicitement informés que les missions qui leur sont confiées concernent Bard, mais les discussions internes sur la nouvelle mission remontent au 7 février, à peu près au moment où Google a dévoilé Bard pour la première fois. Les documents internes examinés par Insider contiennent des instructions à l’intention des évaluateurs, selon lesquelles ils doivent examiner la qualité des réponses produites par un « chatbot d’IA » théorique.
En tant que « évaluateurs », ces sous-traitants évaluent généralement les algorithmes de recherche de Google et la pertinence des annonces placées dans les résultats de recherche, et signalent les sites web nuisibles afin qu’ils n’apparaissent pas dans les résultats de recherche.
Depuis janvier, une grande partie du travail des évaluateurs s’est déplacée vers l’examen des messages d’intelligence artificielle, selon quatre évaluateurs qui ont parlé à Insider sous couvert d’anonymat parce qu’ils ne sont pas autorisés à parler à la presse. Ces évaluateurs ont exprimé leur frustration quant au processus d’évaluation des messages-guides des chatbots, affirmant qu’ils ne disposaient pas de suffisamment de temps pour évaluer avec précision les réponses des chatbots aux messages-guides et qu’ils faisaient parfois les meilleures suppositions afin d’être toujours payés.
Bard a été critiqué après qu’il a été découvert que le chatbot avait donné une réponse incorrecte lors d’une annonce. Google a déclaré que le chatbot s’améliorerait avec le temps et qu’il ne devait pas être considéré comme un substitut à la recherche.
Avant le lancement, Google a également demandé en février à ses employés à temps plein de consacrer deux à quatre heures à tester le robot, en lui posant des questions et en signalant les réponses qui ne répondaient pas aux normes de l’entreprise en matière d’exactitude et d’autres mesures. Les employés pouvaient réécrire les réponses aux questions sur n’importe quel sujet, et Bard apprenait à partir de ces réponses.
Pas assez de temps
Un document d’instructions destiné aux évaluateurs et consulté par Insider indique qu’ils recevront un « message d’un utilisateur (par exemple, une question, une instruction, une déclaration) à un chatbot d’IA ainsi que deux réponses potentielles générées par une machine à ce message ». L’évaluateur détermine ensuite quelle est la meilleure réponse.
Il peut également expliquer dans une zone de texte pourquoi il a choisi une réponse plutôt qu’une autre, ce qui peut aider le robot à apprendre les attributs à rechercher dans les réponses acceptables. Les réponses doivent notamment être cohérentes, précises et fondées sur des informations actualisées.
Les entrepreneurs ont indiqué qu’ils disposaient d’un temps déterminé pour accomplir chaque tâche, comme l’examen d’une invite, et que le temps qui leur était alloué pour les tâches pouvait varier considérablement – de 60 secondes à plusieurs minutes. Les évaluateurs ont déclaré qu’il était difficile d’évaluer une réponse lorsqu’ils ne connaissaient pas bien le sujet abordé par le chatbot, par exemple des sujets techniques comme la blockchain.
Étant donné que chaque tâche assignée représente du temps facturable, certains travailleurs affirment qu’ils accompliront les tâches même s’ils se rendent compte qu’ils ne peuvent pas évaluer avec précision les réponses du chatbot.
« Certaines personnes vont dire qu’il s’agit toujours de 60 secondes de travail, et que je ne peux pas récupérer ce temps en étant assis ici et en me rendant compte que je n’en sais pas assez sur ce sujet, alors je vais juste donner ma meilleure estimation pour pouvoir garder ce salaire et continuer à travailler », a déclaré un évaluateur.
Un autre a exprimé un sentiment similaire, en disant qu’ils veulent obtenir les faits exacts et fournir la meilleure expérience de chatbot possible, mais qu’ils n’ont tout simplement pas assez de temps pour faire des recherches sur un sujet avant d’avoir à fournir une évaluation. « Beaucoup d’entre nous ont atteint leur point de rupture, honnêtement ».
« Trois heures de recherche pour accomplir une tâche de 60 secondes, c’est une excellente façon de formuler le problème auquel nous sommes confrontés en ce moment », a déclaré l’un des évaluateurs.
Les sous-traitants réclament de meilleures conditions de travail
Les sous-traitants qui travaillent pour Google par l’intermédiaire de sociétés d’externalisation sont de plus en plus nombreux à réclamer de meilleures conditions de travail.
En février, des évaluateurs se sont rendus au Googleplex pour remettre une pétition au directeur de la recherche, Prabhakar Raghavan, afin de réclamer de meilleurs salaires. Les évaluateurs de Google qui travaillent pour Appen gagnent entre 14 et 14,50 dollars de l’heure, bien qu’ils soutiennent une entreprise dont la majeure partie des revenus provient de la recherche et de la publicité.
Le syndicat des travailleurs d’Alphabet représente actuellement les ratiers en tant que « syndicat de solidarité », ce qui signifie que le groupe syndical les soutient et les aide à militer, mais qu’il ne représente pas officiellement les travailleurs et ne négocie pas de convention collective.
À Austin, au Texas, les sous-traitants de YouTube ont annoncé à la fin de l’année dernière leur intention de se syndiquer avec l’AWU (Alphabet Workers Union). Le groupe estime que Google emploie plus de 200 000 personnes en tant que sous-traitants qui ne figurent pas dans le décompte officiel des effectifs de l’entreprise.
https://www.businessinsider.com/google-search-contractors-testing-chatbot-ai-race-chatgpt-2023-3
