Les experts en IA se disputent après qu’un fil Twitter viral ait affirmé que DALL-E crée son propre langage caché pour catégoriser les images.
Image générée par LanAI de deux fermiers en train de parler avec une bulle contenant des mots en charabia. A droite : Une recherche de mots charabia générant des images de légumes.
Malgré toutes les avancées réalisées dans le domaine de l’apprentissage automatique au cours de la dernière décennie, les chercheurs ignorent encore souvent comment les systèmes automatisés parviennent à leurs conclusions. Les systèmes complexes de traitement du langage naturel tels que GPT-3 sont souvent si étranges que les experts ont du mal à comprendre pourquoi l’IA est capable de produire des résultats d’une précision aussi obsédante.
Exemple concret : une discussion virale sur Twitter selon laquelle DALL-E, le populaire système de génération de texte à partir d’images créé par OpenAI, crée son propre langage de mots incompréhensibles et les associe à des catégories d’images comme les oiseaux et les insectes.
Dans ce fil de discussion, Giannis Daras, un étudiant en doctorat d’informatique à l’Université du Texas à Austin, a montré plusieurs exemples de texte en charabia généré lorsque l’on demande à DALL-E de générer des images contenant des mots imprimés. Il affirme ensuite que ces mots absurdes apparemment aléatoires conservent leurs associations avec certaines images lorsqu’ils sont interrogés séparément dans le système. Par exemple, les mots absurdes produits lorsqu’on demande au système de générer « deux agriculteurs parlant de légumes, avec sous-titres » peuvent ensuite être utilisés pour générer des images de légumes.
Gianni Daras poursuit en affirmant que d’autres phrases absurdes peuvent être utilisées de la même manière pour générer systématiquement des oiseaux, des insectes et d’autres types d’images.
« Des invites telles que : ‘Une image du mot avion’ conduisent souvent à des images générées qui dépeignent un texte charabia. Nous avons découvert que ce texte produit n’est pas aléatoire, mais qu’il révèle plutôt un vocabulaire caché que le modèle semble avoir développé en interne », affirment Giannis Daras et Alexandros G. Dimakis dans un article de recherche, qui n’a pas encore été examiné par des pairs. « Par exemple, lorsqu’il est alimenté avec ce texte charabia, le modèle produit fréquemment des avions. »
Bien que fascinantes, les incroyables affirmations de Gianni Daras ont rapidement été contestées par d’autres chercheurs, qui ont réfuté l’idée que DALL-E a développé un langage secret pour classer différents types d’images. Si cela semble vrai dans certains cas – la phrase « Apoploe vesrreaitais » génère toujours des images d’oiseaux, par exemple -, ce n’est pas assez cohérent pour que les phrases se retrouvent dans différentes variations de messages. Par exemple, comme le souligne le chercheur Benjamin Hilton, l’ajout de l’expression « rendu 3D » à une invite associée à des insectes produira des images de créatures sous-marines et de rochers.
« Ma meilleure hypothèse ? C’est le hasard. Ou juste peut-être (si vous me pressez vraiment) « Apoploe vesrreaitais » ressemble à un nom binomial pour certains oiseaux ou insectes », a écrit Hilton, dans un fil de discussion répondant aux affirmations de Gianni Daras. « Pour moi, tout cela commence à ressembler beaucoup plus à un bruit stochastique et aléatoire qu’à un langage secret à la DALL-E ».
L’article de Gianni Daras n’ayant pas encore fait l’objet d’un examen par les pairs, il reste à voir dans quelle mesure ces conclusions sont exactes. Mais ce n’est pas non plus la première fois que des systèmes d’IA déconcertent les humains. Par exemple, un réseau neuronal formé par Google pour transformer des images satellites en plans de ville s’est avéré « tricher » en cachant des données dans les images générées, ce qui lui permettait d’approcher les caractéristiques aériennes au lieu d’apprendre à les reconnaître et à les produire.
Cela est dû à la nature massive des modèles de langage d’apprentissage automatique, qui contiennent souvent des dizaines de milliards de paramètres, et aux ensembles de données tout aussi massifs utilisés pour les former. Les chercheurs en éthique de l’IA ont averti que l’échelle de ces grands modèles rend extrêmement difficile la responsabilisation de leurs concepteurs, puisqu’il est souvent impossible de retracer les facteurs qui ont amené le système à prendre des décisions biaisées et nuisibles.
Un consultant en IA et en sécurité qui travaille avec des systèmes d’apprentissage profond a déclaré à Motherboard que ces problèmes reviennent fréquemment et déconcertent souvent les chercheurs qui ont construit les systèmes eux-mêmes.
« Je ne plaisante pas quand je dis – je me sens moins comme un « codeur » et plus comme un putain de microbiologiste et un psychologue du comportement cognitif quand je m’occupe de la formation de l’IA », a déclaré le consultant, qui a demandé à rester anonyme en raison de la nature de leur travail. « Les réseaux neuronaux ne sont pas des ‘codes’, ils se comportent plus comme des boîtes de Petri. Vous les regardez aller et vous espérez pouvoir comprendre ce qui se passe au fur et à mesure que vous les alimentez. »
