L'IA formée sur les déchets de l'IA produit des déchets de l'IA. C’est comme la cuisine !
infohightech ·
Les modèles d'IA fonctionnent en s'entraînant sur de grandes quantités de données provenant de l'internet. Mais comme l'IA est de plus en plus utilisée pour produire des pages web remplies de contenu indésirable, ce processus risque d'être mis à mal.
De nouvelles recherches publiées dans Nature montrent que la qualité des résultats du modèle se dégrade progressivement lorsque l'IA s'entraîne sur des données générées par l'IA. Au fur et à mesure que les modèles suivants produisent des résultats qui sont ensuite utilisés comme données d'entraînement pour les modèles suivants, l'effet s'aggrave.
Ilia Shumailov, informaticien de l'Université d'Oxford, qui a dirigé l'étude, compare ce processus à la prise de photos de photos. "Si vous prenez une photo, que vous la scannez, que vous l'imprimez et que vous répétez ce processus au fil du temps, le bruit submerge tout le processus", explique-t-il. "Vous vous retrouvez avec un carré sombre. L'équivalent du carré noir pour l'IA est appelé "effondrement du modèle", dit-il, ce qui signifie que le modèle produit simplement des déchets incohérents."
Cette recherche pourrait avoir de sérieuses implications pour les plus grands modèles d'IA actuels, car ils utilisent l'internet comme base de données. Le modèle GPT-3, par exemple, a été formé en partie à partir de données provenant de Common Crawl, un référentiel en ligne de plus de 3 milliards de pages web. Et le problème risque de s'aggraver à mesure qu'un nombre croissant de sites Web indésirables générés par l'IA commencent à encombrer l'internet.
Les grands modèles de langage sont truffés de failles de sécurité, et pourtant ils sont intégrés à grande échelle dans les produits technologiques.
Selon Ilia Shumailov, les modèles d'IA actuels ne vont pas simplement s'effondrer, mais il pourrait y avoir des effets substantiels : Les améliorations ralentiront et les performances pourraient en pâtir.
Pour déterminer l'effet potentiel sur les performances, Ilia Shumailov et ses collègues ont affiné un grand modèle de langage (LLM) sur un ensemble de données provenant de Wikipédia, puis ont affiné le nouveau modèle sur sa propre production sur neuf générations. L'équipe a mesuré le degré d'absurdité des résultats à l'aide d'un "score de perplexité", qui mesure la confiance d'un modèle d'IA dans sa capacité à prédire la partie suivante d'une séquence ; un score plus élevé signifie que le modèle est moins précis.
Les modèles formés sur les résultats d'autres modèles avaient des scores de perplexité plus élevés. Par exemple, pour chaque génération, l'équipe a demandé au modèle la phrase suivante après l'entrée suivante :
"Selon Poyntz Wright, les travaux de construction - dont certains ont commencé avant 1360 - étaient généralement réalisés par un maître maçon et une petite équipe de maçons itinérants, complétés par des ouvriers locaux de la paroisse. Mais d'autres auteurs rejettent ce modèle, suggérant plutôt que les principaux architectes ont conçu les tours des églises paroissiales en s'inspirant des premiers exemples de Perpendicularité".
À la neuvième et dernière génération, le modèle a donné le résultat suivant :
"architecture. En plus d'abriter certaines des plus grandes populations au monde de lièvres noirs @-@, de lièvres blancs @-@, de lièvres bleus @-@, de lièvres rouges @-@, de lièvres jaunes @-".
Ilia Shumailov explique ce qu'il pense qu'il se passe en utilisant cette analogie : Imaginez que vous essayez de trouver le nom le moins probable d'un élève de l'école. Vous pourriez passer en revue tous les noms d'élèves, mais cela prendrait trop de temps. Au lieu de cela, vous examinez 100 des 1 000 noms d'élèves. Vous obtenez une assez bonne estimation, mais ce n'est probablement pas la bonne réponse. Imaginez maintenant qu'une autre personne vienne faire une estimation sur la base de vos 100 noms, mais qu'elle n'en sélectionne que 50. L'estimation de cette deuxième personne sera encore plus erronée.
Plus de 140 marques font de la publicité sur des sites de ferme de contenu de mauvaise qualité, et le problème s'aggrave rapidement.
"On peut certainement imaginer qu'il en va de même pour les modèles d'apprentissage automatique", ajoute-t-il. "Si le premier modèle a vu la moitié de l'internet, le second ne demandera peut-être pas la moitié de l'internet, mais récupérera les 100 000 derniers tweets et adaptera le modèle à partir de là."
En outre, l'internet ne contient pas une quantité illimitée de données. Pour nourrir leur appétit, les futurs modèles d'IA devront peut-être s'entraîner sur des données synthétiques, c'est-à-dire des données produites par l'IA.
"Les modèles de fondation dépendent vraiment de l'échelle des données pour être performants", explique Shayne Longpre, qui étudie la formation des LLM au MIT Media Lab et qui n'a pas participé à cette recherche. "Ils se tournent donc vers des données synthétiques dans des environnements contrôlés et curatés pour résoudre ce problème. En effet, s'ils continuent à explorer de plus en plus de données sur le web, les résultats seront de moins en moins probants".
Matthias Gerstgrasser, chercheur en IA à Stanford et auteur d'un autre article sur l'effondrement des modèles, estime que l'ajout de données synthétiques aux données réelles au lieu de les remplacer ne pose pas de problème majeur. Mais il ajoute : "L'une des conclusions sur lesquelles s'accordent tous les ouvrages consacrés à l'effondrement des modèles est qu'il est important de disposer de données d'entraînement diversifiées et de grande qualité."
Un autre effet de cette dégradation au fil du temps est que les informations concernant les groupes minoritaires sont fortement déformées dans le modèle, qui a tendance à se focaliser sur les échantillons les plus répandus dans les données d'apprentissage.
Selon Robert Mahari, qui étudie le droit informatique au MIT Media Lab (il n'a pas participé à la recherche), les modèles actuels peuvent affecter les langues sous-représentées car elles nécessitent davantage d'ensembles de données synthétiques (générées par l'IA).
Une idée qui pourrait aider à éviter la dégradation est de s'assurer que le modèle donne plus de poids aux données originales générées par l'homme. Une autre partie de l'étude de Ilia Shumailov a permis aux générations futures d'échantillonner 10 % de l'ensemble de données d'origine, ce qui a atténué certains des effets négatifs.
Pour ce faire, il faudrait établir une piste entre les données originales générées par l'homme et les générations suivantes, ce que l'on appelle la provenance des données.
Mais la provenance nécessite un moyen de filtrer l'internet entre le contenu généré par l'homme et celui généré par l'IA, ce qui n'a pas encore été fait. Bien qu'il existe aujourd'hui un certain nombre d'outils visant à déterminer si un texte est généré par l'IA, ils sont souvent inexacts.
"Malheureusement, nous avons plus de questions que de réponses", déclare Ilia Shumailov. "Mais il est clair qu'il est important de savoir d'où viennent vos données et dans quelle mesure vous pouvez leur faire confiance pour capturer un échantillon représentatif des données que vous traitez."