L’IA Alpaca de Stanford a des performances similaires à celles de ChatGPT, mais elle est moins sûre et vous pouvez en construire une vous-même pour moins de 100 dollars.
L’IA Alpaca de Stanford a des performances similaires à celles de l’étonnante ChatGPT pour de nombreuses tâches, mais elle est construite sur un modèle de langage libre et sa formation a coûté moins de 600 dollars. Il semble que ces IA dignes d’un dieu soient déjà effroyablement bon marché et faciles à reproduire.
Il y a six mois, seuls les chercheurs et les spécialistes suivaient le développement des grands modèles de langage. Mais le lancement de ChatGPT à la fin de l’année dernière a envoyé une fusée dans le dos de l’humanité : les machines sont désormais capables de communiquer d’une manière pratiquement indiscernable des humains. Elles sont capables d’écrire du texte et même du code de programmation dans un éventail vertigineux de domaines en quelques secondes, souvent à un niveau très élevé.
Ils s’améliorent à une vitesse fulgurante, comme l’illustre le lancement du GPT-4, et ils sont susceptibles de transformer fondamentalement la société humaine comme peu d’autres technologies pourraient le faire, en automatisant potentiellement toute une série de tâches professionnelles – en particulier chez les cols blancs – que l’on aurait pu considérer auparavant comme impossibles.
De nombreuses autres entreprises – notamment Google, Apple, Meta, Baidu et Amazon, entre autres – ne sont pas très loin derrière, et leurs IA vont bientôt inonder le marché, associées à toutes les applications et à tous les appareils possibles. Les modèles linguistiques sont déjà présents dans votre moteur de recherche si vous êtes un utilisateur de Bing, et ils le seront bientôt dans les autres. Ils seront dans votre voiture, votre téléphone, votre téléviseur et attendront à l’autre bout de la ligne chaque fois que vous tenterez de téléphoner à une entreprise. D’ici peu, vous les verrez dans les robots.
Un petit point de réconfort est qu’OpenAI, et le reste de ces grandes entreprises, sont conscients du potentiel insensé de ces machines pour le spam, la désinformation, la création de logiciels malveillants, le harcèlement ciblé et toutes sortes d’autres cas d’utilisation dont la plupart des gens conviendront qu’ils rendraient le monde pire. Ils passent des mois et des mois à travailler pour réduire ces capacités manuellement avant le lancement. Sam Altman, PDG d’OpenAI, est l’un de ceux qui s’inquiètent du fait que les gouvernements n’agissent pas assez rapidement pour mettre en place des barrières autour des IA au nom du bien public.
Mais qu’en est-il d’un modèle de langage que vous pouvez construire vous-même pour 600 dollars ? C’est ce qu’a fait une équipe de chercheurs de Stanford, et ses performances impressionnantes montrent à quel point ce secteur tout entier, et ses formidables capacités, pourraient rapidement échapper à tout contrôle.
Une équipe de chercheurs de Stanford a commencé par utiliser le modèle de langage LLaMA 7B de Meta, le plus petit et le moins cher des modèles LLaMA disponibles. Pré-entraîné sur un trillion de « tokens », ce petit modèle de langage avait une certaine capacité intégrée – mais il serait significativement en retard sur ChatGPT dans la plupart des tâches ; le principal coût, et en fait le principal avantage concurrentiel, des modèles GPT provient en grande partie de l’énorme quantité de temps et de main d’œuvre qu’OpenAI a mis dans le post-entraînement. C’est une chose d’avoir lu un milliard de livres, mais c’en est une autre d’avoir mâché de grandes quantités de paires de conversations questions-réponses qui enseignent à ces IA ce que sera leur travail réel.
Une fois le modèle LLaMA 7B opérationnel, l’équipe de Stanford a demandé à GPT de prendre 175 paires d’instructions/de sorties écrites par des humains et de commencer à en générer d’autres dans le même style et le même format, 20 à la fois. Cette opération a été automatisée grâce à l’une des API de l’OpenAI, et en peu de temps, l’équipe disposait de 52 000 exemples de conversations à utiliser pour le post-entraînement du modèle LLaMA. La génération de ces données d’entraînement en masse a coûté moins de 500 dollars.
L’équipe a ensuite utilisé ces données pour affiner le modèle LLaMA – un processus qui a pris environ trois heures sur huit ordinateurs A100 de 80 Go à traitement en nuage. Cette opération a coûté moins de 100 dollars.
L’équipe de Stanford a utilisé GPT-3.5 pour donner à LLaMA 7B un ensemble d’instructions sur la manière d’effectuer son travail
Ensuite, ils ont testé le modèle résultant, qu’ils ont appelé Alpaca, par rapport au modèle de langage sous-jacent de ChatGPT dans une variété de domaines, y compris la rédaction de courriels, les médias sociaux et les outils de productivité. Alpaca a remporté 90 de ces tests, contre 89 pour GPT.
« Nous avons été assez surpris par ce résultat étant donné la petite taille du modèle et la quantité modeste de données relatives au suivi des instructions », écrit l’équipe. « Outre l’exploitation de cet ensemble d’évaluations statiques, nous avons également testé le modèle Alpaca de manière interactive, et nous avons constaté qu’Alpaca se comporte souvent de manière similaire à text-davinci-003 [GPT-3.5] sur un ensemble diversifié d’entrées. Nous reconnaissons que notre évaluation peut être limitée en termes d’échelle et de diversité ».
L’équipe a ajouté qu’elle aurait probablement pu le faire à moindre coût si elle avait cherché à optimiser le processus. Il convient également de noter que toute personne souhaitant reproduire une IA a désormais accès à la version 4.0 de GPT, bien plus performante, ainsi qu’à plusieurs modèles LLaMA plus puissants à utiliser comme base, et il n’est certainement pas nécessaire de s’arrêter à 52 000 questions.
L’équipe de Stanford a publié sur Github les 52 000 questions utilisées dans cette recherche, ainsi que le code permettant d’en générer d’autres et le code utilisé pour affiner le modèle LLaMA. L’équipe note que « nous n’avons pas encore affiné le modèle Alpaca pour qu’il soit sûr et inoffensif » et demande à toute personne qui en mettrait un en place de signaler les problèmes de sécurité et d’éthique qu’elle rencontrerait.
Alors, qu’est-ce qui empêche n’importe qui de créer sa propre IA pour une centaine d’euros et de la dresser comme il l’entend ? Les conditions d’utilisation d’OpenAI stipulent que « vous ne pouvez pas … utiliser les résultats des services pour développer des modèles qui concurrencent OpenAI ». Et Meta dit qu’il ne permet aux chercheurs universitaires d’utiliser LLaMA que sous des licences non commerciales à ce stade, bien que ce soit un point discutable, puisque le modèle LLaMA entier a été divulgué sur 4chan une semaine après son annonce.
Oh, et un autre groupe affirme avoir réussi à éliminer le coût de l’informatique dans le Cloud, en publiant sur Github davantage de code pouvant fonctionner sur un Raspberry Pi et achever le processus de formation en cinq heures sur une seule carte graphique nVidia RTX 4090 haut de gamme.
Qu’est-ce que tout cela signifie ? Eh bien, cela signifie qu’un nombre illimité de modèles de langage non contrôlés peut désormais être mis en place – par des personnes ayant des connaissances en apprentissage automatique qui ne se soucient pas des conditions générales ou du piratage de logiciels – pour des clopinettes.
Si une grande partie du temps et des dépenses nécessaires est consacrée à la phase de post-entraînement, et que ce travail peut être plus ou moins volé dans le temps qu’il faut pour répondre à 50 ou 100 000 questions, cela a-t-il un sens pour les entreprises de continuer à dépenser cet argent ?
Et pour le reste d’entre nous, eh bien, c’est difficile à dire, mais les capacités impressionnantes de ce logiciel pourraient certainement être utiles à un régime autoritaire, ou à une opération de phishing, ou à un spammeur, ou à tout autre individu douteux.
Le génie est sorti de la bouteille, et il semble qu’il soit déjà incroyablement facile de le reproduire et de le réentraîner. Accrochez-vous à votre chapeau.
https://crfm.stanford.edu/2023/03/13/alpaca.html
https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
https://github.com/tatsu-lab/stanford_alpaca
https://openai.com/policies/terms-of-use
https://www.theverge.com/2023/3/8/23629362/meta-ai-language-model-llama-leak-online-misuse
