Un nouveau modèle d'IA minuscule et open-source est aussi performant que les grands modèles puissants
infohightech ·
L'Allen Institute for Artificial Intelligence (Ai2), un organisme de recherche à but non lucratif, publie une famille de modèles linguistiques multimodaux libres, baptisés Molmo, qui, selon lui, sont aussi performants que les meilleurs modèles propriétaires d'OpenAI, de Google et d'Anthropic.
L'organisation affirme que son plus grand modèle Molmo, qui compte 72 milliards de paramètres, surpasse le modèle GPT-4o d'OpenAI, dont le nombre de paramètres est estimé à plus d'un trillion, dans des tests qui mesurent la compréhension d'images, de graphiques et de documents.
De son côté, Ai2 affirme qu'un modèle Molmo plus petit, avec 7 milliards de paramètres, se rapproche du modèle de pointe d'OpenAI en termes de performances, un résultat qu'elle attribue à des méthodes de collecte de données et d'entraînement beaucoup plus efficaces.
Selon Ali Farhadi, PDG d'Ai2, Molmo montre que le développement de l'IA en code source ouvert est désormais au même niveau que les modèles propriétaires fermés. Et les modèles open-source ont un avantage significatif, car leur nature ouverte signifie que d'autres personnes peuvent créer des applications à partir d'eux. La démonstration de Molmo est disponible ici, et les développeurs pourront l'utiliser sur le site web de Hugging Face. (Certains éléments du modèle Molmo le plus puissant sont encore cachés).
D'autres grands modèles de langage multimodaux sont formés sur de vastes ensembles de données contenant des milliards d'images et d'échantillons de texte qui ont été récupérés sur l'internet, et ils peuvent inclure plusieurs billions de paramètres. Ce processus introduit beaucoup de bruit dans les données d'entraînement et, par conséquent, des hallucinations, explique Ani Kembhavi, directeur principal de la recherche chez Ai2.
En revanche, les modèles Molmo d'Ai2 ont été entraînés sur un ensemble de données beaucoup plus petit et mieux contrôlé, contenant seulement 600 000 images, et ils ont entre 1 milliard et 72 milliards de paramètres. L'accent mis sur des données de haute qualité, plutôt que sur des données récupérées sans discernement, a permis d'obtenir de bonnes performances avec beaucoup moins de ressources, explique Ani Kembhavi.
Les chercheurs sont depuis longtemps en désaccord sur la définition de l'IA libre. Un groupe influent a apporté une réponse.
Ai2 est parvenu à ce résultat en demandant à des annotateurs humains de décrire les images de l'ensemble des données d'entraînement du modèle dans les moindres détails, sur plusieurs pages de texte. Ils ont demandé aux annotateurs de parler de ce qu'ils voyaient au lieu de le taper. Ils ont ensuite utilisé des techniques d'intelligence artificielle pour convertir leur discours en données, ce qui a accéléré le processus d'apprentissage tout en réduisant la puissance de calcul nécessaire.
Ces techniques pourraient s'avérer très utiles si nous voulons gouverner de manière significative les données que nous utilisons pour le développement de l'IA, explique Yacine Jernite, responsable de l'apprentissage automatique et de la société chez Hugging Face, qui n'a pas participé à la recherche.
« Il est logique qu'en général, l'entraînement sur des données de meilleure qualité permette de réduire les coûts de calcul », explique Percy Liang, directeur du Stanford Center for Research on Foundation Models, qui n'a pas non plus participé à la recherche.
Autre capacité impressionnante, le modèle peut « pointer » des objets, c'est-à-dire analyser des éléments d'une image en identifiant les pixels qui répondent à des requêtes.
Dans une démonstration communiquée à la MIT Technology Review, les chercheurs d'Ai2 ont pris une photo du port de plaisance local de Seattle à l'extérieur de leur bureau et ont demandé au modèle d'identifier divers éléments de l'image, tels que des chaises longues. Le modèle a réussi à décrire le contenu de l'image, à compter les chaises longues et à identifier avec précision d'autres éléments de l'image, comme le lui demandaient les chercheurs. Il n'était cependant pas parfait. Il n'a pas pu localiser un parking spécifique, par exemple.
D'autres modèles d'IA avancés sont capables de décrire des scènes et des images, souligne Ali Farhadi. Mais cela ne suffit pas pour créer des agents web plus sophistiqués, capables d'interagir avec le monde et de réserver un vol, par exemple. Le pointage permet aux gens d'interagir avec les interfaces utilisateur, ajoute-t-il.
Yacine Jernite affirme qu'Ai2 fonctionne avec un plus grand degré d'ouverture que les autres entreprises spécialisées dans l'IA. Et si Molmo est un bon début, dit-il, sa véritable importance résidera dans les applications que les développeurs construiront à partir de lui, et dans les façons dont les gens l'amélioreront.
Ali Farhadi partage cet avis. Les entreprises d'IA ont attiré des investissements massifs, de l'ordre de plusieurs milliers de milliards de dollars, au cours des dernières années. Mais au cours des derniers mois, les investisseurs ont exprimé leur scepticisme quant à la rentabilité de ces investissements. Selon lui, les grands modèles propriétaires coûteux n'y parviendront pas, mais les modèles à code source ouvert peuvent le faire. Selon lui, ces travaux montrent que l'IA open-source peut également être construite de manière à utiliser efficacement l'argent et le temps.
« Nous sommes enthousiastes à l'idée de permettre à d'autres de le faire et de voir ce qu'ils pourraient en tirer », conclut Ali Farhadi.