Meta dévoile de nouveaux modèles d'IA pour faire progresser l'intelligence artificielle dans de nombreux domaines
infohightech ·
Chacun des modèles nouvellement publiés aborde des domaines clés du développement de l’IA, notamment la perception, le traitement du langage, l’intégration de la parole, le raisonnement et l’alignement des systèmes.
Meta a dévoilé plusieurs nouveaux modèles d'intelligence artificielle (IA), dont un conçu pour évaluer d'autres modèles d'IA, dans le cadre de ses efforts continus pour faire progresser l'intelligence artificielle avancée (AMI). Ces modèles visent à améliorer les capacités de l'IA dans de nombreux domaines, poursuivant ainsi l'objectif de Meta de favoriser l'innovation et la collaboration au sein de la communauté de recherche en IA.
Les modèles récemment publiés incluent le modèle Self-Taught Evaluator, le modèle Segment Anything (SAM) 2.1, Meta Spirit LM, Layer Skip, SALSA et Meta Lingua, entre autres. Chacun de ces modèles se concentre sur différents aspects de l'IA, tels que la perception, la parole, le langage, le raisonnement et l'alignement.
Le Self-Taught Evaluator est un modèle conçu pour former des systèmes de récompense à l'aide de données synthétiques, éliminant ainsi le besoin d'annotations humaines. En utilisant un mécanisme dit « LLM-as-a-Judge », le Self-Taught Evaluator est conçu pour améliorer de manière itérative les performances d'autres modèles, ce qui conduit à des gains d'efficacité significatifs sur des plateformes comme RewardBench. Meta affirme que le modèle représente une avancée dans la modélisation des récompenses, permettant des processus de formation plus évolutifs et plus rapides.
La version mise à jour de SAM 2.1 intègre des techniques d'augmentation des données et une gestion améliorée de l'occlusion. SAM 2.1 est largement utilisé dans des domaines tels que l'imagerie médicale et la météorologie pour sa capacité à segmenter des objets plus petits et plus similaires visuellement.
Meta a également publié la suite SAM 2 Developer Suite, qui comprend un code open source pour les chercheurs et les développeurs souhaitant personnaliser et affiner le modèle. Meta Spirit LM, quant à lui, est un modèle de langage multimodal qui intègre à la fois le texte et la parole en utilisant une technique d'entrelacement au niveau des mots. Ce modèle existe en deux versions distinctes : Spirit LM Base, qui utilise des jetons phonétiques, et Spirit LM Expressive, qui utilise des jetons de hauteur et de style pour capturer le ton, y compris les émotions comme l'excitation ou la colère.
Ces modèles prennent en charge des tâches qui incluent la reconnaissance automatique de la parole, la conversion de texte en parole et la classification de la parole, fournissant des résultats plus naturels et plus riches en contexte.
Layer Skip est un modèle axé sur l'optimisation des performances des grands modèles de langage (LLM) en exécutant des couches sélectives et en vérifiant les résultats via les couches suivantes. Cette approche réduit les coûts de calcul, améliorant à la fois l'efficacité énergétique et les performances.
En outre, Meta a publié des points de contrôle optimisés pour des modèles tels que Llama 3, qui démontrent une efficacité et une précision améliorées avec des sorties anticipées. La technique Layer Skip devrait contribuer à la recherche en cours sur l'optimisation de l'IA en fournissant une voie économe en énergie pour le déploiement de grands modèles.
Le modèle SALSA se concentre quant à lui sur l'évaluation comparative des attaques basées sur l'IA contre la cryptographie basée sur les réseaux, en ciblant spécifiquement les secrets épars dans ces normes cryptographiques. La cryptographie basée sur les réseaux, recommandée par le National Institute of Standards and Technology (NIST), est un élément fondamental de la cryptographie post-quantique (PQC). Les capacités de SALSA sont conçues pour aider à valider et à améliorer la sécurité de ces systèmes, garantissant ainsi la résilience face aux menaces potentielles liées à l'IA.
Meta Lingua est une base de code légère et modulaire pour la formation de modèles linguistiques à grande échelle. Elle vise à réduire les complexités techniques liées à la formation des modèles, permettant aux chercheurs de se concentrer sur la conception expérimentale plutôt que sur les obstacles infrastructurels. En simplifiant le processus de formation des modèles, Meta Lingua favorise une expérimentation rapide et facilite la traduction pratique des idées conceptuelles de l'IA en résultats tangibles.
Meta continue de courtiser la communauté des développeurs d'IA open source
Les experts en intelligence artificielle estiment que les nouveaux modèles de Meta sont limités à plusieurs égards. Les critiques affirment, par exemple, que SAM 2.1 a encore du mal à gérer la segmentation complexe dans les tâches médicales et météorologiques, tandis que l'efficacité de Layer Skip pourrait ironiquement compromettre sa précision, limitant ainsi son utilisation dans la finance et le droit. La dépendance de l'évaluateur autodidacte aux données synthétiques, quant à elle, soulève des problèmes de biais dans le domaine de la santé, et l'évolutivité de SALSA reste discutable au-delà de normes cryptographiques spécifiques.
D'autres acteurs de la communauté open source ont critiqué Meta pour avoir qualifié ses modèles d'« open source » alors qu'en réalité, la plupart des aspects de son fonctionnement restent privés. Selon Stefano Maffulli, directeur de l'Open Source Initiative, le géant des médias sociaux « pollue » le terme, déclarant au Financial Times que l'utilisation de ce mot par l'entreprise était « préjudiciable » à un moment où des juridictions comme l'UE cherchaient à promouvoir l'innovation dans le secteur.