Un LLM auto-adaptatif ajuste dynamiquement ses poids pour apprendre de nouvelles tâches
infohightech ·
Aperçu de la méthode. À gauche) Au moment de l'apprentissage, nous utilisons SVF et RL pour apprendre les vecteurs « experts » z qui mettent à l'échelle les valeurs singulières des matrices de pondération. À droite) Au moment de l'inférence, nous proposons trois méthodes distinctes pour sélectionner/combiner de manière adaptative les vecteurs experts appris. Crédit : arXiv (2025). DOI : 10.48550/arxiv.2501.06252
Un trio de chercheurs en IA de Sakana AI, une start-up japonaise, a annoncé le développement d'un master en IA auto-adaptatif appelé Transformer 2. Qi Sun, Edoardo Cetin et Yujin Tang ont publié leur article sur le serveur de pré-impression arXiv .
À mesure que les LLMs gagnent en maturité, les chercheurs en IA continuent de les perfectionner pour les rendre plus efficaces et moins gourmands en énergie. Dans cette nouvelle étude, le trio de chercheurs a trouvé un moyen de réduire l’une des principales inefficacités des LLMs traditionnels : la nécessité d’effectuer des réglages précis si on leur demande de faire quelque chose pour lequel ils n’ont pas été formés.
Dans les scénarios actuels, les paramètres d'un LLM sont ajustés, puis celui-ci est formé avec de nouveaux échantillons. Par la suite, les nouveaux paramètres restent figés. L'équipe de recherche a introduit un modèle qui ajuste un système de pondération lorsqu'il est introduit dans quelque chose de nouveau, pour lui permettre de s'adapter de manière dynamique à de nouveaux types de tâches.
Pour permettre au LLM de procéder à des ajustements dynamiques, les chercheurs ont divisé la réponse à la tâche en deux étapes : la première consiste à analyser la demande et à déterminer ce qui sera nécessaire pour fournir une bonne réponse. La deuxième consiste à ajuster un système de pondération pour l'aider à concentrer ses efforts sur les éléments qui conduiront à une réponse.
Le système de pondération utilise un processus mathématique appelé décomposition en valeurs singulières pour déterminer quelles parties de son propre système d'IA sont les plus importantes pour fournir la meilleure réponse possible. L'apprentissage par renforcement est appliqué pour créer les étapes nécessaires pour guider le comportement de l'IA.
Lors de l'inférence (qui est la partie du système impliquée dans la génération de réponses à la requête initiale), le système utilise trois stratégies principales pour atteindre ses objectifs : l'une basée sur l'invite, une autre qui sert de classificateur et la troisième qui applique un processus d'adaptation en quelques étapes (où un modèle d'IA apprend à partir d'un ensemble d'entraînement limité). Une fois les pondérations appliquées, le LLM se poursuit de manière similaire aux autres LLM.
Le résultat global de l'utilisation de cette nouvelle approche est qu'elle permet à un LLM de s'adapter à la volée lorsqu'il se trouve confronté à une tâche inconnue. Les tests du système ont montré qu'il était capable de fonctionner aussi bien que d'autres LLM sur des requêtes traditionnelles, mais qu'il était beaucoup plus flexible lorsqu'il s'agissait de répondre à des requêtes qui perturbaient d'autres modèles.