Une démonstration Android de la fonctionnalité PhoneLM. (À gauche) Discussion ; (À droite) Contrôle de l’appareil via l’invocation d’intention. La démonstration et le code sont disponibles sur https://github.com/UbiquitousLearning/mllm. Crédit : Yi et al.
Les grands modèles de langage (LLM), comme la célèbre plateforme conversationnelle ChatGPT d’Open AI, sont de plus en plus répandus ces derniers temps. De nombreux internautes s’appuient sur eux pour trouver rapidement des informations et produire des textes à diverses fins. Pourtant, la plupart de ces modèles sont nettement plus performants sur ordinateur, en raison des exigences de calcul élevées associées à leur taille et à leurs capacités de traitement des données.
Pour relever ce défi, les informaticiens ont également développé des petits modèles de langage (SLM), qui ont une architecture similaire mais sont de plus petite taille. Ces modèles pourraient être plus faciles à déployer directement sur les smartphones, permettant aux utilisateurs de consulter plus facilement au quotidien des plateformes de type ChatGPT.
Des chercheurs de l’Université des Postes et Télécommunications de Pékin (BUPT) ont récemment présenté PhoneLM, une nouvelle architecture SLM pour smartphones qui pourrait être à la fois efficace et très performante. L’architecture qu’ils ont proposée, présentée dans un article publié sur le serveur de pré-impression arXiv , a été conçue pour atteindre une efficacité d’exécution quasi optimale avant de subir une pré-formation sur des données textuelles.
« L’objectif de notre récent projet était d’explorer l’espace de conception de LLM pour un déploiement économe en ressources sur les appareils mobiles », a déclaré Mangwei Xu, auteur principal de l’article.
« Auparavant, le développement de LLM suivait le pipeline consistant d’abord à concevoir et à pré-entraîner le LLM pour une bonne capacité (c’est-à-dire la précision), puis à l’optimiser dans la phase de post-formation, par exemple la quantification et l’élagage. Nos expériences, en revanche, indiquent que les configurations de LLM (par exemple, la largeur et la profondeur) ont plus d’impact sur l’efficacité de l’exécution que sur la capacité. »
PhoneLM offre un bon équilibre entre la vitesse de décodage et la précision. Notez que les modèles avec un cercle plein (Gemma, MiniCPM, Qwen) sont formés avec des données propriétaires tandis que PhoneLM est formé uniquement sur des données publiques. Crédit : Yi et al.
Le modèle introduit par Xu et ses collègues s’appuie sur un principe de conception innovant qui privilégie l’efficacité. Contrairement à d’autres SLM existants, il s’appuie sur une recherche d’architecture dite en amont de la préformation, qui consiste à rechercher une architecture qui fonctionne le plus efficacement sur le matériel sur lequel elle est censée être déployée avant l’étape de préformation.
« PhoneLM suit une architecture LLM standard », estime Mangwei Xu. « Ce qui est unique dans cette architecture, c’est la façon dont elle est conçue : nous recherchons les hyper-paramètres de l’architecture (par exemple, la largeur, la profondeur, le nombre de têtes, etc.) sur un matériel donné (un smartphone haut de gamme), nous choisissons le paramètre avec la vitesse d’inférence la plus élevée, puis nous le pré-entraînons avec des données de haute qualité. »
Lors des premiers tests sur des smartphones, le modèle développé par cette équipe de chercheurs s’est montré remarquablement performant, fonctionnant extrêmement rapidement par rapport à d’autres LLM avec une taille de paramètre similaire. Il convient de noter que cette amélioration de la vitesse n’a pas compromis de manière significative ses performances, car le modèle a toujours atteint des capacités de pointe en matière de traitement du langage naturel (NLP).
« Les hyperparamètres de l’architecture concrète du décodeur de transformateur ont un impact plus important sur l’efficacité de l’exécution que sur la capacité du langage », assure Mangwei Xu. « Par conséquent, nous allons faire passer la prise en compte de l’efficacité de l’inférence sur l’appareil avant la pré-formation. »
Les chercheurs ont rendu public le code et une démonstration Android de bout en bout d’une version améliorée de PhoneLM, en les publiant sur GitHub . Le nouveau modèle de langage pour smartphone pourrait bientôt être amélioré et testé davantage pour faciliter son futur déploiement sur les appareils disponibles dans le commerce.
« Nous allons maintenant poursuivre le développement d’une gamme PhoneLM plus avancée, par exemple en intégrant un mélange d’experts et de fonctionnalités multimodales », a ajouté Mangwei Xu. « Nous étudions également le développement d’un agent mobile (c’est-à-dire un assistant virtuel) doté d’un LLM sur l’appareil. »
https://techxplore.com/news/2024-11-ai-personal-devices-efficient-small.html
