Une IA pour smartphones utilise des solutions antérieures afin de résoudre des problèmes similaires

Une nouvelle technologie d’IA a été développée, qui permet de conserver et de réutiliser les connaissances, un peu comme si l’on notait une solution dans un carnet et qu’on l’appliquait à des problèmes similaires plutôt que de demander l’aide d’un expert à chaque fois.

Des chercheurs de KAIST ont mis au point une méthode permettant à de petits modèles d’IA fonctionnant sur smartphones de stocker et de réutiliser les connaissances d’un modèle serveur plus important. Cette approche a permis de réduire les appels au serveur de 55,61 % en moyenne par rapport à une approche non cumulative, tout en conservant une précision élevée. Cela suggère que l’IA mobile pourrait prendre des décisions plus rapidement avec une charge serveur réduite face à des problèmes similaires.

Une équipe de recherche dirigée par le professeur Jae-Gil Lee de l’École d’informatique a développé CURE (Cumulative Knowledge Reuse), une technologie qui permet à un petit modèle d’IA sur un appareil de fonctionner efficacement avec un grand modèle sur un serveur.

Ce travail est publié dans Lecture Notes in Computer Science .

Les smartphones ayant une puissance de traitement et une mémoire limitées, ils utilisent généralement des modèles d’IA légers et de petite taille. Ces modèles peuvent traiter rapidement des tâches simples, mais leur précision peut être moindre pour l’identification d’images complexes ou inconnues.

Comparaison entre une approche hybride non cumulative et CURE. Crédit : Institut supérieur coréen des sciences et technologies (KAIST)

Interrompre le cycle des appels au serveur

L’envoi de chaque donnée à un serveur puissant peut améliorer la précision, mais le transfert des données et l’attente d’une réponse prennent du temps. Cela augmente également le trafic réseau et la charge de calcul du serveur, ce qui accroît les délais pour les utilisateurs et les coûts d’exploitation pour les fournisseurs de services.

Des chercheurs ont exploré une approche collaborative dans laquelle le modèle embarqué évalue chaque entrée et n’envoie au serveur que les cas complexes. Cependant, faute de mécanisme pour conserver les informations du serveur, l’appareil n’utilise chaque réponse qu’une seule fois et risque d’avoir besoin de la même assistance face à une entrée similaire.

C’est un peu comme un élève qui, incapable de noter la solution d’un problème difficile, doit demander de l’aide à nouveau face à un autre problème du même type. L’équipe s’est attelée à transformer ces réponses ponctuelles en connaissances que l’appareil pourrait utiliser de manière permanente.

Des connaissances sont stockées pour des décisions ultérieures.

CURE vérifie d’abord si le modèle embarqué peut traiter une entrée de manière fiable. Dans le cas contraire, le système consulte les connaissances préalablement obtenues du serveur et stockées sur l’appareil. Il ne contacte le serveur que si ces connaissances sont également insuffisantes. Le processus se déroule en trois étapes : résolution autonome du problème, consultation des leçons précédentes et, si nécessaire, intervention d’un expert.

Par exemple, un modèle embarqué incapable d’identifier un modèle de voiture sur une photo peut interroger le serveur. CURE utilise la prédiction du serveur et les caractéristiques de l’image pour mettre à jour la base de connaissances de l’appareil. Lorsque celui-ci reçoit ultérieurement la photo d’un modèle de voiture similaire, il peut utiliser ces connaissances pour l’identifier localement.

CURE ne conserve pas les photos originales traitées par le serveur. Il stocke plutôt un résumé de leurs points communs et de leurs différences. C’est comme noter les caractéristiques distinctives d’une voiture, telles que la forme de sa carrosserie ou le design de ses phares, plutôt que de mémoriser la photo entière. Ces connaissances stockées permettent ainsi au système de reconnaître non seulement les images déjà vues, mais aussi les images similaires qu’il rencontre pour la première fois.

Test de vitesse et d’économies sur le serveur

L’équipe a testé CURE à l’aide de modèles vision-langage, qui associent des images à du texte pour comprendre l’information visuelle. Ces modèles relient ce qu’ils voient au langage, tout comme le font les humains.

Les chercheurs ont utilisé MobileCLIP2 sur l’appareil et EVA-CLIP, qui comporte 18 milliards de paramètres, sur le serveur. Les paramètres sont des valeurs numériques au sein d’un modèle qui encodent les informations apprises lors de l’entraînement. Ils permettent au modèle de distinguer les objets et d’identifier les relations entre eux.

Lors de tests effectués sur divers jeux de données de classification d’images, CURE a atteint une précision proche de celle d’une approche consistant à envoyer chaque entrée au modèle serveur principal. De plus, il a effectué en moyenne 55,61 % d’appels serveur en moins qu’une méthode de collaboration appareil-serveur de référence ne conservant pas les informations issues des réponses serveur précédentes.

Lors de tests de bout en bout incluant le temps de communication, CURE s’est avéré jusqu’à 2,80 fois plus rapide que la méthode de référence de collaboration appareil-serveur non cumulative et jusqu’à 3,67 fois plus rapide que l’approche consistant à envoyer chaque entrée au serveur. La réduction du nombre d’appels au serveur a permis de diminuer le temps de transfert des données et d’attente des réponses.

CURE ne nécessite aucun réentraînement du modèle embarqué ni du modèle serveur. Il laisse les deux modèles inchangés et ajoute un espace de stockage distinct pour les connaissances obtenues du serveur, ce qui le rend adaptable à une large gamme de modèles et de services d’IA.

Un potentiel au-delà des smartphones

Cette technologie pourrait réduire les transferts de données répétés et la charge de calcul serveur pour la reconnaissance d’images. Il en résulterait des temps d’attente plus courts pour les utilisateurs et une baisse des coûts d’exploitation pour les fournisseurs de services.

Les applications potentielles incluent également les robots et les dispositifs portables qui doivent reconnaître leur environnement avec des ressources informatiques limitées. Les robots fonctionnant sur des réseaux lents ou peu fiables, par exemple, pourraient utiliser des connaissances acquises précédemment pour prendre davantage de décisions localement, sans attendre la réponse d’un serveur.

Les avantages concrets dépendront de la puissance de traitement et de la capacité de stockage de l’appareil, des conditions du réseau et des caractéristiques des données d’entrée. Des tests supplémentaires sur différents appareils et environnements sont donc nécessaires.

« CURE permet à un petit modèle d’IA embarqué de mémoriser et de réutiliser les connaissances qu’il a déjà acquises, plutôt que de poser sans cesse la même question au serveur », a déclaré Lee.

« En maintenant une précision élevée tout en réduisant les besoins en communication et les temps de réponse, nous espérons que cela aidera les smartphones, les robots et les objets connectés à utiliser plus efficacement les puissants modèles d’IA. »

https://news.kaist.ac.kr/newsen/html/news/?mode=V&mng_no=67350