L'infrastructure cloud de l'IA devient plus rapide et plus écologique : le cœur NPU améliore les performances d'inférence de plus de 60 %

Les derniers modèles d'IA générative, tels que ChatGPT-4 d'OpenAI et Gemini 2.5 de Google, nécessitent non seulement une bande passante mémoire élevée, mais aussi une capacité mémoire importante. C'est pourquoi les exploitants de cloud d'IA générative comme Microsoft et Google achètent des centaines de milliers de GPU NVIDIA.

Pour répondre aux principaux défis liés à la construction d'une infrastructure d'IA aussi performante, les chercheurs coréens ont réussi à développer une technologie de base NPU (unité de traitement neuronal) qui améliore les performances d'inférence des modèles d'IA génératifs de plus de 60 % en moyenne tout en consommant environ 44 % d'énergie en moins par rapport aux derniers GPU.

L'équipe de recherche du professeur Jongse Park de la KAIST School of Computing, en collaboration avec HyperAccel Inc., a développé une technologie de cœur NPU hautes performances et basse consommation spécialisée pour les clouds d'IA génératifs comme ChatGPT.

La technologie proposée par l'équipe de recherche a été présentée par l'étudiant au doctorat Minsu Kim et le Dr Seongmin Hong d'HyperAccel Inc. en tant que co-premiers auteurs lors du Symposium international 2025 sur l'architecture informatique ( ISCA 2025 ), qui s'est tenu à Tokyo, du 21 au 25 juin.

L'objectif principal de cette recherche est d'améliorer les performances des services d'IA générative à grande échelle en allégeant le processus d'inférence, tout en minimisant les pertes de précision et en résolvant les problèmes de goulot d'étranglement de la mémoire. Cette recherche est reconnue pour sa conception intégrée de semi-conducteurs et de logiciels système d'IA, composants clés de l'infrastructure d'IA.

Alors que l'infrastructure d'IA existante basée sur GPU nécessite plusieurs GPU pour répondre aux exigences élevées en bande passante et en capacité, cette technologie permet de configurer le même niveau d'infrastructure d'IA en utilisant moins de NPU grâce à la quantification du cache KV. Le cache KV représente la majeure partie de l'utilisation de la mémoire ; sa quantification réduit ainsi considérablement le coût de création de clouds d'IA génératifs.

Architecture globale de l'accélérateur Oaken. Crédit : Actes du 52e Symposium international annuel sur l'architecture informatique (2025). DOI : 10.1145/3695053.3731019

L'équipe de recherche l'a conçu pour s'intégrer aux interfaces mémoire sans modifier la logique opérationnelle des architectures NPU existantes. Cette architecture matérielle implémente non seulement l'algorithme de quantification proposé, mais adopte également des techniques de gestion de la mémoire au niveau des pages pour une utilisation efficace de la bande passante et de la capacité mémoire limitées, et introduit de nouvelles techniques de codage optimisées pour le cache KV quantifié.

De plus, lors de la création d'un cloud d'IA basé sur NPU avec un coût et une efficacité énergétique supérieurs à ceux des derniers GPU, la nature hautes performances et basse consommation des NPU devrait réduire considérablement les coûts d'exploitation.

Le professeur Jongse Park a déclaré : « Cette recherche, réalisée en collaboration avec HyperAccel Inc., a permis de trouver une solution aux algorithmes d'allégement de l'inférence générative de l'IA et de développer une technologie NPU de base capable de résoudre le problème de mémoire. Grâce à cette technologie, nous avons mis en œuvre une NPU dont les performances sont supérieures de plus de 60 % à celles des derniers GPU, en combinant des techniques de quantification qui réduisent les besoins en mémoire tout en maintenant la précision de l'inférence, et des conceptions matérielles optimisées à cet effet. »

« Cette technologie a démontré la possibilité de mettre en œuvre une infrastructure haute performance et basse consommation spécialisée dans l'IA générative, et devrait jouer un rôle clé non seulement dans les centres de données cloud d'IA, mais également dans l'environnement de transformation de l'IA (AX) représenté par l'IA dynamique et exécutable telle que l'IA agentique. »

https://news.kaist.ac.kr/newsen/html/news/?mode=V&mng_no=48810