Sageance sort de la clandestinité en promettant le Llama 2 à une puissance de 10 %.
Les puces d’apprentissage automatique qui utilisent des circuits analogiques au lieu de circuits numériques promettent depuis longtemps d’énormes économies d’énergie. Mais dans la pratique, elles n’ont permis que des économies modestes, et seulement pour des réseaux neuronaux de taille modeste. Sageance, une jeune entreprise de la Silicon Valley, affirme qu’elle dispose de la technologie permettant de réaliser les économies d’énergie promises pour les tâches adaptées aux modèles génératifs massifs d’intelligence artificielle. La startup affirme que ses systèmes seront capables d’exécuter le grand modèle de langage Llama 2-70B avec un dixième de la puissance d’un système basé sur le GPU Nvidia H100, pour un vingtième du coût et dans un vingtième de l’espace.
« Ma vision était de créer une technologie très différente de ce qui se faisait en matière d’IA », explique Vishal Sarin, PDG et fondateur de Sageance. Dès la création de l’entreprise en 2018, il a « réalisé que la consommation d’énergie serait un obstacle majeur à l’adoption massive de l’IA….. Le problème s’est aggravé de beaucoup, beaucoup d’ordres de grandeur, car l’IA générative a fait gonfler la taille des modèles. »
La prouesse de l’IA analogique en matière d’économie d’énergie provient de deux avantages fondamentaux : Elle n’a pas besoin de déplacer les données et elle utilise des principes physiques de base pour effectuer les calculs les plus importants de l’apprentissage automatique.
Très tôt, les ingénieurs se sont rendu compte que deux règles fondamentales de l’électrotechnique permettaient de faire la même chose, plus ou moins instantanément. La loi d’Ohm – tension multipliée par conductance égale courant – effectue la multiplication si les paramètres de « poids » du réseau neuronal sont utilisés comme conductances.
La loi du courant de Kirchoff – la somme des courants entrant et sortant d’un point est nulle – signifie que vous pouvez facilement additionner toutes ces multiplications simplement en les connectant au même fil. Enfin, dans l’IA analogique, les paramètres du réseau neuronal n’ont pas besoin d’être déplacés de la mémoire vers les circuits de calcul – ce qui représente généralement un coût énergétique plus important que le calcul lui-même – car ils sont déjà intégrés dans les circuits de calcul.
Sageance utilise des cellules de mémoire flash comme valeurs de conductance. Le type de cellule flash généralement utilisé pour le stockage des données est un transistor unique qui peut contenir 3 ou 4 bits, mais Sageance a mis au point des algorithmes qui permettent aux cellules intégrées dans ses puces de contenir 8 bits, ce qui constitue le niveau de précision essentiel pour les LLM et d’autres modèles dits de transformateurs.
Le stockage d’un nombre de 8 bits dans un seul transistor au lieu des 48 transistors nécessaires dans une cellule de mémoire numérique typique représente une économie importante en termes de coût, de surface et d’énergie, explique Vishal Sarin, qui travaille depuis 30 ans sur le stockage de plusieurs bits dans la mémoire flash.
Les données numériques sont converties en tensions analogiques [à gauche]. Celles-ci sont multipliées par les cellules de mémoire flash [bleu], additionnées et reconverties en données numériques [bas].
Les économies d’énergie sont d’autant plus importantes que les cellules de la mémoire flash fonctionnent dans un état appelé « deep subthreshold » (sous-seuil profond). En d’autres termes, elles fonctionnent dans un état où elles sont à peine activées, produisant très peu de courant. Cela ne conviendrait pas à un circuit numérique, car cela ralentirait les calculs. Mais comme le calcul analogique est effectué en une seule fois, il n’entrave pas la vitesse.
Problèmes liés à l’IA analogique
Si tout cela vous semble vaguement familier, c’est que cela devrait l’être. En 2018, un trio de startups s’est attaqué à une version de l’IA analogique basée sur la technologie flash. Syntiant a finalement abandonné l’approche analogique pour un schéma numérique qui a mis six puces en production de masse jusqu’à présent. Mythic s’est battu mais s’est accroché, tout comme Anaflash. D’autres, en particulier IBM Research, ont développé des puces qui reposent sur des mémoires non volatiles autres que la mémoire flash, telles que la mémoire à changement de phase ou la mémoire vive résistive.
D’une manière générale, l’IA analogique a eu du mal à atteindre son potentiel, en particulier lorsqu’elle est mise à l’échelle pour atteindre une taille qui pourrait être utile dans les centres de données. L’une des principales difficultés réside dans la variation naturelle des cellules de conductance, ce qui signifie que le même nombre stocké dans deux cellules différentes se traduira par deux conductances différentes. Pire encore, ces conductances peuvent dériver dans le temps et varier en fonction de la température. Ce bruit noie le signal représentant le résultat, et le bruit peut être aggravé étape après étape à travers les nombreuses couches d’un réseau neuronal profond.
La solution de Sageance, explique Vishal Sarin, consiste en un ensemble de cellules de référence sur la puce et un algorithme propriétaire qui les utilise pour calibrer les autres cellules et suivre les changements liés à la température.
Une autre source de frustration pour ceux qui développent l’IA analogique est la nécessité de numériser le résultat du processus de multiplication et d’accumulation afin de le transmettre à la couche suivante du réseau neuronal, où il doit être retransformé en un signal de tension analogique. Chacune de ces étapes nécessite des convertisseurs analogique-numérique et numérique-analogique, qui occupent de l’espace sur la puce et consomment de l’énergie.
Selon M. Sarin, Sageance a développé des versions à faible consommation d’énergie des deux circuits. Les exigences de puissance du convertisseur numérique-analogique sont facilitées par le fait que le circuit doit fournir une gamme très étroite de tensions afin de faire fonctionner la mémoire flash en mode sous-seuil profond.
Systèmes et prochaines étapes
Le premier produit de Sageance, qui sera lancé en 2025, sera destiné aux systèmes de vision, qui sont beaucoup plus légers que les LLM basés sur des serveurs. « Il s’agit pour nous d’un produit d’avant-garde, qui sera suivi très rapidement par l’IA générative », explique M. Sarin.
Les futurs systèmes de Sageance seront constitués de puces analogiques empilées en 3D et reliées à un processeur et à une mémoire par l’intermédiaire d’un interposeur conforme à la norme UCIe (Universal Chiplet Interconnect).
Le produit d’IA générative serait mis à l’échelle à partir de la puce de vision, principalement en empilant verticalement des puces d’IA analogique sur une puce de communication. Ces empilements seraient reliés à un processeur et à une mémoire DRAM à large bande passante dans un ensemble unique appelé Delphi.
Dans les simulations, un système composé de Delphis ferait fonctionner Llama2-70B à 666 000 jetons par seconde en consommant 59 kilowatts, contre 624 kW pour un système basé sur Nvidia H100, affirme Sageance.
