La nouvelle puce est 14 fois plus économe en énergie en matière de reconnaissance vocale que les puces conventionnelles. Elle mesure 14 nanomètres et possède 35 millions de cellules mémoire à changement de phase.
Une puce d’intelligence artificielle d’IBM est plus d’une douzaine de fois plus économe en énergie que les micropuces classiques en matière de reconnaissance vocale. De nombreux systèmes d’IA controversés, notamment ChatGPT et d’autres grands modèles de langage, ainsi que l’IA générative désormais utilisée pour créer des vidéos et des images, pourraient bénéficier de l’appareil.
La précision de la transcription automatisée s’est considérablement améliorée au cours de la dernière décennie grâce à l’IA, note IBM. Cependant, le matériel utilisé pour aider à former et à faire fonctionner ces systèmes et d’autres systèmes d’IA devient de plus en plus coûteux et gourmand en énergie. Pour entraîner son IA GPT-3 de pointe, OpenAI a dépensé 4,6 millions de dollars pour faire fonctionner 9 200 GPU pendant deux semaines.
L’un des principaux obstacles réside dans l’énergie et le temps perdus lors du déplacement de grandes quantités de données entre les processeurs et la mémoire. L’énergie dissipée de cette manière peut être entre trois et 10 000 fois supérieure à celle du calcul réel, note Hechen Wang, chercheur scientifique aux laboratoires Intel à Hillsboro, Oregon, qui n’a pas participé à la nouvelle étude.
Le matériel neuromorphique imitant le cerveau cherche souvent à imiter la façon dont les neurones biologiques calculent et stockent les données. Par exemple, les micropuces de calcul en mémoire ou « IA analogique » effectuent des calculs directement dans la mémoire.
Des simulations précédentes d’IBM suggéraient que l’IA analogique pourrait s’avérer 40 à 140 fois plus économe en énergie que les meilleurs GPU pour les applications d’IA. Jusqu’à présent, il manquait des affichages pratiques de ces estimations.
Dans la nouvelle étude, les chercheurs d’IBM ont expérimenté la mémoire à changement de phase . Cet appareil repose sur un matériau qui, lorsqu’il est frappé par des impulsions électriques, peut non seulement basculer entre les phases amorphes et cristallines d’une manière analogue aux uns et aux zéros des processeurs numériques, mais également aux états situés entre ces valeurs.
Cela signifie que la mémoire à changement de phase peut coder les résultats des opérations de multiplication-accumulation (MAC) – le calcul le plus élémentaire des réseaux neuronaux profonds à l’origine de l’explosion actuelle de l’IA – en utilisant seulement quelques résistances ou condensateurs dans la mémoire. Les approches conventionnelles utilisent des centaines ou des milliers de transistors, note Hechen Wang.
Les chercheurs ont créé une micropuce de 14 nanomètres chargée de 35 millions de cellules mémoire à changement de phase réparties sur 34 tuiles. Au total, l’appareil était capable d’effectuer jusqu’à 12 400 milliards d’opérations par seconde et par watt, soit une efficacité énergétique des dizaines, voire des centaines de fois, supérieure à celle des processeurs et GPU les plus puissants.
Les scientifiques ont utilisé deux programmes de réseaux neuronaux de reconnaissance vocale pour examiner la flexibilité de leur appareil. Un petit système, Google Speech Commands, a été utilisé pour repérer les mots-clés des commandes vocales, une tâche où la rapidité pourrait être essentielle. Un vaste système, Librispeech, a été utilisé pour transcrire la parole en texte, où la capacité d’analyser efficacement de grandes quantités de données pourrait être la plus précieuse.
Ils ont constaté que leur appareil fonctionnait avec autant de précision que les réseaux neuronaux fonctionnant sur du matériel conventionnel, tout en effectuant le travail sept fois plus rapidement pour les commandes vocales Google et 14 fois plus économe en énergie pour Librispeech.
Hechen Wang d’Intel Labs note que cette nouvelle puce peut prendre en charge les transformateurs , le type de réseau neuronal derrière les grands modèles de langage (LLM) actuels qui alimentent les chatbots tels que ChatGPT .
Essentiellement une version améliorée de la fonction de saisie semi-automatique que les smartphones utilisent pour prédire le reste d’un mot qu’une personne tape, ChatGPT a réussi des examens de droit et d’école de commerce, répondu avec succès à des questions d’entretien pour des emplois de codage de logiciels, rédigé des annonces immobilières et développé des annonces. contenu.
Les transformateurs sont également l’élément clé de l’IA générative, explique Hechen Wang. Les systèmes d’IA générative tels que Stable Diffusion , Midjourney et DALL-E se sont révélés populaires pour l’art qu’ils produisent. La nouvelle puce « a le potentiel de réduire considérablement la puissance et le coût des LLM et de l’IA générative », explique Hechen Wang.
Cependant, les LLM et l’IA générative ont également déclenché une tempête de critiques . Par exemple, ChatGPT a présenté de nombreux défauts , comme la rédaction d’articles truffés d’erreurs, et l’IA générative fait l’objet de controverses en raison de ses implications pour le droit de la propriété intellectuelle . (IBM a refusé de commenter cette histoire.)
De plus, la nouvelle puce ne comprenait pas tous les composants nécessaires au traitement des données qui lui étaient fournies. « Par conséquent, ses performances sont limitées par la communication entre les puces et les autres composants hors puce », explique Hechen Wang.
Selon Hechen Wang, il reste cinq étapes supplémentaires sur la voie d’une IA analogique commercialement viable. Ce qu’il faut, ce sont de nouveaux circuits au-delà de ceux destinés aux opérations MAC, pour réduire sa dépendance aux puces numériques ; une architecture hybride analogique-numérique, pour gérer les calculs que les appareils analogiques ne peuvent pas effectuer ; des compilateurs personnalisés capables de mapper efficacement les tâches sur le matériel disponible, pour maximiser les performances ; des algorithmes sur mesure optimisés pour les erreurs rencontrées par l’informatique analogique ; et applications optimisées pour les puces analogiques.
En fin de compte, l’IA analogique « en est encore à ses balbutiements et son développement sera un long voyage », explique Hechen Wang.
Les scientifiques d’IBM ont détaillé leurs conclusions en ligne le 23 août dans la revue Nature .
