À mesure que les systèmes d’intelligence artificielle deviennent plus vastes et plus puissants, leurs besoins énergétiques augmentent considérablement. Cependant, une étude récente de l’Université du Massachusetts à Amherst, publiée lundi dans Nature Communications, suggère que des capacités d’IA avancées pourraient être atteintes avec une consommation d’énergie nettement inférieure.
Une équipe dirigée par Hava Siegelmann , professeure titulaire à la faculté d’informatique Manning de l’UMass Amherst, a développé une intelligence artificielle novatrice qui reproduit plus fidèlement certains aspects clés du fonctionnement du cerveau humain. Siegelmann et son laboratoire se sont concentrés sur deux objectifs complémentaires : permettre aux systèmes d’IA d’apprendre en continu et en temps réel, et non plus seulement pendant une phase d’entraînement fixe, et réduire considérablement l’énergie nécessaire au calcul intelligent.
« Les systèmes d’IA actuels sont extrêmement puissants, mais aussi extrêmement énergivores », a déclaré Siegelmann. « Nos travaux montrent qu’il est possible de concevoir une IA qui conserve des performances élevées tout en fonctionnant de manière beaucoup plus efficace. »
Le contraste avec le cerveau humain est saisissant. Selon les Instituts nationaux de la santé (NIH), le cerveau humain contient environ 86 milliards de neurones fonctionnant en parallèle et consomme environ 20 watts, soit l’équivalent d’une petite ampoule LED. À titre de comparaison, l’entraînement des plus grands modèles d’intelligence artificielle peut nécessiter des dizaines de millions de watts et occuper une infrastructure de centres de données colossale.
L’une des raisons de l’efficacité du cerveau humain réside dans son fonctionnement asynchrone. Seuls de petits sous-ensembles de neurones s’activent lors de l’exécution d’une tâche particulière, ou lorsqu’ils se « mettent à jour ». Ceci permet l’émergence de comportements complexes avec une consommation d’énergie remarquablement faible.
Contrairement aux cerveaux biologiques, dont le fonctionnement repose en grande partie sur une activité asynchrone, les systèmes d’IA à réseaux profonds actuels, tels que ChatGPT et Claude, s’appuient sur des calculs hautement synchronisés impliquant des millions, voire des milliards, de neurones artificiels. Les mises à jour sont simultanées et régies par une horloge globale, quelle que soit la tâche sous-jacente. Ces réseaux doivent effectuer des calculs considérables, nécessitant une consommation énergétique importante, simplement pour maintenir leur fonctionnement synchronisé.
« Cette approche synchronisée fonctionnait bien lorsque les réseaux neuronaux étaient relativement petits », a expliqué Siegelmann. « Mais à mesure que les systèmes d’IA ont atteint des milliards, voire des billions de paramètres, les besoins énergétiques sont devenus de plus en plus coûteux, importants pour l’environnement et impraticables pour les systèmes autonomes tels que les robots. »
« Des chercheurs ont déjà exploré les réseaux neuronaux à impulsions asynchrones comme voie vers l’efficacité énergétique », a-t-elle poursuivi, « mais ils ont rencontré des obstacles importants à l’apprentissage et à l’adaptation, car les procédures d’entraînement qui fonctionnent pour les architectures à impulsions sont bien inférieures aux méthodes d’entraînement basées sur le gradient, notamment la rétropropagation, qui ont fait le succès des réseaux neuronaux profonds modernes. »
La nouvelle équipe de recherche de Siegelmann a cherché à combiner les avantages des deux approches.
Le résultat est ANT (Asynchronous Neural Turing networks), une nouvelle architecture qui supprime le besoin de synchronisation globale tout en préservant les propriétés neuronales différentiables qui rendent les réseaux neuronaux profonds hautement entraînables.
« Le principal défi consistait à éliminer l’horloge globale de synchronisation sans sacrifier la puissance de calcul ni l’adaptabilité », a déclaré Siegelmann. « Nous avons développé de nouveaux principes de conception qui permettent de préserver les informations lors des mises à jour asynchrones tout en conservant de puissantes capacités d’apprentissage. »
Comme ANT ne met à jour que les neurones nécessaires à chaque étape de calcul, il peut réduire la consommation d’énergie de plusieurs ordres de grandeur.
Siegelman a poursuivi : « En principe, ANT peut égaler la puissance de calcul des systèmes numériques conventionnels et des réseaux neuronaux profonds modernes tout en fonctionnant efficacement. »
Ce travail s’appuie sur les contributions de longue date de Siegelmann au calcul neuronal théorique, notamment sa démonstration marquante de 1995 selon laquelle les réseaux neuronaux récurrents possèdent des capacités de calcul comparables aux machines de Turing.
L’équipe de recherche travaille actuellement à améliorer encore l’efficacité énergétique d’ANT et à étendre ses capacités d’apprentissage continu en temps réel.
Siegelmann espère que ce nouveau cadre encouragera une exploration plus large des systèmes d’IA qui soient non seulement plus durables, mais aussi plus adaptatifs et potentiellement plus performants que les architectures dominantes actuelles.
Au-delà de la réduction de l’empreinte environnementale de l’IA, cette approche pourrait s’avérer particulièrement précieuse pour les systèmes autonomes intelligents fonctionnant dans des conditions de fortes contraintes énergétiques, notamment les robots, les dispositifs de calcul en périphérie, les véhicules autonomes et les futures générations d’intelligence artificielle adaptative.
