Des changements pratiques pourraient réduire la demande énergétique de l'IA jusqu'à 90 %

infohightech ·

Credit: Pixabay/CC0 Public Domain

L’intelligence artificielle (IA) peut être rendue plus durable en apportant des changements pratiques, tels que la réduction du nombre de décimales utilisées dans les modèles d’IA, le raccourcissement des réponses et l’utilisation de modèles d’IA plus petits, selon une étude de l’UCL publiée dans un nouveau rapport de l’UNESCO.

Ces dernières années, l'utilisation de l'IA générative s'est rapidement développée, les grands modèles de langage (LLM) développés par des entreprises comme OpenAI, Meta et Google devenant de plus en plus célèbres. Par exemple, le service ChatGPT d'OpenAI, basé sur le LLM GPT-4, reçoit environ un milliard de requêtes par jour.

Chaque génération de LLM est devenue plus sophistiquée que la précédente, mieux à même d'effectuer des tâches telles que la génération de texte ou la recherche de connaissances. Cela a entraîné une demande importante et croissante en ressources telles que l'électricité et l'eau, nécessaires au fonctionnement des centres de données où ces modèles d'IA sont entraînés et déployés.

Le rapport, qui sera présenté cette semaine au Sommet mondial AI for Good à Genève, évalue l'impact potentiel des solutions existantes au problème qui, si elles étaient adoptées plus largement, pourraient réduire considérablement la demande en énergie et en ressources de l'IA.

Des chercheurs de l'UCL Computer Science ont mené une série d'expériences sur le modèle LLaMA 3.1 8B de Meta afin d'évaluer l'impact des modifications apportées à la configuration et à l'utilisation des modèles d'IA sur leur consommation d'énergie et leurs performances. Ce modèle a été choisi car il est open source et entièrement modifiable, ce qui a permis aux chercheurs de tester la version non optimisée par rapport à diverses techniques d'optimisation (ce qui est impossible avec des modèles fermés comme GPT-4).

Ils ont découvert qu'en arrondissant les nombres utilisés dans les calculs internes des modèles, en raccourcissant les instructions utilisateur et les réponses de l'IA et en utilisant des modèles d'IA plus petits spécialisés pour effectuer certaines tâches, une réduction d'énergie combinée de 90 % pouvait être obtenue par rapport à l'utilisation d'un grand modèle d'IA polyvalent.

La professeure Ivana Drobnjak, auteure du rapport de l'UCL Computer Science et membre de la Chaire UNESCO en IA à l'UCL, a déclaré : « Nos recherches montrent qu'il existe des mesures relativement simples que nous pouvons prendre pour réduire considérablement les besoins en énergie et en ressources de l'IA générative, sans sacrifier la précision et sans inventer des solutions entièrement nouvelles.

Bien que certaines plateformes d'IA explorent et mettent déjà en œuvre des solutions telles que celles que nous proposons, il en existe bien d'autres, outre les trois que nous avons examinées. L'adoption systématique de mesures d'économie d'énergie aurait le plus grand impact.

Arrondir vers le bas pour économiser de l'énergie

Dans la première expérience, les chercheurs ont évalué la précision du modèle LLaMA 3.1 8B de Meta lors de l'exécution de tâches courantes (résumé de textes, traduction de langues et réponse à des questions de connaissances générales), ainsi que sa consommation d'énergie, dans différentes conditions.

Dans un processus appelé tokenisation, les LLM convertissent les mots de l'invite de l'utilisateur en nombres (jetons), qui sont utilisés pour effectuer les calculs impliqués dans la tâche, avant de reconvertir les nombres en mots pour fournir une réponse.

En appliquant une méthode appelée quantification (en utilisant moins de décimales pour arrondir les nombres utilisés dans les calculs), la consommation énergétique du modèle a diminué jusqu'à 44 % tout en conservant une précision d'au moins 97 % par rapport à la référence. Cela s'explique par le fait qu'il est plus facile d'obtenir la réponse, de la même manière que la plupart des gens pourraient calculer deux plus deux beaucoup plus rapidement que 2,34 plus 2,17, par exemple.

L'équipe a également comparé LLaMA 3.1 8B à des modèles d'IA plus petits, conçus pour se spécialiser dans chacune des trois tâches. Les petits modèles ont consommé 15 fois moins d'énergie pour la synthèse, 35 fois moins pour la traduction et 50 fois moins pour la réponse aux questions.

La précision était comparable à celle du modèle plus grand, le petit modèle étant plus précis de 4 % pour le résumé, de 2 % pour la traduction et de 3 % pour la réponse aux questions.

Raccourcir les questions et les réponses

Dans la deuxième expérience, les chercheurs ont évalué l’impact sur la consommation d’énergie de la modification de la longueur de l’invite de l’utilisateur (instructions) et de la réponse du modèle (réponse).

Ils ont calculé la consommation d'énergie pour 1 000 scénarios, en faisant varier la longueur de l'invite utilisateur et la réponse du modèle d'environ 400 mots anglais à 100 mots anglais.

La combinaison la plus longue (une invite de 400 mots et une réponse de 400 mots) a utilisé 1,03 kilowattheure (kWh) d’électricité, soit suffisamment pour alimenter une ampoule de 100 watts pendant 10 heures ou un réfrigérateur-congélateur pendant 26 heures.

La réduction de moitié de la longueur de l'invite utilisateur à 200 mots a réduit la dépense énergétique de 5 %, tandis que la réduction de moitié de la longueur de la réponse du modèle à 200 mots a réduit la consommation d'énergie de 54 %.

Évaluer l'impact dans le monde réel

Pour évaluer l'impact global des optimisations testées, les auteurs ont demandé à LLaMA 3.1 8B de répondre à une question spécifique. Ils ont ensuite calculé l'énergie nécessaire pour y parvenir, multipliée par le nombre quotidien estimé de requêtes pour ce type de tâche par les utilisateurs du service d'IA populaire ChatGPT 4 .

Ils ont estimé que l’utilisation de la quantification, combinée à la réduction de la longueur des invites utilisateur et des réponses de l’IA de 300 à 150 mots, pourrait réduire la consommation d’énergie de 75 %.

En une seule journée, cette économie équivaudrait à la quantité d'électricité nécessaire pour alimenter 30 000 foyers britanniques moyens (en supposant une consommation de 7,4 kilowattheures par foyer et par jour). Il est important de noter que cette économie serait réalisée sans que le modèle perde sa capacité à gérer des tâches générales plus complexes.

Pour les tâches répétitives telles que la traduction et le résumé, les économies les plus importantes ont été réalisées en utilisant des modèles plus petits et spécialisés et une longueur d'invite/réponse réduite, ce qui a permis de réduire la consommation d'énergie de plus de 90 % (suffisamment pour alimenter 34 000 foyers britanniques pendant une journée).

Hristijan Bosilkovski, auteur du rapport et diplômé de l'UCL MSc en science des données et apprentissage automatique, a déclaré : « Il y aura des moments où il sera judicieux d'utiliser un grand modèle d'IA polyvalent, par exemple pour des tâches complexes ou pour la recherche et le développement.

« Mais les gains les plus importants en matière d'efficacité énergétique peuvent être obtenus en remplaçant les grands modèles par des modèles plus petits et spécialisés dans certaines tâches comme la traduction ou la recherche de connaissances. C'est un peu comme utiliser un marteau pour enfoncer un clou, plutôt qu'une masse. »

Regard vers l'avenir

Les auteurs du rapport affirment qu’à mesure que la concurrence dans les modèles d’IA générative augmente, il deviendra plus important pour les entreprises de rationaliser les modèles et d’utiliser des modèles plus petits mieux adaptés à certaines tâches.

Leona Verdadero, auteure du rapport et spécialiste de programme à la Section des politiques numériques et de la transformation numérique de l'UNESCO, a déclaré : « Trop souvent, les utilisateurs s'appuient sur des modèles d'IA surdimensionnés pour des tâches simples, comme utiliser une lance à incendie pour arroser une plante d'intérieur. En partageant plus largement des techniques pratiques, nous pouvons permettre à chacun de faire des choix plus intelligents et plus réfléchis. Adapter le modèle à la tâche n'est pas seulement plus efficace, c'est essentiel pour rendre la révolution de l'IA à la fois durable et accessible. »

Dr Maria Perez Ortiz, auteure du rapport de l'UCL Computer Science et membre de la Chaire UNESCO en IA de l'UCL, a déclaré : « L'avenir des modèles d'IA génératifs réside dans l'efficacité, et non dans l'excès. Nous souhaitons résoudre les défis avec des modèles plus intelligents, pas nécessairement en consommant davantage de ressources. Les stratégies proposées dans notre rapport permettent non seulement de réduire la consommation énergétique et d'améliorer la vitesse des modèles, mais elles nécessitent également beaucoup moins de puissance de calcul et de ressources. »

« Ils sont facilement accessibles et certains sont déjà utilisés à cette fin par la nouvelle génération de modèles d’IA. »

Le professeur Drobnjak a ajouté : « Lorsqu'on évoque l'avenir de l'IA économe en ressources, j'utilise souvent deux métaphores. La première est celle d'un "ensemble de cerveaux", une multitude de modèles spécialisés distincts qui échangent des messages, ce qui permet d'économiser de l'énergie mais donne une impression de fragmentation. L'autre métaphore, et l'avenir qui m'enthousiasme le plus, ressemble davantage à un cerveau unique, composé de régions distinctes, étroitement connectées, partageant une mémoire commune, mais capable d'activer uniquement les circuits dont il a besoin. C'est comme apporter l'efficacité d'un cortex finement réglé à l'IA générative : plus intelligente, plus performante et beaucoup moins gourmande en ressources. »

https://www.ucl.ac.uk/news/2025/jul/practical-changes-could-reduce-ai-energy-demand-90

https://www.ucl.ac.uk

Cet article vous a été utile ? Partagez-le.