L'algorithme d'addition d'entiers pourrait réduire les besoins énergétiques de l'IA de 95 %
infohightech ·
Une équipe d'ingénieurs de la société de technologie d'inférence IA BitEnergy AI a présenté une méthode permettant de réduire de 95 % les besoins énergétiques des applications IA. Le groupe a publié un article décrivant sa nouvelle technique sur le serveur de pré-impression arXiv .
Les applications d’IA se sont généralisées et leur utilisation a augmenté de façon spectaculaire, entraînant une hausse notable des besoins et des coûts énergétiques. Les LLM tels que ChatGPT nécessitent une puissance de calcul importante, ce qui signifie que leur fonctionnement nécessite beaucoup d’électricité.
À titre d’exemple, ChatGPT nécessite aujourd’hui environ 564 MWh par jour, soit assez pour alimenter 18 000 foyers américains. À mesure que la science continue de progresser et que ces applications gagnent en popularité, les critiques ont suggéré que les applications d’IA pourraient consommer environ 100 TWh par an dans quelques années seulement, soit autant que les opérations de minage de Bitcoin.
Dans ce nouvel effort, l’équipe de BitEnergy AI affirme avoir trouvé un moyen de réduire considérablement la quantité de calcul requise pour exécuter des applications d’IA, sans pour autant entraîner une diminution des performances.
La nouvelle technique est basique : au lieu d’utiliser une multiplication complexe à virgule flottante (FPM), la méthode utilise l’addition d’entiers. Les applications utilisent la FPM pour gérer des nombres extrêmement grands ou petits, ce qui leur permet d’effectuer des calculs avec une précision extrême. C’est également la partie la plus énergivore du traitement des nombres par l’IA.
Nombres à virgule flottante 16 bits, 8 bits définis dans la norme IEEE 754 et sur divers matériels pour les calculs tensoriels, et l'entier 16 bits. MSB signifie bit le plus significatif et LSB signifie bit le moins significatif. Crédit : arXiv (2024). DOI : 10.48550/arxiv.2410.00907
Les chercheurs ont baptisé leur nouvelle méthode « Linear-Complexity Multiplication » (multiplication par complexité linéaire) : elle consiste à approximer les FPM à l’aide d’une addition d’entiers. Ils affirment que les tests effectués jusqu’à présent ont montré que la nouvelle approche réduit la demande en électricité de 95 %.
Le seul inconvénient est qu'il nécessite un matériel différent de celui actuellement utilisé. Mais l'équipe de recherche note également que le nouveau type de matériel a déjà été conçu, construit et testé.
La manière dont ce matériel sera autorisé reste toutefois incertaine : actuellement, le fabricant de GPU Nvidia domine le marché du matériel d'IA. La manière dont il réagira à cette nouvelle technologie pourrait avoir un impact majeur sur la vitesse à laquelle elle sera adoptée, si les affirmations de l'entreprise se vérifient.