Pour pérenniser l’IA, il faut penser plus petit, et non plus grand.
Vous vous inquiétez de l’impact environnemental de l’utilisation de l’IA générative ? Il existe une option plus légère et plus écologique que vous pouvez essayer, et les chercheurs de l’Université de Deakin en Australie travaillent à la rendre tout aussi efficace.
Le coût environnemental de l’IA génératrice
Ces dernières années, nous avons été nombreux à constater les avantages de l’utilisation de l’IA générique dans les tâches quotidiennes. Mais nous avons également été appelés à prendre en compte son coût environnemental considérable.
Des reportages ont mis en évidence que ces technologies d’IA populaires ont un impact environnemental significatif en raison de leur forte consommation d’énergie, de leurs émissions de carbone et de leur consommation d’eau.
Les centres de données dédiés à l’IA s’agrandissent pour accueillir des modèles toujours plus volumineux et répondre à la demande croissante de services d’IA. Selon un rapport récent de l’Agence internationale de l’énergie, un data center hyperscale axé sur l’IA peut consommer autant d’électricité par an que 100 000 foyers.
Les grands modèles d’IA nécessitent de nombreux calculs énergivores, ce qui impose l’utilisation de systèmes de refroidissement liquide. Les grands centres de données peuvent consommer jusqu’à 20 millions de litres d’eau par jour., soit la consommation d’eau d’une ville de 10 000 à 50 000 habitants.
Une alternative plus écologique aux grands modèles de langage
Alors, quelle est l’alternative ? Les technologies genAI populaires fonctionnent toutes à partir de « grands modèles de langage » ; des systèmes d’IA avancés construits sur des réseaux neuronaux profonds conçus pour traiter, comprendre et générer des résultats semblables à ceux des humains.
Les « petits modèles de langage » offrent des résultats similaires, mais avec une portée comparativement plus réduite.
Alors que les grands modèles de langage nécessitent des ensembles de données massifs et des centaines de milliards (ou des billions !) de paramètres (apprentissages) pour fonctionner, un petit modèle de langage n’en nécessitera généralement qu’un milliard.
Ainsi, les modèles de langage de petite taille nécessitent moins de mémoire, de puissance de traitement et de stockage, ce qui est essentiel pour réduire l’empreinte énergétique globale des systèmes d’IA. Dans certains cas, ils peuvent même consommer jusqu’à 90 % d’énergie en moins pour obtenir des résultats similaires à ceux de leurs homologues plus volumineux.
Imaginez utiliser un gros porteur pour faire vos courses plutôt que votre voiture. Pour la plupart des tâches que nous souhaitons confier à l’IA générale, un modèle de langage complexe est inutile ; un modèle simple suffit.
Les avantages plus larges des petits modèles de langage
Non seulement les petits modèles de langage consomment moins d’énergie, mais leur conception et leur maintenance sont également bien moins coûteuses. Un facteur important à prendre en compte pour les entreprises souhaitant développer leurs propres technologies d’IA générale.
Les modèles de langage légers peuvent s’exécuter sur des appareils que les utilisateurs ou les entreprises possèdent déjà, ce qui facilite leur déploiement local, améliore l’accessibilité et réduit le besoin d’une infrastructure de support étendue.
Cela signifie que les modèles de langage compacts offrent également une meilleure sécurité.
Par exemple, dans le contexte de la défense, l’utilisation de l’IA générique ne doit pas faire dépendre la sécurité nationale d’un produit tiers ni la rendre vulnérable aux cyberattaques.
En revanche, de petits modèles de langage peuvent être déployés sur un appareil local, ce qui permet à vos données de rester avec vous, et il n’est pas nécessaire d’avoir accès à Internet.
Obstacles à l’utilisation de petits modèles de langage
Alors, qu’est-ce qui nous empêche d’utiliser dès maintenant ces alternatives d’IA générative plus écologiques, moins chères et plus sûres ?
Les petits modèles de langage présentent actuellement certaines limitations. De par leur taille réduite, leurs performances sont différentes. Ils ne sont pas adaptés aux tâches complexes et conviennent mieux à des sujets spécifiques ou à des tâches simples.
Bon nombre des tâches pour lesquelles nous comptons sur de grands modèles de langage au quotidien peuvent être accomplies avec un petit modèle de langage correctement entraîné, comme demander une recette, réserver une chambre d’hôtel ou rédiger un rapport.
Mais jusqu’à présent, des sommes bien plus importantes ont été investies dans le développement de grands modèles de langage, et les géants de la tech investissent massivement pour rentabiliser ces investissements. Il est sans doute dans leur intérêt commercial de maintenir l’écart de performance que leurs grands modèles payants offrent actuellement par rapport aux alternatives plus petites et en accès libre.
De ce fait, les petits modèles de langage ont été quelque peu négligés. Par conséquent, ce sont principalement des chercheurs et des start-ups qui développent ce domaine actuellement, ce qui explique le faible niveau d’investissement et, de ce fait, la lenteur des progrès.
Les chercheurs de Deakin améliorent la technologie de l’IA
Des recherches supplémentaires sont nécessaires avant que les petits modèles de langage puissent être largement adoptés dans la technologie de l’IA générale.
C’est là qu’intervient notre travail au sein de l’Initiative d’intelligence artificielle appliquée de Deakin.
L’une de nos conclusions porte sur l’utilisation de plusieurs petits modèles d’IA collaborant plutôt que de s’appuyer sur un seul grand modèle. Nos premiers travaux suggèrent que des groupes de petits modèles spécialisés peuvent partager leur raisonnement et résoudre ensemble des tâches complexes.
Un drone, par exemple, pourrait exécuter un petit modèle de vision pour repérer les dangers, parallèlement à un modèle de raisonnement distinct pour décider de son prochain mouvement, les deux fonctionnant localement sur une puce sans nécessiter d’internet.
Une autre partie de nos travaux porte sur l’entraînement de l’IA à des tâches sans réponse unique. Les approches actuelles nécessitent des réponses clairement justes ou fausses pour apprendre. Nous développons des approches qui entraînent les modèles sur des problèmes ouverts : rédiger une légende, construire un récit à partir d’images ou trouver une solution créative lorsqu’il n’existe pas de réponse unique.
Nous nous attaquons également au problème de l’oubli de l’IA. Les modèles actuels perdent leurs anciennes compétences lorsqu’ils en acquièrent de nouvelles. Nous développons des systèmes qui accumulent les connaissances, à l’image d’une prothèse qui apprend votre démarche, votre course et s’adapte aux blessures au fil des années, sans jamais perdre un schéma moteur acquis.
Nous espérons que ce travail pourra contribuer à l’élaboration d’une approche plus sûre et plus durable de l’IA générative.
Par le Dr Hung Le de l’ Initiative d’intelligence artificielle appliquée de Deakin .