Skip to main content

21 Mar, 2024

Voici la puce d’IA la plus rapide du monde qui va accélérer massivement les progrès de l’IA

Voici la puce d’IA la plus rapide du monde qui va accélérer massivement les progrès de l’IA

Le Wafer Scale Engine (WSE-3) est la puce d’IA la plus rapide au monde.

Que vous considériez l’IA comme un outil incroyable offrant des avantages considérables ou comme un fléau sociétal qui ne profite qu’aux outils massifs, une nouvelle puce puissante peut les former plus rapidement que jamais. Cerebras Systems a dévoilé la puce d’IA la plus rapide au monde – le Wafer Scale Engine 3 (WSE-3), qui équipe le supercalculateur d’IA Cerebras CS-3 avec une performance de pointe de 125 petaFLOPS. Cette puce est extensible à l’infini.

Avant qu’un système d’IA puisse produire une petite vidéo mignonne, mais pas étrange, d’un chat réveillant son maître, il doit être entraîné sur une quantité de données franchement stupéfiante, ce qui consomme l’énergie de plus de 100 foyers dans le processus. Mais la nouvelle puce et les ordinateurs qui en sont équipés permettront d’accélérer ce processus et de le rendre plus efficace.

Chaque puce WSE-3, de la taille d’une boîte à pizza, contient quatre trillions (mille milliards) de transistors, ce qui permet de doubler les performances du modèle précédent de l’entreprise (qui était aussi le précédent record mondial) pour le même coût et la même consommation d’énergie. Lorsque ces transistors sont regroupés dans le système CS-3, ils peuvent apparemment fournir les performances d’une salle pleine de serveurs dans une seule unité de la taille d’un mini-frigo.

Cerebras affirme que le CS-3 utilise 900 000 cœurs d’IA et 44 Go de mémoire SRAM sur la puce, ce qui permet d’atteindre 125 pétaFLOPS de performances d’IA maximales. En théorie, cela devrait suffire à le hisser parmi les 10 premiers supercalculateurs du monde – bien qu’il n’ait évidemment pas été testé sur ces benchmarks, et que nous ne puissions donc pas être sûrs de ses performances réelles.

Pour stocker toutes ces données, les options de mémoire externe sont de 1,5 To, 12 To ou 1,2 Pétaoctets (PB), soit 1 200 To. Le CS-3 peut entraîner des modèles d’IA impliquant jusqu’à 24 billions de paramètres – par comparaison, la plupart des modèles d’IA se situent actuellement dans les milliards de paramètres, le GPT-4 étant estimé à environ 1,8 billion (1,8 mille millions). Selon Cerebras, le CS-3 devrait être capable d’entraîner un modèle d’un trillion de paramètres aussi facilement que les ordinateurs à base de GPU actuels entraînent un modèle d’un milliard de paramètres.

Grâce au processus de production des puces WSE-3, le CS-3 est conçu pour être évolutif, permettant de regrouper jusqu’à 2 048 unités en un superordinateur à peine compréhensible. Ce supercalculateur serait capable de réaliser jusqu’à 256 exaFLOPS, alors que les meilleurs supercalculateurs du monde n’en sont encore qu’à un peu plus d’un exaFLOP. Selon l’entreprise, une telle puissance permettrait de former un modèle Llama 70B à partir de zéro en une seule journée.

On a déjà l’impression que les modèles d’IA progressent à un rythme effréné, mais ce type de technologie ne fera qu’augmenter encore le débit. Quel que soit votre travail, il semble que les systèmes d’IA s’empareront de vos emplois et même de vos loisirs plus rapidement que jamais.

https://arxiv.org/pdf/2211.02001.pdf

https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/

https://www.top500.org/lists/top500/2023/11/

https://www.cerebras.net/press-release/cerebras-announces-third-generation-wafer-scale-engine

https://www.cerebras.net/product-system/