Les puces informatiques sont généralement petites. Le processeur qui alimente les derniers iPhones et iPads est plus petit qu’un ongle, et même les puissants dispositifs utilisés dans les serveurs cloud ne sont pas beaucoup plus gros qu’un timbre-poste. Mais, il y a maintenant une nouvelle puce de la startup Cerebras : elle est plus grosse qu’un iPad à lui tout seul.
Le monstre de silicium mesure près de 22 centimètres de chaque côté, ce qui en fait probablement la plus grosse puce informatique de tous les temps, et un monument pour les espoirs de l’industrie technologique en matière d’intelligence artificielle. Cerebras prévoit de l’offrir aux entreprises technologiques qui tentent de construire plus rapidement des IA plus intelligentes.
Eugenio Culurciello, un collègue du fabricant de puces Micron qui a travaillé sur la conception de puces pour l’IA mais qui n’a pas participé au projet, nomme de folle, l’échelle et l’ambition de la puce de Cerebras. Il croit aussi que c’est logique, en raison de la puissance de calcul intense qu’exigent les projets d’IA à grande échelle tels que les assistants virtuels et les voitures autonomes. « Cela coûtera cher, mais certaines personnes l’utiliseront probablement « , dit-il.
L’essor actuel de l’intelligence artificielle est dû à une technologie baptisé « Apprentissage profond ». Les systèmes d’intelligence artificielle qui en sont issus sont développés à l’aide d’un processus dénommé formation (training), dans lequel les algorithmes s’optimisent en fonction d’une tâche en analysant des données d’exemple.
Les données de formation peuvent être des scans médicaux annotés pour marquer les tumeurs ou les tentatives répétées d’un robot pour gagner un jeu vidéo. Les logiciels conçus de cette façon sont généralement plus puissants lorsqu’ils ont plus de données dont ils peuvent s’inspirer ou lorsque le système d’apprentissage lui-même est plus vaste et plus complexe.
La puissance de calcul est devenue un facteur limitant pour certains des projets d’IA les plus ambitieux. Une étude récente sur la consommation d’énergie de la formation en apprentissage approfondi a révélé qu’il pourrait en coûter 350 000 dollars pour développer un seul logiciel de traitement linguistique. Le laboratoire d’IA à but lucratif OpenAI a estimé qu’entre 2012 et 2018, la puissance de calcul dépensée pour les plus grandes expériences d’IA publiées a doublé environ tous les 3 mois et demi.
Les experts de l’IA désireux d’avoir plus de fougue utilisent généralement des processeurs graphiques, ou GPU. Le boom de l’apprentissage profond est né de la découverte que les GPU sont bien adaptés aux mathématiques qui sous-tendent la technique, une coïncidence qui a multiplié par 8 le cours de l’action du principal fournisseur de GPU Nvidia au cours des cinq dernières années. Plus récemment, Google a développé ses propres puces d’intelligence artificielle adaptées à l’apprentissage profond, appelées TPU, et un grand nombre de startups ont commencé à travailler sur leur propre matériel AI.
Pour former des logiciels d’apprentissage profond sur des tâches telles que la reconnaissance d’images, les ingénieurs utilisent des clusters de plusieurs GPU connectés ensemble. Pour faire un bot qui a affronté le jeu vidéo Dota 2 l’année dernière, OpenAI a lié des centaines de GPU pendant des semaines.
La puce de Cerebras, à gauche, est bien plus grande qu’un processeur graphique Nvidia, à droite, apprécié auprès des chercheurs en IA. CEREBRAS
La puce de Cerebras couvre plus de 56 fois la surface du GPU serveur le plus puissant de Nvidia, considéré lors de son lancement en 2017 comme la puce la plus complexe jamais vue. Andrew Feldman, fondateur et PDG de Cerebras, explique que le processeur géant peut faire le travail d’un cluster de centaines de GPU, selon la tâche à accomplir, tout en consommant beaucoup moins d’énergie et de place.
Andrew Feldman affirme que la puce permettra aux chercheurs en IA – et à la science de l’IA – d’aller plus vite. « Vous pouvez poser plus de questions », dit-il. « Il y a des choses que nous n’avons tout simplement pas pu essayer. »
Ces revendications reposent en partie sur les stocks importants de mémoire embarquée de la puce Cerebras, ce qui permet l’entrainement de logiciels d’apprentissage plus complexes. Andrew Feldman explique que sa conception surdimensionnée bénéficie également du fait que les données peuvent se déplacer dans une puce environ 1000 fois plus rapidement qu’entre des puces séparées et reliées entre elles.
La fabrication d’une puce aussi grosse et puissante pose ses propres problèmes. La plupart des ordinateurs restent au frais en soufflant de l’air, mais Cerebras a dû concevoir un système de conduites d’eau qui courent près de la puce pour éviter la surchauffe de celle-ci.
Andrew Feldman affirme qu’une « poignée » de clients essaient la puce, y compris pour des problèmes de conception de médicaments. Il prévoit de vendre des serveurs complets construits autour de la puce, plutôt que des puces seules, mais refuse de discuter du prix ou de la disponibilité.
Pour construire sa puce géante, Cerebras a travaillé en étroite collaboration avec le fabricant de puces à façon TSMC, dont les autres clients sont Apple et Nvidia. Brad Paulsen, vice-président principal de TSMC, qui travaille dans l’industrie des semi-conducteurs depuis le début des années 1980, affirme que c’est la plus grande puce qu’il ait jamais vue.
TSMC a dû adapter son équipement de fabrication pour créer une plaque continue de circuits de travail d’une telle taille. Les fabs, comme on appelle les usines de semi-conducteurs, fabriquent des puces à partir de plaquettes circulaires de silicium pur. Le procédé habituel consiste à placer une grille de plusieurs puces sur une plaquette, puis à découper la plaquette en tranches pour créer les dispositifs finis.
Les fabs modernes utilisent des plaquettes de 300 millimètres, environ 12 pouces de diamètre. Une telle plaquette produit généralement plus de 100 puces. La fabrication de la puce géante de Cerebras a nécessité que TSMC adapte son équipement pour faire une conception continue, au lieu d’une grille de plusieurs puces séparées, assure Brad Paulsen. La puce de Cerebras est le plus grand carré qui peut être coupé à partir d’une plaquette de 300 millimètres. « Je pense que les gens vont voir ça et dire ‘Wow c’est possible ? Peut-être devrions-nous explorer dans cette direction « , dit-il.
Intel, le plus grand fabricant de puces au monde, travaille également sur des puces spécialisées pour l’apprentissage profond, dont une pour accélérer la formation (training) en cours de développement en partenariat avec la société de recherche chinoise Baidu.
Naveen Rao, vice-président d’Intel, affirme que les travaux de Google sur les puces IA ont convaincu ses rivaux qu’ils avaient aussi besoin de nouveau matériel. « Google place la barre très haut en matière de nouvelles capacités » avec ses TPU, dit-il.
Intel a discuté de sa conception – de la taille d’une puce typique et prévue pour s’intégrer dans les systèmes informatiques existants – à la même conférence où Cerebras a présenté sa puce géante. Intel prévoit de les livrer à ses clients cette année. Naveen Rao dit que les puces de forme inhabituelle sont « difficiles à vendre » parce que les clients n’aiment pas abandonner leur matériel existant. « Pour déplacer l’industrie, nous devons le faire par incréments « , dit-il.
Jim McGregor, fondateur de la société d’analyse, Tirias Research, convient que ce ne sont pas toutes les entreprises technologiques qui se précipiteront pour acheter une puce exotique comme celle de Cerebras. Jim McGregor estime que le système de Cerebras pourrait coûter des millions de dollars et que les data centers existants pourraient avoir besoin d’être modifiés pour les accueillir. Cerebras doit également développer des logiciels qui permettent aux développeurs d’IA de s’adapter facilement à la nouvelle puce.
Néanmoins, il s’attend à ce que les plus grandes entreprises de technologie, qui voient leur destin continuer à rivaliser dans l’intelligence artificielle, comme Facebook, Amazon et Baidu, jettent un coup d’œil sérieux sur la grosse et bizarre puce de Cerebras. « Pour eux, cela pourrait avoir beaucoup de sens « , dit-il.
https://www.wired.com/story/power-ai-startup-built-really-big-chip/
