Google fait progresser sa technologie de silicium personnalisée pour l'IA agentique en élargissant sa famille de TPU avec les modèles 8tx et 8i Max.

Google a présenté deux nouvelles puces en silicium spécialisées pour l'intelligence artificielle, qui viennent compléter sa famille d'architectures Tensor Processing Unit de huitième génération, destinées à une densité de calcul plus élevée et à une inférence sécurisée.

Lors de Google Cloud Next 2026 en avril, Google  a présenté deux TPU spécialisés de la même génération : le 8t, destiné à l’entraînement à grande échelle, et le 8i, conçu pour le raisonnement en temps réel. L’entreprise a alors indiqué que ces puces étaient conçues pour gérer les charges de travail d’IA les plus exigeantes, notamment pour deux tâches principales : la construction et l’exécution des modèles.

L'extension d'aujourd'hui comprend deux nouvelles puces spécialisées pour des systèmes supplémentaires : la TPU 8i Max pour des fenêtres de contexte massives et la densité de calcul la plus élevée possible par rack, et la TPU 8tx conçue pour une inférence sécurisée et confidentielle.

TPU 8i Max, lorsque la mémoire constitue le goulot d'étranglement

Google a déclaré que le TPU 8i Max vise à augmenter la puissance de calcul et la mémoire, offrant deux fois plus de puissance de calcul, deux fois plus de SRAM et deux fois plus de mémoire à large bande passante que le TPU 8i. Cela permet aux processeurs de disposer d'un maximum de mémoire pour traiter les données sans avoir à les échanger.

De plus, la société a ajouté que le 8i Max intègre deux fois plus de puces dans le même espace au sol, réduisant ainsi la surface occupée par mètre carré et par watt dans les centres de données.

Cela permet aux nouvelles TPU de huitième génération de fournir aux clients un accélérateur spécialement conçu pour les modèles plus grands et la tendance actuelle du secteur vers des fenêtres de contexte ultra-larges.

La fenêtre de contexte sert d'espace de travail à un modèle d'IA : elle détermine la quantité de données qu'il peut analyser pour répondre à une question. Plus la fenêtre est grande, plus elle peut traiter de documents longs, d'historiques de conversations, de fichiers audio, de vidéos ou de code. Cependant, cet agrandissement a un coût. Le traitement et la consultation répétée d'un plus grand nombre d'informations sollicitent davantage les puces pour les échanges de données, ce qui nécessite plus de mémoire embarquée et des connexions plus robustes pour le transfert de données entre les processeurs.

L'ajout de mémoire embarquée réduit la nécessité de déplacer des données entre les processeurs, ce qui diminue la latence et réduit la consommation d'énergie dont un modèle d'IA a besoin pour « réfléchir » aux informations.

Google a déclaré avoir développé 8i Max en parallèle de la mise en œuvre de fenêtres de contexte massives pour son modèle Gemini, qui prend en charge la norme industrielle d'un million de jetons. Cela représente environ 750 000 mots ou 1 500 pages de texte. Bien que les modèles phares gèrent un million de jetons, les modèles plus petits prennent généralement en charge des fenêtres de contexte plus restreintes, comprises entre 128 000 et 256 000 jetons.

TPU 8tx, pour des raisons de confidentialité

Google a déclaré avoir optimisé le TPU 8tx pour une inférence sécurisée et confidentielle, concevant la puce pour les entreprises réglementées et les gouvernements qui souhaitent exécuter des modèles de pointe ou propriétaires et des agents autonomes parallèlement aux données les plus sensibles.

Normalement, les données sont chiffrées lors de leur stockage ou de leur transmission sur un réseau. Cependant, lorsqu'un modèle d'IA traite ces mêmes informations, elles doivent être décodées. Reposant sur la même architecture que le TPU 8t, avec des unités centrales de traitement AMD personnalisées, le 8tx intègre une enclave sécurisée directement dans la couche matérielle, garantissant ainsi la protection et l'isolation des données sensibles et des pondérations du modèle.

L'entreprise a indiqué que l'architecture associe une puissance de calcul adaptée à l'entraînement à une inférence rapide, permettant ainsi aux organisations d'exécuter et de personnaliser des modèles sur un système unique et confidentiel. Cette combinaison permet aux services et industries réglementés d'affiner leurs modèles à l'aide de données privées, de décomposer les grands modèles en modèles plus petits et d'entraîner des agents par apprentissage par renforcement.

Tout ceci peut être réalisé sans migration de données entre différents clusters, ce qui pourrait exposer des informations sensibles à des fuites.

https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/