Google stellt TPU 8t und TPU 8i Chips für KI-Training und -Inference vor

Auf der Google Cloud Next Veranstaltung hat das Unternehmen seine achte Generation von Tensor Processing Units (TPUs) vorgestellt, die nun in zwei unterschiedliche Designs unterteilt sind: die TPU 8t für großangelegtes Vortraining und die TPU 8i für Inference und hochgradige Schlussfolgerungen. Dies ist das erste Mal, dass Google sich für ein geteiltes Design in einer TPU-Generation entschieden hat, was den sich wandelnden Anforderungen der KI-Technologie Rechnung trägt.

Verstehen der neuen TPU-Designs

Die TPU 8t ist für das Training von Modellen mit umfangreichen Datensätzen konzipiert und legt den Schwerpunkt auf rohe Rechenleistung mit der Möglichkeit, bis zu 9.600 Chips zu skalieren und eine Leistung von 121 ExaFlops zu erreichen. Sie verfügt über 216 GB High Bandwidth Memory (HBM) und 128 MB Static Random-Access Memory (SRAM). Im Gegensatz dazu konzentriert sich die TPU 8i auf Inference-Aufgaben und bietet 288 GB HBM sowie 384 MB SRAM, was dreimal so viel ist wie bei ihrem Vorgänger, und liefert 10,1 FP4 PFLOPs pro Chip.

Technische Innovationen

Beide Chips nutzen die N3-Prozesstechnologie von TSMC und integrieren Googles Arm-basierte Axion-CPUs. Die TPU 8i umfasst eine neue Boardfly-Topologie und einen CAE-Engine, die darauf ausgelegt sind, die Leistung zu verbessern. Google strebt an, die Synergie zwischen Hardware und Software durch Frameworks wie JAX und Pathways zu optimieren.

Zukünftige Entwicklungen

Google erwartet, dass diese Chips Ende 2026 allgemein verfügbar sein werden, wobei weitere technische Details auf der Hot Chips 2026 Konferenz im August bekannt gegeben werden. Dieser strategische Wandel hin zu spezialisierten Chips spiegelt einen wachsenden Trend in der KI-Infrastruktur wider, der auf die unterschiedlichen Bedürfnisse von Training und Inference eingeht.