Märkte
Supermicro, IBM und Nvidia starten KV-Cache-Plattform zur Verbesserung der KI-Inferenz
Am 5. November 2026 gaben Super Micro Computer, IBM und Nvidia die Einführung einer gemeinsamen Key-Value (KV) Cache-Plattform bekannt, die darauf ausgelegt ist, die großflächige KI-Inferenz zu verbessern. Diese innovative Lösung adressiert das kostspielige Problem, dass GPUs redundante Berechnungen durchführen, indem sie bereits verarbeitete Kontextinformationen speichern.
Die KV-Cache-Plattform zielt darauf ab, die Notwendigkeit zu minimieren, dass GPUs den Kontext neu berechnen müssen, wenn dieser aus dem Speicher entfernt wird. Durch die Beibehaltung dieses internen Protokolls beschleunigt die Plattform die Antwortzeiten für KI-Modelle erheblich, insbesondere in Szenarien, die eine Verarbeitung mit langem Kontext erfordern, wie z.B. retrieval-augmented generation (RAG) und mehrstufige Interaktionen.
Leistungsverbesserungen
Benchmarks einer validierten Referenzarchitektur zeigen bemerkenswerte Leistungssteigerungen. Die neue Konfiguration erzielte Verbesserungen der Zeit bis zum ersten Token (TTFT) von bis zu 56 Mal für Kontexte mit bis zu 130.000 Tokens. Darüber hinaus verzeichnete das System einen 22-fachen Anstieg der gleichzeitigen Anfragen pro Sekunde (RPS), von 0,19 auf 4,26, sowie eine 95%ige Reduzierung der Gesamtverarbeitungszeit für Batch-Anfragen von 200.
Sogar unter Wettbewerbsbelastungen hielt die KV-Cache-Plattform eine 18-fache Verbesserung aufrecht und bearbeitete 200 Anfragen in etwas mehr als 55 Sekunden während der Tests mit Störgeräuschen.
Komponenten der KV-Cache-Plattform
- Supermicro Petascale Storage-Server: Stellen die physische Speicherschicht bereit.
- IBM Storage Scale Software: Verwalten den Hochleistungs-Shared Storage.
- Nvidia Dynamo: Kümmert sich um die Inferenzsoftware.
- Nvidia Spectrum-X Ethernet-Switches: Erleichtern die Datenbewegung zwischen den Komponenten.
Diese Plattform ist Teil von Nvidias umfassender Initiative zur Inferenz-Kontext-Speicherplattform (ICMSP), die erstmals auf der CES 2026 vorgestellt wurde. Die Zusammenarbeit zwischen diesen drei Technologiegiganten besteht seit Mitte 2025 und konzentriert sich auf die Optimierung der KI-Inferenzprozesse.
FAQ
Was ist die KV-Cache-Plattform?
Die KV-Cache-Plattform ist eine kollaborative Lösung, die von Supermicro, IBM und Nvidia entwickelt wurde, um die KI-Inferenz im großen Maßstab zu verbessern, indem Kontextinformationen gespeichert werden, um redundante Berechnungen, die von GPUs durchgeführt werden, zu minimieren.
Wie verbessert die KV-Cache-Plattform die Leistung der KI-Inferenz?
Die KV-Cache-Plattform beschleunigt die Antwortzeiten für KI-Modelle erheblich, indem sie einen internen Datensatz verarbeiteter Kontexte beibehält, was die Notwendigkeit verringert, dass GPUs den Kontext neu berechnen müssen, wenn sie aus dem Speicher entfernt werden.
Welche Leistungsverbesserungen werden mit der KV-Cache-Plattform erzielt?
Benchmarks zeigen eine bis zu 56-mal schnellere Zeit bis zum ersten Token (TTFT) für Kontexte von 130.000 Tokens, eine 22-fache Erhöhung der gleichzeitigen Anfragen pro Sekunde und eine 95%ige Reduzierung der gesamten Verarbeitungszeit für Batches von 200 Anfragen.
Welche Komponenten bilden die KV-Cache-Plattform?
Die KV-Cache-Plattform umfasst Supermicros Petascale Storage Servers, IBM Storage Scale Software, Nvidia Dynamo für Inferenzsoftware und Nvidia Spectrum-X Ethernet Switches für die Datenübertragung.
Welche Bedeutung hat die KV-Cache-Plattform im Kontext von Nvidias Initiativen?
Die KV-Cache-Plattform ist Teil von Nvidias umfassenderer Initiative zur Inferenz-Kontext-Speicherplattform (ICMSP), die darauf abzielt, die KI-Inferenzprozesse zu optimieren und erstmals auf der CES 2026 vorgestellt wurde.