Supermicro, IBM et Nvidia lancent la plateforme KV-Cache pour améliorer l'inférence AI
Le 5 novembre 2026, Super Micro Computer, IBM et Nvidia ont annoncé une plateforme collaborative de cache clé-valeur (KV) conçue pour améliorer l'inférence AI à grande échelle. Cette solution innovante s'attaque au problème coûteux des GPU effectuant des calculs redondants en conservant les informations contextuelles déjà traitées.
La plateforme de cache KV vise à minimiser la nécessité pour les GPU de recomputater le contexte lorsqu'il est évincé de la mémoire. En maintenant cet enregistrement interne, la plateforme accélère considérablement les temps de réponse des modèles AI, en particulier dans des scénarios nécessitant un traitement de long contexte, tels que la génération augmentée par récupération (RAG) et les interactions multi-tours.
Améliorations des performances
Les benchmarks d'une architecture de référence validée indiquent des améliorations de performances remarquables. La nouvelle configuration a atteint des améliorations de vitesse de temps au premier jeton (TTFT) allant jusqu'à 56 fois pour des contextes atteignant 130 000 jetons. De plus, le système a enregistré une augmentation de 22 fois des requêtes simultanées par seconde (RPS), passant de 0,19 à 4,26, et une réduction de 95 % du temps de traitement total pour des lots de 200 requêtes.
Même sous des charges concurrentielles, la plateforme KV-cache a maintenu une amélioration de 18 fois, complétant 200 requêtes en un peu plus de 55 secondes lors de tests de voisinage bruyant.
Composants de la plateforme KV-Cache
- Serveurs de stockage Petascale de Supermicro : Fournissent la couche de stockage physique.
- Logiciel IBM Storage Scale : Gère le stockage partagé haute performance.
- Nvidia Dynamo : Gère le logiciel d'inférence.
- Commutateurs Ethernet Nvidia Spectrum-X : Facilitent le mouvement des données entre les composants.
Cette plateforme fait partie de l'initiative plus large de Nvidia sur la plateforme de stockage de mémoire de contexte d'inférence (ICMSP), qui a été présentée pour la première fois au CES 2026. La collaboration entre ces trois géants de la technologie est en cours depuis la mi-2025, se concentrant sur l'optimisation des processus d'inférence AI.
FAQ
Qu'est-ce que la plateforme KV-Cache ?
La plateforme KV-Cache est une solution collaborative développée par Supermicro, IBM et Nvidia, conçue pour améliorer l'inférence AI à grande échelle en conservant les informations de contexte afin de minimiser les calculs redondants effectués par les GPU.
Comment la plateforme KV-Cache améliore-t-elle les performances de l'inférence AI ?
La plateforme KV-Cache accélère considérablement les temps de réponse pour les modèles AI en maintenant un enregistrement interne des contextes traités, ce qui réduit le besoin pour les GPU de recalculer le contexte lorsqu'il est évincé de la mémoire.
Quelles sont les améliorations de performance réalisées avec la plateforme KV-Cache ?
Les benchmarks indiquent jusqu'à 56 fois plus rapide le temps jusqu'au premier jeton (TTFT) pour des contextes de 130 000 jetons, une augmentation de 22 fois des requêtes simultanées par seconde, et une réduction de 95 % du temps de traitement total pour des lots de 200 requêtes.
Quels composants composent la plateforme KV-Cache ?
La plateforme KV-Cache comprend les serveurs de stockage Petascale de Supermicro, le logiciel IBM Storage Scale, le logiciel d'inférence Nvidia Dynamo, et les commutateurs Ethernet Nvidia Spectrum-X pour le mouvement des données.
Quelle est l'importance de la plateforme KV-Cache dans le contexte des initiatives de Nvidia ?
La plateforme KV-Cache fait partie de l'initiative plus large de Nvidia, la plateforme de stockage de mémoire de contexte d'inférence (ICMSP), qui vise à optimiser les processus d'inférence AI et a été présentée pour la première fois au CES 2026.
Commentaires
Les commentaires sont modérés avant publication.
Pas encore de commentaires — soyez le premier.