Supermicro, IBM y Nvidia Lanzan la Plataforma KV-Cache para Mejorar la Inferencia de IA
El 5 de noviembre de 2026, Super Micro Computer, IBM y Nvidia anunciaron una plataforma colaborativa de caché de clave-valor (KV) diseñada para mejorar la inferencia de IA a gran escala. Esta solución innovadora aborda el costoso problema de que las GPU realicen cálculos redundantes al retener información de contexto que ya ha sido procesada.
La plataforma de caché KV tiene como objetivo minimizar la necesidad de que las GPU recomputen el contexto cuando este es desalojado de la memoria. Al mantener este registro interno, la plataforma acelera significativamente los tiempos de respuesta para los modelos de IA, especialmente en escenarios que requieren procesamiento de largo contexto, como la generación aumentada por recuperación (RAG) y las interacciones de múltiples turnos.
Mejoras en el Rendimiento
Los benchmarks de una arquitectura de referencia validada indican mejoras de rendimiento notables. La nueva configuración logró mejoras en la velocidad de tiempo hasta el primer token (TTFT) de hasta 56 veces para contextos que alcanzan los 130,000 tokens. Además, el sistema experimentó un aumento de 22 veces en las solicitudes concurrentes por segundo (RPS), pasando de 0.19 a 4.26, y una reducción del 95% en el tiempo total de procesamiento para lotes de 200 solicitudes.
Aún bajo cargas competitivas, la plataforma KV-cache mantuvo una mejora de 18 veces, completando 200 solicitudes en poco más de 55 segundos durante pruebas de vecinos ruidosos.
Componentes de la Plataforma KV-Cache
- Servidores de Almacenamiento Petascale de Supermicro: Proporcionan la capa de almacenamiento físico.
- Software de Almacenamiento Scale de IBM: Gestiona el almacenamiento compartido de alto rendimiento.
- Nvidia Dynamo: Maneja el software de inferencia.
- Conmutadores Ethernet Spectrum-X de Nvidia: Facilitan el movimiento de datos entre componentes.
Esta plataforma es parte de la iniciativa más amplia de Nvidia llamada Plataforma de Almacenamiento de Memoria de Contexto de Inferencia (ICMSP), que se presentó por primera vez en el CES 2026. La colaboración entre estos tres gigantes tecnológicos ha estado en curso desde mediados de 2025, enfocándose en optimizar los procesos de inferencia de IA.
FAQ
¿Qué es la plataforma KV-Cache?
La plataforma KV-Cache es una solución colaborativa desarrollada por Supermicro, IBM y Nvidia, diseñada para mejorar la inferencia de IA a gran escala al retener información de contexto para minimizar los cálculos redundantes realizados por las GPU.
¿Cómo mejora la plataforma KV-Cache el rendimiento de la inferencia de IA?
La plataforma KV-Cache acelera significativamente los tiempos de respuesta para los modelos de IA al mantener un registro interno del contexto procesado, lo que reduce la necesidad de que las GPU recalculen el contexto cuando son desalojadas de la memoria.
¿Qué mejoras de rendimiento se logran con la plataforma KV-Cache?
Los benchmarks indican hasta 56 veces más rápido el tiempo hasta el primer token (TTFT) para contextos de 130,000 tokens, un aumento de 22 veces en las solicitudes concurrentes por segundo y una reducción del 95% en el tiempo total de procesamiento para lotes de 200 solicitudes.
¿Qué componentes conforman la plataforma KV-Cache?
La plataforma KV-Cache incluye los Servidores de Almacenamiento Petascale de Supermicro, el Software de Almacenamiento IBM Storage Scale, el software de inferencia Nvidia Dynamo y los Conmutadores Ethernet Nvidia Spectrum-X para el movimiento de datos.
¿Cuál es la importancia de la plataforma KV-Cache en el contexto de las iniciativas de Nvidia?
La plataforma KV-Cache es parte de la iniciativa más amplia de Nvidia llamada Plataforma de Almacenamiento de Memoria de Contexto de Inferencia (ICMSP), que tiene como objetivo optimizar los procesos de inferencia de IA y fue presentada por primera vez en CES 2026.
Comentarios
Los comentarios se moderan antes de publicarse.
Aún no hay comentarios — sé el primero.