Supermicro, IBM и Nvidia запускают платформу KV-Cache для улучшения AI-инференса
5 ноября 2026 года компании Super Micro Computer, IBM и Nvidia объявили о совместном запуске платформы кэширования ключ-значение (KV), предназначенной для улучшения масштабного AI-инференса. Это инновационное решение решает проблему затратных повторных вычислений на GPU, сохраняя уже обработанную контекстную информацию.
Платформа KV-кэша нацелена на минимизацию необходимости повторных вычислений контекста на GPU при его выгрузке из памяти. Поддерживая эту внутреннюю запись, платформа значительно ускоряет время отклика для AI-моделей, особенно в сценариях, требующих обработки длинного контекста, таких как генерация с дополнением извлечения (RAG) и многопользовательские взаимодействия.
Улучшения производительности
Бенчмарки из проверенной референсной архитектуры показывают замечательные улучшения производительности. Новая конфигурация достигла улучшения скорости времени до первого токена (TTFT) до 56 раз для контекстов, достигающих 130 000 токенов. Кроме того, система продемонстрировала 22-кратный рост количества одновременных запросов в секунду (RPS), увеличившись с 0,19 до 4,26, и 95% сокращение общего времени обработки для пакетов из 200 запросов.
Даже под конкурентными нагрузками платформа KV-кэша сохраняла 18-кратное улучшение, завершая 200 запросов всего за чуть более 55 секунд во время тестов с шумными соседями.
Компоненты платформы KV-Cache
- Серверы хранения Petascale от Supermicro: Обеспечивают физический уровень хранения.
- Программное обеспечение IBM Storage Scale: Управляет высокопроизводительным общим хранилищем.
- Nvidia Dynamo: Обрабатывает программное обеспечение для инференса.
- Коммутаторы Nvidia Spectrum-X Ethernet: Обеспечивают перемещение данных между компонентами.
Эта платформа является частью более широкой инициативы Nvidia по созданию платформы хранения контекстной памяти для инференса (ICMSP), впервые представленной на CES 2026. Сотрудничество между этими тремя технологическими гигантами продолжается с середины 2025 года и сосредоточено на оптимизации процессов AI-инференса.
FAQ
Что такое платформа KV-Cache?
Платформа KV-Cache — это совместное решение, разработанное компаниями Supermicro, IBM и Nvidia, предназначенное для улучшения масштабируемого ИИ вывода, сохраняя информацию о контексте, чтобы минимизировать избыточные вычисления, выполняемые графическими процессорами.
Как платформа KV-Cache улучшает производительность ИИ вывода?
Платформа KV-Cache значительно ускоряет время отклика для ИИ моделей, поддерживая внутренний учет обработанного контекста, что снижает необходимость в повторных вычислениях контекста графическими процессорами при его вытеснении из памяти.
Какие улучшения производительности достигаются с помощью платформы KV-Cache?
Бенчмарки показывают до 56 раз быстрее время до первого токена (TTFT) для контекстов из 130,000 токенов, 22-кратное увеличение количества одновременных запросов в секунду и 95% сокращение общего времени обработки для партий из 200 запросов.
Какие компоненты составляют платформу KV-Cache?
Платформа KV-Cache включает в себя серверы хранения данных Petascale от Supermicro, программное обеспечение IBM Storage Scale, программное обеспечение Nvidia Dynamo для вывода и коммутаторы Nvidia Spectrum-X Ethernet для передачи данных.
Каково значение платформы KV-Cache в контексте инициатив Nvidia?
Платформа KV-Cache является частью более широкой инициативы Nvidia по оптимизации процессов ИИ вывода, известной как Inference Context Memory Storage Platform (ICMSP), которая была впервые представлена на CES 2026.
Комментарии
Комментарии публикуются после модерации.
Пока нет комментариев — напишите первым.