Наши темпы инноваций в области корпоративного кеша KV продолжают влиять на стеки инференса наших клиентов: в последнем выпуске Pure Key-Value Accelerator (KVA) добавлены трехуровневая архитектура, S3 поверх RDMA, мультиарендность и поддержка TurboQuant. Сегодня давайте сосредоточимся на новых функциях, которые влияют на время до первого токена (TTFT).
Увеличение количества итераций GPU за временной интервал
Новая трехуровневая архитектура Pure KVA (см. рис. 1 ниже) улучшает время загрузки кеша KV и использование GPU. Короче говоря, вы можете выполнять больше итераций за заданный промежуток времени на фиксированном количестве GPU. Эта недавно выпущенная функция позволяет использовать память с высокой пропускной способностью (HBM), системную память и хранилище для увеличения повторного использования кеша KV с более быстрым TTFT.
Рисунок 1: Трехуровневый путь загрузки KV для Pure Key-Value Accelerator (KVA).
Мы протестировали Kimi-k3 на GPU NVIDIA B300 с помощью запросов «vLLM bench», увеличивая контекст со 100 тыс. до 200 тыс. токенов. Вот пример команды, которую мы использовали во время тестирования:
vllm bench serve –model google/gemma-4-26B-A4B-it –num-prompts 50 –random-input-len 200000 –max-concurrency 1 –output-len 1
Сравнение TTFT загрузки кеша KV показывает, что Pure KVA работает в 5,4–11,5 раза быстрее, чем vLLM.
Рисунок 2: Время до первого токена при запуске Kimi-k3 на B300 — vLLM против Pure KVA (NFS).
Сравнение TTFT загрузки кеша KV показывает, что Pure KVA работает в 1,7–2 раза быстрее, чем LMCache. И Pure KVA, и LMCache определены с уровнем DRAM в дополнение к уровню хранилища (NFS или FS native).
Рисунок 3: Время до первого токена при запуске Kimi-k3 на B300 — LMCache (fs native) против Pure KVA (NFS).
Давайте рассмотрим теоретический пример с большей базой пользователей: у нас есть восемь GPU B300 для обслуживания 100 пользователей, каждый с контекстом 256K, инициирующий итерацию каждые 60 секунд в течение 10 итераций с 512 входными токенами для 1024 выходных токенов. Используя Pure KVA, мы можем выполнять больше итераций в час (724), чем без него (313). Наша рабочая нагрузка завершается в 2,3 раза быстрее, экономя 108 минут.
Рисунок 4: Время завершения всех сессий — 100 сессий, каждая по 10 итераций.
Причина проста: перевычисление. Большие контексты требуют больше времени, чем перезагрузка из сохраненной копии. В оптимальных условиях для перевычисления контекста 256k на GPU B300 потребовалось бы 7,25 с. Обратите внимание, что эти теоретические цифры для данного примера использования в 2 раза быстрее, чем наши реальные результаты. Трехуровневый подход Pure KVA обеспечивает простое управление кешем KV от HBM к DRAM и к хранилищу, поэтому движок инференса может начать декодирование новых токенов вместо перевычисления известных «старых» токенов.
Рисунок 5: Перевычисление против перезагрузки — оптимальные условия.*
*Цифры основаны на оптимальной максимальной пропускной способности — в примере использовалась пропускная способность 55,6 ГБ/с для DRAM и 10 ГБ/с.
С внедрением S3 поверх RDMA использование объектного хранилища на FlashBlade® больше не влечет за собой штраф за накладные расходы протокола S3. Наш тест vLLM bench показал, что производительность Pure KVA S3 была в 3,9–8,2 раза выше, чем у vLLM. Это дает вам гибкость в выборе протокола, который наилучшим образом соответствует требованиям вашего стека инференса.
Рисунок 6: Время до первого токена при запуске Kimi-k3 на B300 — vLLM против Pure KVA (S3).
Заключение
Локальный корпоративный инференс требует максимального использования имеющихся GPU. Лучший рычаг — повторное использование кеша KV, чтобы позволить больше пользовательских итераций на час работы GPU. Пользовательские сессии будут вытесняться из HBM GPU, и перевычисление предыдущей сессии — это пустая трата ценного времени GPU. Перезагрузка кеша KV для устранения влияния вытеснения сессий позволяет выжать максимум инференса из вашего существующего парка GPU.
Свяжитесь со своей командой по работе с клиентами сегодня, чтобы ускорить инференс и начать экономить циклы GPU.












