Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Vyzhimaem maksimum iz inferensa na vashih gpu s pomoschyu pure kva
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Выжимаем максимум из инференса на ваших GPU с помощью Pure KVA

Фото: Brett Jordan (Unsplash) — https://unsplash.com/photos/printed-text-in-religious-book-O2mD8qjwswo?utm_source=dev48&utm_medium=referral

Источник: Everpure Blog•18 ноября 2026 г. в 15:13

Выжимаем максимум из инференса на ваших GPU с помощью Pure KVA

Выжимаем максимум из инференса на ваших GPU с помощью Pure KVA от блога Everpure. Узнайте, как Pure Key-Value Accelerator (KVA) использует трехуровневый кеш KV для повышения эффективности использования GPU и сокращения времени до первого токена (TTFT). Статья «Выжимаем максимум из инференса на…

Наши темпы инноваций в области корпоративного кеша KV продолжают влиять на стеки инференса наших клиентов: в последнем выпуске Pure Key-Value Accelerator (KVA) добавлены трехуровневая архитектура, S3 поверх RDMA, мультиарендность и поддержка TurboQuant. Сегодня давайте сосредоточимся на новых функциях, которые влияют на время до первого токена (TTFT).

Увеличение количества итераций GPU за временной интервал

Новая трехуровневая архитектура Pure KVA (см. рис. 1 ниже) улучшает время загрузки кеша KV и использование GPU. Короче говоря, вы можете выполнять больше итераций за заданный промежуток времени на фиксированном количестве GPU. Эта недавно выпущенная функция позволяет использовать память с высокой пропускной способностью (HBM), системную память и хранилище для увеличения повторного использования кеша KV с более быстрым TTFT.

Рисунок 1: Трехуровневый путь загрузки KV для Pure Key-Value Accelerator (KVA).

Мы протестировали Kimi-k3 на GPU NVIDIA B300 с помощью запросов «vLLM bench», увеличивая контекст со 100 тыс. до 200 тыс. токенов. Вот пример команды, которую мы использовали во время тестирования:

vllm bench serve –model google/gemma-4-26B-A4B-it –num-prompts 50 –random-input-len 200000 –max-concurrency 1 –output-len 1

Сравнение TTFT загрузки кеша KV показывает, что Pure KVA работает в 5,4–11,5 раза быстрее, чем vLLM.

Рисунок 2: Время до первого токена при запуске Kimi-k3 на B300 — vLLM против Pure KVA (NFS).

Сравнение TTFT загрузки кеша KV показывает, что Pure KVA работает в 1,7–2 раза быстрее, чем LMCache. И Pure KVA, и LMCache определены с уровнем DRAM в дополнение к уровню хранилища (NFS или FS native).

Рисунок 3: Время до первого токена при запуске Kimi-k3 на B300 — LMCache (fs native) против Pure KVA (NFS).

Давайте рассмотрим теоретический пример с большей базой пользователей: у нас есть восемь GPU B300 для обслуживания 100 пользователей, каждый с контекстом 256K, инициирующий итерацию каждые 60 секунд в течение 10 итераций с 512 входными токенами для 1024 выходных токенов. Используя Pure KVA, мы можем выполнять больше итераций в час (724), чем без него (313). Наша рабочая нагрузка завершается в 2,3 раза быстрее, экономя 108 минут.

Рисунок 4: Время завершения всех сессий — 100 сессий, каждая по 10 итераций.

Причина проста: перевычисление. Большие контексты требуют больше времени, чем перезагрузка из сохраненной копии. В оптимальных условиях для перевычисления контекста 256k на GPU B300 потребовалось бы 7,25 с. Обратите внимание, что эти теоретические цифры для данного примера использования в 2 раза быстрее, чем наши реальные результаты. Трехуровневый подход Pure KVA обеспечивает простое управление кешем KV от HBM к DRAM и к хранилищу, поэтому движок инференса может начать декодирование новых токенов вместо перевычисления известных «старых» токенов.

Рисунок 5: Перевычисление против перезагрузки — оптимальные условия.*

*Цифры основаны на оптимальной максимальной пропускной способности — в примере использовалась пропускная способность 55,6 ГБ/с для DRAM и 10 ГБ/с.

С внедрением S3 поверх RDMA использование объектного хранилища на FlashBlade® больше не влечет за собой штраф за накладные расходы протокола S3. Наш тест vLLM bench показал, что производительность Pure KVA S3 была в 3,9–8,2 раза выше, чем у vLLM. Это дает вам гибкость в выборе протокола, который наилучшим образом соответствует требованиям вашего стека инференса.

Рисунок 6: Время до первого токена при запуске Kimi-k3 на B300 — vLLM против Pure KVA (S3).

Заключение

Локальный корпоративный инференс требует максимального использования имеющихся GPU. Лучший рычаг — повторное использование кеша KV, чтобы позволить больше пользовательских итераций на час работы GPU. Пользовательские сессии будут вытесняться из HBM GPU, и перевычисление предыдущей сессии — это пустая трата ценного времени GPU. Перезагрузка кеша KV для устранения влияния вытеснения сессий позволяет выжать максимум инференса из вашего существующего парка GPU.

Свяжитесь со своей командой по работе с клиентами сегодня, чтобы ускорить инференс и начать экономить циклы GPU.

← Все статьи

О чём эта статья

Ещё в разделе «Hardware и электроника»

Все →
Глобальное исследование Schneider Electric показало резкий рост спроса на локальную ИИ-инфраструктуру из-за проблем с суверенитетом и соответствием требованиям
Schneider Electric

Глобальное исследование Schneider Electric показало резкий рост спроса на локальную ИИ-инфраструктуру из-за проблем с суверенитетом и соответствием требованиям

GE HealthCare внедряет расширенную визуализацию в <a name="OLE_LINK8" id="OLE_LINK8"></a>InteleViewer для поддержки радиологических рабочих процессов
Ge Healthcare

GE HealthCare внедряет расширенную визуализацию в <a name="OLE_LINK8" id="OLE_LINK8"></a>InteleViewer для поддержки радиологических рабочих процессов

Внедряйте суверенный и безопасный ИИ там, где работает ваш бизнес
Lenovo

Внедряйте суверенный и безопасный ИИ там, где работает ваш бизнес

Компактные настольные ПК NVIDIA RTX Spark уже в продаже
NVIDIA

Компактные настольные ПК NVIDIA RTX Spark уже в продаже

Круглый стол: масштабное обновление сетей: 2026 год зажигает фитиль, взорвет ли рынок 2027 год?
TP-Link

Круглый стол: масштабное обновление сетей: 2026 год зажигает фитиль, взорвет ли рынок 2027 год?

ABB заботится о здравоохранении: три лучшие технологии | ABB
Abb Energy

ABB заботится о здравоохранении: три лучшие технологии | ABB

Ещё от Pure Storage

Что промышленный ИИ требует от уровня данных
Pure Storage

Что промышленный ИИ требует от уровня данных

Поддержка PX-CSI для Talos Linux появится в декабре
Pure Storage

Поддержка PX-CSI для Talos Linux появится в декабре

Фундамент данных для Frontier Transformation
Pure Storage

Фундамент данных для Frontier Transformation

Вы покупаете передовые модели для простых задач. Протестируйте своих ИИ-агентов для программирования на собственном коде
Pure Storage

Вы покупаете передовые модели для простых задач. Протестируйте своих ИИ-агентов для программирования на собственном коде

Руководство администратора vSphere по эксплуатации (Day-Two) виртуальных машин в Kubernetes
Pure Storage

Руководство администратора vSphere по эксплуатации (Day-Two) виртуальных машин в Kubernetes

Portworx представляет расширенные возможности ИИ и виртуальных машин на Kubernetes; Everpure названа лидером в отчете IDC MarketScape за 2026 год
Pure Storage

Portworx представляет расширенные возможности ИИ и виртуальных машин на Kubernetes; Everpure названа лидером в отчете IDC MarketScape за 2026 год