Сегодня на конференции PyTorch Conference North America участники проекта llm-d объявили о выходе llm-d 1.0 — важной вехи для open-source ИИ-инфраструктуры. Будучи нативной для Kubernetes распределенной сетью обслуживания инференса, llm-d позволяет развертывать стеки инференса для любой модели, на любом ускорителе и в любом облаке.
Этот релиз сигнализирует о том, что llm-d вышла за рамки демонстрации отдельных методов повышения производительности и готова к реалиям промышленной эксплуатации: стабильной эффективности при различных нагрузках с одновременным балансированием приоритетов сервисов в условиях растущего спроса. Учитывая рост затрат на инференс, llm-d призвана помочь перенести развертывание моделей внутрь компании и обеспечить окупаемость инвестиций в ИИ.
Эта работа велась совместно с растущим open-source сообществом, в которое входят поставщики оборудования, разработчики моделей, облачные платформы и корпоративные пользователи. Являясь ведущими мейнтейнерами llm-d, Red Hat, IBM и Google помогли превратить передовые методы инференса в скоординированную систему, которую предприятия могут эксплуатировать в масштабных средах. Год назад они совместно с CoreWeave и NVIDIA основали проект llm-d, к которому в дальнейшем в качестве контрибьюторов присоединились лидеры индустрии, включая AMD, Cisco, Hugging Face, Intel, Lambda и Mistral AI.
Результатом стала независимая от конкретного вендора альтернатива для организаций, которым требуется производительность инференса передового уровня без полной зависимости от какого-либо одного провайдера проприетарных моделей, облака или аппаратной платформы.
«llm-d готова к операциям второго дня, — заявил Карлос Коста (Carlos Costa), заслуженный инженер IBM Research, соучредитель и ведущий мейнтейнер llm-d. — llm-d обеспечивает производительность инференса передового уровня для рабочих нагрузок в продакшене. Версия 1.0 добавляет зрелость, позволяя управлять проектом как любым другим критически важным сервисом: со стабильным API, несколькими тенантами с конкурирующими приоритетами, разделяющими одну инфраструктуру, и обновлениями, не прерывающими работу. Именно для этого мы создали llm-d 1.0».
Полноценный производственный стек
С момента запуска llm-d проект сосредоточился на пяти ключевых подходах к улучшению ИИ-инференса: маршрутизации с учетом кэша префиксов (prefix-cache-aware routing), которая направляет запрос на инфраструктуру, где уже может храниться его общий контекст; выгрузке KV-кэша (KV-cache offloading), которая продлевает срок полезного использования кэшированной информации за счет ее перемещения между ресурсами GPU, CPU и хранилища; оптимизации пакетного инференса (batch inference optimization), которая группирует задачи для более эффективной обработки инфраструктурой; дезагрегации префилла и декодирования (prefill/decode disaggregation), разделяющей задачу чтения промпта и задачу генерации ответа; и широком экспертном параллелизме (wide expert parallelism), распределяющем большие модели «смесь экспертов» (Mixture-of-Experts) по множеству ускорителей.
Эти идеи не являются новыми для версии 1.0. Новым является уровень интеграции и операционной зрелости вокруг них.
В версии 1.0 llm-d превратилась в стек, способный поддерживать операции второго дня: все то, что должно происходить после развертывания ИИ-сервиса. Сюда входит обслуживание рабочих нагрузок с конкурирующими приоритетами, управление различными требованиями к производительности, поддержание эффективности, приоритизация важных сервисов и обеспечение надежности системы с течением времени. Бенчмарк может показать, что одна функция улучшает пропускную способность, но промышленная система должна продолжать обеспечивать эту производительность при изменении трафика, сбоях оборудования, обновлении программного обеспечения или конкуренции разных пользователей за одни и те же ресурсы. llm-d 1.0 призвана заставить отдельные методы работать вместе в этих менее предсказуемых условиях.
Одна точка входа, разные типы задач
Развивая основные технические инновации, которые уже сделали llm-d мощным инструментом для распределенного инференса, llm-d 1.0 расширяет поддержку многопользовательского качества обслуживания (QoS), операций без простоев (zero-downtime) и обслуживания с учетом агентов для обеспечения стабильной производительности в ходе повседневных производственных операций второго дня. Корпоративный ИИ-сервис может получать запросы от людей и автономных агентов через одну и ту же точку входа, но эти рабочие нагрузки ведут себя по-разному. Человек, использующий ассистента для написания кода, ожидает быстрого ответа. Агент может отправить большой пакет запросов, сделать паузу во время использования инструмента, а затем вернуться для нового раунда вызовов модели.
С помощью функции управления потоком llm-d 1.0 управляет конкурирующими приоритетами независимо от того, используют ли рабочие нагрузки одно и то же железо или распределены по различным ускорителям. Управление потоком, справедливость и приоритизация помогают предотвратить перегрузку чувствительных к задержкам сервисов пиковыми нагрузками. При высоком спросе система может принимать более взвешенные решения о том, какие запросы должны получить ресурсы в первую очередь. Запросы также могут оставаться закрепленными за соответствующей инфраструктурой в ходе нескольких циклов диалога. Это сохраняет их кэши префиксов теплыми, увеличивая вероятность того, что предварительно обработанный контекст можно будет использовать повторно, а не вычислять заново.
Это важно для диалоговых ассистентов, но особенно ценно для агентов. При выполнении задачи агенты часто возвращаются к одному и тому же коду, документам, инструкциям и истории разговоров. Маршрутизация с учетом кэша префиксов направляет каждый шаг к реплике, в которой уже содержится релевантный контекст, в то время как выгрузка KV-кэша помогает сохранить больший объем этой повторно используемой информации при ограничении памяти GPU. Именно так выглядит готовность к продакшену на практике: более эффективное и экономичное обслуживание модели за счет понимания поступающих к ней задач и соответствующего управления инфраструктурой.
Повышение окупаемости инвестиций в ИИ за счет улучшенной инфраструктуры
Этот фокус на продакшене напрямую ведет к экономике ИИ. По мере перехода ИИ в повседневные бизнес-операции инференс становится регулярной статьей расходов. Агентные системы могут увеличивать эти расходы, поскольку одно задание может включать множество раундов рассуждений, использования инструментов, оценки и доработки. Если каждый шаг требует от модели повторного чтения одного и того же материала, вы снова и снова платите за работу, которую система уже выполнила.
В недавнем тесте агентной рабочей нагрузки по написанию кода роутер llm-d с учетом префиксов зафиксировал 97% of the available cache reuse. Избегая повторных вычислений и более эффективно используя существующее железо, подобные методы могут снизить стоимость обслуживания ИИ в масштабе. В ходе другой недавней демонстрации IBM и Red Hat запустили 3000 программно-инженерных агентов одновременно на собственной инфраструктуре по цене в 5–10 раз ниже фактической стоимости обслуживания той же открытой модели в качестве сервиса.
Когда организация управляет собственной инфраструктурой, последняя становится частью управляемой структуры затрат. Сочетая модели с открытыми весами и открытый стек обслуживания, llm-d предоставляет организациям еще один инструмент для контроля баланса между потреблением ИИ, расходами на инфраструктуру и ценностью для бизнеса.
Объединение open-source экосистемы ИИ
llm-d работает с такими движками инференса, как vLLM или SGLang, добавляя функции распределенной маршрутизации и операционные возможности, необходимые для превращения серверов моделей в промышленные сервисы.
Это также отводит llm-d важную роль в более широкой экосистеме с открытым исходным кодом. PyTorch тесно связана с разработчиками ИИ-моделей и приложений. Cloud Native Computing Foundation (CNCF), под эгидой которой llm-d развивается в качестве проектного песочницы (sandbox project), больше сосредоточена на развертывании и эксплуатации систем в продакшене. Проект llm-d служит мостом между этими мирами.
«llm-d объединяет экосистемы PyTorch и CNCF, перенося оркестрацию на базе Kubernetes непосредственно в vLLM и современные механизмы инференса, — сказал Стивен Уотт (Stephen Watt), вице-президент офиса технического директора Red Hat. — Она обеспечивает высокопроизводительный распределенный инференс с надежностью и масштабируемостью, необходимыми предприятиям, и всё это в рамках уже знакомой им операционной модели».
Вклад IBM в llm-d отражает давний подход: брать идеи, способные улучшить вычисления, и превращать их в открытые технологии, которые организации могут использовать в реальном мире.
Благодаря llm-d 1.0 эта работа помогла создать стек инференса, разработанный не только для высокой производительности, но и для бесперебойной работы, когда ИИ становится критически важной инфраструктурой. ИИ-инференс с открытым исходным кодом готов к эксплуатации, управлению и оптимизации в продакшене.
