В течение последних нескольких месяцев многие клиенты оценивают и развертывают дезагрегированные рабочие нагрузки инференса, чтобы помочь оптимизировать скорость и экономику ИИ. На выставке SuperComputing 2026 компании SambaNova и Intel с радостью демонстрируют развитие гетерогенной архитектуры инференса, которая объединяет графические процессоры Intel GPU D-Series для предварительного заполнения (prefill) с RDU-устройствами SambaNova SN50 для генерации (decode). Конечным результатом является решение, представляющее собой фабрику токенов с воздушным охлаждением, где каждый этап инференса выполняется на аппаратном обеспечении, наиболее для него подходящем. Ниже представлена записанная демонстрация работы первой системы, выполняющей GLM-5.3 на обеих аппаратных платформах в дата-центре с воздушным охлаждением. Как мы покажем в этом блоге, клиенты смогут развертывать это решение в существующих центрах обработки данных без предварительного сноса инфраструктуры (brownfield), что приобретет особую важность в ближайшие пару лет.
Модуль предварительного заполнения Intel с воздушным охлаждением
Представленная на OCP серия D-Series (кодовое имя Crescent Island) представляет собой графический процессор PCIe с воздушным охлаждением мощностью 350 Вт для инференса в дата-центрах. В дезагрегированной системе обслуживания он служит выделенным модулем предварительного заполнения (prefill) для задач с большим контекстом. Его 32 ядра Xe3P и 256 движков XMX обеспечивают вычислительную мощность для обработки промптов и построения кэша KV. 160 ГБ памяти LPDDR5X на плате Intel и до 480 ГБ в конфигурациях от партнеров оставляют пространство для весов моделей и растущего KV-кэша, в то время как пропускная способность памяти в 1,5 ТБ/с помогает перемещать данные во время предварительного заполнения. Технические характеристики графического процессора см. на странице продукта Intel, а общую архитектуру системы — в презентации OCP.
Intel предлагает серию D-Series в различных конфигурациях стоек. Эталонный дизайн, показанный на OCP, вмещает 80 графических процессоров D-Series и обеспечивает пиковую производительность FP4 на уровне 208 петафлопсов, благодаря чему одна стойка может параллельно обрабатывать большие объемы длинных промптов. Объем памяти составляет от 12 ТБ до 38 ТБ на стойку в зависимости от конфигурации, а совокупная пропускная способность памяти достигает 120 ТБ/с, обеспечивая непрерывное создание KV-кэша по мере роста контекстных окон. Другие конфигурации могут отличаться количеством графических процессоров, объемом памяти и энергопотреблением, адаптируясь к особенностям инфраструктуры провайдера и типу рабочих нагрузок. В сочетании с SambaRack SN50 для генерации это дает провайдерам уровни prefill и decode, которые масштабируются в соответствии с их трафиком. Демонстрация на SuperComputing 2026 работает на более компактной конфигурации: четыре графических процессора D-Series для префилла в паре с SambaRack SN50 для генерации.
Модуль генерации SambaNova с воздушным охлаждением
SN50 — это реконфигурируемое устройство обработки данных (RDU) пятого поколения от SambaNova, созданное для высокопроизводительного и энергоэффективного инференса на этапе генерации (decode). В отличие от графических процессоров, которые выполняют модель как последовательность отдельных ядер, RDU SN50 объединяют их в непрерывный поток данных внутри чипов и между ними, избавляя от необходимости отправлять данные обратно в память между операциями. Это снижает сетевой трафик памяти и накладные расходы на перезапуск ядер во время генерации токенов. Каждая стойка SambaRack SN50 содержит 16 RDU с типичным энергопотреблением 20 кВт для инференса, что позволяет разместить ее во многих дата-центрах с воздушным охлаждением. Для более крупных моделей 16 стоек SambaRack работают вместе как единый масштабируемый модуль, содержащий до 256 RDU. Одна рабочая нагрузка распределяется по множеству стоек меньшей мощности вместо одной плотной стойки с жидкостным охлаждением. Это увеличивает количество токенов в секунду на чип для рабочих нагрузок со средним размером батча, сохраняя при этом высокую скорость обработки каждого запроса. Ранее в этом году компания SambaNova продемонстрировала генерацию на SN50 в сочетании с предварительным заполнением на NVIDIA H200 при работе с моделью MiniMax M2.7 (согласно бенчмаркам Artificial Analysis), а компания SemiAnalysis провела тестирование SambaRack SN50 на той же модели.
Концепция дата-центров с воздушным охлаждением
Для неоклаудов и провайдеров инференса аппаратное обеспечение окупается только в том случае, если сервис кажется каждому клиенту быстрым и загружен достаточным объемом задач для возврата инвестиций. Этот баланс сложнее всего соблюдать при работе с передовыми моделями (frontier models) и агентскими рабочими нагрузками. Графический процессор D-Series и стойка SambaRack SN50 разделяют задачи по этапам: GPU выполняет ресурсоемкое предварительное заполнение, создавая KV-кэш из входящего промпта, а SN50 выполняет ограниченную памятью генерацию, создавая выходные токены по одному. То, что заставляет их работать как единый сервис — это общее программное обеспечение, выполняющееся на обеих системах.
Демонстрация работает на открытом стеке обслуживания, который уже используют многие провайдеры. NVIDIA Dynamo располагается перед обеими группами устройств и предназначена для маршрутизации каждого запроса туда, где его контекст уже закэширован. vLLM обслуживает этап префилла на GPU и этап генерации на SN50, а NIXL передает KV-кэш между ними через UCX/RDMA поверх стандартного протокола RoCEv2 Ethernet. Для провайдера это означает, что команды работают с уже знакомыми инструментами обслуживания вместо изучения нового стека, а передача KV-кэша происходит через существующую в дата-центре инфраструктуру Ethernet вместо проприетарного интерфейса.
Маршрутизация с учетом кэша обеспечивает значительную часть эффективности. SN50 хранит префиксы KV из предыдущих промптов в подключенной памяти DDR, наряду со встроенной SRAM и HBM для активного пути генерации. Когда агент возвращается к разговору или повторно обращается к общему контексту, Dynamo направляет запрос на тот SN50, на котором этот префикс уже сохранен, поэтому GPU обрабатывает только новый контекст, и по сети передается меньше состояния KV-кэша. Каждое попадание в кэш избавляет GPU от повторной работы по предварительному заполнению, что сокращает время ожидания первого токена и высвобождает мощности GPU для новых запросов.
Поскольку предварительное заполнение и генерация работают как независимые пулы, каждый из них масштабируется самостоятельно. Провайдер, чей трафик смещается в сторону длинных промптов, может добавить графические процессоры D-Series, а тот, чьи агенты генерируют длинные ответы, может увеличить емкость SN50 без изменения размеров другой стороны. В блоге SambaNova на Hot Chips подробно рассматривается архитектура потоков данных и коэффициент использования пропускной способности модели (MBU) для этапа генерации, а в другой статье в блоге SambaNova объясняется, почему память DDR важна для кэша.
Почему существующие площадки с воздушным охлаждением имеют значение
По данным Sightline Climate (опубликованным в феврале 2026 года), до половины проектов дата-центров по всему миру, запланированных к запуску в 2026 году, могут столкнуться с задержками из-за ограничений энергоснабжения, нехватки сетевого оборудования и растущего противодействия со стороны местных общин. Это делает уже работающие площадки провайдеров ценнее тех, ввода которых еще нужно ждать. Большая часть существующих площадок имеет воздушное охлаждение, в то время как многие новейшие ИИ-системы требуют прямого жидкостного охлаждения, что означает дорогостоящую и долгую модернизацию перед их установкой.
Оркестрируя рабочие нагрузки между графическими процессорами Intel серии D и RDU SambaNova, этот гетерогенный подход задает новый стандарт для быстрого инференса, необходимого в агентских рабочих процессах, и позволяет удерживать энергопотребление в безопасных пределах существующих стоек с воздушным охлаждением. Intel и SambaNova создают это решение, чтобы помочь провайдерам наращивать мощности для удовлетворения спроса на ИИ-токены без ожидания новых зданий и с использованием самых распространенных программных стеков.
Если вы находитесь на выставке SuperComputing 2026, заходите посмотреть на системы на стенде SambaNova № 2246, посетите стенд Intel № 2819 и обсудите с нами, как это решение может подойти вашему дата-центру.












