Введение

AMD рада объявить о поддержке в день выпуска (Day 0) новейшей модели с открытыми весами Muse Spark от Meta на графических процессорах AMD Instinct™ MI355X и MI350X с использованием программного обеспечения AMD ROCm™ и vLLM.

Muse Spark Open — это первая модель с открытыми весами в семействе Muse Spark, являющаяся на сегодняшний день самой мощной моделью с открытыми весами в США. Она создана для агентов кодирования, работающих с рефакторингом нескольких файлов, расширенной отладкой и другими длительными задачами. Эта нативно мультимодальная модель типа «смесь экспертов» (Mixture-of-Experts) имеет 816 миллиардов параметров, из которых 42 миллиарда активны на токен, контекстное окно в 1 млн токенов, настраиваемое рассуждение и встроенную поддержку вызова инструментов. Модель доступна на Hugging Face, а также через Muse Code, Meta Model API и OpenRouter. На графических процессорах AMD Instinct vLLM поддерживает форматы BF16, а также квантованные AMD варианты MXFP4 и FP8.

Развертывание Muse Spark Open на графических процессорах AMD Instinct с помощью vLLM

Поддержка в день выпуска (Day 0) в vLLM

Muse Spark Open работает на одном узле из 8 графических процессоров AMD Instinct MI350X/MI355X (288 ГБ HBM3E на GPU, 8 ТБ/с) с использованием тензорного параллелизма по всем 8 GPU. Стек включает ROCm 7.2 с vLLM, используя библиотеку ядер AMD AITER для внимания, MoE и коммуникации, а также захват CUDA-графов для этапа декодирования. Поддерживаются следующие чекпоинты:

Вариант

Название модели

Примечания

BF16 (открытый релиз)

meta-models/Muse-Spark-Open-816B-A42B

Полная точность; 32 одновременных запроса по 32 тыс. токенов на узел

MXFP4 (экспорт AMD Quark)

amd/Muse-Spark-Open-816B-A42B-Quark-MXFP4

Этот чекпоинт квантует маршрутизируемые эксперты MoE до OCP MXFP4 (за исключением слоев 0 и 61), оставляя всё остальное в формате BF16.

FP8 (экспорт AMD Quark, PTPC)

amd/Muse-Spark-Open-816B-A42B-Quark-PTPC-FP8

Чекпоинт BF16 также может обслуживаться в режиме opt-in, который округляет маршрутизируемые эксперты до MXFP4 во время загрузки, что обеспечивает профиль памяти и пропускную способность MXFP4 без необходимости в отдельном чекпоинте.

Ключевые оптимизации:

Muse Spark Open (816 млрд параметров всего / 42 млрд активных MoE, контекст 1 млн) работает на одном узле 8x MI350X с vLLM в форматах BF16, MXFP4 и FP8, а также в режиме BF16 с округлением экспертов до MXFP4 при загрузке.
Работа на этапе декодирования (объединенный пролог внимания и завершение MoE, слои со скользящим окном в постраничном внимании AITER, примерно на 180 меньше запусков ядер на шаг, точный маршрутизатор GEMM bf16x3) позволила увеличить скорость чекпоинта MXFP4 с 206 до 350 выходных токенов/с при 4 одновременных запросах и с 719 до 1180 при 32.
Параллелизм экспертов (--enable-expert-parallel, 32 из 256 экспертов на GPU) увеличивает пропускную способность на 7–20% при 32–128 одновременных запросах на MXFP4 и сокращает время до первого токена примерно на 24%: 2197 токенов/с при 128 запросах.
Настроенная таблица объединенного MoE AITER направляет небольшие пакеты декодирования на одноэтапное ядро сборки MXFP4, которое пропускает сортировку. Декодирование одного запроса увеличивается с 98 до 114 токенов/с (+16%) на TP8 без изменения кода: таблица поставляется в образе.
Спекулятивное декодирование DSpark с расписанием 3D-внимания AITER для коротких запросов на этапе проверки и вставкой KV-кэша черновика вне скомпилированного графа достигает 199 токенов/с в однопоточном режиме: +72% по сравнению с TP8 с настроенной таблицей на том же образе, +47% при 2, +31% при 4 и всё ещё +6% при 32 одновременных запросах.
Показатель GSM8K остается на уровне 94,4–95,5% для всех конфигураций MXFP4 (TP, EP, настроенная таблица, DSpark).
Выбор по нагрузке: TP8 + EP8 + DSpark до 64 одновременных запросов (обычный TP8 + DSpark для одного пользователя), TP8 + EP8 для больших нагрузок.

Docker-образ vLLM для дня выпуска

Рецепт для дня выпуска

Рецепт для дня выпуска доступен в vllm-recipe.

Как запустить

Внутри образа ROCm vLLM на узле 8x MI350X. Настроенная таблица MoE AITER и расписание внимания для коротких запросов поставляются в образе; V2-раннер модели, разбиваемые CUDA-графы и линейные/MoE ядра AITER выбираются автоматически для этой модели на ROCm.

Рекомендуется: MXFP4 (экспорт AMD Quark), TP8 + EP8 + DSpark с вниманием AITER как для целевой модели, так и для черновика, с ограничением в 64 последовательности. Это самая быстрая конфигурация для количества одновременных запросов от четырех до 64, которая соответствует TP8 + DSpark при меньших нагрузках; для минимальной задержки одного запроса уберите `--enable-expert-parallel`:

Для пропускной способности свыше 64 одновременных запросов: MXFP4 с TP8 + параллелизм экспертов (32 из 256 экспертов на GPU) без DSpark, 128 последовательностей.

BF16 (открытый релиз) с экспертами MXFP4 в режиме онлайн, если вы хотите использовать исходный чекпоинт без повторной загрузки. Маршрутизируемые эксперты слоев 1–60 округляются до MXFP4 при загрузке и работают на ядрах AITER MXFP4 MoE, в то время как чекпоинт остается в BF16; это обеспечивает профиль памяти MXFP4, поэтому сервер поддерживает 128 последовательностей. Параметр --enable-expert-parallel применяется аналогичным образом:

Запросы используют стандартный API, совместимый с OpenAI; передавайте reasoning_effort (от minimal до xhigh) для управления рассуждением, а инструменты — в обычном поле tools.

Заключение

С выпуском Muse Spark Open компания Meta продолжает расширять границы моделей с открытыми весами. Обеспечивая поддержку в день выпуска на графических процессорах AMD Instinct™ с помощью vLLM, мы гарантируем, что разработчики обладают вычислительной мощностью и оптимизированным программным стеком, необходимыми для запуска этих огромных моделей с большим контекстом в производственных масштабах.

Благодарности

Мы искренне благодарим наших партнеров, Inferact и Meta, а также команду AMD Quark за их неоценимое сотрудничество, сделавшее возможным этот успешный запуск и поддержку в день выпуска.