Компания Meta опубликовала веса модели Muse Spark Open, и этот релиз с открытыми весами доступен с первого дня в Baseten Model APIs и Dedicated Inference. На сегодняшний день это самая мощная модель с открытыми весами в США.
Muse Spark Open обладает следующими характеристиками:
- 816 млрд параметров всего, из которых 42,7 млрд активны во время вывода,
816 млрд параметров всего, из которых 42,7 млрд активны во время вывода,
- контекстное окно размером 1 млн токенов и
контекстное окно размером 1 млн токенов и
- омнимадальный ввод (текст, изображения, видео, аудио) с выводом текста.
омнимадальный ввод (текст, изображения, видео, аудио) с выводом текста.
Модель Muse Spark Open была обучена совместно с Muse Code и специально разработана для рабочих процессов агентов программирования. Её омнимадальный ввод также открывает возможности для рабочих процессов разработчиков, недоступные текстовым моделям. Для агентов, поддерживающих ввод изображений, видео или аудио, вы можете воспользоваться следующими преимуществами:
- Отладка пользовательского интерфейса на основе скриншотов: агент сравнивает скриншот отрисованной страницы с дизайн-макетом или изображением отчета об ошибке и напрямую исправляет код верстки.
Отладка пользовательского интерфейса на основе скриншотов: агент сравнивает скриншот отрисованной страницы с дизайн-макетом или изображением отчета об ошибке и напрямую исправляет код верстки.
- Воспроизведение видео для тест-кейса: вы записываете захват экрана с ошибкой. Агент просматривает его, извлекает шаги и пишет скрипт воспроизведения или сквозной тест.
Воспроизведение видео для тест-кейса: вы записываете захват экрана с ошибкой. Агент просматривает его, извлекает шаги и пишет скрипт воспроизведения или сквозной тест.
- Парное программирование с голосовым управлением: вы управляете агентом, одновременно разговаривая и печатая, при этом аудио воспринимается как прямой ввод, а не транскрибируется предварительно.
Парное программирование с голосовым управлением: вы управляете агентом, одновременно разговаривая и печатая, при этом аудио воспринимается как прямой ввод, а не транскрибируется предварительно.
Конкурентоспособная производительность для агентов программирования
Помимо Muse Code, Muse Spark Open может интегрироваться со сторонними агентами программирования, такими как OpenCode, Pi и Deep Agents Code. Основываясь на опубликованных результатах тестирования от Meta, Muse Spark Open конкурентоспособна по сравнению с моделями других передовых лабораторий в области агентного программирования и интеллектуальной работы.
В тестах на агентное программирование каждая текущая модель тестировалась с использованием собственного агента программирования лаборатории (Muse Spark с Muse Code, Claude Opus 5 с Claude Code, GPT-5.6 Terra с Codex), а не в рамках единой среды, поэтому оценки отражают производительность каждой модели в инструментарии, для которого она была создана.
Meta провела сравнительное тестирование Muse Spark Open с моделями от передовых лабораторий. В набор для сравнения вошли флагманские модели каждой лаборатории, но были исключены топовые модели более высокого уровня (Claude Fable 5.1, GPT-6 Astra).
В рутинных агентных циклах (выполнение команд, чтение вывода, исправление ошибок) Muse Spark Open ощущается близкой к флагманским закрытым моделям. При внесении крупных изменений в несколько файлов на протяжении многих шагов ожидайте, что ей потребуется больше подсказок или повторных попыток, чем Claude Opus 5 или GPT-5.6 Terra, при этом она достойно конкурирует с Grok 4.5 и Gemini 3.6 Flash. Когда агенту нужно описать свою работу, она превосходит все модели в таблице, кроме Opus 5.
Архитектура модели, разработанная для агентов
Рабочие процессы агентов программирования требуют как высокой пропускной способности для итеративных циклов рассуждения, так и эффективности памяти для отслеживания длинного контекста. Чтобы удовлетворить эти требования, Muse Spark Open использует специфические архитектурные решения:
- Сжатый блок Mixture-of-Experts (MoE), который повышает пропускную способность за счет уменьшения объема параметров и трафика между GPU.
Сжатый блок Mixture-of-Experts (MoE), который повышает пропускную способность за счет уменьшения объема параметров и трафика между GPU.
- Гибридное расписание глобального/локального внимания, которое сокращает накладные расходы памяти KV-кэша в 3,7 раза при длинном контексте.
Гибридное расписание глобального/локального внимания, которое сокращает накладные расходы памяти KV-кэша в 3,7 раза при длинном контексте.
Повышенная пропускная способность благодаря сжатому блоку MoE
Агенты программирования читают контекст, рассуждают, генерируют и перечитывают результат в тесном цикле, что требует высокой пропускной способности от модели. Параллельный запуск фоновых субагентов еще больше увеличивает эти требования.
Для повышения пропускной способности Muse Spark Open использует сжатый блок mixture-of-experts (MoE). Общий пулер сжимает входной вектор перед передачей его экспертам, чей объединенный выход проецируется обратно в исходную размерность общим анпулером. Маршрутизатор, выбирающий экспертов для каждого токена, по-прежнему считывает вектор полной ширины.
Сжатый MoE добавляет общий пулер перед экспертами и общий анпулер после объединения выходов экспертов.
Работа с этим сжатым вектором:
- Уменьшает вдвое параметры каждого эксперта, сокращая общий размер модели примерно на 800 млрд параметров по сравнению с несжатой архитектурой.
Уменьшает вдвое параметры каждого эксперта, сокращая общий размер модели примерно на 800 млрд параметров по сравнению с несжатой архитектурой.
- Освобождает память GPU для больших KV-кэшей и параллельных последовательностей.
Освобождает память GPU для больших KV-кэшей и параллельных последовательностей.
- Снижает трафик между GPU в слое MoE, что напрямую увеличивает пропускную способность.
Снижает трафик между GPU в слое MoE, что напрямую увеличивает пропускную способность.
Эффективная работа с длинным контекстом благодаря глобальному/локальному вниманию
Агенты программирования накапливают контекст на каждом шаге, формируя трассировки задач, рассуждения и большие части кодовой базы. Каждый токен в этом контексте занимает память GPU в виде KV-кэша, и в обычной модели каждый слой хранит свой собственный KV-кэш.
Для управления использованием памяти GPU Muse Spark Open использует гибридное расписание внимания. Из 62 слоев 46 являются слоями локального внимания, которые используют скользящее окно размером 2048 токенов с ротационными позиционными эмбеддингами (RoPEs) для отслеживания порядка слов. Кроме того, есть 16 слоев глобального внимания, которые видят всю последовательность без позиционного кодирования (NoPE), полагаясь на информацию о порядке слов, уже захваченную предыдущими слоями.
Обычная архитектура против гибридного расписания внимания
Muse Spark Open чередует 46 слоев локального внимания с 16 слоями глобального внимания, сокращая память KV-кэша с 31 ГБ до 8,4 ГБ на последовательность при контексте 128 тыс. токенов, что является типичным рабочим набором агента. Экономия растет вместе с длиной контекста.
Каждый слой локального внимания отслеживает только последние 2048 токенов, и сохраненные данные KV-кэша из более ранних токенов могут быть перезаписаны. Полный контекст старых токенов не забывается моделью, а сохраняется в KV-кэше слоев глобального внимания. Такая конструкция ограничивает KV-кэш слоев локального внимания, сокращая использование памяти KV-кэша примерно в 3,7 раза при контексте 128 тыс. токенов по сравнению с моделями, имеющими только слои глобального внимания.
От архитектуры к оптимизации вывода
Ключевой статьей расходов при обслуживании агентских нагрузок является объем памяти весов модели, который ограничивает количество агентских сессий на узле. API модели Muse Spark Open от Baseten решает эту проблему за счет использования чекпоинта NVFP4, который сокращает объем весов примерно на две трети и освобождает память для KV-кэша.
В контрольной точке NVFP4 веса экспертов хранятся в 4-битном формате, а полный формат bf16 используется только там, где точность имеет наибольшее значение: в весах внимания и экспертах первого и последнего слоев. Это сокращает размер весов модели примерно с 1,6 ТБ до 540 ГБ. Полная модель помещается на одном узле 4×GB300, что позволяет избежать использования межсоединений между узлами как для весов, так и для KV-кэша. Освободившаяся память выделяется под KV-кэш, что позволяет запускать больше одновременных сессий агентов на каждом узле и увеличивает пропускную способность.
Начните использовать Muse Spark Open
Muse Spark Open теперь доступна через Baseten Model APIs. Конечная точка совместима с OpenAI, поэтому вы можете подключить своего агента для программирования и направить его на Muse Spark Open без изменения вашей инфраструктуры. Мы предоставляем веса NVFP4, оптимизированные для Blackwell, а также поддерживаем вызов инструментов, логический вывод и полное контекстное окно в 1 млн токенов.
Для команд, использующих агентов в больших масштабах, мы также предлагаем развертывание Dedicated Inference с зарезервированной емкостью. Свяжитесь с нами, чтобы обсудить с нашими инженерами конкретные потребности вашей рабочей нагрузки.
.png)
