Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Nemotron labs sigma distill 8b nfe4 vypuschen bez anonsa i s pyatyu zagruzkami
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Nemotron-Labs-Sigma-distill-8B-nfe4 выпущен без анонса и с пятью загрузками

Источник: OrcaRouter•17 ноября 2026 г. в 00:05

Nemotron-Labs-Sigma-distill-8B-nfe4 выпущен без анонса и с пятью загрузками

Nemotron-Labs-Sigma-distill-8B-nfe4 от NVIDIA был выпущен 12 ноября 2026 года без анонса и с пятью загрузками. Что доказывает репозиторий и что нет.

Hugging Face насчитал пять загрузок nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 за последние тридцать дней и ноль лайков, когда эта статья была написана 17 ноября 2026 года. Это весь отклик на данный момент для языковой модели с 8 миллиардами параметров, которую NVIDIA опубликовала шестью днями ранее. Не было ни сообщения в блоге, ни листинга на build.nvidia.com, ни темы запуска, ни таблицы бенчмарков в пресс-релизе. Собственная карточка контрольной точки датирует выпуск 12.11.2026; первый коммит репозитория был 9 ноября в 05:47 UTC, а последнее изменение в нем было 16 ноября, которое переписало преобразование для сохранения тензоров геометрии fp32. Все нижеизложенное взято из этого репозитория, его файлов конфигурации и технического отчета, на который он ссылается, а неподтвержденные части помечены соответствующим образом, а не заполнены.

Репозиторий является единственным основным источником, и он необычайно подробен

Большинство тихих релизов оставляют заглушку-карточку. Этот — нет. Он поставляется с файлом происхождения, манифестом целостности контрольной точки с SHA-256, хешем целостности для токенизатора, четырьмя подкарточками Model Card++ и конфигурацией генерации, которая фиксирует сэмплер. Такой уровень учета — это то, что вы получаете, когда модель прошла внутренний процесс выпуска, а затем просто не была анонсирована — все артефакты, которые были бы суммированы в посте о запуске, присутствуют, за исключением самого поста.

Статья, лежащая в основе, реальна и датирована: arXiv:2610.02665, Large Language Continuous Diffusion Models, статья NVIDIA с семнадцатью авторами, чья v2 появилась 12 ноября, в тот же день, когда, как указано в карточке, появились веса. Статья описывает Nemotron-Labs-Sigma как первое семейство крупномасштабных непрерывных диффузионных языковых моделей с 3B и 8B параметрами. Раздел оценки карточки приписывает свои цифры «проверенной статистике десяти сидов, шести задач ограниченного выпуска от 10 ноября» — предложение, которое говорит о том, что файл распространялся в частном порядке по крайней мере за два дня до того, как были включены публичные репозитории.

Что на самом деле находится в контрольной точке

Отбросьте прозу, и спецификация будет короткой. Каждая строка ниже взята из config.json, generation_config.json или карточки:

• Основа — трансформер только с декодером в стиле Ministral: 34 слоя, скрытый размер 4096, FFN 14336, 32 головы запросов и 8 голов ключ-значение при размерности головы 128, SwiGLU, RoPE с блоком масштабирования YaRN в конфигурации.

• Голова генерации — 16-мерная непрерывная диффузионная голова встраивания токенов, с вспомогательной авторегрессионной считывающей головой, сохраненной в контрольной точке, а не отсеченной.

• Количество параметров — 8,0B по названию карточки, 9,03B по данным safetensors (9 026 818 048 тензоров BF16 плюс 2 097 186 F32), 18,06 ГБ в четырех шардах. Разница между двумя числами — это вспомогательная голова.

• Контракт декодирования — блоки по 32 токена, ровно 4 оценки функции денойзинга плюс одно считывание, то есть 5 вызовов денойзера на блок, что составляет 6,4 сгенерированных токена за один прямой проход.

• Сэмплер — нативный путь fresh_x0 с самокондиционированием, переносимым между шагами, классификатор-свободное руководство фиксировано на 1, температура оценки фиксирована на 1.

• Контекст — 4096 токенов для промпта плюс генерация. Только английский язык. Нет остановки по токену-ID EOS; остановка происходит по строкам или по бюджету токенов.

• Среда выполнения — PyTorch 2.4 или новее, Transformers 4.55 или новее, trust_remote_code, GPU CUDA в bfloat16. CPU явно не поддерживается, и карточка указывает причину: сэмплер численно деградирует на CPU и производит непригодный для использования вывод.

• Лицензия — NVIDIA Nemotron Open Model License, которая, как указано в карточке, разрешает коммерческое и некоммерческое использование. В разделе вариантов использования карточка также указывает, что модель работает в автономном режиме на вашем оборудовании и что NVIDIA не предоставляет никаких услуг.

Эта последняя строка важна для всех, кто предполагал, что где-то существует конечная точка Sigma. Ее нет. На build.nvidia.com нет записи Nemotron-Labs-Sigma, и модель отсутствует в каталоге OrcaRouter вместе с остальной линейкой Nemotron — так что сегодня нечего вызывать, только что-то для загрузки.

Четыре контрольные точки, четыре разные модели

Название заставляет варианты выглядеть как одна модель с четырьмя настройками. Это не так: каждое значение NFE — это отдельно дистиллированный студент, и карточка прямо заявляет, что количество шагов заложено. «Этот вариант обучен только для NFE=4, и прилагаемый код вывода намеренно не предоставляет произвольного переопределения шага» — потому что другие количества шагов оценивали бы конечные точки фазы, на которых студент никогда не обучался. Поэтому вы не настраиваете nfe4 до двух шагов при выводе; вы загружаете nfe2.

Опубликованные средние значения по шести задачам, все с десятью сидами и двумя стандартными ошибками, впервые делают компромисс понятным для этого семейства:

• NFE 2 — GSM8K 80.17, MATH 55.72, HumanEval 48.17, MBPP 37.52; среднее по шести задачам 53.02. 3 вызова денойзера на блок, 10.7 токенов на вызов.

• NFE 4 — GSM8K 86.86, MATH 61.52, HumanEval 60.61, MBPP 57.50; среднее по шести задачам 66.36. 5 вызовов на блок, 6.4 токена на вызов.

• NFE 8 — GSM8K 88.44, MATH 64.40, HumanEval 65.18, MBPP 62.60; среднее по шести задачам 70.34. 9 вызовов на блок, 3.6 токенов на вызов.

• NFE 16 — GSM8K 89.61, HumanEval 67.68, MBPP 66.20, среднее по трем задачам 74.50. 17 вызовов на блок, 1.9 токенов на вызов. И предостережение, которого нет у других трех: эта контрольная точка помечена как pending_ten_seed_six_task_validation, ее показатели — это один запуск с сидом 42 по трем задачам, и карточка рекомендует рассматривать их как предварительные и не подлежащие прямому сравнению.

Форма этой лестницы — интересная часть. Удвоение шагов с 2 до 4 дает 13,3 балла среднего значения по шести задачам. Повторное удвоение до 8 дает 4,0. Переход к 16 дает еще ~4 балла по трем выполненным задачам — из другой, более слабой оценки. Другими словами, кривая дистилляции резко выравнивается там, где модель становится конкурентоспособной, и контрольная точка nfe4 находится сразу за коленом.

Откуда берутся числа и где они останавливаются

Каждая цифра выше принадлежит NVIDIA, произведена NVIDIA, на собственном оценочном стенде NVIDIA и представлена с количеством сидов, что делает ее более независимой, чем она есть на самом деле. Десять сидов с двумя стандартными ошибками — это серьезный протокол — он говорит вам, что оценка HumanEval nfe4 в 60,61 имеет интервал ±1,43, что достаточно широко, чтобы не воспринимать двухбалльный разрыв как реальный. Но десять сидов одного и того же стенда — это не десять лабораторий.

Что не существует по состоянию на 17 ноября: страница Artificial Analysis для любой модели Sigma, любая запись в публичном каталоге цен на модели, любая поддержка vLLM или SGLang, и любое стороннее воспроизведение. Проверка быстрая, и она возвращается пустой. Реестр моделей vLLM в основной ветке не имеет архитектуры nemotron_labs_sigma; запросы на слияние SGLang, которые упоминают диффузию Nemotron, относятся к более старой линии Nemotron-Labs-Diffusion-8B и все еще открыты. Transformers не имеет собственного модуля nemotron_labs_sigma, поэтому карточка рекомендует загружать с trust_remote_code и поставлять 40 КБ файл моделирования репозитория вместе с весами.

Итак, честный статус таков: выпущенная контрольная точка с опубликованным протоколом оценки и нулевой внешней верификацией. Это нормальное состояние для диффузионной языковой модели в ноябре 2026 года, и это не критика модели — это описание того, на что можно рассчитывать, исходя из карточки модели.

Запуск осуществляется через Python-скрипт, а не через серверный стек.

Краткое руководство по использованию модели состоит из одиннадцати строк: загрузка токенизатора и модели с удаленным кодом, приведение к формату bfloat16, вызов генерации с максимальным количеством токенов и необязательными стоп-строками, а также считывание количества NFE, о котором сообщает модель. В этом репозитории нет шаблона чата, системного промпта, вызова инструментов или JSON-режима — в карточке прямо сказано, что это промптинг в стиле бенчмарков и что модель является дистиллированным «студентом» базовой контрольной точки, а не ассистентом. Если вам нужно общение, в коллекции есть instruct-вариант родительской модели с контекстом 8192 токена.

Две эксплуатационные детали могут сбить с толку тех, кто читает бегло. Во-первых, остановка: здесь нет токена-идентификатора EOS, поэтому запрос, который не выдает вашу стоп-строку, будет выполняться до исчерпания лимита токенов, а этот лимит делится с промптом в рамках окна в 4096 токенов. Во-вторых, память: 18 ГБ весов в формате bfloat16 до учета KV-кэша, при этом единственный поддерживаемый путь работы — это «жадный» код PyTorch из самого репозитория; здесь нет paged attention, нет непрерывной пакетной обработки (continuous batching), нет квантованной сборки в коллекции. На сегодняшний день поддерживаемая конфигурация — это один запрос на одном GPU.

Пропускная способность — это то, что интересует пользователей, но карточка не дает этих данных для данной контрольной точки. В карточке родительской модели сообщается о примерно 120–140 токенах в секунду для 256 сгенерированных токенов на одном H100 с использованием сэмплера DDPM при 32 шагах на блок из 64 токенов. Дистиллированная модель nfe4 выполняет 5 вызовов на 32 токена вместо 33 вызовов на 64, что по количеству вызовов чуть более чем в четыре раза меньше проходов вперед (forward passes) на токен — но это арифметика, основанная на количестве шагов, а не измерение для данной контрольной точки, и в карточке не указан показатель токенов в секунду для нее.

Что остается неясным

Три вещи, которые прояснил бы пост о запуске, но этот релиз — нет:

• Намерена ли NVIDIA использовать это как продукт или как исследовательский артефакт. Лицензия разрешает коммерческое использование, а карточка написана в продуктовом стиле, но нет хостингового эндпоинта, нет заявления о поддержке и нет упоминаний в блогах NVIDIA по состоянию на 16 ноября.

• Чего стоит «учитель». В карточке сказано, что «студент» был дистиллирован из учителя «MS-SUSReg-8B» того же семейства архитектур, а в файле происхождения запуск назван 8b_ms_susreg_n4_20261109 на 1200-м шаге студента. Выпущенная базовая модель Nemotron-Labs-Sigma-8B описывается как имеющая ту же родословную, но в базовой карточке вообще нет цифр, только ссылка на статью, поэтому потери при дистилляции нельзя сравнить, просто сопоставив две карточки.

• Является ли контрольная точка nfe16 лучшей в семействе или это артефакт незавершенной оценки. Ее показатели — самые высокие в карточке и наименее достоверные, о чем сама карточка прямо заявляет, что свидетельствует о большей откровенности, чем в большинстве примечаний к выпуску.

Почему тихий релиз — это главная новость

NVIDIA выпустила много продуктов этой осенью — Bolt, Super VL, Transcribe, линейку Dory, и все они сопровождались постами в блогах и страницами на build.nvidia.com. Sigma же появилась без всего этого, от той же организации, со статьей, лицензией, четырьмя подкарточками Model Card++ и счетчиком из пяти скачиваний. Наиболее вероятная интерпретация заключается в том, что это исследовательский релиз, намеренно выведенный из продуктовой плоскости: предполагаемое использование модели — «исследования генерации, чувствительной к задержкам, изучение спекулятивной и параллельной декодировки», что является языком лабораторного артефакта.

Для читателя, решающего, стоит ли обращать на это внимание, практический вопрос заключается не в том, хороша ли модель в абстрактном смысле, а в том, превосходит ли диффузионная языковая модель с 4 NFE и контекстом 4K без серверного стека авторегрессионную модель, которая уже есть в вашем конвейере. Чтобы ответить на это, нужно запустить ее, и арифметика, оправдывающая затраты времени GPU, проста: 6,4 токена за проход вперед против одного для стандартного декодера. Выдержит ли это проверку вашей рабочей нагрузкой — именно то, что показал бы отсутствующий независимый бенчмарк.

OrcaRouter не обслуживает эту контрольную точку, и она не появится за плату за токен, пока кто-то не создаст серверный путь для архитектуры блочной диффузии с фиксированным количеством шагов — модель затрат не соотносится с входными и выходными токенами так, как это делает авторегрессионное API. В OrcaRouter доступен набор для сравнения: более 200 авторегрессионных моделей по одному ключу по цене провайдера без наценки, поэтому на вопрос о Sigma можно ответить, опираясь на реальный базовый уровень, а не на карточку. Маршрутизация обоих вариантов через один эндпоинт — это также самый дешевый способ оставить эксперимент вне вашего производственного пути, пока вы принимаете решение.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Генеральный прокурор штата Калифорния подал в суд на OpenAI из-за инцидентов с «неконтролируемыми агентами»Пресса
OpenAI

Генеральный прокурор штата Калифорния подал в суд на OpenAI из-за инцидентов с «неконтролируемыми агентами»

Apple представила новые средства контроля безопасности Mac на фоне рисков конфиденциальности, связанных с ИИ-агентамиПресса
Apple

Apple представила новые средства контроля безопасности Mac на фоне рисков конфиденциальности, связанных с ИИ-агентами

Что такое LLM? Практическое руководство по языковым моделям
ElevenLabs

Что такое LLM? Практическое руководство по языковым моделям

Qwen 4 против GLM-5.5: модель с открытыми весами оказывается дороже
OrcaRouter

Qwen 4 против GLM-5.5: модель с открытыми весами оказывается дороже

AGI против AI: ключевые различия и способы оценки заявлений об AGI
Perplexity

AGI против AI: ключевые различия и способы оценки заявлений об AGI

Представляем удаленное управление агентами
LM Studio

Представляем удаленное управление агентами

Ещё от OrcaRouter

Qwen 4 против GLM-5.5: модель с открытыми весами оказывается дороже
OrcaRouter

Qwen 4 против GLM-5.5: модель с открытыми весами оказывается дороже

MiniMax-H3-Image против HY-Image 3.5: две оговорки, два совершенно разных риска
OrcaRouter

MiniMax-H3-Image против HY-Image 3.5: две оговорки, два совершенно разных риска

MiniMax-H3-Image против Meta Muse Image: Где заканчивается превосходство открытых весов
OrcaRouter

MiniMax-H3-Image против Meta Muse Image: Где заканчивается превосходство открытых весов

MiniMax-H3-Image против Nano Banana 2: открытые веса, закрытые границы
OrcaRouter

MiniMax-H3-Image против Nano Banana 2: открытые веса, закрытые границы

MiniMax-H3-Image против Qwen-Image 2.1: два открытых чекпоинта, два разных ограничения
OrcaRouter

MiniMax-H3-Image против Qwen-Image 2.1: два открытых чекпоинта, два разных ограничения

Ling 3.2 Flash: флагманская мультимодальная модель с 560 млрд параметров, обрабатывающая 30 секунд за раз
OrcaRouter

Ling 3.2 Flash: флагманская мультимодальная модель с 560 млрд параметров, обрабатывающая 30 секунд за раз