Nanbeige4.3-33B против Gemma 4 31B: что на самом деле означает разрыв в 33 балла в таблице вендора

В собственной таблице бенчмарков Nanbeige4.3-33B модель Gemma 4 31B получает 0.0 баллов в Terminal-Bench 4.0. С этой строки стоит начать, потому что она показывает, как нужно читать каждое другое число в этом сравнении. Gemma 4 31B — это модель с открытыми весами от Google DeepMind с 30,7 миллиарда параметров, доступная для скачивания по лицензии Apache 2.0 со 2 апреля 2026 года, а собственные материалы Google приписывают ей 86,4 балла в использовании инструментов τ²-bench и 80,0 в LiveCodeBench v6. Модель такого уровня не проваливает каждую существующую задачу в терминале. Нуль — это результат, который получается, когда бенчмарк не может отличить «не смогла» от «ей никогда не передавали рабочий цикл инструментов».

Nanbeige4.3-33B, напротив, появилась всего два дня назад. Ее репозиторий был создан 24 октября 2026 года в 02:49 UTC, карточка модели — это единственное заявление, сделанное Nanbeige, а таблица из 20 строк в этой карточке является единственным источником всех циркулирующих о ней цифр. Gemma 4 31B фигурирует в этой таблице как одна из трех сравнительных колонок. Ни одна независимая лаборатория не запускала эти две модели друг против друга, и ни один вендор не тестировал другую за пределами этой единственной таблицы. Так что честная версия этого противостояния — вовсе не табло с результатами. Это спор о том, какие строки выдерживают проверку, а какие измеряют саму тестовую обвязку (harness).

Что представляют собой модели на самом деле

Эти два релиза разделяют шесть с половиной месяцев, и конструктивные предпосылки это явно демонстрируют.

• Параметры — Nanbeige4.3-33B является плотной моделью на 33,1 млрд (33 118 977 024 в BF16), причем каждый параметр активен на каждом токене. Gemma 4 31B — это плотная модель на 30,7 млрд. Ни та, ни другая не используют смесь экспертов (MoE), поэтому пропускная способность масштабируется с полным количеством весов с обеих сторон.

• Контекст — Nanbeige4.3-33B «из коробки» поддерживает 524 288 токенов. Gemma 4 31B — 262 144. Оба показателя необычайно велики для класса параметров, но у Nanbeige он вдвое больше.

• Модальность — Nanbeige4.3-33B работает с текстом на входе и выходе (английский и китайский языки). Gemma 4 31B принимает как изображения, так и текст, была предварительно обучена на более чем 140 языках и «из коробки» поддерживает вызов функций (function calling) и настраиваемый режим рассуждений (thinking mode).

• Лицензия — обе модели используют Apache 2.0. Это редкое сравнение, где вопрос лицензии решен еще до начала.

• Веса на диске — Nanbeige4.3-33B весит около 66 ГБ в BF16 и примерно 20 ГБ в 4-битном формате. Gemma 4 31B находится в том же диапазоне. Ни одна из них не является моделью для ноутбука; обе предназначены для одиночных рабочих станций или узлов.

Единственное, в чем нет никакого сходства — это дистрибуция. У Gemma 4 31B есть управляемый API, эндпоинт, который Artificial Analysis в настоящее время оценивает в нулевую стоимость, и независимые обзоры. У Nanbeige4.3-33B есть веса, карточка модели и — если верить самой карточке — ни одного провайдера инференса, который бы ее развернул. Эта асимметрия не является оценкой качества, но она меняет стоимость попытки ее опробовать.

Колонка вендора и собственная карточка Google не совпадают

Две строки в таблице Nanbeige можно проверить по опубликованным данным Google, и только одна из них совпадает.

• AIME 2026 — Nanbeige приписывает Gemma 4 31B 89,2 балла. Google сообщает о 89,2. Точное совпадение.

• GPQA Diamond — Nanbeige приписывает Gemma 4 31B 91,3 балла, и это единственная строка, где Gemma превосходит собственную оценку Nanbeige в 89,5 балла. Опубликованный Google показатель для этой модели составляет 84,3. Это расхождение в семь баллов, и ни одна из карточек не объясняет стоящую за этим конфигурацию.

Вторая строка заслуживает внимания, потому что это единственное место, где таблица вендора отдает победу оппоненту. Если это число получено в результате повторного прогона с максимальным усилием на рассуждения, это легитимный результат, и Gemma действительно лидирует в вопросах науки уровня аспирантуры. Если же оно получено при иной конфигурации оценки, в таблице сравниваются две разные модели Gemma. В любом случае, фраза «Gemma побеждает в GPQA», повторяемая во всех вторичных обзорах на этой неделе, опирается на цифру, которую Google не публикует.

Остальную часть колонки Gemma сложнее проверить, так как Google сообщает о других бенчмарках. Таблица Nanbeige ставит Gemma на отметку 18,6 в Tau3-Bench; карточка Google указывает 86,4 в τ²-bench. Это разные версии семейства бенчмарков, поэтому они не противоречат друг другу, но они также и не являются прямым сравнением, а разрыв в 68 баллов между ними служит хорошей оценкой того, насколько сильно тестовая обвязка и выбор версии могут изменить результат одной и той же модели.

Правильное чтение нулей

Три строки в колонке Gemma близки к нулю: 0.0 в Terminal-Bench 4.0, 2.7 в DeepSWE и 3.3 в SWE-Atlas-QnA. Именно эти строки расходятся по социальным сетям, и они являются наименее информативными числами в таблице.

Близкий к нулю результат в агентском бенчмарке имеет как минимум три возможных причины: модель не может завершить задачу, модель не может управлять инструментами, предоставляемыми обвязкой, или обвязка была настроена под другой шаблон чата и формат вызова инструментов. В карточке Nanbeige четко указано, что ее собственные результаты получены с использованием Terminus 2 для Terminal-Bench 2.1 и mini-swe-agent v2.4.6 для Terminal-Bench 4.0, DeepSWE и SWE-Atlas-QnA. Там не указано, была ли Gemma 4 31B предоставлена та же среда с ее собственным форматом вызова инструментов или она была помещена в XML-ориентированную среду Nanbeige. Это дает совершенно разные результаты, и только один из них имеет отношение к самой модели.

Это вовсе не повод отмахиваться от результатов Nanbeige. Модель Nanbeige4.3-33B создавалась с расчетом на агентское программирование — в ее карточке рекомендуется XML-формат вызова инструментов, preserve_thinking=true для многошагового использования инструментов и температура 1.0 для агентских задач, — поэтому неудивительно, что она хорошо показывает себя внутри созданной для нее обвязки. Это повод воспринимать колонку Gemma скорее как нижнюю границу, чем как окончательный вердикт.

Асимметрия, которую бенчмарки не оценивают: изображения

Gemma 4 31B принимает изображения. Nanbeige4.3-33B — нет. Это единственное предложение определяет больше реальных внедрений, чем любая строка в таблице.

Если ваш агент читает скриншоты, счета, графики, сканированные формы или состояния пользовательского интерфейса (UI), Nanbeige4.3-33B не подходит ни при каких баллах в бенчмарках. Вам потребуется отдельная модель извлечения данных перед ней, со своими задержками, стоимостью и типами сбоев, и тогда качество всего пайплайна будет определяться качеством модели извлечения, а не моделью на 33B. Gemma выполняет этот шаг «из коробки», а опубликованные Google показатели MMMU-Pro на уровне 76,9 и MATH-Vision на уровне 85,6 предполагают, что она делает это вполне компетентно, а не для галочки.

И наоборот, если работа носит исключительно текстовый характер — код, логи, длинные документы, многошаговые цепочки вызовов инструментов, — способность работать с изображениями становится бесполезным грузом, за который вы платите при каждом проходе генерации. Именно под такие сценарии создана Nanbeige, и на них приходится огромная доля агентской работы.

512K против 256K, и для чего нужен контекст

Контекстное окно Nanbeige размером 524 288 токенов вдвое больше, чем 262 144 у Gemma, и оба эти значения настолько велики, что разница имеет значение только в специфических типах задач.

Окно в 256 тыс. токенов вмещает примерно объем исходного кода среднего репозитория или несколько сотен страниц текста. Окно в 512 тыс. токенов вмещает вдвое больше. Для одного длинного документа и развернутого ответа достаточно обоих вариантов; для агента, который накапливает вывод инструментов на протяжении сотен шагов, большее окно дает больше шагов до суммирования или вытеснения. В описании Nanbeige рекомендуется выделять до 262 144 новых токенов для рассуждений и диалога, что говорит о том, что практический бюджет рассуждений ближе к 256 тыс., чем к полным 512 тыс. Верхний предел вывода Gemma обычно настраивается на уровне 131 072.

Ни один из производителей не публикует здесь бенчмарк для проверки памяти при длинном контексте, поэтому нет честного способа сказать, чьи 512 тыс. или 256 тыс. используются лучше. Размер контекста — это утверждение о пропускной способности, а не о качестве, и в обеих спецификациях это так и остается.

Стоимость вызова каждого из решений

Gemma 4 31B — единственная из этих двух моделей, которую сегодня можно вызвать как сервис. На OrcaRouter она стоит 0,13 долл. за миллион входных токенов и 0,38 долл. за миллион выходных, а кэшированный ввод — 0,02 долл. Это прямая трансляция прейскуранта провайдера без каких-либо наценок, поэтому изменение цены поставщиком попадает в наш каталог в тот же день, когда оно было объявлено. Artificial Analysis в настоящее время указывает собственный эндпоинт Google по цене 0,00 долл. за ввод и 0,00 долл. за вывод, что почти наверняка отражает рекламный или бесплатный тариф, а не устойчивую цену; воспринимайте это как пробный канал, а не как строку бюджета.

Для Nanbeige4.3-33B нет цены за токен для указания. Веса бесплатны по лицензии Apache 2.0, а в описании указано, что ни один провайдер инференса не развертывает эту модель. Ее запуск требует четырех графических процессоров с тензорно-параллельным размером 4 согласно собственным рецептам vLLM и SGLang из карточки модели, которые удерживаются в памяти независимо от поступления запросов. Предельная стоимость токена в таком случае складывается из затрат на электроэнергию и коэффициента использования, а не из тарифной сетки. Тот, кто сравнивает «0,13 долл. за ввод» с «бесплатно», сравнивает счет на оплату с капитальными затратами.

В этом заключается и практический довод в пользу сохранения маршрутизатора в цепочке, даже когда новая модель размещается на собственных мощностях. Решение, с которым реально сталкивается большинство команд — это не «заменить Gemma», а «отправить 5% трафика на новую систему и посмотреть, что произойдет». Сохранение доступности прежней модели через один ключ с автоматическим переключением на резервный ресурс в случае сбоя тестового эндпоинта превращает эту задачу в изменение маршрутизации, а не в миграцию.

Когда Gemma 4 31B — это просто правильный ответ

Четыре условия решают этот вопрос без таблицы бенчмарков.

• Рабочая нагрузка включает изображения, PDF-файлы или скриншоты. Gemma, без сомнений.

• Вам нужно нечто большее, чем английский и китайский языки. Gemma прошла предварительное обучение на более чем 140 языках; в Nanbeige указано только два.

• Вы не хотите владеть графическими процессорами. У Gemma сегодня есть управляемый эндпоинт; у Nanbeige есть веса и рецепт развертывания.

• Вам требуется независимое мнение о качестве. У Gemma индекс Artificial Analysis Intelligence Index равен 15, что скромно, но независимо. У Nanbeige там вообще нет записи, поэтому любое числовое значение для нее — это оценка поставщиком собственной работы.

Если перевернуть эти условия, позиция Nanbeige становится столь же ясной: текстовая агентская работа, длинная цепочка вызовов инструментов, наличие у команды графических процессоров и готовность использовать рекомендуемый формат инструментов XML. При таком характере работы собственная таблица Nanbeige заявляет об опережении на 33,7 балла в Terminal-Bench 2.1 (80,9 против 47,2) и на 62,8 балла в DeepSWE. Эти отрывы достаточно велики, чтобы в них содержался реальный сигнал, даже если сделать скидку на преимущества тестового окружения. Однако они недостаточно велики, чтобы ставить на них производственный процесс без предварительного самостоятельного запуска.

Послеобеденное тестирование превосходит эту таблицу

Если вы действительно выбираете между ними, тест обойдется дешево и не потребует веры ни одному из производителей. Возьмите двадцать реальных задач из логов ваших собственных агентов. Запустите каждую модель с ее собственным рекомендуемым форматом вызова инструментов и настройками мышления (XML для Nanbeige, нативный вызов функций для Gemma) и оцените выполнение задач, а не сходство с бенчмарками. Регистрируйте количество токенов, потребленных на одну выполненную задачу, поскольку плотная модель на 33B и плотная модель на 30.7B будут отличаться по многословности даже при одинаковых ценах за токен.

За один послеобеденный сеанс вы узнаете, сохраняется ли агентское преимущество Nanbeige за счет ее преимуществ в тестовом окружении. До тех пор, пока кто-нибудь не опубликует эти данные, обоснованная сводка оказывается более узкой, чем заголовки новостей: Gemma 4 31B — это более готовая к развертыванию модель и единственная с независимым балом; Nanbeige4.3-33B — более амбициозная модель с нативным окном на 512 тыс. и набором самостоятельно заявленных агентских показателей, которые выглядят впечатляюще, не прошли независимый аудит и были опубликованы два дня назад.