Компания IBM выпустила две контрольные точки Granite Speech 5.0 с разницей менее чем в сутки, и самое интересное в них вовсе не то, что одна из них больше другой. Дело в том, что Granite Speech 5.0 2B демонстрирует средний показатель WER (ошибки распознавания речи) для английского языка на уровне 5,06% при 570 RTFx в таблице лидеров Open ASR, в то время как Granite Speech 5.0 470M TurboCTC показывает 5,51% при 19 870 RTFx — это примерно в тридцать пять раз большая пропускная способность при ухудшении точности менее чем на полпункта. Если вы думали, что количество параметров дает пропорциональный прирост чего-либо, вы ошибались. Оно дает перевод, смещение ключевых слов, управление языковым идентификатором и языковую модель, способную следовать инструкциям. Скорости в этом списке нет. Задокументированные сбои ИИ и инциденты с агентами, стоящие за подобными релизами, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись имеет собственные источники, оценку степени серьезности, уровень достоверности и статус оспаривания.
Обе цифры предоставлены самой IBM, измерены по одной и той же таблице лидеров и опубликованы с разницей в неделю. Это делает данное сравнение моделей из одного семейства одним из самых чистых среди доступных, хотя все же стоит учитывать, что это результаты оценки вендора, а не независимый аудит. Ни одна из моделей не имеет независимого воспроизведения, и на момент написания статьи ни одна из них не развертывается ни одним провайдером инференса, которого мне удалось найти, включая наш собственный каталог.
В ту же неделю две разные истории релизов
Эти две модели — не близнецы разного размера. У них была разная история выпуска и разная архитектура, и именно этим объясняется то, насколько сильно различаются описания в их карточках.
• Granite Speech 5.0 2B — репозиторий создан 7 октября 2026 года, веса закоммичены тем же вечером, карточка редактировалась открыто в течение двух недель, дата релиза проставлена 20 октября, анонс в блоге вышел 21 октября. Новая модель, тихий старт, громкий финиш.
• Granite Speech 5.0 470M TurboCTC — впервые выпущена 25 августа 2026 года как модель только для английского языка с заявленным показателем 12 600 RTFx. Релиз 21 октября — это обновление, а не новая модель: та же архитектура, новый многоязычный BPE-токененер на 16 384 токена, шесть добавленных языков, а также нативная расстановка знаков препинания и регистра.
Эта разница имеет значение при анализе цифр. Показатель 2B в 5,06% — это свежая оценка новой контрольной точки. Показатель 470M в 5,51% является улучшением цифры в 5,78%, опубликованной в августе. В блоге IBM это преподносится как «лучший WER для английского языка несмотря на добавление шести языков», и это правильный подход к оценке: многоязычное обновление не ухудшило точность на английском, а улучшило ее.
Две архитектуры, одно следствие
Granite Speech 5.0 2B — это речевая языковая модель. 16-блочный энкодер Conformer CTC передает данные в двухслойный проектор оконного запроса-трансформера, который выполняет нисходящую дискретизацию в 10 раз до акустических эмбеддингов 10 Гц. Они поступают в промежуточную контрольную точку granite-4.0-1b-base, расширенную до 16 тыс. позиций с помощью YaRN. Контролируемая донастройка выполняется методом LoRA одновременно для проектора и языковой модели. Генерация происходит авторегрессионно: языковая модель записывает расшифровку токен за токеном.
Granite Speech 5.0 470M TurboCTC — это энкодер. Шестнадцать блоков Conformer, функция потерь CTC, многоязычная классификационная BPE-голова на 16 384 элементов, временная субдискретизация в 8 раз для снижения частоты кадров со 100 Гц до 12,5 Гц, жадное неавторегрессионное декодирование. Никаких проекторов, языковых моделей или циклов генерации. Выходные данные содержат знаки препинания и регистр за счет того, что модель была обучена выдавать пунктуацию в потоке токенов, а не потому, что вторая модель добавила ее постфактум.
Именно это различие лежит в основе всего сравнения. У модели 2B, которая генерирует токены, существует минимальная задержка на токен, которую полностью не убрать никаким батчингом; неавторегрессионный энкодер выдает весь результат за один проход вперед, поэтому пропускная способность масштабируется с размером батча и практически ни с чем больше. Именно так модель с четвертью параметров оказывается в тридцать пять раз быстрее, а не в четыре раза.
Это также объясняет, почему 470M лишена функций, которые есть у 2B. Здесь нет промпта для следования инструкциям, а значит, нет ни управления языковым идентификатором, ни списка ключевых слов, ни перевода — голова CTC сопоставляет акустику с токенами и не может быть настроена на вывод немецкой речи в виде английского текста.
Таблица лидеров и происхождение каждой цифры
• Параметры — Granite Speech 5.0 2B имеет 2B параметров; Granite Speech 5.0 470M TurboCTC — 470M.
• WER для английского языка, среднее по 9 наборам Open ASR — 5,06% против 5,51%. Оба прогона оценки IBM выполнены 15–20 октября 2026 года.
• Пропускная способность, RTFx — 570 против 19 870. Тот же тестовый инструментарий таблицы лидеров, тот же диапазон дат.
• WER в зашумленной и реверберирующей среде, FFASR — 14,80% (4-е место из 42) против 17,57% (12-е место). Модель 2B надежнее примерно на 2,8 пункта.
• Лицензия — Apache 2.0 для обеих. У TurboCTC также есть версия -NC под лицензией CC-BY-NC-SA-4.0; проверяйте имя репозитория перед развертыванием.
• Языки — шесть языков транскрипции (En, Fr, Де, Es, Pt, Ja) плюс перевод, против семи (добавлен итальянский) без перевода.
• Функции управления — промпты с языковым идентификатором, смещение ключевых слов до 2000 терминов и перевод речи у 2B; у 470M ничего этого нет.
• Обучение — 390 000 часов за 40 дней на 8 H100 для 2B; 153 000 часов за 24 дня на 8 H100 для 470M.
Разрыв в надежности — это параметр, который многие упускают из виду. Увеличение скорости в 35 раз привлекает внимание, но разница в WER на дальней дистанции в зашумленной аудиосреде между 17,57% и 14,80% составляет 19% относительной погрешности, а именно с зашумленным звуком сталкивается большинство реальных сценариев развертывания. Если ваш звук записывается на ноутбук на кухне, преимущество в скорости маленькой модели будет потрачено на исправление полученной расшифровки.
Единственный аспект, в котором 470M действительно побеждает по точности
Японский язык. В карточке TurboCTC утверждается, что она превосходит модель 2B по уровню ошибок на символ (CER) на всех трех тестовых наборах: CSJ eval1, CommonVoice-17 и FLEURS, причем это прямо указано в тексте карточки, а не запрятано в график. Сами цифры приведены только в графическом виде, поэтому масштаб победы назвать нельзя, но само направление улучшения заявлено самой IBM в отношении ее собственных двух моделей, что делает это утверждение более заслуживающим доверия, чем сравнение между разными вендорами.
Этому есть правдоподобное объяснение. Модель 2B обрабатывает японский язык путем добавления набора из 92 фонетических символов катаканы в токененер, а также добавления к обучению 16 500 часов ASR с акцентом на японские ключевые слова и 9 600 часов синтеза речи Fineweb-2 TTS, однако она по-прежнему пропускает результат через языковую модель, обученную в основном на европейских текстах. Модель 470M использует единый многоязычный BPE-словарь на 16 384 токена, в котором японский язык присутствует с самого начала, и тратит 8 130 часов на ReazonSpeech и 1 860 часов на синтезированный японский язык. Если ваш продукт — это массовая транскрипция японской речи, это именно тот сценарий, где маленькая модель оказывается одновременно быстрее и лучше, и перед тем как автоматически выбрать 2B из-за ее размера, стоит провести прямое тестирование.
Стоимость: расчетные, а не объявленные данные
IBM не публикует цены ни для одной из моделей. Обе модели имеют веса под лицензией Apache 2.0, поэтому стоимость их запуска сводится к стоимости оборудования, а показатели RTFx — это единственный рычаг, который у вас есть для ее оценки.
Возьмем нагрузку в 1000 часов аудио в день — архив колл-центра среднего размера. При 570 RTFx модели 2B требуется около 6300 секунд работы GPU, то есть чуть более 1,7 часа GPU. При 19 870 RTFx модели 470M требуется около 181 секунды, или 0,05 часа GPU. На H100 по цене примерно 2–3 доллара в час это составляет несколько долларов в день против нескольких центов. Обе цифры малы, и в этом суть: в таком масштабе ни одна из моделей не является дорогой, и выбор должен делаться на основе точности и возможностей, а не затрат на вычисления.
Арифметика меняется на другом конце. Если вы расшифровываете один поток в реальном времени на ноутбуке или запускаете локальное приложение, модели 2B нужен GPU, чтобы опережать реальное время, в то время как у 470M есть запас производительности — именно поэтому IBM позиционирует TurboCTC для ноутбуков, телефонов и периферийных устройств и документирует mlx-audio для Apple Silicon. Модель 2B также работает на llama.cpp и mlx-audio, но в формате Q8_0 с предупреждением, что квантование с меньшим количеством бит приводит к потере точности примерно после минуты аудио.
Выбор в том порядке, в котором принимается реальное решение
Не начинайте с бенчмарка. Начните с того, чего требует задача, поскольку три из различий являются жесткими требованиями, а не компромиссами.
Требуется ли вывод на языке, отличном от исходного? В таком случае это 2B, и сравнивать здесь нечего. Модель 470M не умеет переводить. Это единственное требование исключает ее для конвейеров субтитров, многоязычных протоколов встреч и любых англоязычных архивов, созданных на основе неанглоязычного аудио.
Должна ли стенограмма содержать определенные термины? Названия продуктов, наименования лекарств, ID тикетов, список SKU клиента — модель 2B принимает до 2000 терминов в качестве списка ключевых слов и была обучена на 23 600 часах аудио с ориентацией на ключевые слова именно для этого. У 470M нет интерфейса подсказок. Развертывание малой модели на основе глоссария невозможно.
Чисто ли аудио? Если да, то разница для английского языка в 0,45 пункта мала, а 35-кратное преимущество в скорости дается практически бесплатно. Если нет (встречи, колл-центры, микрофоны дальнего поля), разница по показателю FFASR в 2,8 пункта означает, что ошибки малой модели обойдутся вам дороже, чем сэкономленная скорость.
Это японский язык? Сначала протестируйте 470M. IBM заявляет, что она побеждает на всех трех японских тестовых наборах.
Работает ли это на устройстве? Модель 470M была разработана для этого. Модель 2B может на нем запускаться, но не была для этого создана.
Честное резюме заключается в том, что это не два размера одного продукта. Одно — это система транскрипции и перевода с элементами управления; другое — очень быстрый, очень дешевый движок транскрипции без каких-либо элементов управления. Большинству команд, которые думают, что им нужна «лучшая модель», на самом деле нужно сначала ответить на вопросы о переводе и глоссарии, и эти два ответа все решают.
Запуск обеих моделей без ставок на какую-то одну
Разумная производственная схема для команды, тестирующей это семейство, заключается в развертывании обеих моделей, поскольку у них противоположные типы сбоев. Модель 470M справляется с массовой транскрипцией чистой речи по цене, которая округляется до нуля; 2B справляется со сложным аудио, неанглоязычным аудио и всем, что требует глоссария. Маршрутизатор, который классифицирует каждый входящий файл (определение языка, оценка соотношения сигнал/шум, проверка наличия прикрепленного глоссария) и отправляет его в нужную точку проверки, представляет собой код примерно из пяти строк и снижает частоту ошибок на «хвосте», не заставляя платить цены 2B за массовые объемы.
Этот этап классификации представляет собой вызов небольшой модели, и именно его стоит пропускать через единую конечную точку, а не встраивать второй SDK поставщика: OrcaRouter предоставляет более 200 моделей за единым API, совместимым с OpenAI, по ценам каталога провайдера без наценки, а его язык маршрутизации (DSL) позволяет выразить диспетчеризацию по языку и качеству в виде правила, а не прикладного кода. Автоматическое переключение при сбое имеет наибольшее значение в неделю после релиза вроде этого, когда контрольная точка устарела на два дня, ничто не проверено независимо, а самый безопасный способ попробовать ее — держать второй путь в разогретом состоянии. Ничто из этого пока не помогает вам запускать сам Granite Speech — ни одна контрольная точка сегодня не обслуживается нами, поэтому речевые модели остаются на собственном хостинге, а слой маршрутизации начинается на один шаг ниже по потоку.
Если вы развертываете только одну, разверните 2B. Это модель, которая может делать все то же, что и 470M, со скоростью, которая все еще в тридцать пять раз превышает реальное время, и точностью, которая лучше на каждом бенчмарке, опубликованном IBM, за исключением японского языка. 470M — это специалист, которого вы добавляете, когда счет или профиль задержки это оправдывают, а не вариант по умолчанию, с которого стоит начинать.
