Единая открытая модель для многоязычной транскрипции, разделения по спикерам, перевода и аудио-вопросов и ответов с лидирующими результатами в таблицах лидеров, а также открытый конвейер данных Granary v2 и рецепты точной настройки для ее адаптации.

Стенограмма может зафиксировать каждое произнесенное слово, но у пользователей или приложений все равно останутся вопросы: кто это сказал, как это перевести или как отформатировать специфический для определенной предметной области жаргон. Многоязычные звонки, динамичные совещания и медицинская диктовка требуют разного вывода: перевода, меток спикеров или правильно написанных медицинских терминов.

NVIDIA Nemotron 3.5 Transcribe — это открытая модель с возможностью управления запросами, которая превращает записанную речь в полезный текст и теперь доступна на Hugging Face и ModelScope. Она объединяет транскрипцию, определение спикеров (диаризацию), перевод и ответы на вопросы по аудио в одной контрольной точке: она транскрибирует 40 языков, переводит 31 из них на английский или с английского, а также разделяет спикеров на 13 языков. Она обрабатывает записи длительностью до часа и маркирует до восьми спикеров. Разработчики могут направлять вывод с помощью естественного языка, выбирать место обработки аудио и адаптировать распознавание к словарю предметной области и акцентам.

Transcribe занимает первое место среди моделей с открытыми весами в таблице лидеров Hugging Face Open ASR Leaderboard для английского языка и находится на границе точности и активных параметров Artificial Analysis. Что касается определения спикеров, она демонстрирует самый низкий уровень ошибок на David AI’s 21-language diarization leaderboard и занимает первое место в VoiceArena’s 14-system comparison. Она работает на одном графическом процессоре NVIDIA, от систем DGX Spark до дата-центров на базе Blackwell.

Многоязычные данные Granary v2 (доступные на Hugging Face и ModelScope) и повторно используемый конвейер кураторства в сочетании с инструментами точной настройки NeMo Speech расширяют контроль на уровне запросов до уровня обучения: разработчики могут определять необходимую им письменную форму и адаптировать модель к речи, с которой сталкиваются их приложения. В медицинском тематическом исследовании точная настройка сократила частоту ошибок в словах (WER) для новых спикеров на 45,8% по сравнению с лучшим запросом.

Управляйте транскрипцией и анализом с помощью естественного языка

Одна и та же контрольная точка может превратить запись одной встречи в разные результаты в зависимости от инструкции:

«Транскрибируйте эту запись и пометьте каждого спикера».
«Переведите это аудио на английский язык».
«Какие решения были приняты на этой встрече?»

Оцените модель в действии в видео ниже, где она справляется с классической сценой из эксцентричной комедии 1940 года «Его девушка пятница» — фильма, известного своими стремительными, сильно пересекающимися диалогами.

Nemotron 3.5 Transcribe создает субтитры к сцене из фильма «Его девушка пятница» (1940) и помечает спикеров, в том числе при наложении диалогов.

Для незнакомых терминов используйте контекст перед обучением. Например, в сфере здравоохранения:

Транскрибируйте это медицинское обсуждение на исходном языке. Возможные термины: HbA1c, метформин. Используйте эти термины только тогда, когда они подтверждаются аудио. Сохраняйте стандартное медицинское написание и пишите числа в общепринятой письменной форме.

Карточка модели содержит рекомендуемые пресеты, включая рассуждения для аудиовопросов, а также полное руководство по подсказкам и матрицу задач по языкам: поддержка языков различается в зависимости от задачи, а ответы на аудиовопросы обучены на английском языке. Также поддерживаются временные метки на уровне слов. Как и в случае с любой речевой моделью, выборочно проверяйте имена, смену спикеров и ответы по записи.

От живых уроков до долгосрочных знаний. Компания Agora, чья платформа голосовой и видеосвязи в реальном времени поддерживает живые беседы в приложениях, использовала временные метки на уровне слов в демонстрации для класса: Nemotron 3.5 Transcribe превращает записанный урок в транскрипцию, отображаемую рядом с воспроизведением, чтобы ученики могли видеть, что и когда было сказано. Блог Agora подробно рассказывает о том, как они это создали.

Победы в таблицах лидеров: от транскрипции до атрибуции спикеров

Среди моделей с открытыми весами Transcribe лидирует в том, что было сказано; а что касается того, кто это сказал, она занимает первые места сразу в двух бенчмарках атрибуции спикеров.

Таблица лидеров Hugging Face Open ASR. Таблица лидеров измеряет точность транскрипции как частоту ошибок в словах (WER) на публичных тестовых наборах в трех треках:

Английский язык: первое место среди моделей с открытыми весами со средним значением WER 5,33% (Рисунок 1).
Многоязычный: среднее значение WER 4,62% по семи языкам, самое низкое среди оцененных моделей с открытыми весами в сравнении Open ASR в карточке модели.
Длинные записи: среднее значение WER 10,98%, также самое низкое в этом сравнении.

Рисунок 1. Nemotron 3.5 Transcribe занимает первое место среди моделей с открытыми весами в таблице лидеров Hugging Face Open ASR Leaderboard (английский язык) со средним значением WER 5,33%, исключая API-модели. Более низкий WER означает меньше ошибок транскрипции.

Таблица лидеров Artificial Analysis Speech-to-Text. Artificial Analysis независимо ранжирует модели преобразования речи в текст по индексу частоты ошибок в словах AA-WER. Nemotron 3.5 Transcribe делит первое место среди моделей с открытыми весами с показателем AA-WER 2,8%, имея около 4 млрд активных параметров по сравнению с 24 млрд у модели, с которой она делит первое место. В AA-AgentTalk, наборе речи изолированных голосовых агентов, который составляет 50% индекса AA-WER, Transcribe показывает результат 1,8% WER по сравнению с 2,3% у ближайшей модели с открытым весом. Transcribe объединяет свой речевой кодер с гибридной языковой моделью смеси экспертов Mamba-Transformer, поэтому на один токен приходится всего около 4 млрд из ее 30 млрд параметров. Это ставит ее на кривую Парето точности и активных параметров с открытыми весами Artificial Analysis. На общем графике моделей AA она опережает несколько широко используемых проприетарных речевых API.

Рисунок 2. Лидирующая точность AA примерно при одной шестой активных параметров: Nemotron 3.5 Transcribe достигает 2,80% AA-WER с примерно 4 млрд активных параметров.

Атрибуция спикеров по языкам и наложениям. Речевые подсказки Sortformer поступают в языковую модель вместе с акустическими признаками, поэтому Transcribe может отмечать каждый переход во время генерации, а не полагаться исключительно на последующий этап для привязки спикеров к словам.

Таблица лидеров David AI DAI-ASR-I18N. На Transcribe занимает первое место среди оцененных моделей с открытыми весами и второе в общем зачете. В треке диаризации бенчмарка, который оценивает, кто и когда говорил на 21 языке, она имеет самый низкий коэффициент ошибок диаризации среди 14 протестированных систем, немного опережая специализированную модель Nemotron 3 Diarization от NVIDIA.

Рисунок 3. Модели NVIDIA занимают первые два места в таблице лидеров многоязычной диаризации David AI: Nemotron 3.5 Transcribe показывает самый низкий общий коэффициент ошибок диаризации (DER), 18,26% по 21 языку, за ней следует Nemotron 3 Diarization с 18,38%. DER измеряет ошибки времени спикера; чем ниже, тем лучше.

VoiceArena Diarization-Bench. В английском бенчмарке полной сессии VoiceArena Transcribe показывает наименьший объединенный минимально-перестановочный WER (cpWER) из 14 систем и занимает первое место как в очном, так и в онлайн-форматах. Она также пропускает наименьшее количество слов: удаления составляют 8,32% эталонных слов против медианы около 31%.

Рисунок 4. Модели NVIDIA занимают первые два места в : Nemotron 3.5 Transcribe лидирует с 32,4% cpWER, за ней следует NVIDIA Multitalker Parakeet с Nemotron 3 Diarization с 34,2%. Diarization-Bench v1 охватывает полные английские сессии, накладывающуюся речь и от 2 до 8 спикеров. cpWER подсчитывает ошибки в словах после сопоставления меток спикеров; чем ниже, тем лучше.

Дополнительные оценки. Оценка Converse-STT от Ocular AI ставит Transcribe на первое место среди открытых моделей. В таблице лидеров Voice of India от Josh Talks приводятся результаты Transcribe для индийских языков.

Работа от периферийных устройств до дата-центра. Transcribe работает на одном GPU NVIDIA — от Jetson AGX Thor и DGX Spark до дата-центровских GPU архитектуры Blackwell. На одном GPU NVIDIA RTX PRO 6000 Blackwell Server Edition с точностью NVFP4 модель обрабатывает 100 часов аудио менее чем за три минуты при измерении на 30-секундных клипах с высокой степенью параллелизма.

Развертывайте чекпоинт с помощью vLLM сегодня или запускайте его локально с помощью NeMo-Speech.cpp. Transcribe создана для записанного аудио, а не для прямых трансляций.

Для специализированных записей по-прежнему может потребоваться адаптация под предметную лексику и правила транскрипции. Тонкая настройка Granary v2 и NeMo Speech решает эту задачу, начиная с данных, лежащих в основе Transcribe.

Granary v2: конвейер курирования открытых данных, лежащий в основе Transcribe

Модель распознавания речи с поддержкой промптов требует обучающих данных с однозначными целевыми форматами форматирования. Granary v2 входит в коллекцию речевых моделей Nemotron на Hugging Face и ModelScope. Созданный с использованием NVIDIA NeMo Curator, его повторно используемый конвейер подготовил многоязычную речь, использованную при обучении Nemotron 3.5 Transcribe, создав выровненные варианты транскриптов, метки задач и проверяемые метаданные качества. Общедоступный манифест охватывает 463 062 часа на 48 языках и из 16 исходных корпусов (по сравнению с 25 языками в Granary v1). Эти цифры описывают выпуск набора данных, а не всю обучающую смесь Transcribe или ее веса сэмплирования.

Granary v2 генерирует три формы транскрипта для каждой реплики (Таблица 1) — те же стили (дословный и чистый), которые разработчики могут запросить у Transcribe с помощью промпта. Помимо транскрипции, конвейер создает короткие описания аудио (капшены), восстановление заимствованных слов при переключении кодов, пары вопрос-ответ на основе речи, термины для контекстного смещения ASR и переводы с автоматической оценкой качества.

Таблица 1. Целевые данные обучения Granary v2 для одной и той же реплики.

Конвейер состоит из четырех повторно используемых этапов:

1. Подготовка аудио (Метаданные): разбивает сырое или длинноформатное аудио на сегменты, отслеживает спикеров по всей записи, а также тегирует акустические события и язык. Источники Granary v2 уже были сегментированы, поэтому в данном выпуске этот этап был пропущен.
2. Транскрипция (ASR): направляет каждый язык на первичный и резервный ASR-модели, переключаясь на резервную, когда первичная не проходит проверку на галлюцинации. Эталонные человеческие транскрипты помогают сохранить проверенное написание, одновременно добавляя разговорные формы и слова-паразиты.
3. Генерация меток задач (Текст): формирует варианты транскриптов, а затем проверяет скорость символов, паттерны галлюцинаций и степень согласия между моделью и эталоном от человека. Только принятые записи получают термины контекстного ASR и переводы.
4. Высокая точность (HiFi): отсеивает сегменты с шумами, клиппингом или несколькими спикерами, сохраняя меньший набор высококачественных записей для использования не только в ASR. Для набора данных VoxPopuli это позволило сократить 354 тыс. часов до 111 тыс. часов на 22 европейских языках.

Рисунок 6. Конвейер курирования данных Granary v2, прослеживающий один сэмпл от сырого аудио через этапы метаданных, ASR и текста до обучающего примера.

Разработчики могут запускать конвейер NeMo Curator с бэкендами Ray и NVIDIA Dynamo на собственных записях или разрешенных публичных корпусах либо использовать публичные манифесты Granary v2 в качестве основы. Манифесты включают три формы транскрипта в виде tn_raw, itn_raw и itn_clean, описанные выше метки, подсказки по сущностям, производные пары инструкций, происхождение (провенанс) и флаг качества для каждой записи. Исходное аудио загружается отдельно в соответствии с исходной лицензией каждого корпуса и опубликованными условиями релиза.

Адаптируйте распознавание к важной для вас лексике

Начните с промпта для набора разработки, который задает язык, письменность и формат транскрипта. В приведенном ниже практическом примере указание английского языка и латинского алфавита в промпте снизило показатель WER на всем бенчмарке с 30,8% до 23,8%. Для оставшихся доменных ошибок рабочий процесс тонкой настройки NeMo Speech сопоставляет репрезентативную речь с явными письменными целями.

Практический пример медицинского ASR в NeMo Speech демонстрирует этот прогресс на открытом бенчмарке Eka Care, содержащем записи индийских врачей и студентов-медиков (3619 клипов без выделенного обучающего разделения). В исследовании данные для адаптации формируются из сгенерированного медицинского текста и общедоступных медицинских каталогов, после чего объединяются примерно 153 часа синтетической речи, 29 часов речи с акцентом из Common Voice и 63 часа медицинских записей из MultiMed.

Рисунок 7. На полном тестовом наборе медицинского речевого бенчмарка Индии от Eka Care более качественный промпт снижает WER с 30,8% до 23,8%, а тонкая настройка доводит его до 11.8%, что примерно на 62% меньше ошибок транскрипции, чем у базовой модели «из коробки». Полный набор включает 855 клипов настройки, использованных для выбора промпта и чекпоинтов; отложенные результаты ниже получены на более чистом тестовом наборе.

Синтетическая генерация отделяет письменную цель от ее звукового воплощения: «HbA1c» является меткой, в то время как синтезатору передается «H B A one C». Множество голосов TTS расширяют аудиодиапазон; реальные записи добавляют акценты и условия записи. Обучающий текст фильтруется на предмет точных совпадений и общих последовательностей из восьми слов с эталонами бенчмарка.

Как и в случае с явными целями Granary v2, обучающие примеры варьируют цифры, пробелы между единицами измерения, расшифровку названий компаний и дефисы в брендах, причем инструкции задают требуемое соглашение. Некоторые промпты включают списки терминов с похожими дистракторами, чтобы модель научилась использовать написание только тогда, когда это подтверждается аудио. Финальная система использует один фиксированный промпт соглашения и один проход модели без извлечения (retrieval) и постобработки транскрипта.

В рамках рецепта обучаются речевой энкодер и проекция, а для адаптации языковой модели используется LoRA. Две процедура обучения используют разные смеси данных; после слияния адаптеров выбранные чекпоинты равномерно усредняются в одну финальную модель. Выбор чекпоинта осуществляется на основе результатов декодирования набора разработки, а не только по функции потерь при обучении. Полная адаптация — от генерации текста до оценки — заняла около 14 GPU-часов на одном NVIDIA GB300.

Прирост в доменной специфике, измеренный на отложенных спикерах

В исследовании бенчмарк разделен по спикерам на 855 клипов настройки (используются для выбора промпта и чекпоинтов) и 2764 отложенных клипа, декодируемых один раз для каждой финальной системы. С использованием конвейера оценки Eka Care KARMA тонкая настройка снижает WER на отложенных данных с 22,44% для лучшего базового промпта до 12,17%, что дает относительное сокращение на 45,8% и является самым убедительным доказательством того, что прирост качества применим к новым спикерам. Семантический показатель WER снижается с 9,2% до 6,5% для ключевых слов и с 10,0% до 7,6% для семантики. На тех же отложенных спикерах и с тем же оценщиком показатель WER адаптированной модели (12,17%) превосходит открытую специализированную медицинскую модель (13.79%) и широко используемую универсальную модель ASR (14.92%).

На общем английском языке показатель WER в тестовом наборе LibriSpeech-clean немного возрастает — с 1.54% до 1.69%. Медицинский специалист по-прежнему лидирует по точным совпадениям для брендовых лекарств и средств диагностики; в исследовании отмечается, что следующим шагом должны стать реальные записи врачей, произносящих названия брендов. Для вашей собственной предметной области используйте не менее 100 реальных размеченных фрагментов для выбора контрольных точек и оценивайте типы сущностей, от которых зависит ваше приложение, наряду с сохранением качества распознавания обычной речи.

В тематическом исследовании приведены команды для воспроизведения каждого шага. В руководствах по дообучению рассматриваются рецепты, требования к ресурсам и инструменты для обучения, экспорта и оценки, включая распознавание речи для новых языков и с переключением кодов. Сопутствующий навык агента позволяет агенту-программисту выполнять весь рабочий процесс: от выбора базовой модели и проверки данных до проверки обучения, слияния адаптеров и оценки.

ModelScope также позволяет разработчикам дообучать Nemotron 3.5 Transcribe с помощью своего фреймворка ms-swift для специализированных мультимодальных приложений.

Начните работу с Nemotron 3.5 Transcribe и Granary v2

Попробуйте Nemotron 3.5 Transcribe в демоверсии на Hugging Face или на Studios, затем загрузите контрольную точку с Hugging Face или ModelScope и разверните ее с помощью руководства по развертыванию vLLM.

Чтобы не заниматься самостоятельным хостингом, воспользуйтесь размещенной конечной точкой от Baseten, DeepInfra или Simplismart.

Чтобы адаптировать модель к своей предметной области, начните с манифестов Granary v2 на Hugging Face или и тематического исследования по медицинскому ASR либо позвольте агенту-программисту управлять рабочим процессом с помощью навыка агента для дообучения.

Модели и наборы данных

Контрольные точки моделей: NVIDIA Nemotron 3.5 Transcribe на Hugging Face, | Интерактивная демоверсия на Hugging Face, ModelScope
Размещенные конечные точки: , , Simplismart \
Манифесты наборов данных: манифесты Granary v2 на Hugging Face,
Подмножество высокой точности: манифесты на Hugging Face, ModelScope | Пространство на Hugging Face

Репозитории и руководства: GitHub NVIDIA NeMo Speech | | Руководство по развертыванию vLLM | Руководство по дообучению речи | Навык агента для дообучения

Блоги партнеров: | Inflection AI | VoiceArena | Simplismart | DeepInfra

Локальный ИИ: What’s new in local AI on NVIDIA RTX PCs, laptops, and DGX Spark