Представляем Scribe v3 и Scribe v3 Live — наши самые точные модели распознавания речи

Продукты, созданные на основе аудио, начинаются с расшифровки: заметки встреч, голосовые агенты, дубляж, клиническая документация и архивы вещания, охватывающие десятилетия контента. Правильная расшифровка с первого раза имеет решающее значение, потому что каждая ошибка передается дальше по цепочке, где ее исправление обходится значительно дороже.

Но аудио из реального мира несовершенно. Это несколько человек, перебивающих друг друга на встрече, клиент на шумной улице, который делает паузу посреди предложения, или звонок в службу поддержки, где ни для одного из собеседников язык не является родным.

Сегодня ElevenLabs запускает две новые модели распознавания речи, созданные специально для таких условий:

• Scribe v3 для записанного аудио допускает на 27% меньше ошибок в словах по сравнению со Scribe v2 на 102 языках и обладает самыми точными метками спикеров среди всех протестированных нами моделей,
• Scribe v3 Live — это вариант с низкой задержкой для аудио в реальном времени, который допускает на 43% меньше ошибок, чем Scribe v2 Realtime. Он также впервые включает диаризацию речи (определение того, кто что сказал) и улучшенное определение смены реплик.

Scribe v3 Live доступна уже сегодня в ElevenAgents. Обе модели также доступны в ElevenAPI, где переход со Scribe v2 требует изменения всего одной строки в ID модели.

Отзывы, которые сформировали Scribe v3

Scribe обеспечила сотни миллионов часов расшифровки для приложений для заметок встреч, контакт-центров, инструментов клинической документации и голосовых агентов. Во всех сценариях использования команды, создающие продукты на ее основе, просили об одних и тех же пяти вещах.

Команды, занимающиеся встречами и заметками, хотели лучшей диаризации при быстром обмене репликами и при наличии трех или более спикеров. Команды голосовых агентов говорили, что таймер тишины прерывает звонящих, когда они делают паузу посреди предложения или замедляются, чтобы прочитать номер. Команды, создающие продукты для работы в реальном времени, жертвовали точностью ради скорости, поскольку потоковый режим работал заметно хуже пакетного. Клиенты в Индии хотели, чтобы хинди соответствовал английскому, даже когда говорящие переключаются между ними посреди предложения. И многие хотели большего контроля над выводом: от чисел, записанных как «123», до длинных списков ключевых терминов для каталога продукции или списка названий лекарств.

Метки спикеров, определение смены реплик и расширенный контроль над выводом

Диаризация, которая работает даже в шумной комнате

В расшифровке встречи определение правильного спикера так же важно, как и распознавание правильных слов. Scribe v3 допускает на 17% меньше ошибок диаризации, чем Scribe v2, в записях с тремя и более спикерами — то есть в записях, на которых большинство существующих моделей терпят неудачу. Scribe v3 Live также впервые приносит диаризацию в транскрипцию в реальном времени, обеспечивая на 39% меньше ошибок диаризации по сравнению с лучшей из остальных протестированных нами моделей реального времени.

Определение смены реплик, которое прислушивается к беседе

Чтобы беседы казались естественными, голосовым агентам необходимо точно предсказывать, когда говорящий закончил говорить. Традиционные системы смены реплик делают это на основе периодов тишины. Но тишина сама по себе заставляет идти на компромисс: установка короткого порога может прервать людей, которые делают паузу посреди предложения, а длинного — делает агента «медленным». Scribe v3 Live использует контекст беседы так же, как и аудио, поэтому звонящий, делающий паузу посреди номера телефона, не будет прерван. Это та же система определения смены реплик, которую ElevenAgents уже использует и которая теперь доступна в ElevenAPI.

Больше контроля над языками, терминологией и форматированием

Scribe v3 может определять подсказки о том, какие языки могут содержаться в записи, и позволяет выбирать, возвращаются ли числа в виде цифр или слов. Промптинг ключевых терминов поддерживает до 1000 терминов, которые, как вы знаете, будут появляться, например названия брендов, аббревиатуры и жаргон, а правки расшифровки применяют правила форматирования, написанные на обычном английском языке, например «записывать каждую дату в формате ГГГГ-ММ-ДД».

Scribe v3 Live добавляет многоязычный режим для бесед, в которых языки переключаются посреди предложения. Она также добавляет библиотеку ключевых терминов для словарей, которые слишком велики для простого списка. Если промпптинг ключевых терминов охватывает термины, которые, как вы знаете, появятся, то библиотека ключевых терминов содержит тысячи терминов, которые могут появиться, и модель обращается к ней только тогда, когда слышит вероятное совпадение.

Как оценивается Scribe v3

ElevenLabs оценила обе модели в сравнении со Scribe v2, Scribe v2 Realtime и другими популярными моделями распознавания речи, оценивая каждую на одних и тех же наборах данных. Многоязычная точность измерялась на внутренней версии бенчмарка FLEURS, который тестирует короткую чистую начитанную речь на 102 языках. FLEURS не может измерить диаризацию, так как каждый клип содержит одного спикера, поэтому мы также создали собственный набор данных реальных встреч, звонков агентам и голосовых заметок на 16 языках. Скоро мы откроем его исходный код.

Диаризация речи

Scribe v3 имеет самую низкую ошибку диаризации среди всех протестированных нами моделей: в целом ошибок на 12% меньше, чем у Scribe v2, и на 17% меньше на записях с тремя и более спикерами.

Точность многоязычной расшифровки

Мы приводим частоту ошибок в словах (WER) наряду со смысловой WER (semantic WER), которая учитывает ошибку только тогда, когда меняется смысл расшифровки.

На 102 языках в FLEURS Scribe v3 снижает WER на 27% по сравнению со Scribe v2 и демонстрирует улучшения на каждом протестированном языке. На языках, которые проще расшифровывать, немецкий улучшился на 42%, испанский — на 35%, а английский — на 23%. Улучшения еще более заметны на языках, которые транскрибировать сложнее: суахили снижается на 34%, тамильский — на 29%, а тайский — на 28%.

Scribe v3 также допускает меньше ошибок в словах, чем любая другая пакетная (не потоковая) модель из всех, что мы тестировали, при сравнении каждой из них на языках, поддерживаемых обеими моделями.

Диаризация речи в реальном времени

На английской части нашего набора реальных данных из 16 языков Scribe v3 Live имеет уровень ошибок диаризации 3,1% по сравнению с 5,9%–7,3% у других моделей реального времени, которые мы тестировали.

Стандартные оценки диаризации также учитывают ошибки расшифровки, такие как пропущенные слова, а модели реального времени пропускают больше слов, чем пакетные модели. Чтобы измерить только то, было ли каждое слово отнесено к правильному спикеру, мы выровняли расшифровку каждой модели по эталону перед выставлением оценки. Это снижает уровень ошибок для каждой модели, поэтому эти результаты нельзя напрямую сравнивать с результатами пакетной диаризации выше.

Многоязычная точность в реальном времени

Для моделей реального времени мы используем в качестве основного показателя смысловую WER. Потоковая модель записывает текст до того, как услышит все предложение, и каждый провайдер форматирует числа, знаки препинания и регистр по-своему по ходу дела. Стандартная WER считает эти различия ошибками, даже когда смысл одинаков, поэтому смысловая WER является более справедливым сравнением.

На 102 языках Scribe v3 Live снижает смысловую WER на 43%, а WER — на 31% по сравнению со Scribe v2 Realtime. Она улучшает показатели на каждом языке и имеет более низкий уровень ошибок, чем любая другая протестированная нами модель реального времени.

Наиболее заметны улучшения там, где транскрипция в реальном времени отставала: греческий улучшился на 77%, датский — на 54%, хорватский — на 45%, а хинди — на 36%.

Заметка о методологии: мы оценивали каждый язык индивидуально перед усреднением, поэтому все 102 языка учитываются в равной степени. Многие опубликованные результаты объединяют каждый фрагмент в общий балл, что обычно дает меньшие значения, поэтому результаты, измеренные разными способами, напрямую несравнимы.

Чего стоят несколько пунктов точности

Каждый запуск модели сопровождается процентами, и этот не стал исключением. На бумаге бывает сложно понять, что означают несколько пунктов в реальных условиях. Часовое совещание со скоростью речи 150 слов в минуту — это около 9 000 слов, поэтому разница между частотой ошибок в словах 4% и 2% составляет 180 неверных слов, то есть по три ошибки на каждую минуту разговора. Ошибка диаризации измеряется во времени, а не в словах, поэтому на том же совещании каждый пункт равен 36 секундам речи, приписанной не тому спикеру.

Цена этих ошибок зависит от того, где именно они возникают. В расшифровке подкаста неправильное слово — это просто опечатка, но во время телефонной конференции с инвесторами слово «пятнадцать», услышанное как «пятьдесят», попадает в модель финансового аналитика. Кроме того, ошибки имеют свойство скапливаться в именах, числах, аббревиатурах и профессиональном жаргоне, то есть именно в тех словах, которые крайне важно правильно распознать для создания качественной саммари или работы агента.

Безупречная работа с первого раза в ElevenAgents

Голосовые агенты ощущают это острее всего, поскольку одна неправильно расслышанная цифра может привести к сбою проверки, с которой начинается звонок. Компания Eneco, которая поставляет энергию более чем 2 миллионам домов и предприятий в Нидерландах, использует своего голосового агента на платформе ElevenAgents и протестировала Scribe v3 Live еще до официального запуска. В реальных звонках клиентов агент стал правильно распознавать нидерландские почтовые индексы с первой попытки на 40% чаще, а номера домов — на 15% чаще.

«ElevenLabs — настоящий партнер для Eneco. Вместе с их инженерами на передовой мы работаем над дальнейшим улучшением нашего голосового агента, — сказал Рууд Хейгслут (Ruud Huigsloot), старший продакт-менеджер в Eneco. — Здорово видеть такие значительные результаты уже на столь раннем этапе, и мы рады продолжить сотрудничество».

Создано для корпоративных клиентов

Модели Scribe v3 и Scribe v3 Live по умолчанию работают в США и предлагаются в изолированных средах в ЕС, Индии и Сингапуре для корпоративных клиентов, чьи требования предполагают локальное хранение данных. Режим нулевого хранения (Zero Retention Mode) удаляет аудио и текст сразу после завершения запроса. Обе модели подпадают под действие наших программ сертификации SOC 2, ISO 27001 и PCI DSS Level 1, соответствуют требованиям HIPAA при заключении Соглашения о бизнес-партнерстве (Business Associate Agreement) и доступны для частного развертывания.

Начните работу сегодня

Scribe v3 Live доступна в ElevenAgents, а v3 и v3 Live являются моделями по умолчанию в приложении ElevenLabs.

О обе модели также уже сегодня доступны в ElevenAPI. Существующие интеграции обновляются простой заменой идентификатора модели на scribe_v3 или scribe_v3_live.

Для медицинских команд мы также выпускаем версию Scribe v3 Live, оптимизированную для медицинских разговоров в ElevenAgents.