ElevenLabs Scribe часто упоминается в наших разговорах с клиентами, поэтому мы протестировали его в сравнении с движками преобразования речи в текст (STT) от Telnyx на телефонном аудио с частотой 8 кГц — именно в таком формате нам присылают данные клиенты. Самые быстрые потоковые движки Telnyx выдавали первые слова быстрее, а большинство движков Telnyx лучше справлялись с односложными ответами. Scribe оказался точнее на записанных консультациях, а также при работе с немецким, французским и турецким языками. В медицинских телефонных звонках результаты обоих решений были примерно равны.

Мы провели тесты 1 октября 2026 года. Каждый движок получил одинаковое аудио, одинаковые настройки языка и параметры по умолчанию, а каждая транскрипция оценивалась в сравнении с транскрипцией, сделанной человеком, или исходным сценарием. Никакая ИИ-модель не оценивала точность. Код и результаты доступны по ссылке [TODO: ссылка на репозиторий GitHub после публикации] , поэтому вы можете повторить любой из приведенных ниже тестов на своем аудио.

Краткая версия

В «живых» звонках самые быстрые движки Telnyx возвращают слова быстрее. Медианное время до появления первых слов составило 1,0 секунды для Flux и 1,3 секунды для Nova-3 против 2,1 секунды для Scribe v2 Realtime. Три движка, работающие через Telnyx, запускаются медленнее, чем Scribe — от 3,3 до 4,0 секунд.
Односложные ответы лучше распознаются большинством движков Telnyx. Из 147 коротких ответов, таких как «да», «нет», отдельные буквы и цифры, Flux правильно распознал 85%, а Scribe v2 Realtime — 67%.
Результаты медицинских телефонных звонков близки. Nova-3 Medical допустил 16,4 ошибки на 100 слов, а Scribe v2 Realtime — 17,3 на 90 строках.
Scribe точнее на аудиозаписях консультаций. На записанных консультациях Scribe v2 допустил 4,0 ошибки на 100 слов, а лучший файловый движок Telnyx — 5,7.
Scribe v2 точнее при работе с файлами на немецком, французском и турецком языках. В режиме реального времени предварительный движок Telnyx Linden-1 опередил Scribe v2 Realtime во французском языке и сравнялся с ним в турецком.

Что мы тестировали

Мы использовали три набора аудио и преобразовали их все в телефонное качество 8 кГц перед тем, как они были переданы движкам.

Телефонные звонки. Пять человек на iPhone, Android и через громкую связь читали сценарий по реальной телефонной линии. Он содержит имена, произнесенные по буквам элементы, односложные ответы и медицинские звонки с названиями лекарств, дозировками и аптеками. Это 339 клипов и 28 минут речи.
Консультации. PriMock57, публичный набор имитаций первичных приемов у врача. Мы использовали 5,2 часа для теста файлов и 93-минутный фрагмент для теста в реальном времени.
Чтение речи. Предложения Google FLEURS на английском, немецком, французском и турецком языках, всего 400 клипов и 77 минут.

В каждой таблице указано количество ошибочных слов на 100 слов, где меньшее значение лучше. Показатель 6,1 означает, что примерно 6 слов из каждых 100 были неверными. Столбцы времени указаны в секундах. Все движки работают на Telnyx, за исключением строк, помеченных ElevenLabs. Linden-1 находится на стадии предварительного просмотра и еще не включен в список публичных моделей Telnyx. Parakeet v3 и Omi Med STT v1 возвращают только готовые транскрипции, поэтому их время до первых слов — это время, когда приходит готовый текст.

Живые звонки: Flux и Nova-3 отвечают быстрее

В живых телефонных аудио вопрос заключается в том, сколько ждет звонящий. Время до первых слов — это время с момента начала аудио до возврата движком любого текста. Время до финальной транскрипции — это время с момента, когда говорящий замолкает, до получения готового текста (показано для 10% самых медленных ответов).

Flux запускается быстрее всех (1,0 секунды), но завершает работу медленнее всех в группе быстрых движков (2,36 секунды для самых медленных ответов), так как ожидает собственного сигнала об окончании фразы. Nova-3 запускается за 1,3 секунды и завершает свои самые медленные ответы за 0,93 секунды против 1,32 у Scribe v2 Realtime.

В столбце односложных ответов ответ считается правильным, если вся строка совпадает со сценарием. Мы допускали одно лишнее слово в начале. Девять из 11 потоковых движков Telnyx набрали больше баллов, чем Scribe v2 Realtime в этом наборе, Linden-1 сравнялся с ним, а Parakeet v3 набрал меньше.

Имена и адреса, произнесенные по буквам, оказались сложными для всех движков. Во всех потоковых движках от 36 до 59 слов из 100 были возвращены неверно, поэтому ни один из этих результатов не следует считать «решенной задачей».

Медицинское аудио: равенство в звонках, Scribe впереди в консультациях

Строки медицинских телефонных звонков включают запросы на повторное получение лекарств, названия препаратов, дозировки, аптеки и страховые компании. Nova-3 Medical допустил 16,4 ошибки на 100 слов, а Scribe v2 Realtime — 17,3. Этот разрыв составляет менее одного пункта на 90 строк, что находится в пределах погрешности. [TODO: В документации к моделям Telnyx указано, что Nova-3 Medical работает только через REST, но в наших тестах он возвращал результаты через WebSocket. Перед публикацией статьи уточните у отдела продукта, поддерживается ли использование в реальном времени.] Когда мы предоставили обоим движкам одинаковый список из 21 термина (лекарства, аптеки и страховщики), показатели изменились до 15,4 и 16,2.

Консультации — это другой тест с более длинной и чистой речью между врачом и пациентом, передаваемой в потоковом режиме.

Scribe v2 Realtime имеет самый низкий уровень ошибок, и его диапазон от 5,2 до 6,9 не пересекается с диапазоном Nova-3 Medical от 7,7 до 9,4. Parakeet v3 ближе всего по точности, но ему требуется 4,8 секунды для возврата первых слов, что медленно для живого звонка.

Записанные файлы и другие языки: Scribe лидирует

Для записанного аудио, где никто не ждет ответа в реальном времени, важна точность. Мы тестировали Scribe v2 Medical только на файлах, поэтому он появляется здесь, а не в таблицах для живых звонков.

При чтении речи на немецком, французском и турецком языках Scribe v2 опередил все протестированные нами файловые движки Telnyx:

Какой движок для какой задачи

Голосовой агент, которому нужно быстро обмениваться репликами и улавливать короткие подтверждения: Flux запускается быстрее всех и правильно распознал больше всего односложных ответов, а Nova-3 быстрее завершает свои самые медленные ответы.
Живые медицинские звонки: Nova-3 Medical и Scribe v2 Realtime показали равные результаты на телефонных линиях, поэтому стоит протестировать список словаря на вашем собственном аудио.
Записанные консультации, где точность важнее всего: Scribe v2 лидировал в этом тесте.
Файлы на немецком, французском или турецком языках: Scribe v2 лидировал в этом тесте.

Чего не показывают эти тесты

Это один набор прогонов, а движки меняются, поэтому повторите тест перед тем, как ссылаться на него. Выборки местами малы: пять звонящих, 90 медицинских строк и 147 коротких ответов, поэтому разрывы в один-два пункта следует считать ничьей. Мы оценили 339 из 375 телефонных линий, а 36 отложили для прослушивания человеком. Телефонные записи не опубликованы, поэтому этот трек нельзя повторить из репозитория. Цены в этих таблицах не указаны.