Точность преобразования речи в текст (STT) зависит от трех факторов: качества вашего аудио, манеры речи людей и используемых ими слов. Шум и сильное сжатие лишают запись детализации, и даже мощные модели с трудом справляются с перекрывающимися голосами или незнакомым жаргоном. В этом руководстве показано, откуда возникают проблемы с STT и как их исправить.
Ошибки транскрибации редко остаются только в транскрипте. Неправильно расслышанное название лекарства в клинической заметке или неверный номер счета в журнале вызовов попадают во все системы, использующие этот текст, от поиска и аналитики до ИИ-агентов, действующих на основе сказанного. Низкая точность также увеличивает время проверки, поскольку кому-то приходится находить и исправлять ошибки вручную.
Хорошая новость заключается в том, что большинство проблем с точностью STT можно решить. Многие из этих исправлений требуют лишь незначительных изменений в ваших существующих конфигурациях или настройках записи, что означает, что вы можете решить проблему, не меняя настройки модели.
Вы также можете встретить этот термин как точность распознавания речи, точность ASR или точность транскрибации. Преобразование речи в текст, распознавание речи и автоматическое распознавание речи (ASR) описывают один и тот же процесс преобразования устной речи в письменный текст. Исправления в этом руководстве применимы независимо от того, какой термин вы используете.
Резюме
- Точность преобразования речи в текст зависит от качества входного аудиосигнала, динамики говорящего, а также лексических и контекстуальных проблем.
- Чтобы устранить проблему с точностью, найдите, на каком этапе конвейера (ввод, обработка или вывод) можно внести изменения.
- Записывайте с частотой 16 кГц или выше, используйте форматы без потерь и размещайте микрофоны на расстоянии от четырех до шести дюймов от говорящего.
- Используйте изоляцию голоса, диаризацию или многоканальную запись, а также подсказки по ключевым терминам для борьбы с шумом, перекрывающимися голосами и специализированной лексикой.
- Измеряйте точность с помощью коэффициента ошибок в словах (WER) и проверяйте, какие ошибки наиболее важны для вашего варианта использования.
Что вызывает проблемы с точностью преобразования речи в текст?
Представьте, что вас просят расшифровать аудиозапись профессора с сильным акцентом, описывающего сложную теоретическую физику, записанную в переполненном ресторане с фоновой музыкой и окружающим шумом. Цифровые компьютерные системы не настроены на акустическую изменчивость. Требуется значительное обучение и тонкая настройка, чтобы STT работала эффективно, и хотя современные инструменты ИИ очень эффективны, многие проблемы все еще могут влиять на результат. Но понимая их, вы сможете устранить их в своих рабочих процессах транскрибации.
Существует три основные причины неточного преобразования речи в текст:
- Проблемы с качеством аудиовхода
- Динамика говорящего
- Лексические и контекстуальные проблемы
Каждая причина требует своего решения, которые по очереди рассматриваются в разделах ниже.
Проблемы с качеством звука
Во-первых, сама аудиозапись может иметь проблемы. Проблемы с микрофоном могут привести к искажению или обрезанию речи. Реверберация из-за акустики помещения, плохое соотношение сигнал/шум (SNR) на записи или низкая частота дискретизации записи могут потенциально лишить записи важной фонетической информации.
Динамика говорящего
Одного говорящего с нейтральным акцентом, выступающего в тихом помещении, будет относительно легко расшифровать. Но это редко тот тип записи, который нам нужно транскрибировать. Незнакомые акценты и отрывистая или просто нетрадиционная манера речи могут сбить с толку модель STT, обученную на стандартизированной речи. Перекрестные помехи или перекрывающиеся голоса также могут нарушить способность модели точно анализировать то, что говорится.
Лексические и контекстуальные проблемы
Наконец, содержание речи также может стать проблемой для некоторых моделей STT. Отраслевой жаргон и новые названия продуктов могут быть языком, с которым модель STT не сталкивалась при обучении. Поскольку она выбирает наиболее статистически вероятный результат, незнакомая речь может не стать главным прогнозом. Числовые или математические выражения, или речь, которая в противном случае могла бы быть записана цифрами, также могут транскрибироваться нечетко.
Омофоны — это слова, которые звучат одинаково, но пишутся по-разному. Модели STT нужно достаточно контекстуального понимания, чтобы различать их. Например, «медведь (bear) прошелся по голому (bare) склону горы». Модели нужно знать, что животное пишется «bear», а прилагательное для обозначения открытой поверхности — «bare».
Как исправить проблемы с точностью преобразования речи в текст от аудио до вывода
Обработка речи в текст происходит в несколько четко определенных этапов. Чтобы исправить проблему с точностью, вам нужно определить, где именно в этом конвейере вы можете внести изменения. В целом, процесс STT разбивается на:
- Ввод
- Обработка
- Вывод
Каждый этап имеет свои режимы сбоев и свои исправления.
Проблемы с точностью входных данных
Могут возникнуть проблемы со средой, в которой вы записываете. Распространенные проблемы здесь включают фоновый шум или эхо. Оборудование для записи также может быть источником проблемы, если оно неисправно.
Исправление проблем на этом этапе обычно включает в себя изоляцию того, что вызывает проблему, и ее устранение. Например, если вы знаете, что инструмент STT с трудом справляется с громким фоном, то проведение разговоров в среде, которую вы можете лучше контролировать, — хорошая идея.
Для любого шума, которого вы не можете избежать, применяйте изоляцию голоса до того, как аудио попадет в модель.
Проблемы с точностью при обработке
То, как вы настраиваете API для движка STT, может повлиять на обработку. Структура подсказок и выбранная вами модель также могут повлиять на качество и количество неточностей.
Исправление проблем на этом этапе означает тестирование вашей настройки на вашем собственном аудио. Запустите одни и те же образцы записей через каждую модель-кандидат, сравните их коэффициенты ошибок в словах, а затем меняйте по одной настройке за раз для уточнения.
Если модель продолжает пропускать один тип речи, например, шумный звонок или определенный региональный акцент, протестируйте различные модели на их точность в той самой среде, которую вы будете использовать.
Проблемы с точностью выходных данных
Это ваш уровень контроля качества, где специализированные процессы исправляют ошибки транскрибации и двусмысленности, которые мог пропустить ваш основной движок. Конвейеры STT регулярно используют сопоставление шаблонов на основе правил для стандартизации форматирования (например, изменение «десять долларов» на «$10.00»), процесс, называемый обратной нормализацией текста (ITN), но если говорящий использует один из этих терминов нетрадиционным способом или произносит его неправильно, жесткий инструмент поиска и замены его не уловит.
Существует также вопрос о том, проверяет ли человек (HITL) качество вывода. Если нет, неточности могут попасть в производственный результат. Как и в любой деятельности, если ее выполняет человек, есть вероятность человеческой ошибки.
На этом этапе исправление проблем означает устранение ошибок, которые оставляют после себя ваши основные движки. Вы можете сравнить транскрипты с эталонным образцом, чтобы найти повторяющиеся ошибки, а затем добавить целевые правила или пользовательский словарь для этих терминов. Особенно для важных транскрипций всегда добавляйте этап проверки человеком.
Как улучшить точность распознавания речи с помощью лучшего аудио
Улучшение качества звука во время записи может уменьшить многие проблемы с точностью на последующих этапах. Используйте более высокую частоту дискретизации, применяйте минимальное сжатие или вообще не используйте его и поддерживайте максимально чистую среду записи.
Качество дискретизации
Используйте для записи аудио с частотой 16 кГц или 44,1 кГц. Устаревшая телефония с частотой 8 кГц и ниже может вызывать трудности при обработке моделями распознавания речи (STT). Для моделей такой звук звучит как приглушенный и неразборчивый, при этом они не могут попросить говорящего повторить сказанное, как это может сделать человек во время разговора.
Частота дискретизации позволяет воспроизводить частоты только до половины своего значения. Это называется частотой Найквиста системы. При частоте всего 8 кГц обрезается все, что выше 4 кГц, что особенно затрудняет для STT-модели различение фрикативных («с» и «ф») и взрывных («п» и «т») звуков.
Сжатие
Запись в форматы с потерями, такие как MP3 и AAC, также может стирать нюансы речи. В таком случае у модели остается меньше полезного сигнала для работы. Пользуйтесь форматами без потерь или несжатыми форматами, такими как FLAC или PCM WAV.
Условия записи
Соблюдайте передовые практики аудиоинженерии при использовании микрофонов. Всенаправленные микрофоны лучше всего работают в контролируемых условиях. В противном случае для изоляции речи лучше подходят направленные микрофоны. Располагайте микрофоны на расстоянии от четырех до шести дюймов (10–15 см) от рта говорящего и старайтесь не допускать приближения спикеров, так как это приведет к эффекту близости и сделает запись мутной из-за усиленных низких частот.
По возможности также используйте поп-фильтр на микрофоне. Поп-фильтры рассеивают потоки воздуха, возникающие при произнесении взрывных согласных (например, звуков «п» и «б»).
Уменьшите фоновый шум для лучшего распознавания речи
Как отмечалось в предыдущем разделе, по возможности следует использовать микрофон близко к источнику звука, в идеале на расстоянии от четырех до шести дюймов от рта говорящего. Избегайте белого и фонового шума, который делает записи неразборчивыми. К распространенным источникам шума, которые можно не заметить без опыта полевой записи, относятся гул систем HVAC, стук клавиатуры и общий уличный шум. Все это может затруднить способность STT-модели разбирать речь.
Тем не менее, фонового шума часто не удается избежать, и в таком случае перед отправкой аудио в STT-модель в качестве этапа предварительной обработки вам потребуется применить изоляцию голоса. Изоляция голоса использует программные алгоритмы или легкую специализированную нейронную модель для фильтрации фонового звука из речевых записей.
Учитывайте акценты, перекрывающихся спикеров и специализированную лексику
Современные многоязычные модели обучаются на разнообразных речевых наборах, но уровень их точности все же варьируется при работе с реальным аудио. Проведите собственные тесты различных моделей, используя образцы аудио из вашей целевой демографической группы. Если у вас есть исторические записи звонков, используйте их для транскрипции — те из них, которые содержат акценты, темп и речевые паттерны, которые вам нужно транскрибировать в реальных условиях.
Проверьте результаты на наличие ошибок и выявите значимые закономерности. Испытывает ли модель трудности со сленгом, используемым более молодыми возрастными группами? Спотыкается ли она о конкретный региональный акцент, с которым вы часто сталкиваетесь?
Устранение пересекающихся голосов
Двумя основными инструментами для точной транскрипции пересекающейся речи являются диаризация и многоканальная запись. Процесс диаризации принимает на вход необработанное аудио и сегментирует его по отдельно распознанным спикерам. Это хорошо работает, когда спикеры четко сменяют друг друга.
Вместо смешивания всех голосовых потоков в одну аудиодорожку, нативная многоканальная запись позволяет удерживать каждого спикера на отдельном канале, который STT-модель может идентифицировать и обрабатывать независимо. Каждый спикер изначально разделен в записи, поэтому речевой модели не нужно выполнять диаризацию апостериори.
Подсказки ключевых терминов обеспечивают положительное смещение
Торговые марки, названия новых продуктов, отраслевой жаргон и другие уникальные термины часто не транскрибируются точно, если их не было в обучающих данных STT-модели. Подсказка ключевых терминов — это процесс предоставления STT-модели конкретных вариантов написания, которым вы хотите отдать предпочтение. Обычно это не запросы на замену один к одному, вы просто смещаете модель в сторону выбора нужного пользовательского написания на основе контекста.
Точно транскрибируйте номера, идентификаторы и названия лекарств
Числа, идентификаторы учетных записей, почтовые индексы и названия лекарств — это то, где небольшая ошибка обходится дороже всего. Модель может расслышать «пятнадцать» («fifteen») как «пятьдесят» («fifty») или перепутать два названия лекарств, отличающихся на один слог, таких как гидроксизин и гидралазин.
Помогают три шага:
- Используйте подсказки ключевых терминов: сместите модель в сторону написания названий лекарств, продуктов и других ожидаемых терминов.
- Примените обратную нормализацию текста (ITN): форматируйте произнесенные числа единообразно, например, заменяя «десять долларов» на «$10,00».
- Добавьте проверку для критически важных полей: используйте проверку человеком или автоматическую проверку по известному списку для таких полей, как дозы лекарств и номера счетов.
Тестируйте эти поля отдельно, поскольку низкий общий показатель WER может скрывать ошибки именно в тех словах, которые имеют наибольшее значение.
Измерение качества с помощью частоты ошибок в словах при распознавании речи
Частота ошибок в словах (WER) — это полезная метрика для оценки точности движка STT. Вы можете сравнить WER для различных тестов моделей, чтобы получить представление об их относительной точности.
Вот как рассчитывается WER:
WER = (S + D + I) / N
- Замены (S): количество случаев, когда движок STT выдает неправильное слово в транскрипции (например, "took" вместо "look").
- Удаления (D): количество слов, которые были полностью пропущены.
- Вставки (I): количество слов, которые были добавлены, но никогда не произносились.
- Общее количество эталонных слов (N): общее количество слов в образце речевого ввода.
Важно отметить, что WER учитывает все ошибки одинаково. Например, замена «took» на «look» имеет такой же вес, как и неверное распознавание вашего бренда или важного показателя, такого как размер дозы лекарства. Проверьте показатели WER для разных моделей.
Что считается хорошей частотой ошибок в словах?
Не существует какого-то одного хорошего показателя WER, поскольку правильная цель зависит от вашего аудио и сценария использования. Чистое аудио с одним говорящим дает гораздо более низкий уровень ошибок, чем зашумленные вызовы с перекрывающимися голосами. Сравнивайте модели на собственных записях, а не полагайтесь на общую цифру из заголовка.
В качестве ориентира для специализированного аудио Scribe v2 Medical входит в число моделей с лучшей производительностью в публичных бенчмарках медицинского ASR. Проверьте актуальные результаты бенчмарков для получения свежих данных.
Результаты бенчмарков меняются по мере выпуска новых моделей. Проверьте текущие результаты перед сравнением.
Точность (Accuracy) против прецизионности (Precision): что должны измерять команды транскрипции
Точность (Accuracy) — это то, насколько близко результат транскрипции соответствует произнесенному входному эталону. Частота ошибок в словах измеряет точность.
Прецизионность (Precision) — это то, насколько надежны положительные предсказания STT-модели. Высокоточная модель будет выбирать одно и то же слово для сложной речи при многократном запуске. Если модель выдает слово, вы можете быть уверены, что это слово присутствовало в речи. Но даже у высокоточной модели может быть низкая точность (Accuracy), что означает удаление большого количества слов.
Начните работу с ElevenAPI для более точной транскрипции
ElevenAPI предоставляет доступ к Scribe v2, модели преобразования речи в текст от ElevenLabs, а также к функциям, которые решают проблемы с точностью, описанные в этом руководстве: подсказки по ключевым терминам для имен и профессионального жаргона, многоканальная транскрипция для перекрывающихся голосов и диаризация спикеров.
Если вы хотите выполнять транскрипцию без использования API, вы также можете воспользоваться ElevenCreative STT.
Начните создавать высококачественную транскрипцию речи в текст с помощью ElevenAPI уже сегодня или узнайте больше о возможностях преобразования речи в текст в ElevenAPI.
