Как работает транскрипция аудио с временными метками и тегами событий?

Нативная модель транскрипции на уровне слов принимает на вход аудиозапись или поток в реальном времени и выдает структурированный массив тегированных и снабженных временными метками объектов токенов, представляющих речь и неречевые звуки. Каждый токен относится к одному из трех типов: word (слово), spacing (пробел) или audio_event (звуковое событие). Звуковыми событиями могут быть смех, аплодисменты или другие фоновые звуки.

В этой статье мы рассмотрим, как работает транскрипция аудио с временными метками и почему она является более гибкой и мощной формой транскрипции по сравнению с традиционной, основанной на принудительном выравнивании (forced alignment).

Резюме

• Транскрипция на уровне слов напрямую выдает структурированные массивы речевых данных и невербальных аудиособытий с временными метками.
• Это контрастирует с традиционными моделями автоматического распознавания речи, которые выдают целые блоки текста. Чтобы сопоставить их с исходным аудио по времени, требуется второй процесс принудительного выравнивания, который занимает больше времени и увеличивает вычислительную нагрузку.
• Теги событий помогают фиксировать невербальный контент, такой как смех или аплодисменты. Поскольку эти данные доступны для поиска, их можно использовать для выявления наиболее ярких или вирусных моментов на основе реакции аудитории.
• Полученные структурированные данные можно передавать в приложения для различных сценариев использования, включая высокоточные субтитры, доступные для поиска аудиоархивы и автоматическую нарезку контента для соцсетей.
• Транскрипция на уровне слов в Scribe поддерживает до 5 каналов, каждый из которых транскрибируется независимо.

Что такое транскрипция аудио с временными метками и тегами событий?

Транскрипция с временными метками — это форма автоматического распознавания речи (ASR), которая отслеживает точные точки начала и окончания слов и других аудиособытий, таких как аплодисменты, в процессе транскрибирования. Ее результатом являются полностью структурированные, пригодные для навигации данные.

Традиционная ASR-транскрипция преобразует аудио в крупные блоки текста, удобочитаемого для человека. Она дает субтитры и стенограмму для чтения, но малопригодна в качестве данных.

Если вы хотите структурировать их с временными метками, вам нужно пропустить их через дополнительную службу машинного сопоставления текста с аудио. В конечном итоге можно получить похожий результат, но это потребует нескольких этапов обработки вместо того, чтобы поступать нативно из API, что увеличивает задержку и дополнительные вычислительные расходы.

Добавление навигации в аудио

Ключевое преимущество транскрипции с временными метками и тегами событий заключается в том, что она одинаково понятна как людям, так и машинам. У этого есть важные бизнес-приложения:

• Аудит соответствия требованиям: вы можете запустить поиск ключевых слов в стенограмме и получить точные временные метки для любого упоминания конфиденциальных данных.
• Производство и монтаж видео: программы для видеомонтажа могут синхронизировать субтитры с точностью до миллисекунды с тем, что говорится на экране. Они также могут соответствующим образом размечать реакции аудитории.
• Архивы с возможностью поиска: PR-, отделы продаж и обучения, среди прочих, могут переводить большие объемы интервью с клиентами, выступлений на выставках, вебинаров или общегородских собраний в огромные архивы с функцией поиска.
• Маркетинговая аналитика и настроения клиентов: тегирование событий позволяет фиксировать реакции аудитории, которые могли бы затеряться при обычной текстовой транскрипции.

Каковы преимущества получения нативных временных меток на уровне слов?

Стандартные модели преобразования речи в текст обрабатывают речь фрагментами, обычно целыми предложениями или абзацами. Если вам нужна пословесная привязка ко времени, вам потребуется разработать еще один уровень обработки для выполнения так называемого принудительного выравнивания на втором проходе. Это увеличивает требования к инфраструктуре, задержку, а также создает больше потенциальных точек отказа. Например, такие системы могут рассинхронизироваться или полностью давать сбой при попытке обработать быструю речь или речь, заглушенную громким фоновым шумом.

Транскрипция с временными метками, которую умеет выполнять Scribe, обходит эту проблему за счет транскрибирования на более детальном уровне — слово за словом. Это делается за один вызов API. Никакой дополнительной инфраструктуры или скриптов не требуется. Модель вычисляет временные метки прямо в процессе транскрипции, поэтому речевые данные всегда точно отражают аудио.

Как работает транскрипция с временными метками и тегами событий?

Давайте рассмотрим Scribe в качестве примера.

Нативная модель транскрипции на уровне слов преобразует звуки речи из аудиопотока в структурированный массив объектов токенов. Она помечает каждый токен как один из трех типов: word, spacing или audio_event.

• word: Распознанное отдельное произнесенное слово с указанием времени начала и окончания, а также тегом speaker_id.
• spacing: Явно помеченные паузы тишины или паузы внутри речи. Полезно для правильной расстановки темпа службами создания субтитров. Не используется для определенных языков, в которых не используются пробелы между словами, таких как японский, мандаринский диалект китайского, тайский, лаосский, бирманский и кантонский.
• audio_event: Значимый невербальный звук, например смех или аплодисменты. Модель знает, что их нужно структурировать как отдельный тип события, и не пытается насильно интерпретировать аудио как галлюцинируемую речь.

Параметры потоковой передачи в реальном времени

Модели транскрипции на уровне слов также могут включать специальные функции для поддержки потоковой транскрипции аудио через WebSocket. Например:

• include_timestamps=true: этот параметр заставляет соединение включать временные метки на уровне слов в JSON-сообщения committed_transcript_with_timestamps, отправляемые в конце каждого завершенного фрагмента аудио, благодаря чему вы получаете временные метки прямо во время работы потока. Теги аудиособытий включаются только в том случае, если также активирован параметр tag_audio_events.
• include_language_detection=true: этот параметр указывает соединению маркировать различные распознанные разговорные языки вместе с оценкой уверенности модели в этом обнаружении. Это помогает осуществлять многоязычное субтитрование в реальном времени.

Как модель преобразования речи в текст размечает неречевые события?

Scribe будет тегировать аудиособытия, если у вас включен параметр tag_audio_events. В этом случае система будет отмечать конкретные моменты начала и окончания точно так же, как и для слов. Она может распознавать различные реакции, наиболее распространенными из которых являются смех и аплодисменты, а также другие фоновые звуки, которые могут иметь контекстуальное значение, включая шаги или фоновую музыку.

На самом базовом уровне это делает стенограммы и субтитры более насыщенными за счет добавления важного контекста. Читателю может быть сложнее интуитивно уловить сарказм в простом безэмоциональном тексте. Тег [laughter] обогащает стенограмму и делает ее более эмоционально резонансной.

Лучшая аналитика

Тегирование событий также делает любую последующую аналитику более чистой, поскольку этим инструментам не приходится парсить единый блок неструктурированного текста. Нативная транскрипция на уровне слов отделяет аудиособытия в виде структурированных данных, поэтому ваши инструменты могут просто отфильтровывать их, когда это необходимо, и работать исключительно с вербальным контентом.

Поскольку токены пробелов (spacing) делают паузы видимыми, вы можете их анализировать. Это может быть полезно для анализа настроений и контроля качества, например, для измерения того, как долго агент службы поддержки молчал во время звонка.

Более простой поиск по временным меткам

Или вы можете выполнять целенаправленный поиск по ним. Если вы проводите анализ настроений на основе интервью по тестированию продукта, вы можете отдельно извлечь значимые эмоциональные реакции. Или, если вы ведете аккаунт в соцсетях, вы можете быстро найти смех в часовой речи, чтобы обнаружить ролики, которые, по вашему мнению, с наибольшей вероятностью станут вирусными.

Каковы практические применения структурированных стенограмм с временными метками?

Получение структурированных данных непосредственно из транскрипций открывает ряд важных вариантов использования.

Создание титров и субтитров

Вы можете экспортировать стенограммы с метками времени непосредственно в производственные форматы субтитров, включая SRT и VTT, без промежуточной обработки. Ваш инструмент для видеомонтажа может использовать пословную синхронизацию для выделения слов в субскриптах по мере их произнесения.

Модель транскрипции легко справляется с быстрой речью, поскольку обрабатывает ее слово за словом. Там, где обычная модель может спотыкаться на быстрой речи или накладывающихся друг на друга голосах, пословная модель, такая как Scribe, выдает чистую и структурированную стенограмму.

Поиск по аудио и видео

Обычная транскрипция позволяет сопоставлять ключевые слова в текстовом блоке, но без принудительного выравнивания вы не можете перейти к моменту произнесения фразы. Поиск по ключевым словам в пословной стенограмме полностью индексируется и перенаправляет вас ровно на ту секунду аудиозаписи, когда была произнесена фраза. Это эффективно превращает ваш аудиоархив в каталог для полноценного поиска. Данная функция особенно полезна для управления крупными медиабиблиотеками, подкаст-сетями и корпоративными архивами.

Соблюдение нормативных требований и аудит рисков

Зачастую возникает необходимость записывать аудио, содержащее конфиденциальную информацию, например, звонки в службу поддержки для контроля качества. Именно такие звонки чаще всего содержат конфиденциальные или регулируемые персональные данные.

Для соблюдения требований и одновременного получения аудиоданных для аналитики вам необходим способ удаления конфиденциальной информации из стенограмм в реальном времени. Встроенная пословная привязка ко времени позволяет использовать такие функции, как ElevenLabs Entity Detection, которая помечает конфиденциальные объекты (например, номера кредитных карт или имена) и возвращает их смещения и временные метки, чтобы вы могли скрывать их в транскрипциях по мере их потоковой передачи.

Например, вы можете обнаруживать и скрывать номер кредитной карты, девичью фамилию матери, дату рождения и имя клиента по мере того, как они произносятся во время звонка для подтверждения их личности.

Автоматизированная нарезка роликов для соцсетей

Вы также можете программно автоматизировать поиск по ключевым словам, чтобы находить самые яркие моменты в длинных материалах. Например, вы можете выделить важные моменты из предвыборной речи или корпоративного семинара. Это поможет вам превратить свежий контент в профессионально отремонтированные фрагменты для YouTube, LinkedIn или TikTok.

Многоканальная синхронизация и синхронизация для нескольких спикеров

Scribe может транскрибировать до пяти каналов независимо и параллельно. Каждому каналу присваивается идентификатор спикера и временная метка. Это надежнее, чем стандартная акустическая диаризация спикеров, которая часто испытывает трудности при диалогах с частой сменой говорящего. Для многоканальных записей распределение спикеров в Scribe является чисто детерминированным. Это означает, что Канал 0 соответствует speaker_0, Канал 1 — speaker_1 и так далее.

Система может распознавать спикеров, пытающихся говорить одновременно, и при этом создавать независимые временные метки для их речи. Они также могут говорить на разных языках.

Экспорт данных с временными метками в нужном формате

Если вам нужны обычные стенограммы, распространяемые в различных форматах, скорее всего, вам придется самостоятельно писать скрипты синтаксического анализа. Scribe может экспортировать стенограммы в различных форматах в зависимости от того, как вы собираетесь их использовать. Полные описания схем можно найти в справочнике по API ElevenLabs Create Transcript.

Структурированные данные для разработчиков: JSON

Scribe поддерживает экспорт в формат JSON для разработчиков, которым необходимы данные в схеме, пригодной для передачи в последующие приложения. Например, разработчики могут использовать эти данные JSON для создания интерактивных медиа или базы данных семантического поиска для вашей организации. Полный набор токенов слов, пробелов и audio_event выводится со смещениями начала и конца, а также идентификаторами спикеров.

Субтитры для медиа: SRT и VTT

Scribe может выводить стенограммы в форматах SRT и VTT, которые можно передавать напрямую в Adobe Premiere или другие производственные приложения без ручной синхронизации.

Удобочитаемые форматы: TXT, DOCX и PDF

Он также может выводить стенограммы в удобных для чтения форматах. В этих форматах Scribe удаляет низкоуровневые маркеры времени, чтобы сделать текст более удобочитаемым и пригодным для юридической документации или аудита. Например, это полезно, когда вам нужно оперативно разослать протоколы заседаний совета директоров сразу после сессии, опубликовать стенограммы подкастов для SEO или заархивировать юридические документы.

Начните использовать транскрипции ElevenLabs с временными метками и тегами событий

Нативная пословная транскрипция предоставляет вам структурированные данные, необходимые для ваших рабочих процессов, быстро и эффективно.

Начните транскрибировать ваше аудио с помощью Scribe в ElevenAPI уже сегодня или узнайте больше о пословной транскрипции.

Часто задаваемые вопросы о временных метках и транскрипции с тегами событий