Если вы когда-нибудь смотрели по телевизору фильм с проблемами вещания, когда диалоги актеров абсолютно не совпадают с субтитрами, вы знаете, как сильно это отвлекает и выбивает из повествования. Видео и программное обеспечение с использованием голосовых моделей сталкиваются с той же проблемой: субтитр, появившийся на секунду позже, или транскрипт, выделяющий не то слово, могут создавать ощущение столь же серьезной поломки.

«Люди довольно хорошо справляются с выравниванием медиаданных, по крайней мере на уровне слов», — говорит Данила Козлов, исследователь из ElevenLabs, работающий над выравниванием. «У нас часто есть интуитивное ощущение того, где начинается слово, но на уровне символов и с субмиллисекундной точностью это гораздо сложнее».

Сегодня ElevenLabs представляет Cue, модель принудительного выравнивания, которая размещает каждый символ в аудиофайле на точной временной шкале. Cue лежит в основе семейства моделей Scribe от ElevenLabs, и на реальных записях она точнее каждого выравнивателя, протестированного ElevenLabs, на всех 29 языках из бенчмарка. Она также обрабатывает записи любой длины за один проход и выравнивает час аудио менее чем за секунду.

Что такое принудительное выравнивание?

Представьте, что кто-то дает вам видео и транскрипт и просит сопоставить каждое слово с моментом, когда оно произнесено. Это и есть принудительное выравнивание. Когда вы нажимаете на слово в транскрипте ElevenLabs, и плеер переходит к этому точному моменту, эту работу выполняет выравниватель.

Однако принудительное выравнивание отличается от более туманной концепции ИИ-выравнивания. Последнее связано с проектированием систем ИИ так, чтобы их поведение соответствовало системам ценностей людей и бизнес-предпочтениям. В случае с принудительным выравниванием речь идет исключительно о сопоставлении текста и звука.

Cue — это последний шаг в конвейере «речь-в-текст». Scribe, модель распознавания речи от ElevenLabs, транскрибирует аудио, а выравниватель задает тайминги. Через нее проходят все запросы Scribe. Эта же модель управляет субтитрами, дубляжом и таймингом текстов песен для музыки, и она доступна отдельно через Forced Alignment API.

Поскольку от этого зависит так много продуктов, выравниватель должен быть точным на каждом поддерживаемом языке, чрезвычайно быстрым и способным обрабатывать множество запросов одновременно.

В чем несовершенство традиционных выравнивателей

До появления новой модели команда создала модель выравнивателя, которая использовалась во всех продуктах ElevenLabs до настоящего времени. Несмотря на ее мощность, они знали, что смогут сделать новую версию еще лучше. Когда Козлов присоединился к компании, он и команда начали с опросов клиентов и внутренних пользователей ElevenLabs о том, что их раздражало при работе с предыдущим выравнивателем. Их жалобы совпадали с ограничениями инструментов с открытым исходным кодом, которые протестировала команда.

Длина — первая серьезная проблема. Многие современные выравниватели хорошо работают с клипами продолжительностью около 30 секунд, но более длинные файлы приходится разбивать на фрагменты. Каждый новый небольшой фрагмент потенциально добавляет погрешность в тайминг, а сшивание границ между фрагментами может добавить еще больше ошибок. На полных записях средняя погрешность тайминга у Cue составляет всего 179 миллисекунд, в то время как у инструментов с открытым исходным кодом этот показатель варьировался от 283 мс до более чем 6000 мс.

Записанное аудио из реального мира представляет еще большую сложность. Фоновый шум, пересекающаяся речь и фоновая музыка заставляют многие инструменты терять свое положение при сопоставлении текста с аудио. Но именно такие файлы многие люди действительно хотят транскрибировать, поскольку все мы склонны жить в местах, где не бывает идеально тихо. На английских записях с фоновыми помехами средняя ошибка Cue составляет 57 мс по сравнению с 65–920 мс у остальных.

Языковая поддержка — еще одно ограничение. Большинству выравнивателей с открытым исходным кодом требуется отдельная модель для каждого поддерживаемого языка, поэтому языки с меньшим количеством обучающих данных часто работают хуже или вообще не поддерживаются. MMS-FA — единственный другой инструмент, который работает со всеми 29 языками бенчмарка, и по сравнению с ним Cue, как правило, быстрее определяла границы между словами.

Скорость также является проблемой для этих моделей, так как выравнивание больших объемов аудио может быстро стать дорогим. Cue может выровнять один час аудио примерно за пол-секунды на нашем производственном GPU. Следующий по скорости инструмент, Qwen3-ForcedAligner, тратит почти 2 секунды, а самый медленный из протестированных — значительно больше минуты.

Чем отличается Cue

Cue — это единая модель, которая охватывает более 90 языков бенчмарка, в отличие от большинства конкурентов. Она также может принимать записи любой длины за один проход, что позволяет избежать разбиения на фрагменты, из-за которого на длинных файлах накапливаются ошибки тайминга.

Сведите или разведите пальцы для масштабирования (либо используйте Ctrl + прокрутка). Проведите горизонтально или зажмите Shift при прокрутке для панорамирования. Когда слово выбрано, используйте клавиши «плюс» и «минус» для масштабирования или Shift и клавиши со стрелками влево/вправо для панорамирования.

Выберите слово, чтобы увидеть его символы

Хотя большинство моделей становились крупнее по мере повышения их производительности, Cue меньше предыдущего выравнивателя ElevenLabs, отметил Козлов. Она по-прежнему работает на GPU, но выравнивает час аудио примерно за полсекунды.

Команда создала Cue с учетом тех типов аудио, которые люди действительно загружают. Взяв предыдущий выравниватель за отправную точку, они создали бенчмарк на основе реальных запросов и оценили каждый инструмент одинаково, засчитывая любое слово, которое инструмент не смог разместить, как ошибку. Cue работает на уровне символов, что точнее меток на уровне слов, которые используют большинство бенчмарков, поэтому эти оценки, вероятно, занижают ее точность.

«В какой-то момент вы достигаете уровня человеческих возможностей», — сказал Козлов о моделях-выравнивателях. «Наш текущий выравниватель превосходит этот уровень, и поэтому становится намного сложнее проверить, полностью ли вы правы или насколько высока ваша точность, поскольку для этого нет золотого стандарта. Нам пришлось использовать бенчмарки на уровне слов для оценки системы на уровне символов, что не обязательно демонстрирует весь потенциал Cue».

Качество Cue также отражает то, как быстро ElevenLabs может реагировать на отзывы пользователей. Вскоре после запуска Cue один из клиентов сообщил команде, что грузинский и пара других языков с меньшим объемом ресурсов работают хуже, чем ожидалось. ElevenLabs поддерживает тесную связь исследований с командами и клиентами, использующими ее продукты, что позволило им быстро обнаружить проблему, провести исследование возможных улучшений модели, обучить новую версию модели и выпустить ее — и все это менее чем за 24 часа с момента, когда клиент впервые поднял этот вопрос.

Выравнивание песен

Музыка сложна тем, что пение растягивает и смазывает слова, и лишь немногие модели справляются с этим хорошо. Команда не ожидала, что Cue справится с этим так же хорошо, как получается на практике. Cue смогла выровнять подмножество песен из набора данных JamendoLyrics MultiLang, распространяющегося под лицензией Creative Commons. Она смогла сделать это на английском, французском, испанском и немецком языках — за один проход — с удивительной точностью. Она разместила 92,7% слов с погрешностью в пределах 0,3 секунды от метки по сравнению с 82,0% у ближайшего конкурента.

Средняя ошибка начала у Cue составила 0,82 секунды, что примерно в два раза меньше, чем у ближайшего конкурента. Она была точнее любого другого инструмента как минимум в 19 песнях из 22. Потенциал для исполнения ваших любимых новых песен в караоке в день их релиза огромен.

Попробуйте Cue сегодня

Cue уже лежит в основе каждого преобразования речи в текст в ElevenLabs. Чтобы использовать его напрямую, попробуйте API принудительного выравнивания (Forced Alignment API).

Благодарности

Работа над моделями выравнивания ElevenLabs была бы невозможна без участия многих людей по всей компании. Команда выражает благодарность всем, кто работал над предыдущей и новой версиями модели, включая соучредителя и технического директора Петра Домбковского (Piotr Dąbkowski), исследователей Данилу Козлова, Луку Ланцендёрфера (Luca Lanzendörfer), Флавио Шнайдера (Flavio Schneider), Макса Леви (Max Levi), Тима фон Кенеля (Tim von Känel) и Ангелоса Периволаропулоса (Angelos Perivolaropoulos); а также Ани Джанелидзе из отдела операций с данными, наши группы прикладных инженеров (Forward Deployed Engineer) и поддержки; и Лоренцо Досси (Lorenzo Dossi) за его работу над визуализацией в этом блоге.