Технология преобразования текста в речь (TTS) преобразует написанные слова в звучащую аудиозапись. Сначала система определяет, что написано в тексте и как это должно звучать, после чего модель ИИ генерирует аудио.

Сначала модуль TTS нормализует текстовый ввод и преобразует его в математические токены и векторные представления, с которыми может работать компьютерная система. Затем модель преобразует эти математические конструкции в цифровые представления звука и, наконец, в аудиовыход.

В этой статье мы рассмотрим, как работают различные инструменты преобразования текста в речь и почему новейшее поколение генеративного синтеза речи на базе нейросетей ИИ обеспечивает наиболее естественное звучание на сегодняшний день.

Резюме

Системы преобразования текста в речь переводят написанные слова в аудио в два этапа. Они преобразуют текст в токены или математические представления языка. Затем они переводят токены в акустическое представление, которое выводится в виде звука.
Более новые нейросетевые движки TTS используют модели ИИ для создания естественной речи. Бизнес-команды используют их для создания контента, субтитров и работы агентов поддержки клиентов.
Словари произношения и фонетическая разметка — это два способа настройки вывода TTS для максимально естественного звучания и обеспечения правильного произношения технического жаргона и имен.
API преобразования текста в речь позволяет подключать бизнес-приложения к генерации голоса высокого качества.

Что такое TTS? Как работает технология преобразования текста в речь

Преобразование текста в речь работает путем анализа написанного текста, определения того, как должно звучать каждое слово, а затем использования нейронной модели и вокодера для генерации звучащего аудио.

Технологию TTS можно условно разделить на два этапа:

Интерфейсная часть (Frontend): система преобразует текст в математическую форму, с которой может работать движок TTS.
Бэкенд-часть (Backend): система принимает результаты работы первого этапа и превращает их в формы волны, моделирующие речь.

Давайте разберем компоненты работы TTS более подробно.

Нормализация текста и лингвистический анализ

Первым шагом в процессе TTS является обработка естественного языка (NLP): очистка, токенизация и устранение омонимии исходного текста. Текст разбивается на токены — отдельные единицы письменной речи, которыми может управлять движок TTS. Токен может быть целым словом, «подсловесной» единицей или знаком препинания.

Текст часто содержит символы, отличные от полных слов, например сокращения и числа. Движку TTS также необходимо определить, как озвучивать такие элементы. Например, движок TTS читает «$11» и преобразует этот текст в звуки для фразы «одиннадцать долларов».

Семантическое значение и просодия

Просодия — это высота тона и ритм речи, благодаря которым TTS звучит естественно. При обработке текста движок также генерирует слой просодической информации, которая сопоставляет изменения ударения и интонации с текстом, чтобы придать ему более естественное звучание.

Движку TTS также необходимо адаптировать произношение текста в речь в зависимости от контекста. Он собирает эту информацию в виде векторных представлений — числовых данных, отображающих семантическое сходство между словами и фразами. Представьте это как график X-Y, где линия строится по нескольким различным точкам, но в гораздо большем количестве измерений, чем два.

Один из конкретных примеров — омографы. Омографы, то есть разные слова с одинаковым написанием, иногда требуют разного произношения. Движку TTS необходимо определить интонацию и ударение для каждого из них при произнесении. Например, как произнести графему «desert» в предложении "The soldier wanted to desert his unit by hiding in the desert.”

Смотрите, как Eleven v4 оживляет этот пример.

The soldier wanted to desert his unit by hiding in the desert.

0:00

Акустическое моделирование и синтез формы волны (речи)

Движок TTS берет токенизированную информацию и контекстные векторы, которые теперь представляют собой числовые данные, и преобразует их в акустическое представление, такое как мел-спектрограмма. Оно включает в себя различные частоты, уровни энергии и звуки, которые мозг интерпретирует как эмоции. В прошлом для этой функции использовалось множество различных систем, но сегодня нейронные модели являются одними из самых эффективных.

На заключительном этапе используется вокодер для преобразования этих спектрограмм в аудио, которое человеческий слух воспринимает как речь. Этот процесс называется генерацией формы волны (waveform generation).

Как TTS работает на практике: практический пример

Самый простой способ понять, как этапы TTS сочетаются друг с другом, — проследить за одним предложением, проходящим через всю цепочку.

Возьмем текст «Mr. Ríos paid $11 on 10/06.»

Нормализация: Движок разворачивает «Mr.» в «Mister», читает «$11» как «eleven dollars» и решает, является ли «10/06» «October sixth» или «the tenth of June», в зависимости от региона и контекста.
Токенизация и контекст: Очищенный текст разбивается на токены и преобразуется в векторы, отражающие смысловую связь слов друг с другом.
Просодия: Движок делает ударение на «eleven dollars», добавляет короткую паузу перед датой и понижает высоту тона в конце предложения.
Акустическая модель: Нейронная модель превращает токены и план просодии в мел-спектрограмму, которая описывает звук во времени.
Вокодер: Вокодер преобразует спектрограмму в финальную аудиоволну, которую вы слышите.

Каждый этап передает следующему более детальный план, поэтому ошибки на ранних этапах конвейера, такие как неправильно прочитанная дата, переносятся в готовый аудиофайл.

Почему нейросетевое преобразование текста в речь звучит более человечно?

Нейронный синтез речи превосходно создает естественную, разборчивую речь — это два качества, по которым инженеры оценивают движки TTS. Нейронный TTS работает путем обучения глубокой нейронной сети (DNN) генерации речи из текстового ввода. Вы обучаете DNN на больших объемах записанной речи в паре с соответствующим текстом.

Движки нейросетевого синтеза речи — это лишь последняя итерация систем TTS корпоративного уровня. Им предшествовали два предыдущих поколения коммерческих технологий синтеза.

Формантный синтез был доминирующим режимом в 1970-х и 80-х годах. Вместо семплирования человеческой речи для вывода в реальном времени он генерировал синтетические звуки, моделирующие речь. Она была разборчивой, но монотонной и роботоподобной.

Конкатенативный синтез доминировал с 1990-х по 2010-е годы и звучал более естественно, чем ранние формантные системы. Вместо генерации тонов на основе математических правил они объединяли, или конкатенировали, небольшие семплы человеческой речи. Эти системы использовали лингвистические таблицы поиска для сопоставления нормализованного текста со звуками, а затем выдавали небольшие единицы конкатенированного речевого аудио, извлеченные из огромной библиотеки или «корпуса». Хотя звучание было более естественным, чем у речи формантного движка, конкатенация все равно могла делать речь отрывистой или рубленой.

В чем разница между генератором голоса ИИ и преобразованием текста в речь?

«Генератор голоса ИИ» — это термин, часто используемый в маркетинге для описания широкого спектра голосовых технологий, включая преобразование текста в речь. Преобразование текста в речь относится конкретно к системам, которые принимают письменный текст на вход, моделируют его семантику и просодию и выводят аудиосигналы.

Генераторы голоса на базе ИИ представляют собой целую экосистему взаимосвязанных речевых технологий, включая синтез речи (TTS) и другие генеративные системы для создания голоса, клонирования голоса и переноса голосового стиля. Хотя в маркетинге этот термин часто используется как синоним синтеза речи, генераторы голоса на базе ИИ лучше рассматривать как более широкую категорию генеративных голосовых инструментов, частью которых является TTS.

Как использовать синтез речи для создания контента, обеспечения доступности и поддержки

Модели синтеза речи стали центральной частью рабочих процессов по всему миру, как в личной, так и в коммерческой сферах.

Ниже приведены основные варианты использования синтеза речи.

Создание контента

Инструменты синтеза речи помогают сократить расходы на крупномасштабное производство медиаконтента и уменьшить время, затрачиваемое на работу в студии для записи закадрового текста и правок на этапе постпродакшна.

Примеры использования включают:

Озвучивание
Закадровый голос
Дубляж
Производство аудиокниг
Диалоги для видеоигр

Например, компания TAP использовала ElevenLabs TTS для масштабирования образовательного контента для школ по всей Индии.

Доступность

Синтез речи — одна из наиболее широко используемых вспомогательных технологий, поскольку она позволяет людям воспринимать письменный контент на слух. Естественная речь повышает вовлеченность слушателей и снижает умственную утомляемость при прослушивании материалов большого объема.

Распространенные варианты использования TTS для обеспечения доступности включают:

Программы экранного доступа: чтение целых страниц вслух с помощью программ экранного доступа и TTS.
Поддержка при дислексии и трудностях с чтением: снижение нагрузки при чтении за счет сопровождения сеансов чтения голосовым TTS-сопровождением.
Для слабовидящих и незрячих пользователей: программы экранного доступа озвучивают элементы интерфейса и содержимое страниц, позволяя пользователям ориентироваться в программном обеспечении и на веб-сайтах без необходимости видеть экран.
Особенности восприятия и внимания: прослушивание текста снижает усилия, необходимые для чтения длинных документов, и помогает сохранять концентрацию.
Обучение и изучение языков: учащиеся могут слышать правильное произношение новой лексики и слушать учебники по дороге на учебу или во время занятий.

Программы экранного доступа — это полноценные инструменты доступности, которые описывают все элементы на экране, включая кнопки и меню. Инструменты чтения вслух сосредоточены на озвучивании самого текста, обычно с синхронной подсветкой читаемых фрагментов, и они выигрывают от использования более естественных голосов, поскольку пользователи задействуют их в течение длительного времени.

Поддержка клиентов

Нейронный синтез речи может обеспечить высокое качество обслуживания клиентов в сочетании с LLM, способной выполнять агентские взаимодействия. Такие платформы, как ElevenAgents, объединяют голосовой уровень с распознаванием речи, LLM и подключенными инструментами, которые позволяют агенту понять потребности звонящего и ответить естественным голосом.

Агенты, созданные с помощью ElevenAgents, работают по телефону, на сайтах, в WhatsApp, электронной почте и SMS, позволяя клиентам продолжать беседу через разные каналы без необходимости повторяться. Примеры использования включают:

Двусторонние голосовые ИИ-агенты: ведение живых разговоров путем ответов на вопросы из базы знаний или перенаправления клиентов по определенным сценариям, например для оформления возврата или покупки.
Системы интерактивного голосового ответа (IVR): замена устаревших голосовых меню («Нажмите 3 для связи с отделом продаж») на живой диалог, в котором клиенты могут говорить естественным языком.
Многоязычная поддержка: обслуживание клиентов на их родном языке с помощью единой настройки агента.

Например, компания Klarna сократила время решения проблем в 10 раз с помощью ElevenAgents.

Как движки синтеза речи управляют произношением?

Современные движки нейронного синтеза речи могут генерировать очень естественное звучание, однако в таком широком, глубоком и динамичном явлении, как человеческий язык, всегда будут оставаться исключения. Возможно, вы захотите сохранить в сгенерированной речи акценты, сленг или региональные варианты произношения. Вы можете создавать аудио в сфере, где используются уникальные варианты произношения технических терминов. Или же вы просто хотите, чтобы название вашего бренда произносилось строго определенным и последовательным образом.

Словари произношения и переопределение фонем

ElevenAPI от ElevenLabs включает словарь произношения, который позволяет настраивать то, как движок озвучивает текст. Вы создаете словарь в файле стандарта W3C Pronunciation Lexicon Specification (PLS), который связывает графемы (символы в тексте) с фонемами (звуками, на которые разбиты произносимые слова). Когда движок TTS встречает одну из указанных графем, он переопределяет свое обученное произношение и использует фонетическое произношение из словаря.

Вы можете узнать, как создать словарь произношения в ElevenAPI, в документации по использованию словарей произношения.

Нативная поддержка IPA и фонетические подсказки

Некоторые модели TTS также могут распознавать теги произношения, встроенные непосредственно в текстовый ввод. Поэтому вместо создания словаря для всей учетной записи, если вы хотите просто скорректировать произношение в одном или двух аудиоклипах, вы можете пометить слова в тексте с помощью стандартной нотации IPA. Например, если вы записываете аудиокнигу и хотите, чтобы имя вымышленного персонажа произносилось определенным образом.

Распространенные проблемы синтеза речи и способы их решения

Даже самые мощные модели TTS могут испытывать трудности с нюансами человеческого языка. Две самые распространенные проблемы — это неправильное произношение новых слов и монотонная речь. Вот как их решить.

Неправильное произношение незнакомых слов, жаргона и имен собственных

Движки TTS используют алгоритмы для прогнозирования того, как должен произноситься нормализованный текст, основываясь на сопоставлении графем с фонемами в своих обучающих данных. Они делают наилучшее предположение на основе полученного текста и контекста. Но, как мы обсуждали в предыдущем разделе, всегда будет множество исключений, когда вам потребуется определенное произношение.

Словари произношения или целевые теги IPA станут вашими лучшими инструментами для таких нестандартных случаев. Если у вас есть часто повторяющийся термин, который должен произноситься одинаково, лучшим решением будет словарь. Если же вам нужно внести точечные изменения в произношение нескольких терминов, используйте фонетические теги IPA.

Монотонное звучание

Эти проблемы чаще всего возникают при обработке длинных сценариев, где одни и те же слова или фразы повторяются снова и снова. Синтезированная движком речь может отлично звучать в 10-секундных фрагментах, но прослушивание одного и того же заученного произношения и ритмических рисунков на протяжении 45-мицтной лекции быстро утомляет слушателя.

Меняйте формулировки в своих сценариях и разумно используйте фонетические теги для периодического изменения произношения. Используйте эмоциональные и ритмические подсказки, чтобы сделать звучание речи более динамичным, повышая и понижая тон в соответствии с развитием повествования.

Создавайте естественные голосовые интерфейсы с помощью API синтеза речи

Легковесные веб-инструменты отлично подходят для создания небольших аудиоклипов, но они плохо масштабируются под масштабные бизнес-задачи. Если вы пытаетесь обрабатывать тысячи взаимодействий с клиентами в минуту или генерировать качественный аудиоконтент большой продолжительности, вам понадобятся более надежные инструменты TTS.

API синтеза речи, такой как ElevenAPI, позволяет напрямую подключить ваше программное обеспечение к моделям нейронного синтеза речи. Вы можете использовать REST-запросы или постоянные WebSocket-соединения для генерации аудио по запросу для агентов или других масштабных задач.

Как работает запрос к API синтеза речи

Несмотря на сложность моделей, логика работы для разработчика проста для понимания и начала работы.

Используя ElevenAPI, вы можете интегрировать синтез речи в свои приложения за считанные минуты:

Отправьте запрос: ваше приложение отправляет текст, идентификатор голоса и идентификатор модели в API вместе с вашим ключом API.
Генерация: модель выполняет описанный выше конвейер — от нормализации до вокодера.
Получите аудио: API возвращает готовый аудиофайл или передает его обратно потоком по частям, чтобы воспроизведение могло начаться до завершения генерации.
Воспроизведение или сохранение: ваше приложение воспроизводит аудио в реальном времени, сохраняет его или передает в другую систему, например в телефонную линию.

Тот же рабочий процесс применяется независимо от того, используете ли вы REST для готовых файлов или WebSockets для потоковой передачи в реальном времени, а описанные ниже SDK инкапсулируют эти вызовы за вас.

Архитектурные соображения для разработчиков

В зависимости от вашего варианта использования вам может потребоваться найти баланс между скоростью обработки, качеством звука, сетевой задержкой, протоколами и возможностями интеграции.

Задержка против качества звука

Чтобы разговорные агенты звучали естественно, следует стремиться к задержке до получения первого аудиофрагмента примерно в 100 мс, что означает минимизацию задержки в сети и для движка TTS. Здесь важно учитывать качество аудиовыхода, которого вы можете добиться в рамках архитектуры вашего агента с учетом этого ограничения.

И наоборот, задержка имеет меньшее значение при создании длинного аудиоконтента, например подкаста или лекции. Вместо минимизации задержки вам потребуется максимизировать качество выходного сигнала высокой точности.

Протоколы потоковой передачи

Протоколы, используемые для подключения к API, также могут влиять на задержку и производительность. WebSockets обеспечивают истинную двунаправленную потоковую передачу аудио, что означает возможность обрабатывать блоки текста поочередно, а не ждать рендеринга всей ленты целиком. Воспроизведение может начаться с первых блоков, пока движок TTS все еще обрабатывает последующие.

SDK

API синтеза речи корпоративного класса, такие как ElevenAPI, предлагают полноценные комплекты средств разработки программного обеспечения (SDK) для Python и TypeScript/JavaScript, а также API REST, которые помогают быстро развернуть новую архитектуру. Используйте их, чтобы снизить накладные расходы на интеграцию для вашей команды разработчиков.

Начните работу с ElevenAPI для синтеза речи

Естественный синтез речи от ведущей речевой модели обеспечивает высококачественный звук, необходимый вашим агентам и аудиоматериалам для увлечения слушателей. Независимо от того, ищете ли вы высококачественного разговорного агента для поддержки клиентских сценариев или хотите встроить синтез речи в свое приложение, у ElevenLabs есть решение.

Начните работу уже сегодня, создав собственный высококачественный звук с помощью ElevenAPI, или узнайте больше об ElevenAgents.