27 февраля 2025 г.

Брендан Ирибе, Анкит Кумар и команда Sesame

Как мы понимаем, что кто-то действительно нас слышит? Редко дело только в словах — всё дело в тонкостях голоса: нарастающем воодушевлении, вдумчивой паузе, теплом утешении.

Голос — наше самое интимное средство общения, передающее слои смыслов через бесчисленные вариации тона, высоты, ритма и эмоций.

Современным цифровым голосовым помощникам не хватает качеств, необходимых для того, чтобы стать по-настоящему полезными. Не раскрыв весь потенциал голоса, они не смогут эффективно взаимодействовать с нами. Личный помощник, который говорит только нейтральным тоном, с трудом удерживается в нашей повседневной жизни после того, как проходит эффект новизны.

Со временем эта эмоциональная плоскость становится чем-то большим, чем просто разочарование — она начинает утомлять.

Достижение голосового присутствия

В Sesame наша цель — достичь «голосового присутствия» — того магического качества, благодаря которому устная речь кажется живой, понятной и ценной. Мы создаем собеседников, которые не просто обрабатывают запросы, а ведут подлинный диалог, укрепляющий уверенность и доверие с течением времени. Тем самым мы надеемся реализовать нераскрытый потенциал голоса как идеального интерфейса для обучения и понимания.

Ключевые компоненты

Эмоциональный интеллект: считывание эмоционального контекста и реагирование на него.
Динамика разговора: естественные тайминги, паузы, перебивания и акценты.
Контекстуальная осведомленность: адаптация тона и стиля в соответствии с ситуацией.
Последовательная личность: поддержание связного, надежного и уместного присутствия.

Мы еще не достигли цели

Создать цифрового компаньона с голосовым присутствием непросто, но мы уверенно движемся вперед по нескольким направлениям, включая личность, память, выразительность и уместность. Эта демонстрация — пример некоторых наших наработок в области генерации разговорной речи. Представленные здесь компаньоны оптимизированы для дружелюбия и выразительности, чтобы проиллюстрировать потенциал нашего подхода.

Техническая статья

Генерация разговорной речи

Авторы

Йохан Шалквик, Анкит Кумар, Дэн Лит, Сефик Эмре Эскимез, Зак Ходари, Синжон Ресник, Рамон Санабрия, Рэйвен Цзян

Чтобы создавать ИИ-компаньонов, которые кажутся по-настоящему интерактивными, генерация речи должна выйти за рамки создания высококачественного аудио — она должна понимать контекст и адаптироваться к нему в режиме реального времени. Традиционные модели преобразования текста в речь (TTS) генерируют аудио непосредственно из текста, но им не хватает контекстуальной осведомленности, необходимой для естественного общения. Несмотря на то, что современные модели создают очень похожую на человеческую речь, они сталкиваются с проблемой «один ко многим»: существует бесчисленное множество правильных способов произнести предложение, но лишь некоторые из них подходят для конкретной ситуации. Без дополнительного контекста — включая тон, ритм и историю разговора — моделям не хватает информации для выбора оптимального варианта. Улавливание этих нюансов требует рассуждения по нескольким аспектам языка и просодии.

Чтобы решить эту задачу, мы представляем модель разговорной речи (Conversational Speech Model, CSM), которая формулирует проблему как сквозную мультимодальную задачу обучения с использованием трансформеров. Она использует историю разговора для создания более естественной и связной речи. Из нашей работы можно сделать два ключевых вывода. Первый заключается в том, что CSM работает как

одноэтапная модель, что повышает эффективность и выразительность. Второй — это наш набор инструментов для оценки, который необходим для отслеживания прогресса в контекстуальных возможностях и решает проблему перенасыщенности общедоступных оценочных тестов.

История вопроса

Один из подходов к моделированию аудио с помощью трансформеров заключается в преобразовании непрерывных сигналов в последовательности дискретных аудиотокенов с использованием токенизаторов. Большинство современных подходов ([1], [2]) опираются на два типа аудиотокенов:

Семантические токены: компактные, инвариантные к диктору представления семантических и фонетических признаков. Их сжатая природа позволяет улавливать ключевые характеристики речи ценой высокой точности представления.
Акустические токены: кодировки детальных акустических характеристик, позволяющие восстанавливать аудио высокой точности. Эти токены часто генерируются с использованием остаточного векторного квантования (RVQ) . В отличие от семантических токенов, акустические токены сохраняют естественные характеристики речи, такие как индивидуальность диктора и тембр.

Общая стратегия заключается в том, чтобы сначала моделировать семантические токены, а затем генерировать аудио с помощью RVQ или методов на основе диффузии. Разделение этих этапов позволяет использовать более структурированный подход к синтезу речи: семантические токены обеспечивают компактное, инвариантное к диктору представление, которое фиксирует высокоуровневую лингвистическую и просодическую информацию, в то время как второй этап восстанавливает детальные акустические характеристики, необходимые для высококачественной речи. Однако у этого подхода есть критический недостаток: семантические токены являются «узким местом», которое должно полностью охватывать просодию, но обеспечить это во время обучения сложно.

Методы на основе RVQ привносят свои собственные проблемы. Модели должны учитывать последовательную зависимость между кодовыми книгами в кадре. Один из методов, шаблон задержки (рисунок ниже) [3], постепенно сдвигает старшие кодовые книги, чтобы обусловить предсказания младшими кодовыми книгами в пределах одного кадра. Ключевым ограничением этого подхода является то, что время до начала воспроизведения аудио плохо масштабируется, поскольку RVQ-токенизатор с N кодовыми книгами требует N шагов магистральной сети перед декодированием первого аудиофрагмента. Хотя это подходит для офлайн-приложений, таких как аудиокниги, такая задержка является проблематичной в сценарии реального времени.

Пример генерации с шаблоном задержки в RVQ-токенизаторе с 4 кодовыми книгами

Модель разговорной речи (CSM)

CSM — это мультимодальная модель текста и речи, которая работает непосредственно с RVQ-токенами. Вдохновленные RQ-Transformer [4], мы используем два авторегрессионных трансформера. В отличие от подхода в [5], мы разделяем трансформеры на нулевой кодовой книге. Первый мультимодальный «магистральный» блок обрабатывает чередующиеся текст и аудио для моделирования нулевой кодовой книги. Второй аудиодекодер использует отдельную линейную «голову» для каждой кодовой книги и моделирует оставшиеся N – 1 кодовых книг для восстановления речи из представлений магистрального блока. Декодер значительно меньше магистрального блока, что обеспечивает генерацию с низкой задержкой, сохраняя при этом сквозной характер модели.

Процесс вывода модели CSM. Текстовые (T) и аудио (A) токены чередуются и последовательно подаются в магистральный блок (Backbone), который предсказывает нулевой уровень кодовой книги. Затем декодер (Decoder) выбирает уровни с 1 по N – 1, обусловленные предсказанным нулевым уровнем. Восстановленный аудиотокен (A) затем авторегрессионно подается обратно в магистральный блок для следующего шага, продолжаясь до тех пор, пока не будет выдан символ EOT (конец аудио). Этот процесс начинается снова при следующем запросе на вывод, при этом промежуточное аудио (например, высказывание пользователя) представляется чередующимися токенами аудио и текстовой транскрипции.

Оба трансформера являются вариантами архитектуры Llama. Текстовые токены генерируются с помощью токенизатора Llama [6], в то время как аудио обрабатывается с использованием Mimi, токенизатора с разделенным RVQ, который создает одну семантическую кодовую книгу и N – 1 акустическую кодовую книгу на кадр с частотой 12,5 Гц. Учебные выборки структурированы как чередующиеся перемежающиеся паттерны текста и аудио, при этом идентификатор говорящего кодируется непосредственно в текстовом представлении.

Амортизация вычислений

Такая конструкция создает серьезные инфраструктурные проблемы во время обучения. Аудиодекодер обрабатывает эффективный размер пакета B × S и N кодовых книг авторегрессионно, где B — исходный размер пакета, S — длина последовательности, а N — количество уровней кодовой книги RVQ. Эта высокая нагрузка на память даже при небольшой модели замедляет обучение, ограничивает масштабируемость модели и препятствует быстрому экспериментированию, что критически важно для производительности.

Чтобы решить эти проблемы, мы используем схему амортизации вычислений, которая устраняет узкое место памяти, сохраняя при этом точность полных кодовых книг RVQ. Аудиодекодер обучается только на случайном подмножестве аудиокадров (1/16), в то время как нулевая кодовая книга обучается на каждом кадре. Мы не наблюдаем заметной разницы в потерях аудиодекодера во время обучения при использовании этого подхода.

Процесс амортизированного обучения. Магистральный трансформер моделирует нулевой уровень для всех кадров (выделено синим), в то время как декодер предсказывает остальные N – 31 уровней, но только для случайной 1/16 части кадров (выделено зеленым). В верхней части выделены конкретные кадры, моделируемые декодером, для которых он получает потери.

Эксперименты

Набор данных: Мы используем большой набор общедоступных аудиозаписей, которые мы транскрибируем, размечаем по спикерам и сегментируем. После фильтрации набор данных состоит примерно из одного миллиона часов преимущественно англоязычного аудио.

Размеры моделей: Мы обучили три модели разного размера, различающиеся размерами магистрали и декодера:

Tiny: магистраль 1B, декодер 100M
Small: магистраль 3B, декодер 250M
Medium: магистраль 8B, декодер 300M

Каждая модель обучалась с длиной последовательности 2048 (~2 минуты аудио) в течение пяти эпох.

Примеры

Паралингвистика