Две недели назад мы открыли доступ к Phonon, нашей компактной модели преобразования текста в речь (TTS), которая работает прямо на вашем устройстве. Ей не нужны серверы или сеть, а все, что вы вводите, остается у вас.
Мы очень довольны тем, как нас приняли. Поэтому вот история запуска: почему мы создали Phonon, что он умеет, какие демоверсии мы представили и как он показал себя в таблице лидеров Open TTS на Hugging Face.
Почему голос должен жить на вашем устройстве
Большая часть голосового ИИ работает в облаке: каждое предложение совершает «путешествие» до сервера и обратно. Phonon же работает на вашем устройстве. Ваш текст остается на нем, а голос работает без сети. Мы также открыли веса модели. Phonon 31m распространяется по лицензии Apache 2.0, поэтому вы можете использовать его бесплатно, даже в коммерческих продуктах. Другие модели доступны по лицензии CC BY-NC, поэтому они бесплатны для некоммерческих проектов. Если вы создаете что-то коммерческое на их основе, стоимость зависит от количества ваших пользователей, а не от объема сгенерированной речи.
Создать качественный голос для работы на маленьком устройстве всегда было сложно. Можно было сделать модель маленькой, но тогда она звучала не очень хорошо. Или можно было сделать так, чтобы она звучала отлично, но тогда она не помещалась в память. Мы решили обе эти проблемы.
Мы анонсировали Phonon в апреле и потратили следующие шесть месяцев на его доработку вместе с партнерами и первыми пользователями. Их отзывы помогли нам сформировать этот релиз. Модели стали меньше, мы добавили больше языков и поддержку пользовательских голосов с помощью клонирования и дизайна голоса.
Phonon основан на линейке Pocket TTS и поэтому использует flow matching для генерации аудио, что сильно отличается от методов моделирования, используемых в других TTS-системах. Именно это позволило нам добиться такого уровня качества при столь малом размере модели, но создало новые трудности при обучении. Изначально обучение было численно нестабильным и требовало нескольких хитростей, чтобы добиться качественных результатов на всех пяти языках.
Что мы выпустили
Phonon поставляется в двух размерах: около 65 МБ и 75 МБ. Вместе они говорят на английском, французском, немецком, испанском и португальском языках. Встроено более 100 голосов, а свои собственные вы можете создать в Gradium Studio. Phonon также справляется с важными вещами, на которых часто спотыкаются другие TTS-системы, такими как номера телефонов, даты и коды.
Он работает на телефонах, ноутбуках, одноплатных компьютерах и во вкладке браузера, так что вы можете послушать его прямо сейчас. Phonon 31m говорит по-английски и распространяется по лицензии Apache 2.0, поэтому вы можете свободно использовать его в своих разработках, включая коммерческие продукты. Phonon 40m поддерживает все пять языков по некоммерческой лицензии.
Демоверсии и первые проекты
Запуск сопровождался демонстрациями от наших друзей и нашей собственной команды. На Apple Watch с выключенным Wi-Fi Phonon пошагово рассказывает, как заварить кофе. На iPhone без сети он считает ваши повторения и поддерживает темп. Робот по имени Lamp от Autonomous носит распределяющую шляпу и говорит в своем образе. В браузере офлайн-игра с динозавром превращается в радиошоу, которое ведет Рекс. Также есть научно-фантастическая игра, озвученная на устройстве игрока, и Пруст, читаемый вслух страница за страницей.
Команда Hugging Face создала интеграцию с Transformers, чтобы разработчики могли использовать Phonon в Transformers с первого дня.
Разработчики тоже начали создавать проекты на его основе. Конвертация ExecuTorch запускает Phonon на GPU посетителя в браузере, переносит его в приложения Node.js, а Spaces, такие как smallest-s2s, строятся на его базе.
За первые две недели Phonon был скачан более 200 000 раз, и он до сих пор находится в трендах на Hugging Face.
Как Phonon показал себя в таблице лидеров Hugging Face Open TTS
Open TTS Leaderboard — это совершенно новый проект от Hugging Face, и он нам очень нравится. Имея более 9000 TTS-моделей в Hugging Face Hub, таблица лидеров дает разработчикам единое место для сравнения открытых моделей и их прослушивания. По 23 языкам модели оцениваются по разборчивости (частота ошибок в словах), скорости (обратный коэффициент реального времени и время до начала воспроизведения) и естественности (UTMOS для английского и KOMOS для корейского). Оцениваются как фиксированные голоса, так и клонирование голоса, причем для последнего используется дополнительная метрика сходства с диктором. В таблице лидеров также есть вкладка «Listen», где вы можете удобно сравнить результаты TTS самостоятельно и проголосовать за те, которые вам нравятся больше всего.
По разборчивости Phonon занимает первое место в немецком и испанском языках и входит в тройку лучших в каждом языке, который мы оценивали, наряду с моделями, которые до 100 раз больше его по размеру.
Скорость — это то, в чем Phonon действительно близок к совершенству, так как модели возглавляют рейтинг потоковой передачи на CPU по времени до начала воспроизведения.
Инференс
Мы создали новый фреймворк для инференса, ptts, специально для Phonon. Цель ptts — обеспечить наилучшую производительность на широком спектре устройств, поэтому он поддерживает более 10 бэкендов: CPU (Intel, Arm, WebAssembly), GPU (CUDA, Vulkan, Metal, WebGPU) и NPU (Apple Core ML, Snapdragon®).
Phonon также доступен в 🤗 Transformers, начиная с версии 5.21, в качестве эталонной реализации PyTorch. В то время как ptts запускает один поток на устройстве, Transformers ориентирован на пропускную способность GPU: пакетная генерация, полный граф torch.compile, например, для синтеза наборов данных речи в больших масштабах. Будучи нативным PyTorch, он является базой для дальнейшего развития, будь то интеграция Phonon в ваш собственный стек или изучение самой модели.
Он принадлежит к линейке Pocket TTS, поэтому мы сначала добавили Pocket TTS в Transformers. Phonon располагается поверх как модульная модель: около 100 строк кода, описывающих только отличия.
Phonon генерирует аудио-латентные представления авторегрессионно: каждый шаг выдает латент, который подается обратно в качестве следующего входного сигнала, и на них вычисляется функция потерь при обучении. Латенты — это входные, выходные данные и цели модели, подобно тому, как текстовые токены являются таковыми для языковой модели, поэтому кодек, отображающий аудио в латенты, играет роль токенизатора. Transformers поставляет его именно так: как аудио-токенизатор, хранящийся в процессоре рядом с текстовым токенизатором:
Голос — это не запись, а тензор латентных представлений диктора. Phonon никогда не кодирует аудио напрямую с помощью своего аудио-токенизатора, который поставляется только в виде декодера, а голоса поставляются предварительно вычисленными: gradium/phonon-voices.
Макет промпта (позиции голоса, текст, затем токен, открывающий аудио) поставляется с чекпоинтом в виде шаблона чата, как и для других мультимодальных моделей в Transformers. Вы пишете стандартный диалог с пустым аудио-элементом там, где должен быть голос, и ваш код остается неизменным для разных чекпоинтов. Затем процессор расширяет плейсхолдер голоса до одной позиции на кадр, нормализует и токенизирует текст и пакетирует входные данные:
generate возвращает латенты, которые процессор декодирует в аудио:
Смотрите документацию 🤗 для получения дополнительной информации!
Что дальше
Phonon может говорить любым голосом. Клонируйте его из короткой записи с согласия диктора или опишите новый простым текстом в Gradium Studio. Затем скачайте файл голоса, загрузите его в Phonon, и он будет работать полностью на устройстве.
Мы также обучаем пользовательские модели Phonon вместе с партнерами по дизайну. Если ваш бюджет памяти ограничен, мы можем сделать модель меньше. Если вам нужен корейский, арабский или японский, мы можем обучить модель и для этого. А если у вашего продукта есть свой собственный словарь, мы можем дообучить модель на нем. Свяжитесь с нами и расскажите, что вам нужно.
Спасибо команде Hugging Face и всем, кто попробовал Phonon в первые две недели.
Phonon — наш первый релиз с открытым исходным кодом. Попробуйте его и расскажите нам, что вы создадите.
