Drama 3 — это самая эмоциональная модель синтеза речи от Fish Audio: в ней гораздо больше чувств, чем в S2.1 Pro, и она занимает 1-е место в бенчмарке устойчивости произношения Pronunciation Robustness от Artificial Analysis.
13 октября 2026 г. | Модель Drama 3 уже доступна для синтеза речи на fish.audio, в приложении Fish Audio (iOS и Android) и через API. До 12 ноября: скидка 80% на API и 50% на новые тарифы для создателей контента.
Коротко о главном:
- Тот же вектор, но более мощное исполнение. Дайте Drama 3 те же указания, что и S2.1 Pro, и вы услышите по-настоящему звучащие слезы, сдерживаемый гнев и смех, прорывающийся сквозь невозмутимость.
- Она следует вашим указаниям. Шепот остается шепотом, смех звучит именно там, где вы его задумали, а интонация меняется по вашей команде даже посреди фразы.
- Каждое слово на своем месте. Drama 3 занимает 1-е место в независимом бенчмарке устойчивости произношения Pronunciation Robustness от Artificial Analysis: 93,2% сложных слов, чисел и кодов прочитаны правильно по сравнению с 88,1% у S2.1 Pro.
- Открытые веса. Запускайте Drama 3 самостоятельно с Hugging Face, бесплатно для коммерческого использования, если ваш годовой доход и доходы ваших аффилированных лиц составляют менее 500 000 долларов США (Лицензия Fish Audio Community License v1.0).
Открыть Drama 3 в Синтезе речи →
Открыть Drama 3 в Синтезе речи →
В нашем видеоролике о запуске дядя Роджер руководит ИИ-клоном собственного голоса, созданном и используемом с его разрешения.
Теперь ваша очередь. Голос дяди Роджера доступен на Fish Audio, так что вы можете управлять им самостоятельно.
Управлять дядей Роджером в Drama 3 →
Тот же вектор, гораздо больше чувств
Указания по исполнению заключаются в квадратные скобки так, как вы сказали бы это актеру. Вот одна фраза с одним и тем же голосом и теми же указаниями, озвученная сначала на S2.1 Pro, а затем на Drama 3.
S2.1 Pro
Drama 3
[с трудом сдерживаясь, через силу улыбаясь] Я в порядке. [дрожащее дыхание] Правда. [тихий смех] [шепотом] Идите без меня.
Обратите внимание на то, как сохраняется натянутая улыбка, когда голос срывается, а дыхание, смех и шепот появляются именно там, где они прописаны.
Слезы, гнев, смех
Именно эти эмоции речевые модели чаще всего сглаживают. В каждой фразе прислушайтесь ко второму указанию: именно здесь голос срывается, затихает или переходит в смех.
Подступающие слезы.
[со слезами в голосе, тихо плача] Я оставила его куртку у двери. [голос срывается] Мне все кажется, что он сейчас войдет и попросит ее.
Сдерживаемый гнев.
[сквозь зубы, приглушив голос] Я просил тебя сделать только одно сегодня вечером. [медленно, опасно тихо] Всего одно.
Смех вопреки всему.
[с невозмутимым видом, изо всех сил пытаясь сохранять серьезность] Нет, мне нравится, тебе очень идет. [невольно начиная хохотать] Простите, просто это очень смелая стрижка.
Она следует вашим указаниям
Добавляйте новые указания там, где меняется настроение, и интонация изменится соответственно.
[задыхаясь, быстро говоря] Просто выключите свет. Держитесь подальше от окон. [голос падает до испуганного шепота] И что бы вы там ни услышали… [медленно, смертельно серьезно] <emphasis>не открывайте эту дверь.</emphasis>
Последние слова заключены в парный тег <emphasis>…</emphasis>, который применяется только к словам между открывающим и закрывающим тегами. В инструменте синтеза речи выделите слова и выберите тег в меню Теги.
Drama 3 говорит на 83 языках. Пишите указания на том языке, на котором думаете; он не обязан совпадать с языком самой фразы.
Указания на китайском
[像是在强忍着眼泪，却努力笑着] I'm fine. Really. Go on without me.
Указания на испанском
[conteniendo las lágrimas, pero sonriendo] I'm fine. Really. Go on without me.
Указания на японском
[涙をこらえながら、無理に笑って] I'm fine. Really. Go on without me.
Каждое слово на своем месте
Эмоциональность полезна только в том случае, если слова остаются разборчивыми. Artificial Analysis проверяет это независимо: в бенчмарке Pronunciation Robustness сложные слова помещаются в английские предложения (числа, коды, названия брендов и слова, чтение которых зависит от контекста), а живые слушатели проверяют каждое сложное слово. Drama 3 прочитала 93,2% из них правильно — это лучший результат в таблице лидеров по сравнению с 88,1% у S2.1 Pro.
Наибольший прирост по сравнению с S2.1 Pro наблюдается в названиях брендов, мест и терминов, а также в словах, чтение которых зависит от контекста; точные последовательности, такие как пути к файлам и адреса электронной почты, также улучшились — с 79,4% до 86,3%.
Посмотреть таблицу лидеров Pronunciation Robustness →
Как Drama 3 научилась следовать указаниям
Речевые модели, включая нашу собственную S2, обычно настраиваются с помощью поощрений за простоту транскрипции и сходство с эталонным фрагментом, и такие оценки занижают показатели смеха или шепота. Drama 3 настроена с использованием всего одной целевой награды: модели того, какое именно исполнение предпочли люди. Эта модель также слышит сценарий и голос, поэтому точность и похожесть по-прежнему имеют значение; она просто не наказывает за смех, о котором вы просили. Подробности читайте в техническом отчете.
Для чего нужна Drama 3
Drama 3 лучше всего справляется со сценариями, которые вы озвучиваете один раз и сохраняете.
- Аудиокниги и озвучивание. Drama 3 может ровно прочитать главу, позволить голосу дрогнуть на той единственной фразе, которая должна задеть за живое, и при этом правильно произнести «Глава XVII».
- Аудиодрамы и художественные подкасты. Одна фраза может перейти от паники к шепоту и угрозе, как это происходит в примере с дверью выше.
- Игры и анимация. Каждая реплика получает собственное настроение: гнев сквозь сжатые зубы, неудержимый смех.
- Короткие видео. В видеоисториях и комедийных сценках слезы и кульминационные шутки появляются по команде — как на сайте, так и в приложении Fish Audio.
«Голосовой ИИ научился очень хорошо генерировать речь. Следующий шаг — режиссура выступления. Drama 3 — наша самая эмоциональная и управляемая модель на сегодняшний день. Она сажает создателей в кресло режиссера: опишите то, что вам нужно, простым языком, прослушайте результат и отрегулируйте только те моменты, которые не работают. Это особенно важно в масштабных проектах вроде аудиокниг и многоязычного дубляжа, где одно неверное слово не должно означать переозвучивание всей главы». — Рисса Цао (Rissa Cao), соучредитель и генеральный директор Fish Audio
«Голосовой ИИ научился очень хорошо генерировать речь. Следующий шаг — режиссура выступления. Drama 3 — наша самая эмоциональная и управляемая модель на сегодняшний день. Она сажает создателей в кресло режиссера: опишите то, что вам нужно, простым языком, прослушайте результат и отрегулируйте только те моменты, которые не работают. Это особенно важно в масштабных проектах вроде аудиокниг и многоязычного дубляжа, где одно неверное слово не должно означать переозвучивание всей главы».
— Рисса Цао (Rissa Cao), соучредитель и генеральный директор Fish Audio
Запустите Drama 3 самостоятельно
Как и S2, Drama 3 выпускается с открытыми весами, поэтому вы можете запустить ее самостоятельно. Она распространяется по новой лицензии Fish Audio Community License v1.0: бесплатно для исследований и некоммерческого использования, а также бесплатно для коммерческого использования, если ваш годовой доход и доходы ваших аффилированных лиц составляют менее 500 000 долларов США. Если этот порог превышен или если вы хотите предлагать Drama 3 другим в качестве сервиса синтеза речи (TTS), клонирования голоса, инференса или API, вам потребуется лицензия от Fish Audio (business@fish.audio). Лицензия также запрещает клонирование голоса реального человека без его согласия. S2 по-прежнему работает под лицензией Fish Audio Research License. Веса и полный текст лицензии доступны на Hugging Face, а код — на GitHub.
Большинство коммерческих речевых моделей не раскрывают информацию о том, как они устроены. Вот как работает Drama 3. Это одна большая модель, которая задействует лишь малую часть себя на каждом шаге, с памятью, подходящей для длинных сценариев и нескольких голосовых клипов. Новый аудиодекодер, кодекбук-MTP декодер, прослушивает все предыдущие данные, включая ваш голосовой клип, и заполняет мелкие текстуры каждого звука. И, как описано выше, она была доработана с использованием модели человеческих предпочтений.
Для разработчиков и исследователей
Рисунок 2 из технического отчета. Основа считывает системный промпт, целевой текст, а затем собственные аудиофреймы, каждый из которых вводится как объединенное вложение своих кодов 0 и 1. Кодекбук-MTP декодер работает на каждой позиции поверх скрытого состояния основы. Его четыре общих слоя принимают это состояние, предсказанный код 0 и коды 2–9 входного фрейма, которые обходят основу, а MTP-слои 1–9 затем предсказывают оставшиеся коды по одному за раз. Коды предсказываются везде, где следующий токен является аудиофреймом, каждый слой учитывает причинность во времени, а декодер аудиотокенайзера преобразует десять кодов в форму волны.
- Основа (Backbone). Смесь экспертов с 35 миллиардами параметров, примерно 3 миллиарда активных на токен (8 из 256 маршрутизируемых экспертов плюс один общий), инициализирована из языковой модели Qwen3.5-35B-A3B.
- Гибридное внимание. 40 слоев в блоках из трех слоев Gated DeltaNet и одного слоя с полным механизмом внимания и шлюзами. Слои DeltaNet хранят историю в состоянии постоянного размера; только один слой из четырех сохраняет KV-кэш.
- Кодекбук-MTP декодер. Заменяет покадровый Fast AR из S2. Четыре общих слоя передают данные в девять полноразмерных слоев, по одному на каждый акустический кодекбук (1–9), и каждый слой учитывает причинность по всей последовательности, включая точные коды эталонного аудио.
- Частичное слияние кодекбуков. В основу передаются только кодекбуки 0 и 1 (в S2 передавались все десять), чтобы ограничить предвзятость экспозиции. Коды 2–9 отправляются напрямую в декодер.
- Токенайзер. Взят из S2, без изменений, создан на базе Descript Audio Codec: 44,1 кГц, десять кодекбуков (один семантический, девять остаточных), около 21,5 фреймов в секунду, полностью казуальный.
- Обучение. Три этапа предварительного обучения, инструктивная доработка, а затем RL. Каждая задача оформлена как диалог в том же формате в стиле ChatML.
- Обучение с подкреплением (RL). Одна обученная модель вознаграждения на основе человеческих предпочтений и никаких наград на основе правил. GRPO без штрафа KL, 1536 промптов × 8 вариантов на шаг.
- Инференс. На одном H200 движок инференса декодирует один поток со скоростью 271 кадр в секунду по сравнению со 177 у S2, хотя Drama 3 имеет более чем в семь раз больше параметров. Инференс доступен через SGLang-Omni.
В техническом отчете приведены все подробности.
Drama 3 в API
Каждый сценарий в этом посте работает в API в исходном виде. Установите заголовок модели в значение drama-3 и поместите сценарий вместе с тегами в поле text:
Это та же конечная точка, что и у S2.1 Pro, поэтому переключение существующей интеграции требует изменения всего одного заголовка. Теги и параметры описаны в документации Drama 3.
Получить API-ключ →
Получить API-ключ →
Далее
Два инструмента редактирования проходят небольшое закрытое тестирование, а API для редактирования появится в ближайшее время. Вот первое прослушивание.
Интерактивное редактирование
Прослушайте вариант, скажите Drama 3, что нужно изменить, и она воспроизведете строку заново, учитывая предыдущие дубли. Направление может быть относительным («мягче, чем тот») или совершенно новым.
Строка: Результаты только что пришли. Мы не прошли.
Дубль 1: тяжелая, подавленная грусть
Дубль 2: «мягче и теплее по сравнению с предыдущим»
Дубль 3: «более восторженно, чем раньше; уберите боль»
Аудиоинпейтинг
У вас есть дубль, который вам нравится, но сценарий меняется. Отметьте слово, введите новое, и Drama 3 перегенерирует только это слово, подстроив его под голос, настроение и темп окружающего текста. Все остальное останется тем дублем, который вы уже одобрили. Вот плачущая строка из примера выше после замены одного слова:
Я оставил его шарф от куртки у двери. Я все думаю, что он войдет и попросит его.
Оригинальный дубль
После правки (новым является только слово «шарф»)
Стартовое предложение
Для разработчиков: с 13 октября по 12 ноября стоимость API Drama 3 составляет 10 долларов за миллион символов, что на 80% ниже прейскурантной цены в 50 долларов.
Для создателей контента: Drama 3 стоит столько же кредитов, сколько и S2.1 Pro. До 12 ноября новый тариф Plus, Pro или Max продается со скидкой 50%: первый месяц при ежемесячной подписке или первый год при годовой. Оставьте комментарий к нашему посту о запуске в течение первых 48 часов, и мы подарим вам бесплатный месяц Fish Audio Plus.
Дубли отличаются друг от друга, поэтому создайте несколько вариантов и оставьте тот, который звучит лучше всего. Если дубль не соответствует вашему замыслу, опубликуйте сценарий на Discord; именно такие отзывы нам нужны больше всего.
Принесите сценарий. Принесите свой режиссерский замысел.
Зарежиссируйте свою первую строку в Drama 3 →
Зарежиссируйте свою первую строку в Drama 3 →
