Сегодня мы выпускаем SFX v3 — нашу новейшую модель звуковых эффектов в API Sound Effects. Она точнее следует промптам с несколькими инструкциями по сравнению с SFX v2, а также лучше справляется с вокалом и музыкой. Чтобы попробовать ее, установите model_id в значение eleven_text_to_sound_v3 в конечной точке POST /v1/sound-generation.
Идентификатор модели (Model ID)
Чтобы обновиться до новой модели, просто измените идентификатор модели:
Модель сама выбирает длительность звукового эффекта на основе промпта. Если вам требуется определенный тайминг, установите параметр duration_seconds на нужное время.
Если результаты отклоняются от того, что вы просили, увеличьте prompt_influence выше значения по умолчанию 0.3. Более высокие значения заставляют модель точнее следовать промпту и уменьшают вариативность между генерациями. Параметр запроса output_format задает кодек и частоту дискретизации, например mp3_44100_128 или pcm_48000.
Зацикливание в настоящее время работает только с eleven_text_to_sound_v2, поэтому, если это необходимо для вашего запроса, используйте модель v2 с параметром loop: true.
Как составлять промпты
SFX v3 отлично справляется с многочастными звуковыми эффектами. Чтобы получить максимум от модели, порядок слов в промпте имеет значение. Перечисляйте события в той последовательности, в которой они должны происходить, например: «Шаги по гравию, затем открывается металлическая дверь». Для одиночного звука лучше всего подходит короткий и конкретный промпт.
Формулировка тоже имеет значение. Один из наших тестировщиков заметил, что фраза «пара спорит по-французски» работала намного лучше, чем «пара дерется по-французски». Попробуйте несколько вариантов формулировки одного и того же события, прежде чем окончательно остановиться на одном.
Тестируйте обе модели
SFX v3 — это итеративное обновление. В ней снижена вероятность клиппинга на высокочастотных звуках, таких как гонги, колокольчики и свист чайника, а наша инженерная команда отмечает, что в целом звук стал более естественным.
Поскольку обе модели работают на одной конечной точке, A/B-тестирование не требует больших затрат. Прогоните ваши самые частые промпты через v2 и v3, чтобы сравнить результаты перед переключением.
Попробуйте SFX v3
Ознакомьтесь со справочником по API Create sound effect для получения полного списка параметров, а затем отправьте свой первый запрос для v3. Если вы предпочитаете прослушать звуковые эффекты перед написанием кода, они также доступны на вкладке Sound Effects, в Flows и Studio в ElevenCreative.
