Одна модель, множество способов создания песни.
Начните с идеи, готового текста песни, эталонного голоса, существующего трека — или объедините их — и создайте полноценное музыкальное произведение в рамках единого рабочего процесса.
Сегодня мы представляем Pika Music, новую модель генерации музыки для превращения творческого замысла в готовые треки. Она поддерживает множество входных данных: текст, тексты песен, голосовое условие, музыкальный эталон и комбинации этих входных данных в рамках единой системы.
Большинство музыкальных инструментов заставляют создателей выбирать отдельный рабочий процесс для каждой отправной точки. Мы хотели, чтобы модель соответствовала ожиданиям пользователей везде, где рождается идея. Иногда это предложение: мечтательный синт-поп с интимным вокалом и эйфорическим финальным припевом. Иногда это готовый текст песни. Иногда важным компонентом является голос, мелодия или песня, которую нужно переосмыслить.
Pika Music рассматривает каждый из этих вариантов как способ описать одну и ту же цель: песню, которую вы хотите услышать.
Она также создана для итераций. В наших локальных тестах
Pika Music генерирует 90-секундную песню за 6,21 секунды локально в среднем — примерно в 14,5 раза быстрее воспроизведения, — поэтому создатели могут исследовать новый текст, голос или аранжировку, не покидая творческий процесс.
Четыре входных модальности
1. Промпт — путь от описания к готовому треку
Генерация музыки по тексту начинается с обычного творческого замысла. Промпт может описывать жанр, настроение, инструментовку, вокальный характер, аранжировку или развитие на протяжении всей песни. Модель превращает эти инструкции в связный трек, а не в короткую музыкальную фактуру.
Промпт
modern pop R&B, B flat minor, 69 bpm, softly swung groove, mellow lofi textures, deep piano melody, vinyl crackle, sparse synth pads, warm low bass, clean reverbed female lead vocal, soulful lead with breathy ad-libs, subtle low male doubles on the chorus only, chill spacious mix
текст песни:
[куплет]
Night after night I keep the light on low
Counting all the things I said I'd let go
[припев]
So I stay, so I stay awake
Some kind of quiet only midnight makes
2. Текст песни — начните со слов
Текст песни вводится в качестве токенов обуславливания наряду с промптом, поэтому слова являются частью задачи шумоподавления, а не этапом выравнивания, применяемым впоследствии. Теги разделов, такие как [куплет] и [припев], считываются как структура, определяя фразировку и границы разделов, в то время как промпт обуславливает аранжировку вокруг них.
Поскольку эти два пути разделены, текст песни можно оставить неизменным, в то время как промпт меняется: те же слова звучат как акустическая баллада, танцевальный поп-сингл или кинематографичное рок-исполнение.
Текст песни + направление
Промпт
Modern pop R&B, B flat minor, 69 bpm, softly swung groove, mellow lofi textures, deep piano melody, vinyl crackle, sparse synth pads, warm low bass, clean reverbed female lead vocal, soulful lead with breathy ad-libs, subtle low male doubles on the chorus only, chill spacious mix
Текст песни
[Verse] Night after night I keep the light on low Counting all the things I said I'd let go [Chorus] So I stay, so I stay awake Some kind of quiet only midnight makes
[Verse] Night after night I keep the light on low Counting all the things I said I'd let go [Chorus] So I stay, so I stay awake Some kind of quiet only midnight makes
Промпт
Haunting emotional ballad steeped in longing, quiet resilience and heartbreak, soft and sorrowful mood like walking through empty rooms filled with memories, gentle melody carried by piano chords and orchestral swells that rise and fall like tides, fragile tender reverent delivery, spacious and cinematic. Duration: 60
Текст песни
[Verse 1] I still hear your voice in the hush of the dawn, A whisper that fades, but never is gone. The bed still holds your shape like a ghost in the light, And I reach out to shadows in the heart of the night. [Pre-Chorus] We said forever in the breath of a kiss, But forever can crumble like this… [Chorus] You're the echo in my silence, the tear I cannot cry, A dream I keep reliving though I know it's goodbye.
[Verse 1] I still hear your voice in the hush of the dawn, A whisper that fades, but never is gone. The bed still holds your shape like a ghost in the light, And I reach out to shadows in the heart of the night. [Pre-Chorus] We said forever in the breath of a kiss, But forever can crumble like this… [Chorus] You're the echo in my silence, the tear I cannot cry, A dream I keep reliving though I know it's goodbye.
3. Голосовое условие — подарите своей песне исполнителя
Короткий вокальный эталон может задать вокальную фактуру, тембр, подачу и энергетику. Его можно использовать отдельно или в сочетании с промптом и текстом песни, что позволяет одновременно управлять музыкальной аранжировкой и характером вокала.
Это разработано для творческого голосового обуславливания, а не просто для наложения голоса на независимо сгенерированную фоновую дорожку. Эталон участвует в создании исполнения.
Обратите внимание, что наша модель требует от пользователя подтверждения наличия прав на использование любого вводимого им голоса.
Входные данные · голосовой эталон
Выходные данные
4. Музыкальный эталон — добавьте атмосферу
В некоторых аспектах песни легче указать на что-то, чем описать это словами. Музыкальный эталон позволяет предоставить трек, настроение которого вы хотите передать, вместо того чтобы пытаться назвать жанр, инструментовку и особенности продакшна словами.
Эталон формирует музыкальный мир новой песни — ее фактуру, инструментовку, энергетику и общее ощущение, — в то время как промпт и текст песни определяют, о чем на самом деле эта песня. Эталон задает атмосферу; письменное указание задает содержание.
Перед генерацией эталон разделяется и нормализуется, чтобы его музыкальные качества можно было считывать независимо от исходного микса. Затем новый трек генерируется как единое исполнение, обусловленное этими качествами, а не сшивается из фрагментов источника.
Обратите внимание, что наша модель требует от пользователя подтверждения наличия прав на использование любого вводимого им трека.
Одна модель, множество видов контроля
Под капотом эти рабочие процессы представляют собой различные комбинации сигналов обуславливания:
- Язык описывает жанр, настроение, инструментовку, вокальный стиль и аранжировку.
- Текст песни определяет слова и может задавать высокоуровневую структуру песни.
- Голосовые эталоны определяют вокальный характер и подачу.
- Музыкальные эталоны служат исходным материалом для создания новой атмосферы.
- Длительность и сид обеспечивают дополнительный контроль генерации.
Задача заключается не просто в приеме большего количества входных данных. Эти входные данные могут противоречить друг другу. Текст песни подразумевает одну структуру, а эталонная песня — другую; запрошенный стиль может противоречить исходной аранжировке; вокальная идентичность и разборчивость могут конкурировать. Система должна разрешить эти сигналы в единое музыкально связное исполнение.
Наш конвейер генерации подготавливает каждый сигнал для модели. Текст и тексты песен нормализуются в более четкие творческие инструкции. Голосовые эталоны анализируются на предмет полезных вокальных атрибутов, а исходный аудиоматериал разделяется и нормализуется перед генерацией кавера. Затем модель создает полноценный трек на основе полученного обуславливания.
Практическим преимуществом является компонуемость. Создателям не нужна другая модель или интерфейс каждый раз, когда меняется исходный материал.
Практическая выгода заключается в компонуемости. Авторам не нужна новая модель или интерфейс каждый раз, когда меняется исходный материал.
Архитектура
По своей сути Pika Music представляет собой латентный диффузионный трансформер со смесью слоев локального и полного внимания. Модель работает в сжатом акустическом представлении, где долгосрочная музыкальная структура поддается вычислительному управлению, а затем декодирует готовую латентную последовательность в стереофоническую волну.
Различные входы поступают через специализированные пути кондиционирования в виде токенов кондиционирования или латентных представлений акустического контекста.
Эти сигналы встречаются внутри одного общего генеративного декодера. Этот дизайн имеет значение: кавер с новым голосом и новым стилем не создается путем объединения нескольких независимо сгенерированных выходов. Модель определяет исходную мелодию, текст, тембр и письменные указания одновременно с генерацией целевой песни.
Этот общий латентный интерфейс позволяет одной модели переходить от свободной композиции к жестко кондиционированной трансформации без изменения основной архитектуры.
Цель обучения
Мы обучаем модель с использованием задачи сопоставления потоков (flow-matching). Для чистого целевого латентного представления
, гауссовского шума
, и сэмплированного уровня шума
, мы конструируем:
Трансформер предсказывает скорость, которая направлена от чистого примера к сэмплированному шуму:
Здесь
представляет любое кондиционирование, доступное для данного примера: текст, слова песни, голос или контекст исходной песни. Во время обучения кондиционирование выборочно подвергается возмущениям или отбрасывается. Это учит модель оставаться полезной, когда референсы несовершенны, и обеспечивает применение руководства без классификатора во время инференса.
Совместная задача служит двум целям. Она учит модель использовать каждый новый сигнал кондиционирования и сохраняет общую способность модели к композиции.
Бенчмарк-оценка
Мы создали бенчмарк с фиксированными текстами, чтобы сравнить системы генерации музыки при одинаковых творческих указаниях, а не выбирать только благоприятные примеры. Полный бенчмарк содержит 15 промптов, охватывающих акустический фолк, поп, R&B, рэп, рок, кантри, электронную музыку, метал, джаз, кинематографическую музыку, детскую музыку, афробит и многоязычные песни. Каждый промпт задает стиль, текст, запрашиваемую продолжительность, язык, BPM, тональность и размер.
Каждая система генерирует два результата на промпт, создавая 30 результатов для каждой тестируемой системы. Мы оцениваем два взаимодополняющих измерения:
- Качество музыки: Audiobox Aesthetics измеряет удовольствие, полезность, сложность производства и качество производства. SongEval измеряет когерентность, музыкальность, запоминаемость, чёткость и естественность. MuQ-MuLan измеряет соответствие промпту и разнообразие в рамках промпта. Мы также оцениваем темп и тональность для проверки музыкального контроля.
- Задержка: Мы измеряем, сколько времени требуется для того, чтобы сгенерированный материал стал пригодным к использованию. Время работы хостинг-провайдеров измеряется от начала до конца: от отправки запроса до скачивания полученного аудио.
Бенчмарк оценивает путь преобразования текста/слов в музыку.
Результаты
Основные результаты приведены ниже. Автоматические оценщики являются полезными масштабируемыми прокси, но небольшие различия не следует интерпретировать как окончательные рейтинги человеческих предпочтений.
Производительность генерации
Генерация музыки носит итеративный характер. Люди корректируют текст, меняют энергию певца, пробуют другую аранжировку или исследуют несколько направлений, прежде чем выбрать одно. Задержка поэтому меняет творческий процесс: каждое долгое ожидание прерывает цикл между идеей и прослушиванием результата.
Мы оптимизировали весь путь инференса под конкретную модель, аппаратное обеспечение и конфигурацию обслуживания. Результат — быстрая генерация, которая существенно превосходит скорость воспроизведения в реальном времени.
В нашем синхронизированном производственном бенчмарке оптимизированная система сгенерировала 90-секундную песню в среднем за 6,21 секунды. По всем 30 измеренным генерациям средняя задержка составила 6,25 секунды, медианная — 6,14 секунды, а задержка P90 — 8,11 секунды. Медианный коэффициент реального времени составил 0,068, или примерно в 14,6 раза быстрее воспроизведения.
Рисунок: Задержка сквозной генерации музыки в логарифмической шкале. Ромбы показывают средние значения, незакрашенные точки — медианы, вертикальные отрезки — P90, а полосы показывают наблюдаемый минимум и максимум по 30 генерациям.
Качество музыки
Ни одна отдельная оценка не отражает, работает ли песня. Мы оцениваем взаимодополняющие свойства — техническое качество, музыкальную когерентность, соответствие промпту, запоминаемость, естественность вокала, разнообразие, темп и тональность — и сочетаем автоматическую оценку с прослушиванием.
В бенчмарке текста/слов в музыку Pika Music вошла в топ-уровень оценки Audiobox Aesthetics. Ее оценка удовольствия от контента составила 7,403 по сравнению с 7,412 у Suno, а оценка качества производства — 8,064 по сравнению с 8,151 у Suno.
Pika Music сочетает в себе конкурентоспособную автоматическую эстетику с широким, компонуемым рабочим процессом и значительно более быстрым измеренным путем инференса.
Создавайте музыку с того момента, где рождается идея
Промпт, готовый текст, эталонный голос или существующая песня могут стать началом трека. Pika Music объединяет эти входные данные в одной модели, чтобы авторы могли исследовать, комбинировать и дорабатывать идеи без переключения между отдельными инструментами.
Начните в песочнице, чтобы напрямую протестировать Pika Music. Когда вы будете готовы внедрить ее в свой собственный продукт или рабочий процесс, используйте страницу API, чтобы начать разработку.
