Звук, который понимает, что и когда происходит
Молчаливое видео может показать нам, что произошло, но полноценное звуковое оформление заставляет нас прочувствовать это. Удар ноги о землю, голос в комнате и музыка, несущая эмоциональную арку, выполняют разные задачи. Требуется все три компонента — звуковые эффекты, голос и музыка, — чтобы сцена казалась целостной.
Сегодня мы представляем Pika Soundtrack — модель, которая преобразует видео в синхронизированное звуковое оформление для всей сцены. Загрузите видео, и Pika сгенерирует звуковые эффекты с учетом движения, голос, музыку и атмосферу, следующие за действием, с возможностью задать инструкции о том, что именно следует подчеркнуть, включить или исключить. Модель работает с исключительной скоростью при локальной оценке, благодаря чему Pika Soundtrack оказывается до 2 раз рентабельнее конкурирующих моделей для перевода видео в аудио.
Смотрите — и слушайте — модель
Промпт: Одно непрерывное, интенсивное соло на ударных, тридцать секунд, никаких других инструментов — счет на четыре, а затем груув, неуклонно нарастающий до неистового пика: хрустящий малый барабан, быстрый хай-хэт, глубокая бочка, мощные брейки на томах, раскатистые тарелки, дробь, завершающаяся финальным резким ударом в малый барабан с тарелкой. Интенсивность в стиле «Одержимости», близкое звучание в комнате и напористость, каждый удар точный.
От нулевого промта до полноценного звукового оформления
Техническая задача
Pika Soundtrack — это не просто генерация звука с прикрепленным изображением. Работоспособная система должна одновременно решать несколько задач:
- Понимание сцены: распознавание объектов, действий, материалов, окружения и предполагаемых источников звука.
- Временная синхронизация: размещение ударов, движений, вокализации и переходов в те моменты, когда зрители их ожидают.
- Охват сцены: балансировка фонового шума (Foley) на переднем плане с фоновой атмосферой и акустическим пространством.
- Перспектива: учет расстояния, кадрирования, движения камеры и предполагаемого положения слушателя.
- Направление: следование дополнительным инструкциям без добавления звуков, противоречащих видео.
- Долгосрочная согласованность: сохранение синхронизации и атмосферы на протяжении первых нескольких секунд и при смене сцен.
Звуковая дорожка может быть правдоподобной сама по себе, но при этом казаться неуместной на фоне изображения. Pika Soundtrack успешна только тогда, когда звук принадлежит сцене и развивается вместе с ней.
Для решения этих задач Pika Soundtrack принимает видео вместе с необязательной инструкцией на естественном языке и создает новую звуковую дорожку для всей сцены. система извлекает визуальную и временную информацию из источника, объединяет ее с указаниями пользователя и генерирует аудио, обусловленное как тем, что появляется на экране, так и моментом возникновения событий.
Методы
Архитектура
Ядром модели является диффузионная модель в латентном пространстве на базе трансформеров. Она работает с последовательностями сжатых токенов видео, текста и аудио, используя механизм внимания для связи визуальных событий и семантики промпта с подвергаемыми шумоподавлению аудиотокенами.
Модель принимает на вход видео и текстовый промпт, а затем генерирует новую звуковую дорожку, которая соответствует как видимому движению, так и запрошенному описанию звука. Внутри системы видео сначала сжимается в последовательность визуальных латентных токенов. Эти токены сохраняют тайминг, движение объектов, компоновку сцены и покадровые подсказки действий, но они намного меньше исходных пикселей. Текстовый промпт кодируется в семантические токены, которые описывают, какие звуки должны присутствовать, например шаги, ветер, вода, звуки ударов, атмосфера или «без диалогов / без музыки».
Аудио генерируется в сжатом латентном пространстве, а не напрямую в виде семплов формы волны. Модель начинает со случайных зашумленных латентных представлений аудио и постепенно очищает их от шума до получения чистого аудиопредставления. Во время каждого шага шумоподавления генератор аудио обращается к входным видеотокенам и текстовым токенам, что позволяет ему определять как то, какой звук нужно создать, так и когда он должен произойти. После шумоподавления сгенерированный саундтрек добавляется к видео.
Обучение
Основной задачей является функция потерь шумоподавления в стиле flow-matching / диффузии над латентными представлениями аудио. Во время обучения мы выбираем уровень шума или непрерывный временной шаг, интерполируем между чистыми целевыми латентными представлениями аудио и шумом, а также обучаем трансформер предсказывать скорость или направление шумоподавления, возвращающие зашумленный латентный аудиосигнал к чистой цели. Видеолатент сохраняется в неизменном виде в качестве условия, поэтому функция потерь заставляет аудиотраекторию согласовываться с видимым движением, сменой сцен и семантикой промпта, а не изучать звук изолированно.
Эффективный инференс для всей сцены
Генерация полноценного саундтрека требует от модели сохранения визуального контекста при синтезе временно когерентного аудио для всей сцены. Наш стек инференса оптимизирован как на уровне модели, так и на уровне обслуживания, благодаря чему обработка длинных видео остается интерактивной, а не превращается в пакетный процесс оффлайн-рендеринга.
Мы объединяем дистилляцию, кэширование активаций и контекста, а также разреженное внимание для сокращения объема вычислений, повторяющихся в соседних окнах. Дистилляция сжимает траекторию генерации в меньшее число эффективных шагов, кэширование повторно использует визуальные и временные признаки, не изменяющиеся между соседними фрагментами, а разреженное внимание фокусирует вычисления на локальных областях аудио/видео, отвечающих за синхронизацию, сохраняя при этом достаточно глобального контекста для согласованности на уровне сцены. В совокупности эти оптимизации позволяют системе генерировать полноразмерные саундтреки с низкой задержкой при сохранении временной синхронизации.
Результаты бенчмарка
В этом разделе мы оцениваем системы саундтреков как по качеству, так и по эксплуатационной пригодности. Мы измеряем, генерирует ли каждая модель аудио, соответствующее видимой сцене, сохраняет ли оно синхронизацию во времени и остается ли правдоподобным в разнообразных реальных и кинематографических видео. Поскольку длинные видео выявляют сбои, которые короткие ролики могут скрывать, мы оцениваем весь бенчмарк по временным фрагментам, а не полагаемся только на первые несколько секунд.
В рамках бенчмарка Pika Soundtrack демонстрирует наилучшее семантическое соответствие и наименьшую аудиовизуальную рассоглазованность, при этом обеспечивая покрытие всей длительности входного материала и самую высокую из наблюдавшихся скоростей генерации полной длительности.
Наш бенчмарк содержит видео различного разрешения, охватывающие физические удары, животных, погоду, воду, спорт, человеческие движения, музыкальные выступления, речевую активность, естественную атмосферу и постановочные кинематографические сцены.
Мы сравниваем Pika с LTX-2.3 Foley V2A, HunyuanVideo-Foley и MMAudio v2.
Оценка ImageBind измеряет семантическое соответствие между видео и аудио: принадлежит ли сгенерированный саундтрек к видимой сцене. Показатель DeSync измеряет аудиовизуальную временную несогласованность, где меньшее значение является лучшим. IS-PANNs и IS-PASST — это основанные на классификаторах показатели качества и разнообразия аудио.
Pika достигает наиболее сильного семантического соответствия и наименьшей временной несогласованности в этом бенчмарке. MMAudio v2 лидирует по показателям качества и разнообразия на основе классификаторов. Мы приводим оба показателя, потому что видеозвук не является одномерным: система должна генерировать убедительное аудио, но это аудио также должно описывать правильную сцену в правильное время.
Скорость и покрытие полной длительности
Сравнение задержки звуковой дорожки требует учета того, сколько аудиосигнала каждая система фактически сгенерировала. Система, которая возвращает лишь часть длинного видео, не должна казаться быстрее только потому, что ее вывод был короче.
В этих измерениях используются разные среды выполнения: размещенные сквозные API для Hunyuan и MMAudio, инференс суммированных фрагментов для LTX и предварительно прогретое сквозное время на собственной инфраструктуре для Pika. Это полезные эксплуатационные наблюдения, а не контролируемое сравнение на одинаковом аппаратном обеспечении.
Тем не менее, достигнутая скорость позволяет Pika Soundtrack быть до 2 раз более экономичной по сравнению с сопоставляемыми моделями.
Приложения и будущие разработки
Pika Soundtrack может добавлять естественные шумы (Foley) к видео без звука, создавать атмосферу вокруг сцены, генерировать продуманный кинематографический звук или создавать альтернативные звуковые направления из того же визуального источника.
Этот релиз является частью нашей более масштабной работы в области генеративного аудио. Pika Real-Time Text-to-SFX создает звук напрямую из текста; Pika Soundtrack начинает с визуальной последовательности и определяет, что должно быть слышно с течением времени.
Будущие разработки включают генерацию большей длительности, более точный контроль на уровне событий, улучшенную пространственную и акустическую перспективу, а также целенаправленные исследования в области речи и многоязычного дубляжа.
Доступность
Pika Soundtrack уже запущен в Pika API Club. Попробуйте. Мы с нетерпением ждем возможности увидеть и услышать то, что вы создадите с его помощью.
