Создание сцен, которые реагируют на вас
19 ноября 2026 г. Команда Pika Labs
В Pika мы считаем, что следующее поколение инструментов для создания контента с помощью ИИ должно выйти за рамки простого текстового поля и стать ближе к тому, как мы снимаем кино сегодня. Pika Enact — это важный шаг в этом направлении.
Pika Enact разработана для имитации процесса режиссуры на съемочной площадке. Это экспериментальная среда для потоковой передачи в реальном времени, построенная на базе Pika H3 Flex, которая генерирует видео и звук фрагментами длительностью менее секунды, сохраняя контекст сцены и включая новые режиссерские указания в текущий процесс генерации.
Это позволяет автору взаимодействовать с «актерами», вручную менять мизансцену и управлять камерой — и все это в режиме реального времени.
[вставьте здесь видео запуска]
Технология открывает три новых способа взаимодействия:
- «Живая» постановка сцены (Live Staging). Размещайте и перемещайте актеров или объекты внутри запущенного видео с помощью мыши. Сцена продолжает воспроизводиться, пока вы их перемещаете.
- Режиссура актеров в реальном времени (Live Actor Direction): разговаривайте с актерами на площадке напрямую, и они будут отвечать в ходе диалога. Давайте им указания относительно реплик, эмоций или движений, и они будут их выполнять. Скажите «Мотор!», чтобы превратить репетицию в свежий непрерывный дубль, и актеры запомнят все, что вы обсуждали.
- Управление камерой в реальном времени (Live Camera Control). Управляйте движением камеры с помощью мыши вокруг «живой», воспроизводящейся сцены.
Ниже мы подробно разберем каждый из них: данные, на которых они обучались, их техническую архитектуру, а также покажем несколько демонстрационных видео.
«Живая» постановка сцены
Дизайн сцены и расстановка актеров — основа режиссерской работы. Но создание видео с помощью ИИ делает этот процесс неточным и трудоемким. Благодаря функции Live Staging вместо ожидания загрузки генерации, чтобы увидеть результат ваших указаний, вы получаете мгновенную обратную связь; вы можете вручную формировать сцену прямо во время ее воспроизведения.
Функция «живой» постановки в Pika Enact позволяет автору перетаскивать объект или актера на нужное место с помощью мыши, что дает несколько ключевых преимуществ:
- Точное размещение: там, где промпт может лишь подсказать «чуть левее», курсор перетаскивает объекты точно в нужное место.
- Согласованность с окружением: модель генерирует все, что вы перемещаете — человека или стул — вместе с остальной частью сцены. По мере перетаскивания объект естественно реагирует на движение, а его поза, освещение и тени адаптируются к окружению. В результате нет обрезанных краев, нет пустот на месте, где он стоял, и не требуется постобработка для композитинга.
- Реакция в реальном времени: видео продолжает воспроизводиться, пока вы перетаскиваете объект, а на одном сервере модель генерирует его в 1,8 раза быстрее, чем идет воспроизведение. Кроме того, объект активно реагирует на перемещение, перенося вес и корректируя позу в воздухе, прежде чем естественно занять положение там, где вы его отпустили.
Чтобы успевать за движением курсора, мы сокращаем модель до нескольких шагов и транслируем ввод мыши и декодирование небольшими порциями. В нашем режиме с низкой задержкой изображение реагирует менее чем за 0,4 секунды на H100, включая декодирование.
Движок данных
Обучение перетаскиванию в интерактивном видео требует строго согласованных пар видео «до» и «после», синхронизированных с траекториями курсора на уровне кадров, чего нельзя получить из реальных съемок.
Для решения этой задачи мы создали движок синтетических данных, основанный на физике. Начиная с исходного видео, мы анимируем 3D-дублера вдоль траектории перетаскивания, чтобы имитировать естественный вес и инерцию. Затем наши видеомодели рендерят фотореалистичные целевые клипы, автоматически записывая положения мыши и состояния кнопок.
Это позволяет создавать масштабируемые обучающие пары без разметки, где меняется только перетаскиваемый объект, охватывая такие действия, как поднятие, перенос в несколько этапов и вставка новых объектов с фотографий в «живые» сцены. Этот набор данных управляет всем нашим конвейером: от обучения на полных клипах и дистилляции в реальном времени до оценки.
Для получения доступа к данным или более подробной информации о том, как они были созданы, свяжитесь с нашей командой по адресу enterprise@pika.art.
Техническая архитектура
Чтобы сделать Pika H3 Flex «перетаскиваемой» в реальном времени, она должна научиться двум вещам: следовать за курсором и генерировать поток вместо клипа.
Траектория перетаскивания: следование за курсором. Чтобы следовать за перетаскиванием, модель должна в каждый момент времени знать три вещи: что делает ваша мышь, где она находится и как выглядела бы сцена, если бы вы ее не трогали. Каждая из них поступает как отдельный сигнал. Мышь опрашивается 24 раза в секунду, а состояние ее кнопок и движение определяют, как именно перемещается захваченный человек или объект в данный момент. Положение курсора отмечается на тепловой карте поверх кадра, поэтому модель точно знает, какой объект вы захватили. Исходное видео подается кадр за кадром параллельно, поэтому все, что вы не трогаете, остается неизменным. Все три сигнала поступают в H3 Flex через небольшие новые модули, которые обучаются с нуля, поэтому модель учится следовать за вашей рукой, сохраняя при этом визуальный стиль H3 Flex.
От клипа к потоку. Модель, которая генерирует весь клип целиком, не может реагировать на вас: вам пришлось бы закончить перетаскивание до начала генерации, а затем ждать секунды результата. А когда вы удерживаете кого-то мышью, даже задержка в 0,7 секунды уже ощущается как «торможение». Поэтому мы нарезаем видео на короткие фрагменты и позволяем каждому фрагменту «видеть» только прошлое; чем короче фрагмент, тем быстрее изображение может ответить (0,7 с в основной модели, 0,17 с в нашей модели с низкой задержкой). Именно так языковая модель пишет по одному токену за раз, и это дает тот же инструмент: кэш пар «ключ-значение». Каждый новый фрагмент считывает промпт и исходное видео, первый фрагмент сессии и четыре самых последних фрагмента из кэша; старые фрагменты удаляются. Позиции пересчитываются для каждого фрагмента, поэтому они никогда не накапливаются, что позволяет сессии работать бесконечно при постоянных затратах. Сначала мы обучаем эту причинно-следственную модель на реальной истории (teacher forcing).
Но одного потокового вещания недостаточно. Каждый фрагмент все равно требует около двадцати шагов, и как только модель начинает считывать свой собственный вывод вместо реальных кадров, небольшие ошибки накапливаются от фрагмента к фрагменту. Мы исправляем обе проблемы с помощью дистилляции с самообучением (self-forcing distillation). Во время обучения быстрый «студент» за несколько шагов генерирует целые видео фрагмент за фрагментом на основе собственного вывода, точно так же, как это будет происходить при использовании. Оригинальная модель полного клипа и второй, обучаемый «критик» оценивают это видео, и разница между их оценками говорит «студенту», как приблизиться к тому, что выдала бы модель полного клипа (дистилляция на основе сопоставления распределений, DMD). Модель полного клипа оценивает результат с акцентом на сигнал мыши, поэтому «студент» учится уверенно следовать за курсором без необходимости в дополнительных подсказках. Результат: каждый фрагмент занимает всего несколько шагов вместо двадцати, и модель стабильно работает на собственном выводе.
2. Режиссура актеров в реальном времени
Как только все расставлено, следующим шагом обычно является режиссура актеров. С помощью Enact люди на видео становятся актерами, с которыми можно разговаривать. Напишите или произнесите указание, например: «подойди ближе к ней», «расскажи ему, почему ты расстроен» или «сделай так, чтобы это была кухня ночью», и они исполнят это, пока видео продолжает идти.
Это имитирует опыт режиссуры на съемочной площадке несколькими важными способами:
- Общайтесь в разговорном стиле: дайте указание, и актеры выполнят его; поговорите с ними, и они ответят вам в рамках своих персонажей, своими собственными голосами. Видео генерирует изображение и звук в 1,75 раза быстрее, чем они воспроизводятся, поэтому взаимодействие происходит в режиме реального времени.
- Сначала репетиция, затем съемка. Работайте над исполнением итеративно. Давайте указания, просите актеров попробовать снова, и когда почувствуете, что все получилось, командуйте «Мотор!». Все, что вы отрепетировали, превращается в один чистый дубль, снятый заново с первого кадра.
- У актеров есть собственный разум и память. Каждый из них — это ИИ-агент с ярко выраженной индивидуальностью, собственной логикой и способностью мыслить и отвечать в рамках своего персонажа. Они помнят, что вам понравилось, что нет, и все, что произошло в сцене. Вам никогда не придется повторять указание или начинать все с нуля. Каждое взаимодействие основывается на предыдущем, благодаря чему персонажи кажутся более естественными, последовательными и живыми.
Данные
В процессе дистилляции модель реального времени обучается на самой Pika H3 Flex: она генерирует аудио-видеоклипы фрагмент за фрагментом из собственного вывода, и именно на оценке этих клипов полной моделью Pika H3 Flex она и обучается. Для получения дополнительной информации об обучающих данных, доступе к данным или индивидуальном обучении свяжитесь с нашей командой по адресу enterprise@pika.art.
Техническая архитектура
Live Direction — это агентная модель внутри Pika Enact, которая думает и действует одновременно. Она понимает, что вы имеете в виду, планирует, что должно произойти дальше, запоминает ваши указания и разыгрывает сцену вживую, объединяя изображение и голоса. Сценарная модель берет на себя мышление, а модель видео в реальном времени — исполнение. И пока вы разговариваете с агентом, представление никогда не останавливается.
От ваших указаний к тактам. Сценарная модель, языковая модель, считывает ваше указание вместе с начальным кадром и памятью агента о сессии, планирует, что должно произойти дальше, и передает это видеомодели в виде одного или нескольких тактов через вызовы инструментов. Такт — это краткая инструкция для видеомодели: кто движется, кто произносит реплику и с каким чувством, куда смотрит каждый человек, а также каковы освещение и обстановка. Когда в очереди ничего нет, сцена замирает, а люди дышат и моргают там, где вы их оставили.
Каузальная модель с самопринуждением. Мы дистиллируем H3 в каузальную модель с самопринуждением, используя тот же рецепт, что и для перетаскивания: она генерирует короткие фрагменты, которые учитывают только прошлое, повторно использует кэш пар «ключ-значение» и обучается на собственных прогонах с использованием дистилляции с сопоставлением распределений (DMD), сводя все к нескольким шагам шумоподавления на фрагмент. Каждый фрагмент видит первый кадр как якорь плюс последние несколько секунд, что сохраняет постоянство актерского состава и декораций на протяжении длинных дублей. Голоса актеров исходят из той же модели, что и изображение, без использования отдельного генератора голоса.
Сохранение сцены там, где вы ее оставили. У якоря есть побочный эффект: когда инструкции перестают меняться, модель дрейфует обратно к началу. Головы поворачиваются обратно к камере примерно через секунду, а приглушенный свет снова включается примерно через десять секунд. Поэтому каждый такт указывает, куда смотрит каждый человек, и как только освещение или обстановка меняются, Real-Time Director каждые несколько секунд добавляет короткие такты удержания, которые подтверждают это. Они никогда не появляются в вашем сценарии.
Репетиция и действие. Во время репетиции актеры знают, что камера включена, и разговаривают с вами, а каждая реплика — ваша и их — сохраняется слово в слово. Когда вы командуете «Мотор!», сценарная модель переписывает эту запись в одно непрерывное исполнение без диалогов, и дубль начинается снова с первого кадра.
3. Управление камерой в реальном времени
Компоновка кадра и движение камеры — это то, что превращает сцену в нечто кинематографичное. Pika Enact позволяет управлять виртуальной камерой с помощью мыши во время непрерывной генерации сцены — панорамирование, наезд для крупного плана или облет вокруг объектов.
- Вы управляете объективом в реальном времени. Перемещайте и перетаскивайте мышь во время воспроизведения потока, чтобы на лету регулировать углы камеры, перспективу и движение — формируя будущие кадры по мере развития сцены, вместо того чтобы ждать офлайн-рендеринга.
- Никакого существующего видео не требуется: в отличие от пост-обработки видео, которая изменяет существующий клип, система генерирует аудио и видео с нуля. Изображение внешнего вида закрепляет актерский состав и декорации, а легкий 3D-прокси движения (например, нетекстурированный вьюпорт Blender) направляет путь камеры.
- Она работает быстрее реального времени. На узле 8×NVIDIA B300 (640×480 при 24 кадрах в секунду) модель отрисовывает начальные кадры за 0,51 с и генерирует последующие фрагменты со скоростью 1,50× от реального времени, оставляя запас для захвата прокси и потоковой передачи.
Данные
Чтобы научить Pika H3 Flex тому, как свободное перемещение 3D-камеры влияет как на визуальную перспективу, так и на пространственную акустику, обучающие данные должны быть жестко синхронизированы вплоть до уровня кадра.
- Захват виртуальной звуковой сцены: мы создали автоматизированный конвейер синтеза «Blender-в-видео», который одновременно записывает траектории многоугольных камер, нетекстурированные эталонные потоки 3D-движения, целевые кадры RGB-видео и пространственные аудиодорожки в контролируемых 3D-средах.
- Строгая фильтрация качества: используя автоматизированные проверки оптического потока и перекрестную проверку идентичности кадров, мы отфильтровываем артефакты наложения и несоответствия объектов, сохраняя для обучения только пары с высоким соотношением сигнал/шум.
Техническая архитектура
Два этапа превращают офлайн-3D-контроль в живой, отзывчивый генератор камеры: полноэталонный учитель, который видит всю последовательность, и каузальный ученик, который генерирует фрагмент за фрагментом по мере того, как вы двигаете мышь.
От прокси движения к живым фрагментам. Во время потоковой передачи каузальный ученик считывает текущее окно движения 3D-камеры вместе с эталоном внешнего вида и своей собственной сгенерированной историей, продвигая ~0,71 секунды синхронизированного изображения и звука за фрагмент. Когда вы перемещаете виртуальную камеру, новые окна траектории немедленно направляют будущие кадры, не останавливая поток.
Каузальная модель с самопринуждением. Мы дистиллируем полноэталонного учителя H3 в каузального ученика, обученного на собственных прогонах с использованием дистилляции с сопоставлением распределений (DMD), сводя все к 3 шагам шумоподавления на фрагмент. Каждый фрагмент обращается к начальному кадру как к якорю плюс скользящему окну недавней истории с синхронизированными относительными позициями — сохраняя сходство персонажей и геометрию комнаты на протяжении длинных облетов при ограниченном объеме памяти.
Преодоление барьера реального времени. Чтобы ускорить генерацию выше скорости воспроизведения в реальном времени, мы кэшируем статические префиксы внешнего вида между фрагментами, повторно используем фиксированные макеты памяти и метаданные маршрутизации с нулевой численной потерей и декодируем латентные кадры через потоковый видеодекодер. Вместе это сокращает вычисления фрагментов в установившемся режиме до 0,473 с на каждые 0,708 с аудио-видео (1,50× от реального времени).
Что дальше
Enact — это предварительный взгляд на то, что происходит, когда видео «слушает» вас — и реагирует — во время воспроизведения. В наших собственных тестах мы были поражены тем, насколько более реальным и интуитивным кажется создание видео таким способом. Поэтому, хотя сейчас это только исследовательская версия, мы считаем, что это начало новой парадигмы творчества. Это непосредственность режиссуры в реальной жизни в сочетании с безграничными возможностями генеративных медиа.












