Добро пожаловать в The Blueprint — регулярную рубрику, в которой мы рассказываем о том, как клиенты Google Cloud решают уникальные и типичные задачи в различных отраслях с помощью новейших технологий искусственного интеллекта и облачных вычислений. Мы надеемся вдохновить тех, кто стремится к инновациям в своей работе.
ИИ стремительно преобразует производство видео практически на каждом этапе процесса: от зарождения идеи и раскадровки до съемок, монтажа и релиза. В Mito мы стремимся сделать создание видео на основе ИИ доступным для каждого — от независимых художников до крупных предприятий, помогая им извлекать максимум пользы из лучших доступных творческих технологий.
Проблема
Когда мы только основали Mito, нашей целью было устранить сложные технические препятствия, которые мешают авторам рассказывать длинные нарративные истории с помощью генеративного ИИ.
Однако переход от одного пятисекундного клипа к целостной кампании — такой как 120-секундный национальный телевизионный ролик для Movistar Plus+ (подразделения Telefónica), транслировавшийся по всей Испании во время летнего Чемпионата мира — выявил масштабные узкие места в инфраструктуре и рабочих процессах:
- Накладные расходы на медиафайлы и рабочие процессы: управление локальными медиабиблиотеками на отдельных рабочих станциях оказалось не масштабируемым. Только для Movistar наше производство потребовало создания огромного «айсберга» из более чем 5000 материалов (1000 из которых — видео), сгенерированных примерно за 60–65 итераций.
Накладные расходы на медиафайлы и рабочие процессы: управление локальными медиабиблиотеками на отдельных рабочих станциях оказалось не масштабируемым. Только для Movistar наше производство потребовало создания огромного «айсберга» из более чем 5000 материалов (1000 из которых — видео), сгенерированных примерно за 60–65 итераций.
- Отсутствие совместной работы в реальном времени: традиционные циклы обратной связи требовали ручной загрузки, выгрузки на Google Drive и фрагментированного общения через мессенджеры и электронную почту.
Отсутствие совместной работы в реальном времени: традиционные циклы обратной связи требовали ручной загрузки, выгрузки на Google Drive и фрагментированного общения через мессенджеры и электронную почту.
- Задержка рендеринга: стандартный рендеринг видео с помощью ИИ занимает от четырех до пяти минут на один короткий клип. Запуск этих процессов в синхронном режиме замораживал наш пользовательский интерфейс и тормозил творческий процесс.
Задержка рендеринга: стандартный рендеринг видео с помощью ИИ занимает от четырех до пяти минут на один короткий клип. Запуск этих процессов в синхронном режиме замораживал наш пользовательский интерфейс и тормозил творческий процесс.
- Различия моделей и согласованность: каждая генеративная модель требует своей логики составления промптов. Поддержание постоянства персонажей, определенного освещения и ракурсов камеры в десятках кадров при сохранении портретного сходства с реальными публичными личностями (такими как шеф-повар Ферран Адриа или журналист Хуанма Кастаньо) было практически невозможно без централизованной оркестрации.
Различия моделей и согласованность: каждая генеративная модель требует своей логики составления промптов. Поддержание постоянства персонажей, определенного освещения и ракурсов камеры в десятках кадров при сохранении портретного сходства с реальными публичными личностями (такими как шеф-повар Ферран Адриа или журналист Хуанма Кастаньо) было практически невозможно без централизованной оркестрации.
- Ограничения пропускной способности: работа с публичными API моделей по модели pay-as-you-go делала нас уязвимыми к лимитам запросов и региональному троттлингу пропускной способности в часы пиковых нагрузок.
Ограничения пропускной способности: работа с публичными API моделей по модели pay-as-you-go делала нас уязвимыми к лимитам запросов и региональному троттлингу пропускной способности в часы пиковых нагрузок.
Решение
Чтобы предоставить кинематографистам бесконечный творческий холст в реальном времени, мы разработали бессерверную асинхронную архитектуру на базе Google Cloud.
Мы запускаем наши API, ИИ-директора и фоновые процессы в виде Java-сервисов на Cloud Run, который масштабируется в зависимости от объема запросов.
Для решения проблем с маршрутизацией сообщений мы отделили выполнение задач друг от друга, используя Google Cloud Pub/Sub в качестве центральной шины событий. Генерация видео, занимающая много времени, перекладывается на фоновые воркеры Cloud Run, что позволяет создателям продолжать работу на холсте интерфейса без прерываний.
Чтобы минимизировать задержки, медиафайлы хранятся в Google Cloud Storage и доставляются через Cloud CDN. Подписи с ограниченным сроком действия обеспечивают строгую конфиденциальность материалов клиента до их релиза. Хранение данных рядом с моделями, к которым мы обращаемся через Vertex AI, снижает задержки при передаче по сети.
Изолированная архитектура баз данных помогает справляться со сложными задачами бизнес-аналитики и аналитики, одновременно снижая потенциальное негативное влияние на производительность производства благодаря Cloud SQL и PostgreSQL. Мы активно используем базовые модели, такие как Omni, Veo и Nano Banana, к которым получаем доступ через Vertex AI наряду с нашими кастомными системными промптами.
Наконец, наш структурированный интерфейс холста реализует «Правило 6» (ограничивающее переменные промптов для мира, камеры, света, текстуры, действий и персонажей) и отдает приоритет генерации статичных кадров перед рендерингом видео для максимальной экономической эффективности.
Архитектура
Результат
Объединив нашу платформу творческой оркестрации с инфраструктурой Google Cloud, мы успешно реализовали знаковую национальную вещательную кампанию, которую производственная группа описывает как созданную на 95% с помощью ИИ:
- Масштаб прайм-тайма: 120-секундная кампания Movistar для сборной Испании транслировалась на всех ведущих телеканалах Испании, а на момент запуска на едином общем Холсте было доступно 1441 активных материалов.
Масштаб прайм-тайма: 120-секундная кампания Movistar для сборной Испании транслировалась на всех ведущих телеканалах Испании, а на момент запуска на едином общем Холсте было доступно 1441 активных материалов.
- ИИ-директор (копилот): наш диалоговый агент преобразует инструкции на естественном языке в точные параметры модели, сохраняя при этом контекст, освещение и визуальный стиль в каждой сцене.
ИИ-директор (копилот): наш диалоговый агент преобразует инструкции на естественном языке в точные параметры модели, сохраняя при этом контекст, освещение и визуальный стиль в каждой сцене.
- Бесшовная совместная работа: распределенные команды и клиенты могут работать на одном холсте в реальном времени. Поскольку новые варианты сохраняются как отдельные ассеты, а не перезаписывают предыдущие, стейкхолдеры могут дублировать проекты для изучения параллельных творческих идей.
Бесшовная совместная работа: распределенные команды и клиенты могут работать на одном холсте в реальном времени. Поскольку новые варианты сохраняются как отдельные ассеты, а не перезаписывают предыдущие, стейкхолдеры могут дублировать проекты для изучения параллельных творческих идей.
- Непрерывное внутреннее тестирование: через нашу собственную студию Mito Films мы испытываем наши инструменты на ответственных клиентских проектах — будь то глобальные телевизионные ролики или презентации для ведущих робототехнических стартапов — гарантируя, что обратная связь напрямую поступает в инженерный отдел.
Непрерывное внутреннее тестирование: через нашу собственную студию Mito Films мы испытываем наши инструменты на ответственных клиентских проектах — будь то глобальные телевизионные ролики или презентации для ведущих робототехнических стартапов — гарантируя, что обратная связь напрямую поступает в инженерный отдел.
- Основа с заделом на будущее: наша архитектура готова к тому, чтобы время рендеринга сократилось с минут до секунд, что позволит Mito работать с грядущими мировыми моделями, более глубокими состояниями памяти и персонализированной доставкой контента.
Надежная основа на будущее: наша архитектура подготовлена к тому, чтобы время рендеринга сократилось с минут до секунд, что позволяет Mito работать с будущими мировыми моделями, более глубокими состояниями памяти и персонализированной доставкой контента.
Детали
Создание платформы корпоративного уровня для создания историй с помощью ИИ потребовало решения ряда внутренних и творческих задач. Сюда входит создание нами виртуальной системы очередей, которая смягчает ограничения частоты запросов к сторонним API во время пиковых нагрузок для обеспечения плавной обработки запросов с ограниченным числом повторных попыток и четким результатом для каждой задачи.
Поскольку творческий результат нельзя полностью проверить с помощью стандартных модульных тестов, мы создали инструмент автоматической оценки на базе Gemini. Выступая в роли независимого судьи, он оценивает результаты работы ИИ-режиссера на соответствие исходным намерениям пользователя с помощью набора автоматических тестов, которые мы запускаем наряду со стандартными тестами для критически важных изменений в работе Режиссера.
Мы с самого начала знали, что нам потребуется многомодельная интеллектуальная маршрутизация. Поэтому мы создали ИИ-режиссера для динамической координации задач между несколькими специализированными моделями — включая Sonnet, Gemini и ElevenLabs для работы со звуком, — рассматривая пространственный холст как репозиторий живого кода для вывода смежных контекстных подсказок.
Нам также нужно было принять «несовершенную эстетику», чтобы прийти к более аутентичному результату. В нашем ролике для Movistar история рассказывает о Томми, 17-ственном студенте, делающем видеопроект с помощью ИИ. В кульминационный момент ИИ неверно понимает подсказку, из-за чего тренер Луис де ла Фуэнте произносит «В одном молочном коктейле», держа в руках напиток. Томми прямо во время воспроизведения меняет подсказку на «В одном сердцебиении», и видео мгновенно перекалибруется.
Включив сюрреалистические визуальные элементы — например, трибуны стадиона, встроенные в скалы Галисии, или районный бар, покрытый футбольной травой, — мы продемонстрировали, как генеративный ИИ может улучшить человеческое повествование, а не затмевать его.
- Медиа и развлечения
- ИИ и машинное обучение
- Клиенты
