27 октября 2026 г. Модели

Райя Хадселл (Raia Hadsell), Диего Ривас (Diego Rivas) и Ханг Ци (Hang Qi)

Сегодня мы анонсируем Genie 4 — нашу новую модель мира, которая обеспечивает беспрецедентный реализм и улучшает интерактивную симуляцию в реальном времени. Genie 4 является изначально мультимодальной, что позволяет одновременно с миром генерировать музыку, окружающие звуки и интерактивный диалог.

Модель Genie 4 включает и развивает возможности семейств Gemini: Gemini Omni обеспечивает реалистичный внешний вид и поведение в симуляциях, в то время как другие модели Gemini предоставляют сложные рассуждения, необходимые для поддержания согласованности и непрерывности симуляции.

Используя эту основу, вы можете запустить определенное событие, а Genie 4 смоделирует то, что произойдет дальше: как мир отреагирует, какие звуки издаст, и как находящиеся в нем люди будут двигаться, реагировать и говорить.

Понимание и симуляция мира — важнейший аспект создания AGI. Genie 4 расширяет наши возможности по созданию безопасных, бесконечно вариативных симуляций, которые могут помочь во всем: от разработки обучающих сред для роботов и агентов до создания новых интерактивных впечатлений.

Мы начали внедрение Genie 4 в качестве исследовательского превью для доверенных тестеров, собирая отзывы перед тем, как выпустить модель для пользователей и разработчиков. Первыми доступ получат подписчики Google AI Ultra в рамках Project Genie, а также партнеры по раннему доступу к Gemini API и Google AI Studio. Присоединяйтесь к листу ожидания Genie 4 в Project Genie here.

Genie 4 обеспечивает улучшенный фотореализм, плавность движений и встроенный звук. Все сопутствующие звуки, представленные выше, созданы непосредственно моделью Genie 4.

Genie 4 развивает четыре ключевые возможности

Ниже представлены записи интерактивных сеансов в реальном времени с использованием Genie 4, где пользователи управляют навигацией и камерой с помощью обычной клавиатуры, а сцену по мере ее развития направляют с помощью текстовых подсказок.

Формирование симуляции мира в реальном времени

С помощью Genie 4 вы можете использовать естественный язык для изменения симуляции в реальном времени — например, изменять погоду, перемещать камеру или добавлять нового человека или объект, — а Gemini будет контекстно адаптировать вашу подсказку под окружающую сцену. Между вашими вводами Gemini также следит за сценой и направляет ее, чтобы мир продолжал развиваться согласованно.

Новые рубежи реализма в физике и действиях людей

Genie 4 устанавливает новый стандарт реализма для интерактивной симуляции в реальном времени. Основываясь на продвинутом физическом понимании мира, Genie 4 симулирует физические сценарии реального мира, такие как аэродинамика, столкновения и многое другое.

Самым впечатляющим скачком является то, как Genie 4 симулирует людей, создавая персонажей, которые двигаются естественно, органично реагируют на свое окружение и которыми можно интерактивно управлять в реальном времени.

Моделирование звуков окружающего мира

Genie 4 — наша первая модель мира реального времени, способная генерировать звук нативно. Каждый мир наполнен фоновыми звуками своего окружения: от шума ветра в деревьях до прибоя на пляже.

Однако настоящим рубежом является человеческая речь. Genie 4 представляет интерактивный диалог, который адаптируется на лету. Персонажи общаются и реагируют на ваши действия или события в мире в режиме реального времени.

Симуляция сложных событий с помощью моделей Gemini

Объединение Gemini и Genie 4 добавляет новый уровень рассуждений в симуляцию мира, позволяя моделировать сложные многоэтапные события и проверять, как системы ИИ ориентируются в различных средах, прежде чем переносить их в реальный мир.

Для достижения этого в реальном времени Gemini 3.8 Flash выступает в роли направляющего агента в цикле: пока Genie 4 генерирует мир в реальном времени, Gemini непрерывно наблюдает за сценой, разбивает цели на последовательность шагов и анализирует поступающие кадры, чтобы отслеживать прогресс и проверять успешность каждого шага. По мере изменения мира или вмешательства пользователя Gemini мгновенно адаптирует свой план, открывая миры с надежной причинно-следственной связью, процедурным поведением и многоэтапными рассуждениями.

В рамках изучения этой возможности мы также экспериментировали с Gemini 4 Argon и Genie 4, чтобы объединить наши передовые исследования с Gemini Robotics.

В примере ниже Argon разбивает поставленную пользователем задачу на шаги для визуализации в Genie. Эти шаги чередуются в виде текстовых подписей для Genie 4 по мере рендеринга симуляции. Поскольку Genie 4 можно управлять в реальном времени с помощью текстовых подсказок с использованием Gemini, это открывает возможность адаптации симуляции по мере ее продвижения к выполнению задачи. Эта способность становится путем для симуляции множества сценариев в воображаемых мирах с использованием Gemini 4 Argon и Genie 4.

Gemini 4 Argon и Genie 4 работают вместе, чтобы смоделировать, как гуманоид Apollo от Apptronik играет в шашки, разбивая задачу на шаги в реальном времени.

Выводы от доверенных тестеров

Хотя Genie 4 является важной вехой в исследованиях, она остается ранней экспериментальной моделью. Чтобы понять, как интерактивные модели мира могут поддерживать рабочие процессы в реальном времени и в каких аспектах им еще нужно развиваться, мы работали с группами доверенных тестеров из творческих индустрий, журналистики, образования, геймдева и инженерии.

Тестеры отметили, как скачок в фотореалистичности, нативном звуке и управлении в реальном времени позволяет превращать идеи и концепции в реалистичные симуляции, открывая новые возможности в различных дисциплинах:

Творческое руководство: Создатели контента и технологи тестируют Genie 4 в качестве быстрого «режима черновика» для предварительной визуализации и генерации идей. Например, кинорежиссеры могут погрузиться в живую симуляцию сцены и сделать несколько «дублей» в реальном времени, на лету настраивая углы обзора камеры, освещение, диалоги и действия.
Исторические сценарии и иммерсивные фотографии: Фотожурналисты изучают, как одна двумерная архивная фотография может за секунды превратиться в достоверную симуляцию этой среды. Команды тестируют, как насыщенные, динамичные миры могут помочь прочувствовать исторические пространства или визуализировать то, как развиваются краткосрочные экологические события, такие как внезапное наводнение или лесной пожар.
Концептуальный дизайн интерактивного опыта: Разработчики игр и креативные технологи тестируют Genie 4 для быстрого превращения первоначальной идеи в доступный для исследования прототип за считанные секунды, тестируя визуальные стили, эстетику материалов и интерактивную механику с помощью текстовых подсказок до написания хотя бы одной строки кода движка.
Симуляция: Помимо наших исследований в области робототехники, корпоративные партнеры из разных отраслей оценивают Genie 4 как инструмент для быстрой генерации сценариев «с нуля» и выявления пробелов для дальнейшего улучшения Genie с целью наилучшего удовлетворения этих потребностей в симуляции.

Будущие исследования: На пути к гибридным моделям мира

Перспективным путем для дальнейшего прогресса являются гибридные модели мира, которые объединяют логические, структурированные рассуждения моделей кода и языка с богатым сенсорным представлением симуляции на уровне пикселей.

Сближение моделей Genie и Gemini — это первый шаг в этом направлении. Gemini работает за кулисами, сопоставляя структуру и планируя хронологию повествования, в то время как Genie создает непосредственную физическую реальность, визуализируя то, как мир выглядит, звучит и реагирует, пиксель за пикселем. Вместе эти взаимодополняющие сильные стороны могут открыть новый класс моделей мира, которые гораздо более согласованы, управляемы и обоснованы, чем любой из подходов мог бы достичь в одиночку.

Ответственная разработка моделей мира

Genie 4 знаменует собой новое направление передовых исследований, объединяющих генерацию в реальном времени и фотореализм, открывая новые возможности и измерения, которые мы хотим внедрять и исследовать ответственным образом. Genie 4 включает в себя строгие защитные механизмы, соответствующие нашей политике безопасности для других моделей. Перед запуском этой предварительной версии мы провели строгую внутреннюю оценку безопасности Genie 4, чтобы предотвратить создание вредоносного или опасного контента. Кроме того, мы намеренно сначала предоставили ее проверенным партнерам-тестировщикам для получения ранних отзывов, прежде чем выпускать модель более широко.

Для обеспечения прозрачности все видео и аудио, созданные Genie 4, будут содержать SynthID — нашу технологию незаметного цифрового водяного знака, которая помогает идентифицировать контент, созданный ИИ, в визуальных и аудиоформатах.

Понимание текущих ограничений

Genie 4 остается ранней, развивающейся областью исследований.

Хотя она может поддерживать согласованность окружения в течение коротких сеансов, визуальные детали и постоянство объектов все еще могут меняться или смещаться со временем — особенно по мере увеличения продолжительности симуляции, после многочисленных сложных изменений промптов или при навигации по сцене. Сложные физические взаимодействия, точность звука в реальном времени, рендеринг разборчивого текста, пространственная точность и долгосрочная согласованность являются сферами активных продолжающихся исследований. Мы делимся Genie 4 в качестве предварительной версии, чтобы учиться вместе с нашим сообществом и безопасно продвигать границы интерактивного моделирования.

Следующие шаги для Genie 4

Genie 4 была выпущена в качестве предварительной исследовательской версии для проверенных тестировщиков, а вскоре появится для подписчиков Google AI Ultra в Project Genie и партнеров с ранним доступом в Gemini API и Google AI Studio. Присоединяйтесь к листу ожидания Genie 4 в Project Genie .

Мы с нетерпением ждем момента, когда пользователи смогут погрузиться в процесс, поэкспериментировать и вскоре создать свои собственные интерактивные миры.

Благодарности

Создание Genie 4 стало возможным благодаря ключевому вкладу Хан ЦИ (Hang Qi), Диего Риваса (Diego Rivas), А Александера Холынского (Aleksander Hołyński), Инбара Моссери (Inbar Mosseri), Джека Паркера-Холдера (Jack Parker-Holder), Шломи Фрухтера (Shlomi Fruchter), Теджаса Кулкарни (Tejas Kulkarni), Джеймса Ассиене (James Assiene), Филипа Болла (Philip Ball), Якоба Бауэра (Jakob Bauer), Эдди Цао (Eddie Cao), Люси Чай (Lucy Chai), Харриса Чана (Harris Chan), Клеопатры Хациприму (Kleopatra Chatziprimou), Хао Чена (Hao Chen), Йони Шукруна (Yoni Choukroun), Марка Кольера (Mark Collier), Энрика Короны (Enric Corona), Кертиса Дэвида (Kurtis David), Ариэля Эфрата (Ariel Ephrat), Максима Газо (Maxime Gazeau), Руйци Гао (Ruiqi Gao), Челси Гловер-Одом (Chelsee Glover-Odom), Лянке Гуи (Liangke Gui), Сварупа Гунтупалли (Swaroop Guntupalli), Шань Ханя (Shan Han), Тинбо Хоу (Tingbo Hou), Ири Грона (Jiri Hron), Хуэй Хуана (Hui Huang), Дрю А. Хадсона (Drew A. Hudson), Чжоуюаня Хуо (Zhouyuan Huo), Линьи Цзинь (Linyi Jin), Хрестоса Капланиса (Christos Kaplanis), Дхрупада Карвы (Dhrupad Karwa), Ынён Ким (Eunyoung Kim), Конгтао Куанга (Congtao Kuang), Элиота Лейдлоу (Eliot Laidlaw), Хосе Лезамы (José Lezama), Хао Ли (Hao Li), Шуан Ли (Shuang Li), Юйчэня Лю (Yuchen Liu), Ханзи Мао (Hanzi Mao), Марка Мэтьюза (Mark Matthews), Мэтта МакГилла (Matt McGill), Кэй МакКинни (Kay McKinney), Рикардо Монти (Ricardo Monti), Марка Мерфи (Mark Murphy), Джозефа Ортиса (Joseph Ortiz), Рони Пайсса (Roni Paiss), Франка Пербе (Frank Perbet), Бена Пула (Ben Poole), Таля Рейсса (Tal Reiss), Константиноса Рематаса (Konstantinos Rematas), Гая Скалли (Guy Scully), Джереми Шара (Jeremy Shar), Шашанка Шастри (Shashank Shastry), Шри С (Sri S), Омера Това (Omer Tov), Рубена Вильегаса (Ruben Villegas), Андрея Войнова (Andrey Voynov), Хунцзе Ван (Hongjie Wang), Луюй Ван (Luyu Wang), Каустубха Сридхара (Kaustubh Sridhar), Мо Самсами (Mo Samsami), Стивена Спенсера (Stephen Spencer), Юйфэй Ван (Yufei Wang), Уилла Уитни (Will Whitney), Рынди Ву (Rundi Wu), Джойс Цзинцзин Се (Joyce (Jingjing) Xie), Джесси Инь (Jesse Yin), Ширан Зада (Shiran Zada), Серены Чжан (Serena Zhang), Сяофань Чжан (Xiaofan Zhang), Чжэнци Ли (Zhengqi Li), Чжисина Чжана (Zhixing Zhang), Юаня Чжуна (Yuan Zhong), Шуо-иина Чана (Shuo-yiin Chang), Дмитрия Лагуна (Dmitry Lagun), Ронни Хуанга (Ronny Huang), Яо Су (Yao Su), Анкуша Гупты (Ankush Gupta), Генчжи Е (Genzhi Ye), Хаолинь Цзя (Haolin Jia), Вэйцина Вана (Weiqin Wang), Си Сюна (Xi Xiong), Салаха Заиема (Salah Zaiem), Кэрол Чжэн (Carol Zheng).

Создание Genie 4 также потребовало тесного сотрудничества между партнерскими командами, и мы благодарим всех наших кросс-функциональных партнеров, благодаря которым этот запуск стал возможным: Дину Башкирову (Dina Bashkirova), Эмиля Бергнера (Emil Bergner), Грету Бориско (Greta Borisko), Ирину Блок (Irina Blok), Мелиссу Бюн (Melissa Byun), Гейба Клаппера (Gabe Clapper), Вирала Карпентера (Viral Carpenter), Майкла Й. Чана (Michael Y. Chang), Максимо Кудича-Сьюбургера (Maximo Cudich-Sieburger), Хлою Доан (Chloe Doan), Алису Фортин (Alisa Fortin), Шивани Гханту (Shivani Ghanta), Викрама Гопали (Vikram Gopali), Эзру Гормана (Ezra Gorman), Кьятти Гупту (Khyatti Gupta), Сэма Хасиноффа (Sam Hasinoff), Филиппа Хенцлера (Philipp Henzler), Гектора Хинестрозу (Hector Hinestroza), Эда Хирста (Ed Hirst), Тайлера Холланда (Tyler Holland), Кристиана Хольсхаймера (Kristian Holsheimer), Тиффани Ху (Tiffany Hu), Капила Джоши (Kapil Joshi), Рандипа Катари (Randeep Katari), Павана Кумара (Pavan Kumar), Викхьята Кумерию (Vikhyat Kumeria), Сэма Кваалена (Sam Kvaalen), Мэтью Левина (Matthew Levine), Иньсяо Ли (Yinxiao Li), Ючи Лю (Yuchi Liu), Мяо Луо (Miao Luo), Ника Матарезе (Nick Matarese), Канфу Мэя (Kangfu Mei), Сигне Нёрли (Signe Nørly), Мойсеса Оливейру (Moises Oliveira), Эрика Паски (Eric Paskie), Манику Пури (Manika Puri), Сюзанну Рикко (Susanna Ricco), Андрея Рябцева (Andrey Ryabtsev), Кая Шуманна (Cai Schumann), Николь Брихтову (Nicole Brichtova), Энди Секиере (Andy Sekyere), Грейс Ших (Grace Shih), Мелиссу Смит (Melissa Smith), Данкана Нобла Смита (Duncan Noble Smith), Кенду Стюарт (Kenda Stewart), Рода Строуго (Rod Strougo), Дженн Стерджен (Jenn Sturgeon), Эми Цзэн (Amy Zeng), Габи Перл (Gaby Pearl), Элеонору Томлинсон (Eleanor Tomlinson), Кеньона Уотсона (Kenyon Watson), Инеш Айер (Inês Ayer), Люка Талбота (Luke Talbot), Хан-Юнь Цао (Han-Yun Tsao), Гийома Вернада (Guillaume Vernade), Карен Ван (Karen Wang), Чанчан Ву (Changchang Wu), Иэна Уилкинсона (Ian Wilkinson), Вэйцзюань Си (Weijuan Xi), Дженнифер Йик (Jennifer Yick), Юньхань Чжао (Yunhan Zhao), Эрика Чжана (Eric Zhang), Джейсона Чжана (Jason Zhang), Энни Чжоу (Annie Zhou), Джеймса Чжоу (James Zhou), Криса Уокера (Chris Walker), Алана Яма (Alan Yam), Алекса Чена (Alex Chen), Клиффа Лунгаретти (Cliff Lungaretti), Дэна Мотценбекера (Dan Motzenbecker), Калояна Колева (Kaloyan Kolev), Мэтью Кэри (Matthew Carey), Нейта Цукера (Nate Zucker), Сэма Лоутона (Sam Lawton), Шашвата Сантоша (Shashwath Santosh), Сью Чэмберс (Suz Chambers).

Спасибо Райе Хадселл (Raia Hadsell), Аарону ван ден Оорду (Aäron van den Oord), Джошу Вудварду (Josh Woodward), Стиву Зайтцу (Steve Seitz), Карлосу Эрнандесу (Carlos Hernandez), Элиасу Роману (Elias Roman), Юнг Е. Ким (Jung E. Kim), Абхишеку Бапне (Abhishek Bapna), Эли Коллинзу (Eli Collins), Тулси Доши (Tulsee Doshi), Каролине Параде (Carolina Parada), Цзе Тан (Jie Tan), Кораю Кавукчоглу (Koray Kavukcuoglu) и Демису Хассабису (Demis Hassabis) за их ценные советы и поддержку на протяжении всего исследовательского процесса.

Наконец, мы благодарим наших проверенных тестировщиков и пользователей с ранним доступом, которые оставили отзывы, помогшие направить наши исследования вперед.