Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Reka inverse dynamics model dlya interaktivnyh modeley mira
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Reka Inverse Dynamics Model для интерактивных моделей мира

Источник: Reka AI•2 октября 2026 г. в 19:46

Reka Inverse Dynamics Model для интерактивных моделей мира

RIDM извлекает низкоуровневые команды, такие как движение вперед, вбок, поворот или наклон, из видео реального мира для интерактивных моделей мира. Модель полностью обучена на видеоиграх.

Веса модели (Apache 2.0): RekaAI/Reka-Inverse-Dynamics-Model on Hugging Face

Интерактивные модели мира отличаются от обычных. Они визуально более реалистичны и способны моделировать более сложные явления, такие как складывание материалов или скручивание полотенец. Внедряя цифровые копии в эти динамические среды, роботы могут выполнять команды посредством прямого взаимодействия.

Однако здесь есть сложность. Истинная интерактивность требует, чтобы модель мира точно реагировала на низкоуровневые команды (например, движение влево или вправо). Чтобы решить эту задачу, мы представляем Reka Inverse Dynamics Model (RIDM), которая извлекает низкоуровневые команды непосредственно из видеоданных реального мира, чтобы использовать их в качестве «подписей», описывающих физические изменения в последовательных кадрах.

RIDM — это компактная и эффективная модель, которая обрабатывает короткие клипы и извлекает низкоуровневые команды управления, такие как движение вперед, вбок, поворот или наклон. Несмотря на то, что модель полностью обучена на видеоиграх, благодаря отделению визуальных эффектов от движения, её прогнозы переносятся на видео из реального мира.

Прогнозируемая вероятность клавиши

  • Wвперед0.85
  • Aдвижение влево0.34
  • Sназад0.01
  • Dдвижение вправо0.76
  • Shiftходьба0.01

поворот (рыскание)16.9° влево

наклон (тангаж)1.4° вверх

Первое окно клипа

Данные

Мы записали игровой процесс в разрешении 1280 × 720 при 48 кадрах в секунду с 11 ключевыми командами, соответствующими действительности, движением мыши и точными углами камеры для каждого кадра. Аннотации предоставлены движком.

Модель

Наша модель отделяет визуальные эффекты от движения, проецируя входные данные в пространство оптического потока. Поскольку наша цель — использовать RIDM для автоматического аннотирования реальных видеозаписей, а не 3D-геймплея, метод должен переноситься с игр на реальный мир. Мы также сравниваем этот подход с прямым, работающим в пиксельном пространстве. Чтобы различать их, мы используем названия: модель на основе потока (flow-based) и модель на основе пикселей (pixel-based).

Обучение обеих моделей на случайных игровых записях также не сработает. Успешный подход требует фильтрации и передискретизации данных. Например, некоторые действия, такие как движение назад или стрейф вбок, встречаются гораздо реже, чем простое движение вперед. Соответствующая передискретизация помогает в изучении этих менее распространенных движений.

Обе модели компактны. Модель на основе потока имеет 2,8 млн (2 785 499) параметров; из них только 1,8 млн (1 795 337) обучаемых параметров и около 990 тыс. замороженных, что составляет RAFT-small. Модель на основе пикселей полностью обучаема и имеет около 9,8 млн (9 836 063) параметров.

Нажмите для просмотра · W A S D · Shift · стрелки

Пиксели · что видит камера

Оптический поток · что видит модель потока направление

Для этой интерактивной фигуры требуется WebGL, который отключен в этом браузере.

Метка · что записывает игра

WASDShift

Поворот0°/сНаклон0°/с

Движение вперед

Оценка

Мы протестировали обобщающую способность обоих подходов на видео, которые ни один из методов не видел во время обучения. Как и ожидалось, модель на основе потока работает лучше, при этом наибольший прирост достигается при переносе с игровых записей на видеоклипы из реального мира.

При оценке мы использовали три набора данных:

  • Видео реального мира с метками углов камеры,

Видео реального мира с метками углов камеры,

  • Реальные записи с GoPro,

Реальные записи с GoPro,

  • Синтетические 3D-игровые записи.

Синтетические 3D-игровые записи.

Обратите внимание, что наборы данных реального мира содержат только действия «вперед» и «поворот».

Каждый набор данных предполагает два вопроса; всего шесть различных конфигураций. Камера двигалась вперед или поворачивала? Если она поворачивала, то в какую сторону?

  • Модель на основе потока работает лучше в пяти из шести конфигураций,

Модель на основе потока работает лучше в пяти из шести конфигураций,

  • На видео из реального мира разрыв наиболее велик. Модель на основе потока получает 86 %, в то время как модель на основе пикселей — только 31 %,

На видео из реального мира разрыв наиболее велик. Модель на основе потока получает 86 %, в то время как модель на основе пикселей — только 31 %,

  • Пиксельная модель лучше предсказывает только направление поворота GoPro, и лишь на один клип.

Пиксельная модель лучше предсказывает только направление поворота GoPro, и лишь на один клип.

Таблица 1 — Сравнение двух моделей по шести различным конфигурациям оценки. Поскольку метки, полученные от датчиков, неточны в реальных наборах данных — «Реальное видео» и «GoPro» — мы вручную проверяли прогнозы для расчета точности. Для игровых записей мы используем доступные аннотации.

Данные оценки

Задача

Модель потока

Пиксельная модель

Реальное видео, 78 клипов

Вперед, поворот влево или вправо

85.9 %

30.8 %

Реальное видео, 47 клипов с поворотом

Поворот влево или вправо

91.5 %

51.1 %

GoPro, 72 клипа

Вперед, поворот влево или вправо

75.0 %

58.3 %

GoPro, 25 клипов с поворотом

Поворот влево или вправо

72.0 %

76.0 %

Игровые записи, 5216 пар потока и 5164 пиксельных пары

Вперед, поворот влево или вправо

84.5 %

77.5 %

Игровые записи, 3716 пар поворота потока и 3674 пиксельных пары

Направление поворота

84.9 %

70.9 %

Наша RIDM, конечно, иногда ошибается в некоторых ситуациях:

  • сообщает о ложных поворотах на статических и темных кадрах,

сообщает о ложных поворотах на статических и темных кадрах,

  • когда ей нужно разделить боковой шаг и противоположный поворот рыскания. Например, когда человек делает шаг вправо и одновременно поворачивает камеру влево,

когда ей нужно разделить боковой шаг и противоположный поворот рыскания. Например, когда человек делает шаг вправо и одновременно поворачивает камеру влево,

  • сообщает о клавишах ходьбы для камеры, которая стоит на месте и приближает/удаляет изображение,

сообщает о клавишах ходьбы для камеры, которая стоит на месте и приближает/удаляет изображение,

  • стабилизация камеры на записях с экшн-камер скрывает часть вращения.

стабилизация камеры на записях с экшн-камер скрывает часть вращения.

Мы считаем, что обучение на большем количестве данных, особенно на данных, содержащих эффекты камеры, такие как масштабирование или стабилизация, улучшило бы производительность модели в вышеуказанных случаях сбоев.

Визуализации

Мы показываем несколько эгоцентрических записей из реального мира вместе с прогнозами модели. Мы приводим как положительные прогнозы, так и сбои модели.

Прогнозируемая вероятность клавиши

  • Wвперед0.98
  • Aдвижение влево0.01
  • Sназад0.00
  • Dдвижение вправо0.78
  • Shiftходьба0.00

поворот (рыскание)5.2° влево

наклон (тангаж)1.4° вверх

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.00
  • Aдвижение влево0.03
  • Sназад0.12
  • Dдвижение вправо0.02
  • Shiftходьба0.83

поворот (рыскание)2.8° вправо

наклон (тангаж)1.5° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.05
  • Aдвижение влево0.10
  • Sназад0.03
  • Dдвижение вправо0.07
  • Shiftходьба0.78

поворот (рыскание)3.5° влево

наклон (тангаж)1.7° вверх

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.02
  • Aдвижение влево0.04
  • Sназад0.01
  • Dдвижение вправо0.01
  • Shiftходьба0.91

поворот (рыскание)1.4° вправо

наклон (тангаж)10.7° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.98
  • Aдвижение влево0.16
  • Sназад0.00
  • Dдвижение вправо0.12
  • Shiftходьба0.00

поворот (рыскание)3.6° влево

наклон (тангаж)1.3° вверх

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.02
  • Aдвижение влево0.33
  • Sназад0.02
  • Dдвижение вправо0.00
  • Shiftходьба0.69

поворот (рыскание)5.3° вправо

наклон (тангаж)1.3° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.00
  • Aдвижение влево0.01
  • Sназад1.00
  • Dдвижение вправо0.02
  • Shiftходьба0.00

поворот (рыскание)1.1° влево

наклон (тангаж)1.1° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.42
  • Aдвижение влево0.20
  • Sназад0.02
  • Dдвижение вправо0.23
  • Shiftходьба0.43

поворот (рыскание)48.8° влево

наклон (тангаж)2.3° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.42
  • Aдвижение влево0.05
  • Sназад0.01
  • Dдвижение вправо0.86
  • Shiftходьба0.08

поворот (рыскание)19.3° вправо

наклон (тангаж) 1.5° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.09
  • Aвлево0.13
  • Sназад0.03
  • Dвправо0.09
  • Shiftходьба0.64

поворот (рыскание) 5.9° влево

наклон (тангаж) 1.5° вниз

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.01
  • Aвлево0.12
  • Sназад0.56
  • Dвправо0.06
  • Shiftходьба0.22

поворот (рыскание) 5.0° влево

наклон (тангаж) 1.5° вверх

Первое окно клипа

Прогнозируемая вероятность клавиши

  • Wвперед0.06
  • Aвлево0.23
  • Sназад0.17
  • Dвправо0.12
  • Shiftходьба0.57

поворот (рыскание) 16.6° влево

наклон (тангаж) 1.7° вверх

Первое окно клипа

Дополнительно

Реальные видеоматериалы основаны на Wikimedia Commons, лицензированы CC BY 3.0.

Веса хранятся в формате safetensors и могут быть загружены по ссылке . Каждая папка также содержит config.json и inference.py.

  • Модель потока: flow/model.safetensors (7 189 300 байт)

Модель потока: flow/model.safetensors (7 189 300 байт)

  • Пиксельная модель: pixel/model.safetensors (39 353 324 байта)

Пиксельная модель: pixel/model.safetensors (39 353 324 байта)

Лицензия

Веса и код для вывода в этом репозитории выпущены под лицензией Apache License 2.0. Это относится только к весам модели Reka и коду. Пиксельная модель: автономна; веса сторонних моделей не требуются. Модель потока: требует оптического потока, вычисленного с помощью RAFT-small, который не включен в комплект и должен быть получен отдельно из Torchvision. Код Torchvision и RAFT распространяется по лицензии BSD-3-Clause. Предварительно обученные веса RAFT были обучены на наборах данных, которые подпадают под действие их собственных условий, что может ограничивать коммерческое использование. Вы несете ответственность за ознакомление с этими условиями и их соблюдение перед использованием модели потока в коммерческих целях. Мы не делаем никаких заявлений об их применимости. Эти модели предоставляются «как есть», без каких-либо гарантий.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
5 способов, которыми Amazon поддерживает сообщества США в 2026 году: от бесплатных обедов до доступного жилья
Amazon

5 способов, которыми Amazon поддерживает сообщества США в 2026 году: от бесплатных обедов до доступного жилья

OpenAI заключила соглашения с четырьмя независимыми оценщиками для усиления работы по безопасности компанииПресса
OpenAI

OpenAI заключила соглашения с четырьмя независимыми оценщиками для усиления работы по безопасности компании

Американские компании, от Nvidia до Apple, сталкиваются с растущей дилеммой в отношении Китая
Пресса
Apple

Американские компании, от Nvidia до Apple, сталкиваются с растущей дилеммой в отношении Китая

Как радары с низкими массогабаритными характеристиками и энергопотреблением делают сложнейшие датчики умнее
IBM

Как радары с низкими массогабаритными характеристиками и энергопотреблением делают сложнейшие датчики умнее

Бесконтактное измерение коробления стеклянных подложек: высокоточное измерение TTV и плоскостности
Keyence

Бесконтактное измерение коробления стеклянных подложек: высокоточное измерение TTV и плоскостности

Встраиваемый контроль геометрических параметров инструмента: бесконтактный 100% контроль диаметров концевых фрез и сверл
Keyence

Встраиваемый контроль геометрических параметров инструмента: бесконтактный 100% контроль диаметров концевых фрез и сверл

Ещё от Reka AI

За пределами распознавания: как наши модели рассуждают о видео
Reka AI

За пределами распознавания: как наши модели рассуждают о видео

RekaDaily-10k: сбор более 10 000 часов эгоцентрических данных о манипуляциях в домашних условиях
Reka AI

RekaDaily-10k: сбор более 10 000 часов эгоцентрических данных о манипуляциях в домашних условиях

Генерация видео в реальном времени
Reka AI

Генерация видео в реальном времени

Эволюция LLM: Omni-World Models
Reka AI

Эволюция LLM: Omni-World Models

Reka EdgeQ, На устройстве
Reka AI

Reka EdgeQ, На устройстве