FLUX 3 Action: 7B World Action Model для управления роботами

Изображения, видео и аудио представляют собой различные аспекты лежащей в основе реальности. Обучение на этих модальностях позволяет нам использовать гораздо более широкие источники данных, чем одни лишь демонстрации действий, что ведет к лучшей генерализации. Затем мы адаптируем эту фундаментальную модель с помощью совместного видео-действенного обучения и дообучения для целевого форм-фактора и соответствующего ему пространства действий.

В робототехнике методика дообучения имеет не меньшее значение, чем веса. Мы публикуем этот отчет вместе с весами, чтобы сделать данный процесс прозрачным: от фаз предварительного и промежуточного обучения до дообучения и оптимизации инференса для предсказания действий, где эффективность в особенности является критически важным и необходимым свойством для локального развертывания. Кроме того, мы анализируем гибридные системы, которые сочетают быстрое предсказание действий с возможностями планирования передовых моделей рассуждений, и обнаруживаем, что быстрое управление делает рассуждения воплощенных систем более экономически эффективными по затратам и времени — до 53,64% больше успешных результатов на доллар.

В центре внимания данного отчета находится предсказание действий применительно к робототехнике, однако предсказание действий распространяется и на цифровые среды. Мы исследуем игры в качестве полигона для навигации, предвосхищая агентов, использующих компьютер, и других чувствительных к задержкам агентов, а также возможности планирования, управляемые визуальной информацией.

Политики действий

Существующие открытые политики действий в настоящее время заставляют делать выбор: World Action Models (WAMs), которые предсказывают будущие действия совместно с видео, лидируют в бенчмарках, таких как RoboLab⁠. Cosmos 3 Nano успешно справляется с 36,8% задач, в то время как Pi0.5, сильнейшая открытая модель Vision Language Action (VLA), показывает результат в 28,0%. Но предсказание видео вместе с действиями делает WAMs дорогими. На GPU B200 модель Cosmos 3 Nano в формате FP8 требует примерно в 4,7 раза больше времени обработки на секунду движения робота, чем Pi0.5 в формате BF16. Выбирая WAM, вы платите задержками и затратами на аппаратное обеспечение; выбирая VLA, вы отказываетесь примерно от четверти успешных запусков.

Совместное выполнение предсказаний для видео и действий позволяет WAMs переносить свое понимание мира, полученное в ходе масштабного предварительного обучения на видео, на предсказание действий при ограниченном объеме дополнительных контролируемых данных о действиях. Но это также приводит к большой длине последовательностей, что увеличивает их вычислительные затраты. Кроме того, они часто полагаются на методы гайданса (guidance), которые удваивают стоимость каждого прямого прохода, и работают на бэкбонах с большим количеством параметров (например, у Cosmos 3 на 4,85x больше параметров по сравнению с Pi0.5). Существующие решения пытаются ограничить взаимодействие между видео и действиями, но при этом кардинально меняют архитектуру и возможности WAMs. Другие подходы полагаются на распараллеливание гайданса, но это ведет к росту затрат на железо и даже в этом случае не достигают скорости VLA из-за вычислительного следа их более крупных архитектур.

FLUX 3 Action (F3A) упрощает этот выбор. Наш одношаговый чекпоинт с 7 миллиардами параметров превосходит любую другую открытую политику на RoboLab с результатом 38,3% ± 0,38 против 36,8% у Cosmos 3 Nano, демонстрируя при этом улучшение скорости на секунду движения робота от 1,34x до 2,28x по сравнению с Pi0.5 на GPU рабочих станций и дата-центров, несмотря на то, что он по-прежнему прогнозирует видео и действия совместно. Обратите внимание, что это преимущество в скорости выражается в факторе реального времени, а не в задержке на один вызов: будучи WAM, модель может предсказывать более длинный горизонт движения в 2,13 с по сравнению с 1,0 с у Pi0.5. Когда задержка имеет меньшее значение, наш чекпоинт с дистилляцией гайданса поднимает уровень современного состояния (state-of-the-art) успешности на RoboLab до 42,2% ± 0,36. Наши базовые и дистиллированные по гайдансу чекпоинты в FP8 обеспечивают ускорение в 1,52x–3,95x по сравнению с Cosmos 3 Nano в FP8 на потребительских GPU, GPU рабочих станций и дата-центров.

К таким результатам привели два основных изменения: во-первых, бэкбон размером менее половины Cosmos 3 Nano, что стало возможным благодаря нашему мультимодальному предварительному обучению Self-Flow, обеспечивающему мощные представления. Во-вторых, дистилляция, которая устраняет необходимость в проходе гайданса и сокращает количество шагов семплирования до одного, не разделяя видео и действия.

Хотя это сдвигает границу Парето политик действий по оси скорости и точности, все еще остаются задачи, которые все политики, включая нашу, не могут решить самостоятельно. GPT 6 Astra, с другой стороны, способна решать все задачи в бенчмарке Su et al. (2026) при использовании максимальных усилий для рассуждений. Но один вызов рассуждения добавляет около 35,77 секунды на каждую секунду движения робота, а каждый успех в среднем обходится в $13,47 и занимает 16 минут. Для сравнения, F3A сама по себе тратит 21,08 миллисекунды на секунду движения робота, а каждый успех стоит $0,09 и занимает в среднем менее двух минут при работе на GPU H200 стоимостью $3 в час. Большую часть этих двух минут F3A бездействует, ожидая движения робота. В таких условиях F3A могла бы одновременно обслуживать еще 47 запусков без дополнительных затрат. Главный нюанс заключается в том, что она не может решить каждую отдельную задачу.

Многообещающим решением является позволить модели рассуждений, GPT 6 Astra, делегировать управление эффективной политике, такой как F3A или Pi0.5, и вмешиваться только при необходимости. В условиях бенчмарка Su et al. (2026) такая гибридная политика почти не улучшает ситуацию при использовании Pi0.5. Лучший гибрид обходится в $12,28 за успешное выполнение против $13,47 для чистых рассуждений и занимает 13,5 минут вместо 14.

Однако с F3A в качестве политики эта стратегия делегирования приносит свои плоды. Гибридная политика по-прежнему решает 90% всех эпизодов, включая сложные задачи, которые ни одна политика чистых действий не может решить в одиночку, и снижает затраты до $8,77 и 8 минут на один успех, что делает ее на 29% дешевле и на 40% быстрее альтернативной конфигурации с наилучшими показателями. Чистые рассуждения с максимальными усилиями по-прежнему достигают наивысшей точности, поэтому компромисс между надежностью и стоимостью сохраняется, но улучшенные политики вроде F3A меняют положение этого компромисса.

Чем лучше быстрая политика, тем меньше системе приходится рассуждать. Эти исследования — лишь первый взгляд на более глубокую интеграцию систем рассуждений и быстрого предсказания действий, и мы ожидаем, что здесь есть огромный простор для улучшения в сторону использования ровно такого объема рассуждений, который необходим, и как можно меньшего их количества. Далее мы описываем разработку FLUX 3 Action и наши находки на этом пути.

От предсказания видео к предсказанию действий

Идея использования прогностических моделей будущих наблюдений для принятия решений имеет долгую историю, включая ранние демонстрации управления роботами, которые объединяли обусловленное действиями предсказание видео с управлением с прогнозированием моделей. UniPi вместо этого генерирует видео выполняемой задачи с помощью текстово-обусловленного генератора видео и восстанавливает исполняемые действия из сгенерированных кадров с помощью модели обратной динамики (IDM). Одним из ключевых аргументов UniPi было то, что предварительное обучение видеомодели на крупномасштабных нероботизированных данных переносится на политику робота и улучшает генерализацию на ранее не встречавшиеся задачи.

В последующих работах сохранилось использование крупномасштабного предварительного обучения видео, но прогнозирование видео и действий было связано более тесно, чем в двухэтапном конвейере генерации видео с последующим использованием IDM. Совместное прогнозирование будущих кадров и действий в рамках единой генеративной модели исследовалось в GR-1, GR-2, WorldVLA, Cosmos Policy и LingBot-VA; в DreamZero для такого подхода был введен термин «модель мира и действий» (World Action Model, WAM), который также используют последующие системы, такие как GigaWorld-Policy и варианты политик Cosmos 3. В отличие от них, mimic-video сохраняет модель обратной динамики, но обусловливает ее скрытыми признаками видеомодели, а не декодированными кадрами, что позволяет избежать полного синтеза видео при выводе и дает то, что авторы называют моделью «видео-действие» (Video-Action Model, VAM). Другое направление рассматривает прогнозирование видео в качестве вспомогательной задачи совместного обучения и вообще пропускает генерацию видео на этапе вывода.

Ранее мы исследовали производительность FLUX 3 в качестве VAM с отдельным декодером действий в нашем исследовании дизайна FLUX-mimic. См. также mimic’s continued study on the data efficiency of flux-mimic⁠. Здесь мы изучаем производительность FLUX 3 в качестве WAM с совместным прогнозированием видео и действий, как показано на Рисунке 3.

Попробуйте цикл управления

Получив инструкцию вроде «положи красный кубик в левый контейнер», модель использует изображения с камер и положения суставов для одновременного прогнозирования команд двигателей и их визуальных результатов. Робот выполняет заданное количество таких действий, затем снова смотрит по сторонам и планирует дальнейшие шаги на основе нового наблюдения.

Запустите миссию, уроните кубик и посмотрите, как манипулятор восстанавливается. Измените частоту повторения осмотра, чтобы увидеть, как это влияет на его реакцию.

Результаты

Предварительное обучение и промежуточное обучение

Предварительное обучение следовало подходу FLUX 3 и использовало смесь данных изображений, видео и аудио, причем на видео приходилось более 95% токенов обучения. Для оценки возможностей прогнозирования действий контрольных точек предварительного обучения мы используем протокол, аналогичный Cosmos 3: мы добавляем случайно инициализированные головы действий, а затем дообучаем на DROID. Полученная контрольная точка оценивается на RoboLab.

Для результатов на Рисунке 4 мы использовали предварительные настройки с небольшим размером батча и скоростью обучения. Таким образом, они не отражают максимальную производительность, достижимую контрольной точкой. Но поскольку во всех запусках использовались сопоставимые настройки, это все же позволяет нам сравнить их относительные возможности для прогнозирования действий.

Обратите внимание, что без предварительного обучения производительность остается ниже 1%. С предварительным обучением этот показатель подпрыгивает до 11.6% и продолжает медленно, но неуклонно расти до 12.4%. Низкая производительность контрольной точки без предварительного обучения указывает на то, что чистое обучение действиям на DROID сильно ограничено данными, и показывает, что многомодальное предварительное обучение с преобладанием видео действительно может преодолеть такое ограничение.

Далее мы рассматриваем этап промежуточного обучения, ориентированного на действия, на котором мы продолжаем обучение на смеси наших данных предварительного обучения вместе с недавно добавленными данными действий. Мы выделяем 36.95% обучающих выборок под видео со звуком из наших данных предварительного обучения, а оставшиеся 63.05% — под видеоданные, поставляемые с сопоставленными действиями. Из всех обучающих выборок 19.55% получены из записей игр, 13.54% — из эгоцентрических видео с аннотациями поз рук, 14.03% — с ручных захватов и 15.93% — из телеуправления на 14 воплощениях. Соответствующие соотношения токенов немного различаются из-за разных разрешений и длительности; см. Таблицу 2.

Игровые действия представлены в 64 измерениях. Первые два кодируют движение мыши по осям x и y, следующие два кодируют левую и правую кнопки мыши, а оставшиеся 60 кодируют кнопки клавиатуры. Бинарные каналы кнопок деквантуются во время обучения.

Большинство датасетов эгоцентрических поз, ручных захватов и телеуправления используют 50-мерное пространство действий, EE50. Первые 25 измерений используются для левого или основного эффектора, а последние 25 — для правого или вспомогательного эффектора. В рамках этих 25 измерений первые три кодируют трансляцию, а следующие шесть кодируют вращение, как в работе Zhou et al. 2019, но с использованием первых двух строк вместо первых двух столбцов матрицы вращения. Оставшиеся 16 измерений кодируют либо углы позы руки, либо состояние захвата, где 0 представляет закрытые захваты, а 1 представляет открытые захваты. Измерения, которые не используются для какого-либо воплощения, дополняются нулями.

Обратите внимание, что некоторые робототехнические датасеты полагаются на отдельное 14-мерное пространство действий, разделенное на 7 измерений для левого/основного и 7 измерений для правого/вспомогательного манипуляторов. Здесь мы обучаемся напрямую на 6 состояниях суставов и одном состоянии захвата, поскольку у нас нет моделей прямой динамики воплощения. Во всех датасетах действий частота действий варьируется от 5 Гц до 30 Гц.

Для пространства действий EE50 поза конечного эффектора представлена относительно опорного кадра, который является последним кадром обусловливания. Мы выбираем состояние действия, ближайшее к этому опорному кадру, в качестве опорного состояния и представляем все остальные позы конечного эффектора относительно этого состояния. Артикуляция кисти и значения захвата остаются абсолютными. Наконец, мы нормализуем каждое измерение EE50, используя z-оценки для конкретных воплощений, как в работе Punamiya et al. 2025, проиндексированные по знаковому смещению положения относительно опорного состояния.

С головой действий EE50 мы теперь можем также напрямую оценивать производительность RoboLab для контрольных точек промежуточного обучения без дополнительного дообучения. Результаты этих оценок показаны штриховыми линиями на Рисунке 4. Первоначально мы наблюдаем, что производительность EE50 быстро возрастает с 0% через 7.2% до 14.7% со скромными приростами для результатов, полученных с совместным дообучением (Joint finetuning), которое улучшает свою производительность по сравнению с последней контрольной точкой предварительного обучения всего на 2.3%. К более поздним шагам мы видим устойчивое улучшение как для EE50, достигающего 17.3%, так и для производительности совместного дообучения, достигающего 18.6%. На этапе промежуточного обучения мы пока не наблюдаем насыщения производительности.

Переход от шума к сигналу для видео и действий

Модели диффузии и потоков учатся обращать вспять индексированный по времени прямой процесс zt = (1−t)x₀ + tε, который смешивает данные x₀ с шумом ε ∼ N(0,1). В зависимости от масштаба и структуры данных область t, в которой этот прямой процесс совершает переход между шумом и сигналом, может различаться. Во время обучения t выбирается из распределения временных шагов, и этот выбор может существенно влиять на производительность моделей.

При совместном прогнозировании двух модальностей, таких как видео и действия, мы также должны учитывать взаимосвязь между ними. Чтобы получить представление об областях перехода сигнала в шум для обеих модальностей, мы вычисляем потери реконструкции x₀ раздельно для каждой из них. Мы делаем это для нескольких контрольных точек, обученных с различными распределениями временных шагов, а затем берем почечный минимум по контрольным точкам, чтобы получить минимальную огибающую потерь x₀ в качестве приближения профиля сигнал-шум для видео и действий. Мы строим графики этих огибающих, нормализованных к максимальным потерям 1, на Рисунке 5.

Мы наблюдаем S-образный профиль с переходом около σ(t) = 3.3 или t ≃ 0.964. Предполагая, что емкость модели расходуется наиболее эффективно в тех областях, где переход сигнала высок, разумным подходом является использование распределения временных шагов, функция плотности вероятности (pdf) которого пропорциональна производной S-образного профиля. В зависимости от функции, используемой для аппроксимации S-образной формы, мы получаем различные распределения временных шагов. При использовании сигмоидной функции для аппроксимации, как показано на Рисунке 5, мы получаем логистическое распределение в пространстве логитов, т. е. логит-логистические распределения, показанные на Рисунке 6. Аналогично, при использовании функции распределения (CDF) Гаусса мы получаем гауссовское распределение в пространстве логитов или логит-нормальное распределение.

Мы используем эти оценки в качестве ориентиров для выбора распределений временных шагов при поиске по сетке. Помимо логит-нормального и логит-логистического распределений, мы также включаем распределение временных шагов «mode-sampler» или «Waver», поскольку оно используется в работе NVIDIA et al. 2026. Мы формулируем параметр расположения для всех трех распределений-кандидатов через базовое распределение с нулевым центром с последующим применением функции смещения t ↦ αt / (1 + (α−1)t) с параметром α. Для логит-нормального и логит-логистического распределений это приводит к смещению их моды в логит(t) = log α. Мы выбираем α ∈ {24, 33, 42}, соответствующих модам оценок видео и действий на Рисунке 6, а также одно промежуточное значение. Мы используем единичную дисперсию для логит-нормального распределения и рассматриваем логит-логистические распределения с масштабом 0.5 и 0.75. Для распределения Waver мы следуем работе NVIDIA et al. 2026, используем смещение α = 5 и перебираем одно более высокое (10) и одно более низкое (2.5) значение.

Помимо самого распределения временных шагов, мы рассматриваем один дополнительный параметр: масштаб представления действий (не путать с масштабом распределения временных шагов). При умножении действий на s, но не видео, мы смещаем относительный переход сигнал-шум на Рисунке 5 между ними. Когда s > 1, требуется больше шума для разрушения сигнала, и кривая действий сдвигается вправо. Это позволяет нам управлять тем, как различные модальности моделируются по отношению друг к другу. Рассмотрим две модальности m₁, m₂. Предполагая, что их профили сигнал-шум примерно совпадают, модель для m₁, s·m₂ с s ≫ 1 эффективно аппроксимировала бы факторизацию вроде p(m₁, s·m₂) = p(m₁ | s·m₂) p(s·m₂) в рамках совместной модели сопоставления потоков (flow matching), поскольку во время перехода s·m₂ от шума к сигналу m₁ все еще будет по большей части шумом, но всякий раз, когда мы доходим до точки перехода для m₁, s·m₂ уже по большей части является сигналом. Аналогично, s ≪ 1 позволил бы получить аппроксимацию p(m₁, s·m₂) = p(s·m₂ | m₁) p(m₁). Чтобы изучить этот эффект, мы рассматриваем масштабные коэффициенты s ∈ {1, 2} для модальности действий. Чтобы учесть влияние на взвешивание потерь, мы пересчитываем потери для модальности действий с коэффициентом 1/s².

Мы обучаем различные варианты и сообщаем результаты по нескольким сидам на простом наборе задач RoboLab на Рисунке 7. В целом мы не выявляем четкой тенденции в этих результатах, но стабильно наблюдаем высокую производительность для логит-логистических распределений с масштабом действий s = 2 и высокими смещениями α = 42. Среди двух масштабов логит-логистического распределения более широкий с масштабом 0.75 работает лучше всего, и мы продолжаем использовать эту настройку.

Рецепт DROID

При дообучении на DROID мы добавляем случайно инициализированные головы действий к нашей контрольной точке промежуточного обучения (midtrain). Таким образом, дообучение начнет работу с очень зашумленным градиентным сигналом, что может негативно повлиять на модель. Чтобы гарантировать, что веса промежуточного обучения не ухудшатся на этой начальной фазе адаптации, мы оставляем веса промежуточного обучения замороженными на первые 1 тыс. шагов, а затем линейно увеличиваем их скорость обучения от 0 до 2e-4 за 2 тыс. шагов. Скорость обучения для самих голов действий линейно возрастает от 0 до 1e-3 в течение первых 1 тыс. шагов. Мы сравниваем эту стратегию с запуском, в котором мы дообучаем DROID с позами конечного эффектора, адаптированными под наше пространство действий EE50 (см. Предварительное обучение и Промежуточное обучение). Для этого варианта головы действий уже инициализированы с этапа промежуточного обучения, и мы используем простой разогрев скорости обучения (warmup) от 0 до 2e-4 в течение первых 1 тыс. шагов для всех параметров. Мы обучаем обе конфигурации с двумя размерами батча: 512 и 2048, в течение 20 тыс. шагов.

Для конфигурации с малым размером батча производительность EE50 остается выше производительности совместного (Joint) дообучения. Производительность хорошо масштабируется с размером батча и влечет лишь небольшие затраты при сравнении в условиях равных FLOP: производительность прогонов EE50 и Joint с в 4 раза большим размером батча на шаге 5k ухудшается всего на 2.25 п. п. и 4.25 п. п. соответственно по сравнению с прогоном с меньшим размером батча после 20 тыс. шагов. Однако после 10 тыс. шагов с большим размером батча совместное дообучение превосходит дообучение EE50 с финальной производительностью 40.13% против 37.88%. Мы продолжаем работу с совместным дообучением, но отмечаем, что дообучение EE50 может быть привлекательным вариантом для дообучения с очень небольшим количеством данных или шагов обучения — особенно учитывая, что распределение временных шагов было выбрано исходя из его производительности для совместного дообучения.

Чтобы понять, достигла ли производительность насыщения, мы использовали следующий протокол выбора лучшей контрольной точки: мы продолжаем обучение совместного прогона в общей сложности до 30 тыс. шагов и используем линейное затухание скорости обучения на последних 5 тыс. шагов. Затем мы оцениваем модель каждые 1 тыс. шагов во время затухания и выбираем из них контрольную точку с наилучшей производительностью.

Хотя потери при обучении демонстрируют непрерывное улучшение, особенно во время фазы затухания, мы не наблюдаем дополнительных улучшений после 20 тыс. шагов дообучения. Лучший результат из фазы затухания достигает 40% на 26 тыс. шагов.

При более высоких значениях скорости обучения (LR), около базового LR 2e-4 и выше, мы наблюдали спорадические всплески потерь. Как показано на Рисунке 10, обучение, затронутое всплеском потерь, имеет более низкие показатели успешности в RoboLab по сравнению с возобновлением обучения из предыдущей чистой контрольной точки. Несмотря на то, что показатели успешности в итоге восстанавливаются, мы наблюдали случаи, когда прогонам требуется гораздо больше времени на восстановление, что приводит к неудовлетворительной производительности в пределах горизонта обучения. Следовательно, мы всегда выполняли откат после наблюдения всплесков потерь, чтобы сохранить сопоставимые контрольные точки и избежать негативного влияния на финальную производительность.

Раздельное руководство для видео и действий

Учитывая, что инференс фрагмента действий (action chunk) предсказывает как будущее видео, так и будущие действия, мы можем независимо применять классификаторное руководство (classifier-free guidance) к каждой модальности. Мы анализируем поведение CFG, выполняя поиск по сетке по гиперпараметрам {Видео CFG, Действия CFG} и оценивая показатели успешности на полном наборе из 120 задач.

Мы наблюдаем общую тенденцию в пользу более высоких значений Video CFG и более низких Action CFG: конфигурация Video CFG = 4.0 и Action CFG = 1.0 показала лучшие результаты с оценкой 42.00%. Мы выбираем эту настройку в качестве предпочитаемого инференса для продакшн-окружения.

Анализ EMA

Мы заметили, что EMA имеет критическое значение как для производительности, так и для надежного сравнения результатов абляция-анализа. Поэтому мы решили отслеживать как традиционное EMA, так и Power EMA (σrel = 0.05 и 0.10).

Для традиционного EMA шаг обновления имеет вид

θˆβ(t)=βθˆβ(t−1)+(1−β)θ(t),θˆβ(0)=θ(0),

(1)

где θ(t) — исходные параметры на шаге обучения t.

В наших экспериментах мы выбрали β = 0.9990. Поскольку мы сохраняем контрольные точки каждые K = 1000 шагов, мы также оценивали «офлайновые» варианты EMA для других значений β. Усреднение берется по конечному окну сохраненных снапшотов и нормируется на вес, фактически накопленный в нем,

α=βK,θˆβoff(N)=∑n=1N(1−α)αN−nθ(nK)1−αN,

(2)

где n индексирует N сохраненных контрольных точек. Возведение β в степень K приводит рекурсию для каждой контрольной точки в соответствие с пошаговым профилем из Уравнения 1 (за исключением потери детализации внутри интервала), а знаменатель устраняет начальное смещение конечного окна.

Для Power EMA шаг обновления имеет вид

θˆγ(t)=∫0tτγθ(τ)dτ∫0tτγdτ=γ+1tγ+1∫0tτγθ(τ)dτ,

(3)

который вычисляется итеративно как

θˆγ(t)=βγ(t)θˆγ(t−1)+(1−βγ(t))θ(t),βγ(t)=(1−1t)γ+1.

(4)

где t — количество обновлений, начиная с единицы. Следуя Karras et al. (2024), мы параметризуем профиль через его относительную ширину σrel = (γ+1)(γ+2)(γ+3).

В процессе обучения мы отслеживаем два варианта: один с σrel = 0.05, а другой с σrel = 0.10 (что эквивалентно γ = 16.9722 и γ = 6.9372). Имея эти два профиля, мы можем выполнить более точную постфактум реконструкцию для новых значений σrel,

𝐱˜=arg min𝐱∫0tN(∑i,nxi,npγi,tn(τ)−pγ⋆,tN(τ))2dτ,

(5)

(6)

θˆγ⋆≈∑i,nxi,nθˆγi(tn),

(7)

где pγ,t(τ) обозначает профиль весов, который Уравнение 3 присваивает θ(τ) при усреднении до момента времени t. Базис состоит из обоих отслеживаемых профилей для каждой сохраненной контрольной точки, то есть из 2N сохраненных снапшотов {θ̂γᵢ(tn)}. Подгонка не ограничена, поэтому коэффициенты могут быть отрицательными, а x̃ нормируется так, чтобы в сумме давать единицу, что делает реконструкцию аффинной комбинацией снапшотов.

Результаты для различных настроек EMA суммированы на Рисунке 12. Традиционное онлайн-EMA и обе модели Power EMA значительно превосходят исходную модель, демонстрируя важность EMA. Мы также отмечаем, что Power EMA немного превосходит традиционное EMA.

Для кандидатов постфактум Power EMA и офлайнового EMA мы наблюдаем колоколообразный тренд: показатели успешности достигают пика при σrel = 0.150 и β = 0.9997 соответственно. Однако в обоих случаях онлайн-усреднение, при котором обновления происходят на каждом шаге, оказывается эффективнее постфактум-аппроксимации.

Рассматривая общую картину, мы видим, что онлайн-версия Power EMA с σrel = 0.10 стабильно показывает наилучшие результаты, и мы выбираем ее в качестве рекомендованной настройки EMA для рецепта DROID.

Эффективность инференса

WAM показали многообещающие результаты в плане эффективности использования данных и производительности. Тем не менее, прогнозирование не только действий, но и видео делает их относительно медленными из-за большей длины последовательностей по сравнению с VLA. Это ограничивает их применение в ситуациях, критичных к задержкам, или при работе в условиях аппаратных ограничений, таких как локальное развертывание. Предыдущие подходы в основном полагались на оптимизацию на уровне системы или разделение действий и видео с помощью отдельных декодеров или маскирования внимания. Здесь мы рассматриваем ортогональное направление и исследуем, насколько близко мы можем подойти к эффективности VLA с помощью дистилляции, сохраняя при этом совместное прогнозирование действий и видео.

GPU

Оценка на реальных роботах

Гибридные политики

Перспективы

Список литературы

• Cen, Jun, Chaohui Yu, Hangjie Yuan, et al. 2025. WorldVLA: Towards Autoregressive Action World Model. arxiv.org/abs/2506.21539
• Cheang, Chi-Lam, Guangzeng Chen, Ya Jing, et al. 2024. GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation. arxiv.org/abs/2410.06158