ToyBlocks: Контролируемая среда для обучения и оценки роботов

💻 Code | 📊 Данные | 🤖 Модели | 📖 Documentation

Роботы учатся складывать белье, сортировать детали и работать с незнакомыми предметами. Но эти демонстрации часто носят довольно узкий характер и не объясняют, чему научился робот или почему он совершает ошибки.

Чтобы изучить сложную систему, ученые часто начинают с небольшой контролируемой среды, такой как чашка Петри или террариум, где они могут изменять условия и наблюдать за результатами. Робототехнике необходимы среды, которые делают возможным исследования такого рода: исследователи должны иметь возможность менять обучающие данные или структуру модели, повторять тест и отслеживать причину сбоя.

Сегодня мы представляем фреймворк для создания таких сред, которые мы называем FoundationWorlds. Каждая из них представляет собой контролируемый симулированный мир, предназначенный для изучения робототехники в определенной среде, с инструментами для автоматической генерации задач и демонстраций обучения, а также с метриками для измерения поведения робота с течением времени. Все вместе они создают условия для изучения таких вопросов, как улучшение моделей по мере появления новых обучающих данных и наилучшее сочетание высокоуровневого рассуждения с точным физическим управлением.

Наш первый мир foundation world — это : открытая среда симуляции, построенная вокруг робота-манипулятора и блоков на столе. Эта обстановка намеренно проста, но робот все равно должен рассуждать о том, как блоки взаимодействуют друг с другом и как их расставлять, выполняя толкание, переворачивание и штабелирование.

ToyBlocks автоматически генерирует демонстрации, которые представляют собой записи выполнения задач роботом в симуляции, без необходимости трудоемкого дистанционного управления, при котором человек удаленно управляет роботом. Исследователи могут легко изменять эти обучающие сценарии. Например, команда может сгенерировать больше демонстраций толкания или переворачивания, а затем оценить производительность на задачах, исключенных из обучения.

Начиная с ToyBlocks как нашего первого FoundationWorld, мы стремимся распространить этот подход на все более сложные среды.

Как работает ToyBlocks

Опираясь на нашу предыдущую работу в области открытого обучения роботов, включая MolmoAct 2, MolmoBot и MolmoSpaces, ToyBlocks предоставляет исследователям возможность изучать робототехнические задачи в намеренно ограниченной предметной области.

Будучи FoundationWorld, ToyBlocks спроектирован с учетом четырех требований: (1) реалистичная физика и внешний вид, (2) автоматическая генерация задач и демонстраций в маштабе, (3) задачи, сочетающие рассуждение с ловкостью, и (4) широкое покрытие задач, возможных в пределах предметной области.

Открытые предметные области требуют моделирования широкого спектра объектов и взаимодействий, что делает невозможным выполнение всех этих требований. С другой стороны, узкая направленность ToyBlocks позволяет выполнить их все.

В рамках более компактного окружения ToyBlocks исследователи могут работать над тем, как научить робота выполнять любую разумную задачу, будучи при этом уверенными в том, что симулированные манипулятор и блоки ведут себя очень похоже на свои физические аналоги.

Физический захват робота над деревянными блоками в установке ToyBlocks.

ToyBlocks — это не только сбор и штабелирование блоков: картинки и буквы на гранях блоков позволяют выполнять задачи поиска, сортировки и упорядочивания. Роботу может потребоваться повернуть блок, чтобы увидеть скрытую грань, прежде чем решить, куда он принадлежит. Рандомизация предметной области — изменение размера блока, высоты стола и других физических свойств от сцены к сцене — проверяет, насколько хорошо модели обобщают данные при изменении геометрии.

ToyBlocks автоматически генерирует навыки (поведенческие паттерны для коротких задач) и демонстрации задач, которые можно использовать для обучения моделей или адаптации ранее обученных моделей с помощью дополнительного обучения (финальной настройки). Модели рассуждения высокого уровня определяют, что делать; модели действий низкого уровня управляют движениями робота. Фреймворк также можно использовать для простого проектирования экспериментов и проверки гипотез.

ToyBlocks использует обучение с подкреплением (RL) и планирование движения, которое вычисляет, как должен двигаться робот, для генерации навыков для краткосрочных задач, включающих короткие последовательности действий. Обучение навыкам происходит в Isaac Lab, открытом фреймворке Nvidia для обучения роботов в симуляции. Путем проб и ошибок эти политики — модели, которые выбирают действия робота — изучают неконтактные навыки, такие как толкание блока по столу или переворачивание его на другую грань без подъема. Генерация навыков может использовать привилегированную информацию — значения, которые симулятор может предоставить напрямую, но которые реальный робот не может получить, например, точное положение и ориентацию блока — вместо их оценки по изображениям с камер. Это позволяет автоматически генерировать навыки, которые в реальном мире потребовали бы телеуправления.

Для генерации данных демонстраций планировщик задач и движений (TAMP) автоматически выбирает и упорядочивает навыки, необходимые для решения задачи, и планирует движения робота между ними. Запуск каждого плана в симуляции создает набор данных записанных демонстраций вместе с метками, описывающими, какую задачу или навык выполняет робот. ToyBlocks масштабирует генерацию данных за счет создания и выполнения сотен таких планов параллельно на одном графическом процессоре (GPU), достигая производительности до 24 раз превышающей реальное время.

Действие на основе данных датчиков добавляет проблему восприятия: модель должна оценить позу блока — его положение и ориентацию, которые симулятор мог бы предоставить напрямую. Чтобы отразить реальные условия, ToyBlocks обучает модели, которые сопоставляют сырые данные датчиков с действиями.

Выполнение Molmo 2 (модели высокого уровня) и ManiFlow (модели низкого уровня), обученных в ToyBlocks. Molmo 2 выбирает такие навыки, как вращение и переворачивание, указывая соответствующий блок с помощью интерфейса указания, в то время как ManiFlow управляет симулированным манипулятором для выполнения заданных навыков.

Управляемый генератор данных ToyBlocks позволяет пользователям создавать обучающие смеси, которые акцентируют внимание на определенных навыках или заполняют пробелы в существующих наборах данных. Исследователи могут изучать, сколько данных требуется модели и какие именно сценарии помогают ей обобщать информацию на ранее не встречавшиеся задачи. Например, они могут проверить, улучшает ли добавление демонстраций вращения и захвата с перемещением процесс переворачивания, или изменять баланс примеров внутри и за пределами определенной рабочей зоны, оценивая свой выбор на задачах, исключенных из обучения. Важно отметить, что оценка обученных моделей генерирует метрики, выходящие за рамки показателей успешности; она предоставляет такую информацию, как скорость выполнения, усилия, прилагаемые к объектам, и прогресс выполнения задач, измеряемый с помощью тех же спецификаций, которые используются модулем планирования.

Веб-интерфейс позволяет пользователям подключать Claude — или другую передовую модель — и использовать естественный язык для инструктажа робота или выполнения задач, предлагая способ изучения того, как модель планирует и действует, не требуя экспертных знаний в области робототехники.

Исследования на базе ToyBlocks

Приведенные ниже оценки используют ToyBlocks для изучения того, как данные и методы обучения влияют на производительность, пространственное мышление, обобщение на новые буквы и внешний вид блоков, многоэтапное планирование, перенос на физических роботов и передовые модели, действующие через инструменты. Пользователи могут легко разрабатывать собственные задачи и метрики для исследования других вопросов — например, работает ли модель лучше, когда она выбирает объекты путем указания или выдачи текстовых команд, таких как «выбрать желтый блок».

Модели низкоуровневых действий: пространственное обобщение VLA

Модели низкоуровневых действий, такие как модели «зрение-язык-действие» (VLA), сопоставляют языковые инструкции и визуальные наблюдения с действиями робота.

Предпосылка VLA заключается в том, что благодаря предварительному обучению на крупномасштабных датасетах они могут быстро обобщать знания на различные сценарии или конкретное рабочее пространство. Однако данные о том, насколько хорошо эти модели действий обобщают знания, остаются противоречивыми. Некоторые исследования сообщают, что эти модели действий хрупки к изменениям входных данных, таким как различное расположение объектов и освещение, в то время как другие показывают, что VLA обобщают хорошо. Мы утверждаем, что эти исследования часто опираются на реальные датасеты с ограниченной гибкостью пространственных вариаций. ToyBlocks позволяет нам проверить, насколько хорошо модели действий обобщают знания в простой, легко воспроизводимой среде с осмысленным разнообразием пространства задач.

Мы разрабатываем тесты на обобщение, которые варьируют последовательности навыков, необходимые для выполнения инструкции, буквы или цвета на блоках, а также количество блоков в сцене. Исследование стекирования может исключать четырехблочные стеки из обучения, а затем проверять, может ли модель комбинировать знакомые движения для их построения. Исследования рабочей среды различают производительность в новых позициях внутри зоны обучения и производительность за ее пределами, где модель должна выполнять экстраполяцию. Ниже мы иллюстрируем настройку исследования и полученные результаты.

Мы рассматриваем четыре задачи: Stack (Сложить), Unstack (Разобрать), Flip (Перевернуть) и Rotate (Повернуть). Для этих задач мы изучаем интерполяцию (новые конфигурации в пределах диапазона обучения) и экстраполяцию (конфигурации за пределами этого диапазона). Например, мы оцениваем обобщение, выполняя обучение на сценариях, где объекты появляются только в левой области (зеленой), и тестируя в правой области (оранжевой), или выполняя обучение на высотах стека 2 и 5 блоков и тестируя на высотах 3 и 4.

Исследования пространственного обобщения для моделей VLA (результаты на основе ManiFlow, π0.5 и MolmoAct 2). Несмотря на масштабное предварительное обучение, эти популярные модели действий демонстрируют слабое обобщение в начальных результатах. Мы улучшаем обобщение и анализируем вклад каждого метода. Метка LoRA на графике обозначает низкоранговую адаптацию (low-rank adaptation), метод тонкой настройки модели с использованием небольшого набора обучаемых обновлений весов. Мы считаем, что обобщение в моделях действий еще дано до решения; ToyBlocks предоставляет ценный полигон для систематического изучения методов обобщения.

Высокоуровневые рассуждения: модели «зрение-язык»

Долгосрочные задачи, требующие большого количества шагов, позволяют нам измерить, насколько хорошо модели могут планировать последовательность действий для их решения. Наш фреймворк позволяет создавать такие долгосрочные задачи и создавать оракулы — справочные компоненты, которые предоставляют правильные планы или действия — как на высоком, так и на низком уровнях. Это позволяет нам изолировать, произошел ли сбой высокоуровневого планирования или низкоуровневого выполнения, когда модель терпит неудачу в задаче. Примером долгосрочной задачи может быть написание слова «Ai2» с помощью стопки блоков; поскольку буквы могут быть не сразу видны, агент должен сначала выбрать действия, которые раскрывают информацию, а затем спланировать и выполнить последовательность действий для построения стопки.

Мы оцениваем иерархические модели с явным высокоуровневым планированием и моделями низкоуровневого выполнения. В данном случае мы выбираем Molmo 2, модель «зрение-язык» (VLM), в качестве высокоуровневого планировщика, и ManiFlow в качестве низкоуровневой политики. Molmo 2 выбирает навык для выполнения и блок, над которым его нужно выполнить, в то время как низкоуровневая модель выполняет инструкцию. Мы обучаем низкоуровневые модели, такие как ManiFlow, приостанавливать работу после завершения выполнения и запрашивать у высокоуровневой модели следующую инструкцию. Мы оцениваем возможности модели по планированию на трех сценариях возрастающей сложности. Самый простой сценарий инициализируется с каждым символом в вертикальном положении лицом к камере. В сценарии средней сложности символы могут быть не в вертикальном положении, а самый сложный сценарий содержит символы, которые не видны в начале эпизода.

Процент успешных выполнений в задачах написания трехбуквенных слов из блоков с использованием Molmo 2 в качестве высокоуровневой модели рассуждений и либо ManiFlow, либо планировщика движений для низкоуровневых манипуляций. Примером задачи является «Stack Ai2». Molmo 2 и ManiFlow обучены на ToyBlocks и оцениваются в трех настройках сложности и двух условиях обобщения.

Высокоуровневые рассуждения: агентные системы

Наши эксперименты с агентными системами проверяют, как передовые модели планируют и действуют посредством вызовов инструментов. Мы изучаем три сценария с использованием Claude Opus 5.5. В сценарии поиска и написания мы предоставляем навыки ToyBlocks через Model Context Protocol (MCP), стандарт для подключения приложений искусственного интеллекта к инструментам. Агент видит сцену через изображения с камер, вызывает такие навыки, как подбор, переворот или поворот, указывая на пиксель, и решает, когда искать, строить или объявлять задачу выполненной или невыполнимой. Те же инструменты MCP могут выполнять либо скриптовые навыки, генерирующие демонстрации ToyBlocks (захват и перемещение на основе планирования движения, плюс поворот и переворот на основе RL), либо изученные навыки ManiFlow. ToyBlocks включает в себя фреймворк, лежащий в основе этих экспериментов, который также питает веб-интерфейс на естественном языке, описанный ранее.

Передовая модель (Claude Fable 5.1) управляет роботом в мире ToyBlocks для поиска и укладки блоков в башню, образующую слово «Ai2». Во время эпизода агент размышляет: «Мне нужно выяснить, естественным ли образом захват и перемещение выравнивают ориентацию или мне нужно исправить ее вручную… У меня осталось 63 вызова, этого вполне хватит для проведения контролируемого теста» (0:06). Позже агент выдвигает гипотезу: «…возможно, рыскание захвата является радиальным — направленным от базы робота к блоку» (0:15) и в конечном итоге подтверждает эту гипотезу (0:26) перед построением трехблочной башни, но буква «А» оказывается повернутой боком (1:11). Удивительно, но современные передовые модели часто совершают аналогичные перцептивные ошибки (см. следующий рисунок), несмотря на их впечатляющие возможности планирования, пространственного мышления и поиска.

Для классического планирования агент (наша система с использованием Claude Opus 5.5 для планирования и выбора действий) успешно решает все 30 задач из группы задач по укладке блоков, аналогичных тем, с которыми передовые модели боролись несколько лет назад, используя текстовые описания. Он также решает 30 из 30 задач, многократно наблюдая за изображениями с камер и выбирая следующее действие в замкнутом контуре.

В задаче поиска и составления слов агент должен был составлять стопки из блоков, образующих трехбуквенные слова. Ему нужно было найти блоки с соответствующими буквами среди максимум восьми блоков на сцене. Важно отметить, что в 50% сцен не было блоков со всеми необходимыми буквами, что делало задачу невыполнимой. В этом случае мы требовали, чтобы агент заявлял о невыполнимости задачи. Мы обнаружили, что в этом эксперименте агент смог успешно решить или корректно объявить невыполнимыми 63% задач. Ошибки в основном были связаны с тем, что агент путал буквы с похожими по внешнему виду (13%) или выбирал неверную ориентацию буквы в стопке (15%).

Наши результаты также показывают, что агент был способен решать задачу более эффективно, когда блоки обладали семантическими закономерностями или паттернами, используя такие паттерны для рассуждения о скрытых гранях. Например, в большинстве невыполнимых сцен, когда блоки не имели паттернов, агент перед объявлением о невыполнимости правильно осматривал грани всех блоков, в то время как при наличии у блоков семантических паттернов он мог заявить о невыполнимости значительно быстрее.

Наша третья экспериментальная установка проверяет, может ли агент научиться управлять поведением своих навыков, проводя эксперименты подобно ученому. Когда навык ведет себя неожиданно, агент формулирует гипотезу, разрабатывает небольшой тест и корректирует свое понимание на основе полученного результата. Мы развиваем эту идею, позволяя агенту запускать собственные эксперименты и писать собственные описания навыков на основе того, что он обнаруживает. Эти выученные описания повышают процент успешных выполнения с 24% при использовании описаний по умолчанию до 63%, превосходя 36%, достигаемые с описаниями, написанными экспертом-человеком.

Динамические модели мира с условным управлением действиями как симуляторы

Динамические модели мира с условным управлением действиями обучаются предсказанию изменений сцены в ответ на действия робота. Их использование в качестве альтернативы симуляторам на основе моделей для обучения и оценки стратегий роботов является активно развивающейся областью исследований. То, насколько хорошо они справляются с этой задачей, зависит от точности предсказания физических взаимодействий, которую трудно измерить без знания истинного состояния сцены. ToyBlocks предоставляет эту истинную разметку — актуальное состояние симулированной сцены, — что позволяет проводить высококонтролируемые тесты производительности недавно разработанных моделей мира в задачах манипулирования объектами низкого уровня. В данном случае рабочим органом манипулятора является его захват.

В частности, мы протестировали, способны ли динамические модели мира с условным управлением действиями предсказывать движения блоков или результаты выполнения навыков после обучения на примерах выполнения. Для этого мы выбрали четыре различных навыка (захват и перемещение, переворот, поворот и смешанную задачу) и сгенерировали по 900 траекторий — последовательностей состояний и действий робота во времени — для каждого навыка. 50% этих траекторий были успешными демонстрациями навыка, а 50% — неуспешными из-за небольших изменений пространственной конфигурации. При равном количестве успешных и неуспешных выполнений модель, которая всегда предсказывает успех, будет права только в половине случаев. Модели были дообучены на этих демонстрациях и затем протестированы на способность предсказывать исход последовательностей действий для тех же навыков.

Мы обнаружили, что Wan 2.2 предсказывает движение блоков и исходы задач с наибольшей точностью. Astra хорошо отслеживает захват, но испытывает трудности при симуляции контакта. LeWM работает быстро и более точна на коротких отрезках взаимодействия, хотя со временем отклоняется на полных траекториях. В дополнительных экспериментах мы также показали, что модели, получающие более высокие оценки в предсказании позы и успеха, также создают более качественные обучающие данные: добавление 100 сгенерированных моделью траекторий (прогонов) от лучшей модели генерации видео повышает успешность стратегии в неизученной области с 19% до 78%.

Мы протестировали три типа моделей: модель предсказания видео с 5 миллиардами параметров (Wan 2.2), an agentic model that created its own physics simulator tuned to match the demonstration data (Astra) и латентная модель мира (LeWM). Во время тестирования каждая обученная модель должна предсказывать будущие изображения, состояния симулятора или латентные состояния (выученные внутренние представления) соответственно на основе исходного изображения и последовательности действий. Для полных траекторий модели используют исходное изображение как единственное наблюдаемое изображение вместе с последовательностью действий. Для коротких отрезков взаимодействия — одного захвата, перемещения, переворота или поворота — модели начинают с реального изображения, предшествующего этому взаимодействию. Полные траектории показывают, как ошибки накапливаются на больших горизонтах планирования, в то время как отрезки взаимодействия изолируют отдельное взаимодействие (например, контакт захвата с блоком) и демонстрируют, насколько хорошо модель его предсказывает. Чтобы справедливо сравнить модели, мы анализируем предсказания каждой из них, считывая, где, по ее мнению, должны находиться блоки и захват в различных точках траектории и ожидает ли она успешного завершения задачи в конце.

Эксперименты в реальном мире с моделями высокого и низкого уровней

Оценки переноса симуляции в реальный мир проверяют стратегии, обученные в симуляции, на физических роботах, выполняющих задачи манипулирования блоками. Сравнивая симуляцию и выполнение в реальном мире, мы оцениваем, дают ли поведение и паттерны сбоев, наблюдаемые в симуляции, значимые указания на производительность в реальном мире. Например, исследователи могут оценивать отдельные навыки и их композицию в задачах с более длинным горизонтом планирования, чтобы определить, где возникают сбои и переносятся ли эти паттерны на физическое развертывание.

Мы проверяем, могут ли модели, обученные исключительно на наборах данных симуляции ToyBlocks, быть развернуты в реальном мире по методу zero-shot, без обучения на примерах из реального мира. Мы оцениваем ManiFlow и каждый навык низкого уровня (захват, перемещение, переворот и поворот) по отдельности. Мы проверяем, способна ли иерархическая система (Molmo 2 + ManiFlow) выполнять долгосрочные задачи по составлению трехбуквенных слов, требующие последовательностей таких действий. В экспериментах в реальном мире используется рука Franka FR3 с захватом Robotiq на тридцати конфигурациях сцен. Каждая сцена содержит 4–10 блоков, увиденных во время обучения. Эпизод считается успешным только в том случае, если соответствующие блоки перемещены в целевые позы без столкновений. Если оператор вмешивается, чтобы остановить робота из-за небезопасного движения во время эпизода, он отмечается как неуспешный.

Показатели успешности атомарных навыков ManiFlow были схожими в симуляции и в реальном мире (80.0% и 81.1%). Иерархическая система Molmo 2 + ManiFlow преуспела в 55.5% симулированных эпизодов (111/200) и в 50.0% эпизодов в реальном мире (15/30); необходимы дальнейшие испытания для установления статистической достоверности для всех задач.

Показатели успешности модели низкого уровня ManiFlow и иерархической системы Molmo 2–ManiFlow в симуляции и в реальном мире. Для ManiFlow общее количество представляет собой выполнения отдельных навыков (захват, перемещение, переворот и поворот), в то время как для Molmo 2–ManiFlow оно представляет собой эпизоды задачи по составлению слов из блоков. В оценках Molmo 2–ManiFlow используется самая простая конфигурация сцены, определенная в оценке симуляции, с видимыми и вертикально ориентированными символами блоков.

Параллельное выполнение укладки блоков в реальных условиях и в симуляции с использованием одного и того же планировщика верхнего уровня. Розовыми кольцами отмечена целевая точка планировщика для каждого навыка. В сценах используются разные метки блоков, а воспроизведение симуляции синхронизировано по времени, чтобы совместить захваты и отпускания с реальным роботом.

Чтобы перенести Molmo 2 и ManiFlow (обе модели обучены исключительно на данных ToyBlocks) на физического робота, мы устраняем различия между симуляцией и реальностью в три этапа.

Перед генерацией данных мы выполняем идентификацию системы путем настройки параметров симуляции робота, включая трение в суставах и якорь (инерцию мотора и редуктора, приведенную к суставу), чтобы они соответствовали траекториям реального робота. Во время генерации данных мы рандомизируем физические свойства (размер объектов, трение и высоту стола) и визуальные свойства (освещение, фон, материалы и параметры камеры). На этапе инференса наблюдения фиксируются с помощью фронтальной камеры ZED и камеры ZED Mini, установленной на запястье. Для политик, использующих карты глубины, мы генерируем чистые карты глубины, оценивающие расстояние для каждого пикселя на основе парных изображений с красно-зелено-синей (RGB) камеры с помощью FastFoundationStereo, вместо того чтобы полагаться на зашумленные измерения датчиков глубины.

Физическая установка ToyBlocks: робот-манипулятор, деревянные блоки и камера.

Открытие инструментов для дальнейших исследований

ToyBlocks объединяет генерацию данных, обучение и оценку в единой контролируемой среде, что позволяет исследователям изучать, как роботы учатся со временем, и проверять, как изменения модели или ее обучающих данных влияют на поведение робота. Мы выпускаем ресурсы для симуляции, процедурные генераторы задач и демонстраций, автоматически сгенерированные демонстрации, две обученные модели, демонстрирующие возможности фреймворка (одна на базе Molmo 2 и одна на базе ManiFlow), код для обучения, а также оценочный код и валидационные наборы. Это позволяет другим командам создавать собственные обучающие смеси и исследовать типы сбоев, выходящие за рамки наших первоначальных экспериментов.

Наш первый выпуск данных является подтверждением концепции и содержит 85 336 долгосрочных демонстраций, каждая из которых включает около 6–12 демонстраций навыков в зависимости от набора. Первоначальные наборы данных охватывают почти 1600 часов данных выполнения роботом и 144 миллиона кадров. Через несколько недель мы планируем второй выпуск с набором данных большего масштаба, новыми навыками и более полным бенчмаркингом. Мы также добавим полностью интегрированную возможность обучения с подкреплением (RL), которая отсутствует в текущем пакете.

Другие направления развития ToyBlocks включают бимануальные (двуручные) манипуляции и ловкие роботизированные руки, оснащенные датчиками силы и осязания для изучения движений и задач, связанных с частым физическим контактом. Мы также изучаем игру с неструктурированными кучами блоков как способ сбора данных и исследования того, как новое поведение и задачи могут возникать в процессе взаимодействия.

Будние направления: манипуляции с кучей блоков на основе RL.

Будущие направления: бимануальные манипуляции с блоками.

С помощью ToyBlocks мы хотим продвинуть науку об обучении роботов к будущему, в котором роботы смогут надежно применять полученные знания к незнакомым задачам и средам. Мы призываем исследовательское сообщество использовать ToyBlocks для собственных изысканий и даже в качестве основы для создания собственных миров-основой (FoundationWorlds).