Симуляция, которая долгое время была полигоном для обучения роботов ходьбе, катанию и прыжкам, теперь помогает исследователям обучать роботов задачам, требующим большей точности: выравниванию шестерен, подключению кабелей и сборке мелких компонентов.
Переход от локомоции к манипуляциям находится в центре внимания проходящей на этой неделе конференции Conference on Robot Learning (CoRL) в Остине, штат Техас, наряду с развитием агентной робототехники — новой парадигмы, которая объединяет передовых агентов для создания интерпретируемого кода для физических робототехнических систем.
На конференции CoRL компания NVIDIA представляет новые открытые робототехнические технологии, включая модели мировых действий, инструменты симуляции, бенчмарки и агентные рабочие процессы.
Две работы NVIDIA вошли в число шести финалистов из тысяч поданных заявок на получение наград за лучшую работу (Best Paper Awards) на CoRL:
- GRAIL (Генерация локомоционных манипуляций гуманоидов на основе моделей мира), которая представляет конвейер цифровой генерации для 3D-активов и готовых к симулятору сцен для обучения роботов.
- RoboTTT: Context Scaling for Robot Policies, которая представляет модель робота и рецепт обучения, масштабирующие визуомоторный контекст на три порядка по сравнению с современными передовыми политиками без увеличения задержки инференса.
Эти достижения помогают исследователям обучать роботов выполнению сложных задач, оценивать их производительность в меняющихся условиях и использовать неудачи для дальнейшего обучения, обеспечивая точность, адаптируемость и автономию, необходимые для перехода от лабораторных демонстраций к промышленному внедрению.
NVIDIA сотрудничает с такими партнерами, как Ambi Robotics, Bosch Research, Dexmate, Dyna Robotics, FieldAI, Flexion, Noitom Robotics, Siemens, Skild AI, RLWRLD, UC Berkeley, Walden Robotics и Университет Вашингтона, чтобы сделать эти достижения доступными для широкого робототехнического сообщества.
Модели мировых действий выводят автономность роботов на новый уровень
Следующий уровень автономности роботов требует, чтобы они воспринимали окружающую обстановку, предвидели, как их действия изменят среду, и выполняли сложные многоэтапные задачи с высокой степенью точности. Модели мировых действий позволяют делать именно это.
На CoRL компания NVIDIA представляет GR00T 2, открытую передовую модель мировых действий, созданную на базе NVIDIA Cosmos. Обученная на разнообразных данных о роботах и людях, включая 100 000 часов данных о перспективе от первого лица человека из открытых источников NVIDIA, модель позволяет роботам осваивать навыки ловких манипуляций. Ключевые особенности включают в себя:
- Готовность к работе из коробки: выполнено 40 из 50 оцениваемых задач хотя бы один раз без демонстраций для конкретной задачи.
- Перенос навыков: обучение на демонстрациях человека и перенос навыков между различными телами роботов без демонстраций на роботах.
- Обобщение на основе небольшого объема данных: достигнут средний показатель успешности 71% по 50 задачам всего при одной демонстрации на задачу, который возрастает до 95% при пяти.
- Управление агентами: агенты ИИ могут использовать интерфейс прикладного программирования GR00T 2 и вспомогательные инструменты для последовательного выполнения навыков и устранения ошибок.
https://blogs.nvidia.com/wp-content/uploads/2026/11/groot-2-shipping-label.mp4
GR00T 2 в настоящее время входит в тройку лучших моделей во всех категориях моделей «зрение-язык-действие» и «моделей мировых действий» для бенчмарков RoboCasa365, RoboLab, RoboDojo и MolmoSpaces, неоднократно занимая первые места в таблицах лидеров.
Nexuni тестирует ее для роботизированной стирки белья, Foxconn применяет GR00T 2 в фабричной автоматизации при производстве серверов, а Siemens оценивает ее в различных промышленных сценариях использования.
MicroAGI использует GR00T 2, прошедшую дополнительное обучение с помощью подкрепления, для замены кабелей Ethernet с помощью роборуки YAM. Ее подход к агентной робототехнике автоматизирует создание и калибровку сред симуляции с использованием Isaac Lab 3.0 и Newton, где обучается политика. Агентный робототехнический рабочий процесс будет продемонстрирован на CoRL.
Для обучения способных роботов требуются разнообразные данные. Открытые рабочие процессы и модели NVIDIA предоставляют исследователям лучшие инструменты для сбора и аннотирования данных:
- Для исследователей, создающих наборы данных для обучения роботов, новый открытый рабочий процесс NVIDIA Video to Data преобразует видео с участием человека в симулированные демонстрации роботов, приглашая исследователей развивать его дальше.
- Открытая модель NVIDIA EgoHand, демонстрируемая на CoRL и набравшая более 40 000 загрузок на Hugging Face за две недели с момента запуска, реконструирует движение рук в 3D и обучена на данных от Noitom Robotics.
https://blogs.nvidia.com/wp-content/uploads/2026/11/egohand-demo.mp4
Где происходит обучение и масштабирование — в симуляции
Предобученная модель дает роботам базовый набор навыков. Симуляция позволяет исследователям обучать, дорабатывать и оценивать навыки в большом масштабе перед их развертыванием на реальных роботах.
NVIDIA Isaac Lab, фреймворк для обучения роботов с открытым исходным кодом, обеспечивает основу для этой работы. Его последний релиз, Isaac Lab 3.0, позволяет исследователям использовать агентов для быстрого создания сред обучения с помощью готовых к симуляции активов, переключаться между физическими движками NVIDIA PhysX и Newton, выбирать средства рендеринга для обучения на основе восприятия и применять новую библиотеку пост-обучения с подкреплением к базовым моделям, таким как GR00T.
Точная физика имеет решающее значение для переноса усвоенных навыков из симуляции на реального робота. Более тесная интеграция с Newton, движком физики с открытым исходным кодом, теперь позволяет Isaac Lab моделировать деформируемые объекты, такие как кабели и ткань, а также сложные шарнирные системы, такие как роборуки с множеством взаимодействующих суставов.
https://blogs.nvidia.com/wp-content/uploads/2026/11/newton-strawberry.mp4
Интеграция с Newton симулирует то, как клубника деформируется под хваткой робота.
Вместе Isaac Lab и Newton объединяют точную физику с возможностью масштабирования, позволяя исследователям обучать тысячи симулированных роботов параллельно. В бенчмарке ловких манипуляций на основе зрения Isaac Lab 3.0 с Newton достигла пропускной способности обучения до 2,5 раз выше, чем Isaac Lab 2.3 с PhysX.
https://blogs.nvidia.com/wp-content/uploads/2026/11/newton-physx-web.mp4
Isaac Lab поддерживает симуляцию роботов с помощью Newton и NVIDIA PhysX.
Разработчики расширяют возможности Newton. На CoRL компания Skild AI анонсировала STEEL (Scalable Throughput-optimized Engine for Embodied Learning) — новый физический движок для работы с жесткими телами на базе Newton, предназначенный для ускорения обучения роботов с помощью Isaac Lab.
https://blogs.nvidia.com/wp-content/uploads/2026/11/robotics-montage-8s.mp4
Физический движок STEEL от Skild AI.
Flexion продемонстрировала, как Isaac Lab и Newton помогают обучать Reflect — ее модель интеллекта роботов, сочетающую рассуждения и манипуляции всем телом.
https://blogs.nvidia.com/wp-content/uploads/2026/11/flexion-newton-isaac-lab.mp4
Flexion использует Newton для обучения с подкреплением в Isaac Lab.
FieldAI использует Newton, а также Isaac Lab и Isaac Sim, созданные на базе библиотек NVIDIA Omniverse, для обучения и валидации политик роботов для развертывания в неструктурированных реальных условиях. Dyna Robotics продемонстрирует, как параллельная симуляция в Isaac Lab помогает обучать контроллеры всего тела для своего полугуманоидного робота Taku для работы на складах, в отелях и сфере общественного питания.
Walden Robotics использует фотореалистичный рендеринг Isaac Sim для обучения и оценки своего универсального робота в виртуальных средах для производства и логистики, в то время как изучает, как агенты кодирования могут отрабатывать и совершенствовать стратегии манипулирования в Isaac Sim перед их выполнением на своем роботе Vega.
AlphaNIST, созданный в Isaac Lab, демонстрирует, как эффективная практика может перерасти в точность. Единая политика изучает все 20 задач на сборочной плате NIST, манипулируя деталями миллиметрового масштаба, используя только сигнал успеха «да-нет». Она достигает более 98% успешности обучения по сравнению с 81% для раздельных политик по каждой задаче, используя примерно в 39 раз меньше времени GPU.
https://blogs.nvidia.com/wp-content/uploads/2026/11/alphanist-6-16s-web.mp4
AlphaNIST использует Isaac Lab для обучения единой политики робота по 20 прецизионным задачам на сборочной плате NIST.
За этими результатами стоит метод Success-Guided Sampling (SGS), разработанный Университетом Вашингтона и NVIDIA. Этот метод фокусирует практику на задачах, с которыми политика справляется примерно в половине случаев, направляя обучение на те навыки, которые она все еще осваивает. Благодаря SGS обучение роботов может масштабироваться до более чем миллиона параллельных сред.
Школа вычислительной техники Техасского университета в Остине и Техасская робототехника используют Isaac Sim и Isaac Lab для обучения робототехническим навыкам в симуляции, что позволяет студентам начать разработку до появления физического оборудования.
Новые промышленные бенчмарки для оценки роботов
Обучение навыку — это одна задача. Надежное выполнение его в изменяющихся условиях — совсем другая.
NVIDIA Isaac Lab-Arena, платформа с открытым исходным кодом для масштабной оценки политик, позволяет разработчикам создавать разнообразные и повторяемые оценки, а затем запускать политики для тысяч вариаций параллельно. Анализ выявляет, какие условия приводят к сбоям, поэтому исследователи знают, что исправить в следующем цикле обучения. Разработческая превью-версия ее новейшего выпуска 0.4 представляется на конференции CoRL.
DexBench и VABAR, два новых открытых бенчмарка, входят в число первых, предназначенных для измерения ловкости и адаптируемости роботов в промышленных задачах с использованием Isaac Lab-Arena и Newton.
DexBench, разработанный RLWRLD в сотрудничестве с NVIDIA, переносит оценку ловкости из лабораторных условий в реальные рабочие процессы. Созданный с использованием NVIDIA Isaac Lab-Arena, он включает 15 задач в четырех сценах, охватывающих розничную торговлю, логистику, производство и сферы гостеприимства, проверяя универсальность в отношении вариаций объектов, пространства и физики.
Genesis AI, mimic robotics и другие партнеры по отрасли оценивают DexBench в рамках раннего доступа.
Команды могут запустить DexBench на Manifold, платформе оценки Bifrost для масштабирования симуляций робототехники, без необходимости настройки, со встроенным анализом сбоев и бесплатными кредитами для первоначальных оценок.
VABAR — Вариационный бенчмарк автоматизации для агентной робототехники (Variational Automation Benchmark for Agentic Robotics), созданный Калифорнийским университетом в Беркли и NVIDIA, оценивает роботов по шести промышленным задачам. Каждая из них содержит стандартизированные вариации, уровни сложности и показатели успеха.
https://blogs.nvidia.com/wp-content/uploads/2026/11/task-tool-sorting.mp4
Смоделированная задача сортировки инструментов демонстрирует, как VABAR оценивает навыки манипулирования робота для промышленных рабочих процессов.
Агенты превращают навыки в программы для роботов
Успешное выполнение задач требует от роботов координации множества навыков и адаптации при возникновении сбоев. Создание надежных программ для этих многоэтапных задач остается сложной задачей.
Агентная робототехника помогает решить эту задачу.
Новый фреймворк Graph-as-Policy (GaP), разработанный в Калифорнийском университете в Беркли, использует агентов для объединения отдельных навыков в программы роботов. Агенты тестируют эти программы с использованием открытых симуляционных технологий NVIDIA Isaac и дорабатывают их на основе сбоев. Это помогает исследователям масштабировать разработку с меньшим объемом данных, сохраняя при этом программы понятными для инженеров, чтобы они могли просмотреть и проверить их перед развертыванием.
https://blogs.nvidia.com/wp-content/uploads/2026/11/wipe-the-bar.mp4
GaP использует агентов и симуляцию для преобразования отдельных навыков робота в скоординированные действия, такие как протирка барной стойки.
«Для меня агентная робототехника — это самое захватывающее технологическое развитие со времен появления интернета в 1995 году», — сказал Кен Голдберг, профессор робототехники в Калифорнийском университете в Беркли и руководитель проектов VABAR и GaP.
Ambi Robotics, Bosch Research и Siemens изучают GaP для своих рабочих процессов агентной робототехники в различных промышленных сценариях.
Узнайте больше, присоединившись к NVIDIA на CoRL.
