Для создания и развертывания сложных робототехнических приложений, способных воспринимать окружающую среду, рассуждать и действовать в динамических условиях, разработчикам необходимы новые модели и инструменты физического ИИ.
ROS Открытый фреймворк — это проект от Open Robotics, который помогает людям создавать роботов. Выпущенный сегодня на конференции ROSCon в Торонто, Канада, NVIDIA Isaac ROS 5.0 — набор ускоряемых графическим процессором пакетов, созданных на базе ROS, — помогает людям и ИИ-агентам создавать роботов вместе.
В этом релизе представлены новые агентные рабочие процессы и поддержка платформ, которые помогают разработчикам быстрее создавать, настраивать и развертывать робототехнические приложения.
ROS служит основой с открытым исходным кодом для большей части современной разработки робототехники, предоставляя разработчикам общие инструменты, библиотеки и стандарты для создания и соединения робототехнических приложений.
NVIDIA Isaac ROS объединяет ускоренные вычисления NVIDIA, модели физического ИИ и готовые к промышленному использованию библиотеки для почти 1,3 миллиона пользователей ROS, помогая разработчикам создавать высокопроизводительные робототехнические приложения с помощью бесплатных, привычных инструментов с открытым исходным кодом.
Внедрение ИИ-агентов в разработку робототехники
ИИ-агенты меняют подход к созданию программного обеспечения, помогая разработчикам автоматизировать повторяющиеся задачи, ориентироваться в сложных кодовых базах и быстрее переходить от идей к работающим приложениям. Isaac ROS 5.0 переносит эти возможности в сферу разработки робототехники.
Isaac ROS 5.0 представляет поддержку ROS Lyrical и Ubuntu 24.04, предоставляя разработчикам возможность использовать новейшую платформу ROS и одновременно продолжать ускорять ресурсоемкие робототехнические рабочие нагрузки с помощью ускоренных вычислений NVIDIA. NVIDIA совместно с Open Source Robotics Alliance добавила в ROS Lyrical стандартный интерфейс обработки данных, который помогает робототехническому ПО эффективно работать на различном вычислительном оборудовании, включая графические процессоры.
Доступный для всего сообщества ROS, он предоставляет разработчикам единообразный способ ускорения ресурсоемких робототехнических приложений, причем CUDA служит рабочим примером ускорения с помощью графического процессора.
Новые навыки NVIDIA Isaac для настройки и манипуляций предоставляют повторно используемые рабочие процессы, которые разработчики и ИИ-агенты могут применять для выполнения задач по разработке робототехники. Документация, готовая для работы с агентами, также облегчает ИИ-агентам понимание инструментов и рабочих процессов Isaac ROS, позволяя быстрее воплощать замысел разработчика в работающие приложения.
Некоторые навыки выходят за рамки помощи в решении отдельных задач программирования. Новый навык точной настройки FoundationStereo позволяет ИИ-агенту помочь адаптировать модель стереовосприятия к камерам разработчика, его окружению и робототехническому приложению, благодаря чему разработчики могут легко добиться более точного восприятия для конкретной конфигурации датчиков. FoundationPose, базовая модель для оценки позы и трекинга объектов, теперь предоставляет готовую для агентов библиотеку вывода, которая позволяет роботам воспринимать и отслеживать положение и ориентацию объектов до 5,5 раз быстрее.
Кроме того, «захват и перемещение» (pick and place) — распространенный рабочий процесс, объединяющий обнаружение, оценку глубины и вывод позы — теперь доступен в качестве отдельного готового для агентов навыка, предоставляя разработчикам роботов большую гибкость за пределами Isaac ROS.
Ускорение экосистемы робототехники с открытым исходным кодом
Экосистема робототехники уже распространяет этот агентный подход на рабочие процессы разработки.
AgenticROS, проект с открытым исходным кодом, спонсируемый компанией 3D-технологий восприятия RealSense, связывает Isaac ROS с открытыми моделями NVIDIA Nemotron и чертежами NVIDIA NemoClaw, позволяя ИИ-агентам взаимодействовать с роботами на базе ROS. RealSense также оптимизирует свои новейшие ИИ-нативные 3D-камеры стереоглубины, включая RealSense D585 Pro, и пакет для разработки программного обеспечения с открытым исходным кодом для Isaac ROS и пограничной ИИ-платформы NVIDIA Jetson Thor, помогая разработчикам создавать приложения для восприятия, навигации и манипуляций.
Intrinsic’s Open Machine Tending Solution представляет собой эталонное приложение для обслуживания станков с числовым программным управлением и входит в состав недавно выпущенного пакета Intrinsic Core, представляющего собой комплект предварительно сконфигурированных средовых служб и возможностей с открытым исходным кодом, предназначенных для ускорения промышленных робототехнических приложений. Оно включает встроенную совместимость с NVIDIA FoundationPose для готовой регистрации объектов, трекинга и оценки позы. Используя конвейер восприятия FoundationPose, решение позволяет роботам динамически обнаруживать детали и манипулировать ими, сокращая потребность в жестких, дорогостоящих физических приспособлениях и специализированной системной интеграции.
Seeed Studio использует NVIDIA Isaac ROS с reBot Arm, объединяя ускоренное восприятие, пространственное понимание и планирование движения на NVIDIA Jetson Thor. Эта интеграция предоставляет разработчикам практическую платформу для создания адаптируемых приложений физического ИИ — от локализации объектов до манипуляций с учетом столкновений и автономного захвата и перемещения.
Magna использует NVIDIA Isaac ROS в качестве модульной основы с ускорением на GPU для робототехнического восприятия, синхронизированного сбора данных и развертывания модели NVIDIA Isaac GR00T, объединяя ее с аппаратным тестированием в контуре (hardware-in-the-loop) в Isaac Sim, чтобы перенести интеллектуальную автоматизацию из научных исследований в реальное производство и мобильность — быстрее и с меньшими рисками.
Инструмент управления пакетами Pixi от Prefix.dev упрощает создание воспроизводимых сред разработки роботов, объединяя ROS с платформой NVIDIA CUDA, чтобы помочь разработчикам проще настраивать ускоренные робототехнические рабочие процессы и делиться ими.
Будучи партнером Isaac ROS, Foxglove помогает разработчикам визуализировать и отлаживать работающие приложения ROS с помощью своих веб- и десктопных инструментов, которые интегрированы в учебные пособия по Isaac ROS и поддерживают такие данные, как 3D-топики, меши nvblox и rosbags.
Flexiv интегрирует Isaac ROS со своим адаптивным роботом Rizon 4, предоставляя разработчикам доступ к ускоренным NVIDIA возможностям робототехники и упрощенный путь от тестирования приложений в NVIDIA Isaac Sim до их развертывания на физическом роботе.
Ekumen, компания Grid Dynamics, использует ускоренные с помощью графического процессора пакеты Isaac ROS в существующих стеках ROS и Nav2 для повышения точности стыковки, обнаружения трехмерных препятствий, визуальной локализации и планирования движения в реальном времени, проверяя каждое приложение в Isaac Sim.
Ekumen использует isaac_ros_cumotion на GPU для прокладывания свободного от столкновений пути для манипулятора на складе примерно за 2–5 миллисекунд.
Ouster интегрирует свои стереокамеры Stereolabs ZED с NVIDIA Isaac ROS для обеспечения ускоренного с помощью графического процессора восприятия в робототехнических приложениях. Эта интеграция упрощает разработку обнаружения объектов в реальном времени, картографирования и навигации, сохраняя при этом совместимость с более широкой экосистемой ROS.
Интеграция полного стека физического ИИ в робота
Приложения, создаваемые разработчиками и агентами, в конечном итоге должны запускаться на самом роботе.
NVIDIA Jetson — это масштабируемая вычислительная платформа для запуска стека физического ИИ на периферии с производительностью в реальном времени, объединяющая на роботе ROS, ускоренное восприятие и навигацию, модели ИИ и логику приложений.
Isaac ROS 5.0 поддерживает масштабируемые вычисления: от базовых устройств NVIDIA Jetson Orin Nano до высокопроизводительных Jetson Thor, предоставляя разработчикам путь от разработки до развертывания по мере усложнения робототехнических задач.
Робототехнические компании уже используют эту комбинацию для переноса большего объема обработки ИИ непосредственно на свои машины.
Mentee Robotics использует NVIDIA Isaac ROS в качестве основы для восприятия и ИИ своего гуманоидного робота MenteeBot, что позволяет роботу интерпретировать визуальную информацию и выполнять выученные действия в реальном времени. Общая программная основа на платформах NVIDIA Jetson Orin и Jetson Thor помогает Mentee переносить свои инновации с существующих роботов на системы следующего поколения.
Universal Robots интегрировала NVIDIA Isaac ROS в свой комплект разработки программного обеспечения AI Accelerator, чтобы помочь интеграторам быстрее развертывать расширенные возможности восприятия и движения без необходимости разрабатывать сложное робототехническое ПО с нуля. Решение на базе NVIDIA Jetson на периферии позволяет роботам адаптироваться к деталям, которые расположены неточно, снижая зависимость от дорогостоящей оснастки и делая производственные ячейки более гибкими.
ROBOTIS, создающая дружественный к разработчикам TurtleBot3 на базе ROS, интегрирует Isaac ROS в своего робота AI Worker, используя ускоренное графическим процессором распознавание объектов для задач манипулирования с визуальным наведением, включая захват, размещение и выравнивание.
ROBOTIS выполняет задачи манипулирования объектами с помощью NVIDIA Isaac ROS CuMotion.
Базовые модели роботов компании FieldAI, которые могут работать полностью на роботах без подключения к облаку, интегрируют Isaac ROS на устройствах Jetson, чтобы в полной мере использовать ускорение на базе GPU и повысить эффективность стека ИИ непосредственно на роботе.
Noble Machines использует NVIDIA Isaac ROS на Jetson для ускорения разработки роботов общего назначения для промышленных применений, опираясь на готовые возможности ИИ и восприятия вместо их создания с нуля.
Объединяя открытую робототехническую экосистему, ускоренные вычисления и новые агентные рабочие процессы разработки, Isaac ROS 5.0 помогает разработчикам решать обе задачи физического ИИ: создавать все более способные робототехнические приложения и эффективно запускать их в реальном мире.
Доступный уже сейчас, Isaac ROS 5.0 является бесплатным программным обеспечением с открытым исходным кодом. Разработчики могут узнать больше и начать работу с NVIDIA Isaac ROS на сайте GitHub.
