Для создания и развертывания сложных робототехнических приложений, способных воспринимать, рассуждать и действовать в динамических средах, разработчикам нужны новые модели и инструменты физического ИИ.
Открытая платформа — это проект от Open Robotics, который помогает людям создавать роботов. NVIDIA Isaac ROS 5.0 — набор ускоряемых графическими процессорами пакетов на базе ROS, выпущенный сегодня на конференции ROSCon в Торонто, Канада, — помогает людям и ИИ-агентам совместно создавать роботов.
Этот релиз представляет новые агентские рабочие процессы и поддержку платформы, помогая разработчикам быстрее создавать, настраивать и развертывать робототехнические приложения.
ROS предоставляет основу с открытым исходным кодом для большей части современной разработки в области робототехники, предлагая разработчикам общие инструменты, библиотеки и стандарты для создания и подключения робототехнических приложений.
NVIDIA Isaac ROS предоставляет возможности ускоренных вычислений NVIDIA, модели физического ИИ и готовые к промышленному использованию библиотеки почти 1,3 миллионам пользователей ROS, помогая разработчикам создавать высокопроизводительные робототехнические приложения с использованием бесплатных, привычных инструментов с открытым исходным кодом.
Внедрение ИИ-агентов в разработку робототехники
ИИ-агенты меняют способы создания программного обеспечения, помогая разработчикам автоматизировать повторяющиеся задачи, ориентироваться в сложных кодовых базах и быстрее переходить от идей к работающим приложениям. Isaac ROS 5.0 привносит эти возможности в разработку робототехники.
Isaac ROS 5.0 представляет поддержку ROS Lyrical и Ubuntu 24.04, предоставляя разработчикам путь к внедрению новейшей платформы ROS при одновременном ускорении ресурсоемких робототехнических задач с помощью ускоренных вычислений NVIDIA. NVIDIA совместно с Open Source Robotics Alliance разработала стандартный интерфейс обработки данных для ROS Lyrical, который помогает робототехническому ПО эффективно работать на различном вычислительном оборудовании, включая GPU.
Доступный для всего сообщества ROS, он предоставляет разработчикам согласованный способ ускорения ресурсоемких робототехнических приложений, при этом CUDA служит рабочим примером для ускорения на GPU.
Новые навыки NVIDIA Isaac для настройки и манипуляций предоставляют повторно используемые рабочие процессы, которые разработчики и ИИ-агенты могут использовать для выполнения задач по разработке робототехники. Документация, готовая для агентов, также облегчает ИИ-агентам понимание инструментов и рабочих процессов Isaac ROS, быстрее превращая намерения разработчика в работающие приложения.
Некоторые навыки выходят за рамки помощи в отдельных задачах программирования. Новый навык тонкой настройки FoundationStereo позволяет ИИ-агенту помочь адаптировать модель стереовосприятия к камерам, среде и робототехническому приложению разработчика, чтобы разработчики могли легко достичь более точного восприятия для конкретной конфигурации датчиков. FoundationPose, фундаментальная модель для оценки и отслеживания позы объекта, теперь предоставляет готовую для агентов библиотеку логического вывода, которая позволяет роботам воспринимать и отслеживать положение и ориентацию объектов до 5,5 раз быстрее.
Кроме того, захват и перемещение — распространенный рабочий процесс, объединяющий обнаружение, оценку глубины и вывод позы, — теперь доступен как отдельный, готовый для агентов навык, предоставляющий разработчикам роботов большую гибкость за пределами Isaac ROS.
Ускорение экосистемы робототехники с открытым исходным кодом
Экосистема робототехники уже расширяет этот агентский подход к рабочим процессам разработки.
AgenticROS, проект с открытым исходным кодом, спонсируемый компанией по технологиям 3D-восприятия RealSense, связывает Isaac ROS с открытыми моделями NVIDIA Nemotron и чертежами NVIDIA NemoClaw, позволяя ИИ-агентам взаимодействовать с роботами на базе ROS. RealSense также оптимизирует свои новейшие 3D-стереокамеры с поддержкой ИИ, включая RealSense D585 Pro, и комплект разработки программного обеспечения с открытым исходным кодом для Isaac ROS и платформы периферийного ИИ NVIDIA Jetson Thor, помогая разработчикам создавать приложения для восприятия, навигации и манипуляций.
Intrinsic’s Open Machine Tending Solution — это эталонное приложение для обслуживания станков с ЧПУ, часть недавно выпущенного Intrinsic Core, набора предварительно настроенных сервисов и возможностей с открытым исходным кодом, предназначенных для ускорения промышленных робототехнических приложений. Он включает встроенную совместимость с NVIDIA FoundationPose для готовой регистрации, отслеживания и оценки позы объектов. Используя конвейер восприятия FoundationPose, решение позволяет роботам динамически обнаруживать и обрабатывать детали, сокращая потребность в жестких, дорогостоящих физических приспособлениях и специализированной системной интеграции.
Seeed Studio использует NVIDIA Isaac ROS с reBot Arm, объединяя ускоренное восприятие, пространственное понимание и планирование движения на NVIDIA Jetson Thor. Эта интеграция дает разработчикам практическую платформу для создания адаптируемых приложений физического ИИ, от локализации объектов до манипуляций с учетом столкновений и автономного захвата и перемещения.
Magna использует NVIDIA Isaac ROS в качестве модульной, ускоряемой GPU основы для роботизированного восприятия, синхронизированного сбора данных и развертывания модели NVIDIA Isaac GR00T, сочетая ее с тестированием в контуре оборудования Isaac Sim, чтобы быстрее и с меньшими рисками перевести интеллектуальную автоматизацию из исследований в реальное производство и мобильность.
Инструмент управления пакетами Pixi от Prefix.dev упрощает создание воспроизводимых сред разработки роботов, объединяя ROS с платформой NVIDIA CUDA, чтобы помочь разработчикам легче настраивать и обмениваться ускоренными рабочими процессами робототехники.
Будучи партнером Isaac ROS, Foxglove помогает разработчикам визуализировать и отлаживать работающие приложения ROS с помощью своих веб-инструментов и инструментов для настольных ПК, которые интегрированы во все руководства Isaac ROS и поддерживают такие данные, как 3D-топики, сетки nvblox и rosbags.
Flexiv интегрирует Isaac ROS со своим адаптивным роботом Rizon 4, предоставляя разработчикам доступ к возможностям робототехники с ускорением NVIDIA и оптимизированный путь от тестирования приложений в NVIDIA Isaac Sim до их развертывания на физическом роботе.
Ekumen, компания Grid Dynamics, использует ускоренные GPU пакеты Isaac ROS в существующих стеках ROS и Nav2 для улучшения точной стыковки, обнаружения 3D-препятствий, визуальной локализации и планирования движения в реальном времени, проверяя каждое приложение в Isaac Sim.
Ekumen использует isaac_ros_cumotion на GPU для построения пути без столкновений для складского манипулятора примерно за 2–5 миллисекунд.
Ouster интегрирует свои стереокамеры Stereolabs ZED с NVIDIA Isaac ROS для обеспечения ускоренного GPU восприятия в робототехнических приложениях. Интеграция упрощает разработку обнаружения объектов, картографирования и навигации в реальном времени, сохраняя при этом совместимость с более широкой экосистемой ROS.
Привнося полный стек физического ИИ в робота
Приложения, которые создают разработчики и агенты, в конечном итоге должны работать на роботе.
NVIDIA Jetson — это масштабируемая вычислительная платформа для запуска стека физического ИИ на периферии с производительностью в реальном времени, объединяющая ROS, ускоренное восприятие и навигацию, модели ИИ и логику приложений на роботе.
Isaac ROS 5.0 поддерживает масштабируемые вычисления, от начального уровня NVIDIA Jetson Orin Nano до высокопроизводительных устройств Jetson Thor, предоставляя разработчикам путь от разработки до развертывания по мере того, как рабочие нагрузки в робототехнике становятся все более сложными.
Робототехнические компании уже используют эту комбинацию для переноса большей части обработки ИИ непосредственно на свои машины.
Mentee Robotics использует NVIDIA Isaac ROS в качестве основы для восприятия и ИИ своего гуманоидного робота MenteeBot, что позволяет роботу интерпретировать визуальную информацию и выполнять изученные модели поведения в режиме реального времени. Общая программная база для платформ NVIDIA Jetson Orin и Jetson Thor помогает Mentee переносить свои инновации с существующих роботов на системы следующего поколения.
Universal Robots встроила NVIDIA Isaac ROS в свой комплект разработки программного обеспечения AI Accelerator, чтобы помочь интеграторам быстрее развертывать расширенные возможности восприятия и движения, не разрабатывая сложное робототехническое программное обеспечение с нуля. Решение, работающее на базе NVIDIA Jetson на периферии, позволяет роботам адаптироваться к деталям, которые расположены неточно, что снижает зависимость от дорогостоящих приспособлений и делает производственные ячейки более гибкими.
ROBOTIS, создающая удобного для разработчиков робота TurtleBot3 на базе ROS, интегрирует Isaac ROS в своего робота AI Worker, используя ускоренное графическим процессором распознавание объектов для выполнения задач манипуляции с визуальным наведением, включая захват, перемещение и выравнивание.
ROBOTIS выполняет задачи по манипулированию объектами с помощью NVIDIA Isaac ROS CuMotion.
Базовые модели роботов FieldAI, которые могут работать полностью на роботах без использования облачного подключения, интегрируют Isaac ROS на устройствах Jetson, чтобы в полной мере использовать преимущества ускорения GPU и повысить эффективность стека ИИ на самом роботе.
Noble Machines использует NVIDIA Isaac ROS на Jetson для ускорения разработки роботов общего назначения для промышленных приложений, опираясь на готовые возможности ИИ и восприятия, а не создавая их с нуля.
Объединяя открытую экосистему робототехники, ускоренные вычисления и новые рабочие процессы разработки агентов, Isaac ROS 5.0 помогает разработчикам решать обе стороны задачи физического ИИ: создание все более способных приложений для роботов и их эффективная работа в физическом мире.
Isaac ROS 5.0 уже доступна, она бесплатна и имеет открытый исходный код. Разработчики могут узнать больше и начать работу с NVIDIA Isaac ROS на GitHub.
