Создание симуляций робототехники и высокоточных цифровых двойников фабрик ИИ требует большего, чем просто 3D-модели. Разработчикам часто необходимо добавить такие свойства, как геометрия столкновений, масса и трение. SimReady ассеты — это 3D-модели, которые поставляются с готовыми свойствами, необходимыми для рабочих процессов симуляции, что снижает объем ручной работы.
Библиотека SimReady Central объединяет более 2000 готовых к симуляции (SimReady) ассетов на Hugging Face, предоставляя разработчикам бесплатную открытую отправную точку для сред обучения физического ИИ и цифровых двойников фабрик ИИ. Библиотека включает в себя различные инфраструктурные и производственные компоненты: от роботизированных рук и захватов до складского оборудования, стеллажей и систем охлаждения. Разработчики могут проверить, какие возможности поддерживает каждый ассет, а затем объединять ассеты от разных поставщиков в единую сцену.
Производители оборудования (OEM) теперь могут подготавливать и проверять ассеты на соответствие требованиям SimReady, а также использовать библиотеку SimReady Central, чтобы находить разработчиков, позволять своим конечным клиентам быстрее тестировать и симулировать сценарии, а также ускорять принятие решений. Это позволяет отраслям создавать симуляции вокруг своей продукции, управляя собственными наборами данных на Hugging Face.
Мы рассмотрим, что делает ассет готовым к симуляции (SimReady) и как OEM-производители вносят свой вклад в библиотеку SimReady Central, а затем покажем, как разработчики могут использовать эти ассеты для создания сценария роботизированной сборки и сортировки и сравнения планировок фабрик ИИ.
Что делает ассет готовым к симуляции (SimReady)?
Ассеты SimReady — это ассеты OpenUSD, подготовленные со свойствами, необходимыми для рабочих процессов симуляции. Детализированная 3D-модель, например CAD, является полезной отправной точкой. Симуляция требует дополнительной информации о том, как этот объект должен интерпретироваться и использоваться.
Для задачи манипуляции роботом это может включать массу объекта, геометрию столкновений и свойства трения. Для рабочих процессов фабрики ИИ это может включать геометрию оборудования и электрические или тепловые метаданные, требуемые приложением.
OpenUSD — это открытый, расширяемый фреймворк для описания и компоновки 3D-сцен. Использование этих сцен для обучения и оценки автономных машин также требует информации о физическом поведении, столкновениях и взаимодействии с датчиками.
SimReady Foundation предоставляет спецификации, профили и инструменты валидации, которые делают эти требования явными. Профиль определяет логическую группировку функций и возможностей, которые необходимы ассету для конкретного варианта использования.
Рисунок 1. SimReady Foundation определяет требования к представлению ассетов для конкретных вариантов использования симуляции, в то время как библиотеки разработчиков помогают подготавливать и проверять ассеты OpenUSD на соответствие этим требованиям.
В зависимости от ассета и профиля эти функции могут включать:
С требованиями, связанными с каждым вариантом использования симуляции, можно ознакомиться в разделе требований и профилей SimReady Foundation. Разработчики должны выбирать из SimReady Central ассеты, чьи профили соответствуют потребностям их рабочих процессов, и компоновать их в сцену OpenUSD.
Зачем публиковать OEM-ассеты в SimReady Central?
OEM-производители могут превратить свои модели оборудования CAD в ассеты SimReady для разработчиков, создающих симуляции вокруг своей продукции. Библиотека SimReady Central делает эти ассеты доступными для поиска на Hugging Face, помогая производителям находить команды, создающие симуляции робототехники и цифровые двойники фабрик ИИ.
Для OEM-производителей оборудования для фабрик ИИ, таких как Schneider Electric, библиотека предоставляет способ распространения таких ассетов, как стеллажи складского оборудования, серверные стойки, охлаждающее оборудование и сопутствующая инфраструктура для цифровых двойников фабрик ИИ. Разработчики и передовые агенты могут внедрять эти ассеты в цифровые двойники фабрик ИИ, повторно используя геометрию и свойства, указанные в их профилях SimReady.
Для робототехнических OEM-производителей, таких как Boston Dynamics, Figure, Franka Robotics, Mentee Robotics, Standard Bots и Universal Robots, библиотека делает роботизированные руки и захваты доступными для поиска командами, создающими среды обучения и оценки. Разработчики могут объединять эти ассеты с промышленным оборудованием для создания сценариев складов и заводов.
Для поставщиков ассетов для симуляций, таких как Synthetica, библиотека включает набор данных Synthetica-USD, выпущенный в сотрудничестве с NVIDIA Robotics, наряду со сложными артикулированными ассетами, созданными на основе текста, изображений, сканов, спецификаций и CAD. Разработчики могут создавать ассеты и сцены для обучения и оценки роботов.
Для OEM-производителей, таких как LG Electronics (LGE), которые разрабатывают домашних роботов наряду с бытовой техникой, с которой они работают, библиотека предоставляет возможность делиться такими ассетами, как холодильники и посудомоечные машины. Разработчики могут использовать ассеты, основанные на опыте LGE как в области бытовой техники, так и в робототехнике, для создания домашних сред симуляции для обучения роботов, оценки и генерации синтетических данных.
Для провайдеров CAD с поддержкой ИИ, таких как Katana, библиотека предоставляет артикулированные робототехнические реквизиты с высококачественными текстурами, которые разработчики могут использовать для создания сред для обучения восприятию и манипуляциям роботов, а также для генерации синтетических данных.
Чтобы внести свой вклад, OEM-производители могут использовать навык отправки SimReady Central для проверки ассетов на соответствие соответствующим профилям SimReady, их упаковки и отправки для включения в библиотеку.
Рисунок 2. OEM-производители подготавливают и проверяют ассеты OpenUSD на соответствие профилям SimReady, а затем отправляют ассет в SimReady Central. Разработчики и ИИ-агенты находят ассеты в библиотеке и используют их для создания сред симуляции.
Создание сред симуляции с помощью ассетов SimReady
SimReady Central предоставляет разработчикам робототехнических и промышленных систем многоразовую отправную точку для рабочих ячеек роботов, промышленных сред и цифровых двойников фабрик ИИ. Разработчики и ИИ-агенты могут находить в SimReady Central ассеты, которые соответствуют профилям, необходимым для их рабочих процессов, и компоновать их в среды OpenUSD.
Разработчики могут использовать ассеты SimReady для заполнения обучающих сред объектами и препятствиями, а затем изменять их расположение для оценки поведения роботов. Эти среды могут поддерживать такие проекты, как Microduck, робот с открытым исходным кодом от Hugging Face и Pollen Robotics.
Рисунок 3. Наборы данных ассетов соединяются через SimReady Central на Hugging Face, используя ее службу поиска USD для поддержки рабочих процессов Isaac, поиска по библиотеке SimReady Central и рабочих процессов ИИ-агентов.
NVIDIA USD Search обеспечивает поиск на естественном языке в библиотеке SimReady Central, помогая разработчикам и ИИ-агентам находить ассеты среди участвующих наборов данных. Hugging Face также интегрировала USD Search в поиск по своей платформе с индексированными свойствами USD и метаданными симуляции, помогая агентам находить ассеты SimReady, подходящие для их задач физического ИИ.
Создание контента с помощью ИИ открывает еще один способ работы с этими ассетами. Разработчики могут использовать передовые модели, такие как Astra от OpenAI, в сочетании с поиском ассетов и инструментами создания сцен для построения окружений с использованием библиотеки SimReady Central. Учитывая требования к задаче и пространственные ограничения, Astra может помочь найти подходящие ассеты, написать код для сборки сцены и создать вариации сценариев.
OEM-производители также могут использовать Astra для подготовки и доработки ассетов OpenUSD в соответствии с требованиями SimReady Foundation перед их проверкой и добавлением в библиотеку.
Создание сценария робота для захвата и перемещения объектов
Например, разработчик, создающий сценарий робота для захвата и перемещения, может начать со следующего запроса:
Используя ассеты SimReady из SimReady Central на Hugging Face, создайте базовый сценарий захвата и перемещения на складе в Isaac Sim с использованием PhysX. Используйте nvidia-simready-central.hf.space, чтобы найти роботизированную руку FANUC, совместимый захват Robotiq и подходящие складские ассеты. Сгенерируйте код на Python для сборки сцены и настройки задачи захвата и перемещения. Рендерите превью в формате .mov, чтобы я мог просмотреть результаты. Включите скрипты, версии ассетов и версии среды выполнения, чтобы я мог воспроизвести сценарий.
Используя ассеты SimReady из SimReady Central на Hugging Face, создайте базовый сценарий захвата и перемещения на складе в Isaac Sim с использованием PhysX.
Используйте nvidia-simready-central.hf.space, чтобы найти роботизированную руку FANUC, совместимый захват Robotiq и подходящие складские ассеты. Сгенерируйте код на Python для сборки сцены и настройки задачи захвата и перемещения. Рендерите превью в формате .mov, чтобы я мог просмотреть результаты.
Включите скрипты, версии ассетов и версии среды выполнения, чтобы я мог воспроизвести сценарий.
В этом рабочем процессе мы ожидаем от Astra следующих действий:
- Запрос к API поиска SimReady для поиска релевантных ассетов, размещенных на Hugging Face
- Создание ссылок на них / полезной нагрузки (payload) в стейдже OpenUSD
- Генерация кода Python для сборки рабочей ячейки
- Настройка задачи захвата и перемещения
- Рендеринг превью для проверки пользователем
Рисунок 4. Рабочая ячейка для захвата и перемещения роботом, собранная из ассетов SimReady, иллюстрирует, как создание сцен с помощью ИИ может превратить требования разработчика в сценарий симуляции для проверки и доработки в Isaac Sim.
Сравнение макетов фабрик с поддержкой ИИ
Тот же подход применим и для независимого разработчика программного обеспечения (ISV), создающего цифровой двойник фабрики с поддержкой ИИ. Задача смещается от взаимодействия роботов к размещению оборудования: расстановке стеллажей, охлаждающего оборудования и сопутствующей инфраструктуры в рамках заданных пространственных ограничений.
Используя ассеты SimReady из SimReady Central на Hugging Face, создайте два альтернативных макета фабрики ИИ со стеллажами и охлаждающим оборудованием. Используйте предоставленные размеры оборудования и требования к ширине проходов. Проверьте наличие пересечений оборудования и нарушений зазоров, а также сообщите о любых проблемах. Сохраните каждый макет как сцену OpenUSD. Включите скрипты построения сцены, версии ассетов и версии среды выполнения, чтобы я мог воспроизвести и сравнить результаты.
Используя ассеты SimReady из SimReady Central на Hugging Face, создайте два альтернативных макета фабрики ИИ со стеллажами и охлаждающим оборудованием.
Используйте предоставленные размеры оборудования и требования к ширине проходов. Проверьте наличие пересечений оборудования и нарушений зазоров, а также сообщите о любых проблемах.
Сохраните каждый макет как сцену OpenUSD. Включите скрипты построения сцены, версии ассетов и версии среды выполнения, чтобы я мог воспроизвести и сравнить результаты.
В этом рабочем процессе Astra собирает выбранные ассеты SimReady в два макета OpenUSD с последующей генерацией скриптов для проверки пересечений оборудования и зазоров в проходах на соответствие предоставленным требованиям. Затем разработчики смогут изучить макеты в своем симуляционном приложении, сравнить размещение оборудования и пути доступа, а также просмотреть все выявленные проблемы перед доработкой предпочтительной конфигурации.
Рисунок 5. Макет фабрики ИИ, собранный из ассетов SimReady, иллюстрирует, как создание сцен с помощью ИИ поддерживает размещение оборудования, проверку зазоров в проходах и доработку макета в OpenUSD.
В любом из примеров разработчики могут расширить свои среды следующими способами:
- Повторное использование среды: храните изменения макета и задачи в отдельных слоях OpenUSD, чтобы одни и те же исходные ассеты могли поддерживать несколько экспериментов.
- Изменение сценариев: внедряйте дополнительные ассеты из библиотеки и изменяйте расположение объектов, конфигурации оборудования или окружающую инфраструктуру для оценки различных условий.
- Создание тестов для конкретных приложений: для робототехники настраивайте задачи обучения и оценки в Isaac Lab. Для фабрик ИИ подключите сцену к данным об оборудовании и инструментам симуляции, необходимым для анализа распределения питания или производительности охлаждения.
- Перенос утвержденных макетов в эксплуатацию: для фабрик ИИ подключите сцену к телеметрии BMS и ИТ в реальном времени, чтобы поддерживать синхронизацию цифрового двойника с физическим объектом фабрики ИИ.
Помогите сформировать новую волну ассетов
Дорожная карта SimReady Central включает привлечение новых OEM-партнеров и расширение библиотеки ассетов, что увеличивает количество оборудования и сред, которые разработчики могут собирать из повторно используемого контента.
Отзывы сообщества помогут определить, какие дополнения наиболее важны. Расскажите нам в комментариях, какие ассеты вам нужны, какие среды выполнения вы используете и где вы сталкиваетесь с пробелами при интеграции.
Отправьте ассеты OEM для включения в SimReady Central с помощью руководства по отправке ассетов.
Вклады OEM-производителей могут расширить доступный контент, а примеры от разработчиков могут показать, как ассеты работают в различных приложениях. Делитесь примерами созданных вами решений в комментариях и создавайте тикет (issue) в SimReady Foundation для сообщения об ошибках или запроса функций требований SimReady.
Начните разработку на Hugging Face 🤗
Выберите ассет из библиотеки SimReady Central для вашей следующей симуляции робототехники или цифрового двойника фабрики ИИ. Используйте ресурсы ниже, чтобы найти ассеты, построить сцену или внести модели оборудования.
Поиск ассетов
- Найдите ассеты для вашей задачи: библиотека SimReady Central на Hugging Face
- Поиск на естественном языке: опишите нужные вам ассеты через эндпоинт поиска SimReady Central на базе USD Search.
- Создайте собственный браузер ассетов: изучите навыки индексирования библиотеки в репозитории SimReady Central на GitHub.
Создание сцены
- Научитесь собирать сцены OpenUSD: пройдите бесплатный учебный курс по OpenUSD.
- Развивайте навыки робототехники и создания цифровых двойников: изучите бесплатные курсы по физическому ИИ.
- Создавайте симуляции робототехники: начните с Isaac Sim и Isaac Lab.
- Создавайте фабрики ИИ: начните с рабочего процесса цифрового двойника с поддержкой агентов.
Подготовка и внесение контента
- Начните процесс участия OEM: следуйте руководству по онбордингу и найдите ответы на часто задаваемые вопросы в документации библиотеки SimReady Central.
- Выберите требования для вашего ассета: ознакомьтесь с профилями в SimReady Foundation.
- Подготовьте САПР-модели для симуляции: используйте навыки CAD-to-SimReady.
- Проверьте, упакуйте и отправьте свои ассеты: следуйте навыку отправки в SimReady Central.
Успешной работы, нам не терпится увидеть то, что вы создадите!
