Превращение идеи симуляции в работающее приложение означает сборку ассетов, подключение физики и рендеринга, а также проверку того, что сцена ведет себя должным образом. Разработчики объединяют передовые модели ИИ с библиотеками NVIDIA Omniverse, чтобы упростить эту работу — создавая приложения для изучения сценариев, расследования сбоев и улучшения проектов.
Разработчики управляют ИИ-агентами с помощью инструкций на естественном языке, проверяют результаты и вносят изменения. Библиотеки Omniverse предоставляют возможности физики с ускорением на GPU, рендеринга и симуляции датчиков.
Изучите представленные ниже проекты, чтобы увидеть в действии такие передовые модели ИИ, как GPT-6 Astra, и возвращайтесь за новыми примерами от команд NVIDIA и разработчиков со всей экосистемы.
Создание симулятора гуманоида для складской среды 🔗
https://blogs.nvidia.com/wp-content/uploads/2026/10/Humanoid-Warehouse.mp4
Исследуйте геймифицированное управление гуманоидным роботом на основе физики с видом от первого и третьего лица.
Прежде чем автоматизировать складские задачи, разработчикам нужна интерактивная среда симуляции, чтобы изучить поведение при выполнении задач и оценить, как именно выполняется работа. Фрэнк ДеЛиз, менеджер по продукту Omniverse в NVIDIA, использовал Astra, чтобы превратить SimReady склад и гуманоидного робота в интерактивный симулятор с видами от первого и третьего лица.
ДеЛиз поручил Astra подключить библиотеки NVIDIA Omniverse для физики (ovphysx), обновления сцены (ovstage), рендеринга (ovrtx) и пользовательского интерфейса (ovui). Он также использовал Astra вместе с SimReady (simready-foundation) для создания физической сцены в симуляции. Затем Astra сгенерировала анимацию и код приложения, чтобы объединить эти возможности.
Узнайте, как подготавливать и проверять ассеты роботов SimReady с помощью передовых моделей ИИ и библиотек NVIDIA Omniverse.
Подключение рабочего процесса тестирования автономного вождения 🔗
https://blogs.nvidia.com/wp-content/uploads/2026/10/zero-to-alpamayo-under-10MB.mp4
Изменение сцены, датчика или модели вождения может существенно повлиять на симуляции автономных транспортных средств. Доюб Ким, менеджер команды по технологиям симуляции в NVIDIA, попросил Astra создать Zero to Alpamayo — многоразовую среду симуляции, основанную на Маркет-стрит в Сан-Франциско.
Ким поручил Astra составить план рабочего процесса, а затем поэтапно подключить создание ассетов, трафик, симуляцию датчиков Omniverse RTX и вождение Alpamayo, проверяя каждую интеграцию. Полученный прототип стал испытательным полигоном для сравнения моделей и отслеживания того, как изменения сцены или датчиков влияют на последующее поведение при вождении. В отдельном эксперименте Cosmos3-Nano варьировались погода и освещение в записанных видео симуляции, что позволило Киму сравнить реакцию модели вождения на один и тот же сценарий в разных условиях.
Использование различий в данных датчиков для создания и улучшения цифровых двойников 🔗
https://blogs.nvidia.com/wp-content/uploads/2026/10/0_00-0_004-hubble_rivermark_Real_Sim_no_loop.mp4
Сравнение записанных и симулированных данных с камер и лидаров дает разработчикам обратную связь на основе ключевых показателей эффективности для доработки сцены.
Для тестирования роботов и автономных транспортных средств разработчикам нужно знать, насколько симулированные датчики соответствуют реальным. Эшли Рид, работающая над валидацией датчиков RTX в NVIDIA, поручила агентам Astra и Claude Fable 5 сравнить данные камер и необработанные данные LiDAR с записанными данными. Агенты создали два цифровых двойника с нуля и улучшили два существующих. Примерно за три дня Рид руководила итеративным рабочим процессом, в ходе которого агенты измеряли различия, создавали или модифицировали сцены OpenUSD и проверяли результаты. Изменения касались отсутствующих объектов, геометрии и материалов, при этом принятие зависело от метрик камер и LiDAR. Это дает разработчикам способ использовать измеренные расхождения для управления созданием и улучшением сцен.
Начните с рендеринга сцены OpenUSD с помощью минимального примера на Python ovrtx, а затем определите метрику датчика для сравнения с записанными данными.
Робо-Олимпиада: проверка навыков роботов с помощью симуляции 🔗
Обучение роботов новым движениям означает проверку того, работают ли эти действия в физических ограничениях. Тэ Ким, возглавляющий разработку и продукты NVIDIA Omniverse, использовал спортивные видео и инструкции на естественном языке, чтобы направлять Astra в создании Robo Olympics — экспериментального проекта, который тестирует симулированных гуманоидов Unitree G1, выполняющих спортивные движения.
Под руководством Кима Astra создала контроллеры и доработала их с помощью физических испытаний. Физический движок Newton симулировал поведение, фреймворк с открытым исходным кодом NVIDIA Warp ускорял вычисления, а рендерил сцены и изображения виртуальных камер. В одном из экспериментов робот преодолел один барьер в 64 из 100 попыток симуляции. Эти испытания дали Киму обратную связь для улучшения тайминга и управления роботом.
Посмотрите, как Ким изучает создание симуляций с помощью Astra и библиотек NVIDIA Omniverse.
Тестирование роботизированной разборки с помощью САПР и симуляции 🔗
Прежде чем робот сможет разобрать изделие, разработчикам нужно знать, могут ли его инструменты достичь и извлечь детали. Йенс Джебенс, старший менеджер по продукту OpenUSD в NVIDIA, поручил Astra смоделировать подвеску автомобиля в PTC Onshape и настроить ее в NVIDIA Isaac Sim.
Вместе с Astra Джебенс изучил системы автоматизированного проектирования и доработки инструментов для роботов на основе симуляции. Агент измерил доступное пространство и спроектировал гаечный ключ, который робот мог бы использовать, чтобы добраться до болтов подвески. Джебенс сообщил об успешном снятии компонента подвески в симуляции. Это связывает решения по проектированию и оснастке с результатами разборки, предлагая отправную точку для обучения стратегий роботов.
Изучите руководство по импортеру Onshape.
Перенос Международной космической станции в браузер 🔗
Превращение 3D-моделей в приложение требует подключения ассетов, оперативных данных и интерфейса. Ник Джонс, инженерный директор в NVIDIA, предложил Astra собрать ассеты NASA в OpenUSD модель Международной космической станции с телеметрией. Джонс создал приложение с помощью одного запроса, а затем использовал последующий запрос, чтобы переместить сцену на дневную сторону Земли, чтобы планета была видна.
В рабочем процессе использовался Blender для подготовки ассетов и библиотеки Omniverse для рендеринга (), среды выполнения сцены (ovstage) и потоковой передачи (ovstream). Приложение переносит 3D-модели и операционные данные в браузер, а Джонс руководит его разработкой с помощью запросов и исправлений.
Попробуйте навык Omniverse Real-Time Viewer.
Превращение захваченных комнат в среды тестирования 🔗
Цифровой реконструкции комнаты нужны редактируемые объекты и точное физическое поведение, прежде чем разработчики смогут тестировать взаимодействия. Чираг Маджития из команды инженерных приложений Isaac в NVIDIA поручил Astra превратить захваченные стереокамерой данные в редактируемую студию.
Рабочий процесс объединил PyCuSFM, FoundationStereo и nvblox для реконструкции, при этом выбор и размещение объектов осуществлялись под контролем пользователя. Astra собрала сгенерированные и созданные в Blender ассеты, а также использовала USD Content Agents для настройки движения и взаимодействия объектов в симуляции. Тестирование в Isaac Sim помогло внести коррективы в работу механизмов столкновений и контактов для дверей и выдвижных ящиков. Студия связывает полученную геометрию с тестированием взаимодействий, что упрощает проверку зазоров и поведения объектов.
У вас есть идея для симуляции? Изучите библиотеки NVIDIA Omniverse, чтобы начать разработку с использованием ИИ-агента.
