Чтобы помочь разработчикам быстро создавать модели мира, которые помогают системам физического ИИ понимать реальный мир и симулировать его, NVIDIA расширила платформу Cosmos новыми инструментами обучения, чекпоинтами симуляций и шаблонами Cosmos Data Factory.
Занимая места в первой пятёрке в шести различных таблицах лидеров открытых моделей, платформа NVIDIA Cosmos предоставляет создателям моделей мира передовые открытые модели, а также данные, инструменты и рецепты для обучения и оптимизации, позволяющие масштабировать обучающие данные, адаптировать модели, тестировать поведение и оптимизировать производительность перед развертыванием.
Создавайте лучшие обучающие данные
Создание моделей мира начинается с мультимодальных и мультисенсорных данных.
NVIDIA Cosmos Data Factory объединяет инструменты и навыки для разметки, кураторства, дополнения и оценки данных в больших масштабах для обучения физического ИИ. Cosmos Curator, решение с ускорением на GPU для кураторства наборов данных для обучения видео, теперь поддерживает мультимодальные мультисенсорные входы и блоки обработки.
Cosmos Data Factory теперь предлагает следующие пять облачных шаблонов и доступна через , Microsoft Azure, Nebius и CoreWeave:
- Генерация наборов данных для автономных транспортных средств: курирует и размечает данные вождения, а затем добавляет синтетические примеры сложных для захвата сценариев для расширения покрытия обучения.
- Дополнение атрибутов изображений: изменяет внешний вид объектов для улучшения поиска изображений.
- Генерация видео событий: превращает неподвижные изображения в синтетические видео редких или небезопасных событий.
- Генерация изображений дефектов: генерирует изображения дефектов печатных плат, металла и стекла для моделей инспекции.
- Дополнение видеоданных: изменяет погоду и освещение в существующих материалах, сохраняя при этом структуру сцены.
https://blogs.nvidia.com/wp-content/uploads/2026/10/CDF-visual-Oct20.mp4
Cosmos Data Factory ускоряет кураторство данных, обработку и генерацию синтетических данных с помощью агентских навыков.
Компании уже используют шаблоны Cosmos Data Factory в работе, чтобы ускорить свои рабочие процессы разработки физического ИИ.
Porsche лидирует в разработке общего конвейера данных AV (автономных транспортных средств) для брендов Volkswagen Group, используя Cosmos Data Factory через Voxel51 в Microsoft Azure. Ожидается, что это сократит количество повторных физических тестовых поездок до 90% и сократит время циклов разработки до 85%.
https://blogs.nvidia.com/wp-content/uploads/2026/10/Porche-Cosmos-Data-Factory.mp4
Porsche выполняет поиск и дополнение видеоданных автономного транспортного средства в Voxel51 на базе Cosmos Data Factory.
ANYbotics сгенерировала более 1 500 синтетических видеоклипов с помощью шаблонов Cosmos Data Factory, курируя данные реального мира и проверяя результаты с помощью платформы Encord’s, чтобы обучить своих роботов для промышленного осмотра распознавать проливы жидкостей и другие изменения между посещениями объектов.
https://blogs.nvidia.com/wp-content/uploads/2026/10/ANYbotics-Cosmos-Data-Factory.mp4
ANYbotics генерирует клипы с аномалиями с помощью Encord на базе NVIDIA Cosmos Data Factory.
Ultralytics, компания в области компьютерного зрения, переобучила свою модель YOLO на реальных изображениях и целевых синтетических дефектах, созданных с использованием Cosmos Data Factory, что улучшило локализацию дефектов и полноту обнаружения.
Обучение, адаптация и оптимизация моделей
Подготовив обучающие данные, разработчики могут обучить собственную архитектуру или начать с предобученной модели.
На GTC Berlin компания NVIDIA расширила инструменты и рецепты для обучения, оптимизации и развертывания Cosmos Framework в качестве агентских навыков для большего числа открытых моделей, а также добавила Cosmos 3, предоставив создателям моделей мира более быстрый путь от экспериментов к развертыванию.
Разработчики и агенты теперь могут адаптировать открытые модели, такие как GR00T, Alpamayo, QWEN, Pi0.5 и другие совместимые модели Hugging Face, посредством точной настройки и обучения с подкреплением, оптимизировать модель с помощью дистилляции и квантования, а также развертывать ее с высокопроизводительным выводом.
Чтобы разработать модель мира, специализирующуюся на эгоцентрических манипуляциях, лаборатория робототехнических исследований MicroAGI провела допобучение Cosmos 3 на видеозаслях манипуляций людей с объектами и дистиллировала свой инструмент рассуждений с 32 миллиардами параметров в модель Nano с 8 миллиардами параметров без потери точности.
Разработчики могут размечать данные и проводить допобучение Cosmos 3 на Roboflow для своих конкретных сред и задач, а затем развертывать эти модели на размещенных в RoboFlow или локальных GPU NVIDIA, чтобы привнести видеорассуждения на заводы и склады.
Тестирование политик и более быстрый запуск моделей
Параллельно с этими инструментами NVIDIA продолжает развивать фундаментальные технологии благодаря своей работе над моделями Cosmos.
Новые Cosmos 3 Nano model variants для симуляции позволяют разработчикам тестировать автономные политики в повторяемых, сложных для захвата сценариях с несколькими ракурсами и несколькими сенсорами. Сопутствующий код позволяет разработчикам адаптировать модели для обучения и оценки собственных политик для автономных транспортных средств и роботов с двумя руками в интерактивных симуляциях перед тестированием в реальном мире.
Разработчики могут развертывать основные модели Cosmos с помощью обновленных микросервисов NVIDIA Cosmos 3 NIM, которые обеспечивают до 2 раз более быстрый вывод без потери качества в проверенных конфигурациях, в то время как непрерывный видеоанализ обеспечивает оповещения за доли секунды.
Для разработчиков визуального ИИ новый NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3, созданный на базе микросервисов Cosmos NIM, превращает один промпт в эффективное приложение видео-ИИ и помогает командам мониторить на 40% больше видеопотоков с тем же графическим процессором.
ADNOC использует агентскую платформу MistIQ компании Fogsphere, созданную на базе Cosmos и чертежа NVIDIA Metropolis VSS Blueprint, для обнаружения угроз безопасности в реальном времени на 65 объектах. Для редких событий Fogsphere также использует Cosmos Data Factory для генерации синтетических обучающих данных, улучшая обнаружение без необходимости физически инсценировать опасные ситуации.
https://blogs.nvidia.com/wp-content/uploads/2026/10/ADNOC-Cosmos.mp4
Платформа Cosmos полностью модульная и открытая. Разработчики могут использовать Cosmos Data Factory для генерации наборов обучающих данных, Cosmos Framework для обучения и адаптации моделей мира, а затем развертывать поддерживаемые модели Cosmos с помощью микросервисов NIM.
