Коротко
Платформа разработки мировых моделей NVIDIA Cosmos пополняется четырьмя новыми контрольными точками с открытыми весами в семействе моделей Cosmos 3 для генерации интерактивных симуляций мира и сценариев вождения с несколькими датчиками и ракурсами:
- 🌦️ Cosmos3-Nano-Transfer-Auto : генерация данных вождения с нескольких ракурсов с изменяющимися погодными условиями, освещением и временем суток.
- 🚗 Cosmos3-Nano-Sim-Auto : потоковая передача синхронизированных данных с камер и лидаров для симуляции вождения.
- 🎨 Cosmos3-Nano-Sim-Transfer : преобразование элементов управления симулятора и текстового запроса в фотореалистичное видео.
- 🤖 Cosmos3-Nano-Sim-Bimanual : предсказание видео по действиям робота или камеры.
Все четыре модели представляют собой дообученные версии Cosmos 3 Nano и имеют 16 млрд обучаемых параметров. Модели используют OpenMDW1.1, что разрешает коммерческое и некоммерческое использование в соответствии с его условиями.
Скачать контрольные точки · Прочитать технический отчет . Посмотреть демо
Зачем нужны эти контрольные точки?
🦾 Робототехнике необходимы среды, способные учитывать изменения сцен и точек обзора. Эти контрольные точки предлагают взаимодополняющие способы их создания: Sim-Bimanual предсказывает визуальные последствия на основе действий, а Sim-Transfer преобразует элементы управления физического симулятора в сгенерированные наблюдения.
🚦 Для автономного вождения внешний вид и геометрия должны совпадать. Синхронизированная генерация с камер и лидаров связывает визуальные наблюдения с 3D-восприятием. Элементы управления сценой и сигналами светофора позволяют исследователям менять дорожную разметку и состояния сигналов, а затем изучать реакцию стратегии вождения.
🔄 Каждое наблюдение может определять следующее действие. Потоковая генерация связывает прогнозирование видео с непрерывным взаимодействием, предоставляя исследователям мировых моделей способ изучать, как действия и наблюдения разворачиваются вместе.
🌐 Открытая основа для дальнейшей разработки. Видение NVIDIA заключается в том, чтобы помочь исследователям и разработчикам создавать более богатые и отзывчивые смоделированные миры. Открытые веса и рецепты дообучения обеспечивают общую отправную точку для адаптации моделей, сравнения методов и внесения улучшений. Эти задачи остаются сложными: предстоит оценить, насколько точно модели поддерживают обучение и оценку стратегий, понять их ограничения и улучшить то, в чем они уступают.
Создание миров для автономных транспортных средств с помощью Cosmos3-Nano
🌦️Transfer-Auto: сценарии вождения → данные с нескольких датчиков
Cosmos3-Nano-Transfer-Auto — это двунаправленная модель для автономной генерации синтетических данных о вождении. Она генерирует синхронизированное видео с 11 ракурсов камер, включая «рыбий глаз», и поддерживает совместную генерацию RGB и лидара. Элементы управления карты дорожного сценария (WSM) для каждой камеры задают структуру сцены и движение трафика, а текстовые запросы определяют внешний вид.
Разработчики могут изменять условия окружающей среды для расширения охвата обучения и оценки, используя дополнительные исходные RGB-изображения для закрепления внешнего вида сцены. Совместная генерация лидара дополнительно использует элементы управления диапазоном карт высокой четкости, привязанные к камере. Transfer-Auto также служит основой для адаптации Cosmos под вашу собственную конфигурацию датчиков и область вождения. Начните с ее дообучения на ваших данных, чтобы учесть расположение камер, конфигурацию лидаров и целевую среду. Адаптированная модель может использоваться напрямую для автономной генерации данных или проходить причинное обучение и дистилляцию за несколько шагов для быстрой потоковой симуляции — путь разработки, который использовался для создания Cosmos3-Nano-Sim-Auto.
Укажите вашему агенту навык с открытым исходным кодом: Run inference with Cosmos3-Nano-Transfer-Auto
Предпочитаете ноутбук? Откройте Transfer-Auto.
🚗Sim-Auto: управление вождением → потоковые наблюдения
Cosmos3-Nano-Sim-Auto — это дистиллированный по причинно-следственному принципу потоковый вариант Transfer-Auto. Она генерирует последовательные небольшие фрагменты синхронизированного видео с камер и данных лидара всего за несколько шагов дешума, используя сгенерированную историю и обновленные элементы управления вождением для поддержки быстрой потоковой передачи и длительных интерактивных прогонов.
Предоставьте подписи к камерам и синхронизированные элементы управления WSM, при желании добавив исходные RGB-изображения. Для генерации лидара включите элементы управления диапазоном HD-карты, согласованные с элементами управления камерой. Дистиллированная модель генерирует последовательные фрагменты, используя свою скользящую историю. Замкнутый цикл взаимодействия требует среды выполнения симуляции и средства рендеринга WSM для обновления этих элементов управления на основе входных данных вождения. Для новой конфигурации датчиков или домена сначала адаптируйте Transfer-Auto, а затем дистиллируйте ее в Sim-Auto.
Укажите вашему агенту навык с открытым исходным кодом: Run inference with Cosmos3-Nano-Sim-Auto
Предпочитаете ноутбук? Откройте Sim-Auto.
🎨 Sim-Transfer: управление симулятором → RGB
Ваш симулятор вычисляет движение, контакты и физическое состояние. Sim-Transfer использует элементы пространственного управления и текстовый запрос для рендеринга цветных наблюдений, которые может использовать стратегия.
Действие → обновление симулятора → пространственное управление → сгенерированный RGB → следующее действие стратегии
- Глубина: относительное расстояние от камеры.
Глубина: относительное расстояние от камеры.
- Сегментация: области и границы объектов.
Сегментация: области и границы объектов.
- Края: контуры сцены.
Края: контуры сцены.
- Размытие: грубый внешний вид и макет.
Размытие: грубый внешний вид и макет.
Текст определяет внешний вид; физика и истинное состояние остаются за симулятором.
Управление глубиной для видео
Управление сегментацией для видео
Укажите вашему агенту навык с открытым исходным кодом: Run inference with Cosmos3-Nano-Sim-Transfer
Предпочитаете ноутбук? Используйте Transfer.
🤖 Sim-Bimanual: действия → видео
Входные кадры
Выходное видео из контрольной точки симуляции Sim-Bimanual
Cosmos3-Nano-Sim-Bimanual моделирует эволюцию среды в ответ на действия двурукого робота. Она поддерживает интерактивную двухручную симуляцию для роботов YAM и AgiBot, управляемых стратегией или джойстиками под управлением оператора-человека.
Начните с изображения, переместите робота или камеру и сгенерируйте следующие наблюдения. Одна последовательность управления может переключаться между изменением точек обзора и манипуляциями.
Пример со смешанными действиями использует 59 значений управления, дополненных до 64 во время обучения. Его схема определяет системы координат, вращения, калибровку захвата, маски валидности и домены управления. Следуйте этим соглашениям, чтобы каждое значение описывало предполагаемое движение.
Соблюдайте синхронизацию времени: для переходов T требуются наблюдения T+1. Обучение преобразует исходные захваты в представление действий модели; опубликованные действия для вывода уже нормализованы.
Здесь Sim-Transfer генерирует визуальные эффекты на основе обновленного состояния физического симулятора; Sim-Bimanual генерирует следующее наблюдение непосредственно из сцены и действий робота.
См. соглашение о данных и схему действий.
Требования: Linux, графический процессор NVIDIA, Docker и NVIDIA Container Toolkit. Опубликованная установка vLLM-Omni была протестирована на одном GB200; это не спецификация минимального объема памяти. Сервер скачивает веса; клиенты получают примеры входных данных.
Укажите вашему агенту навык с открытым исходным кодом: Run inference with Cosmos3-Nano-Sim-Bimanual
Предпочитаете ноутбук? Откройте Bimanual
Как работает потоковая генерация
Магистральная архитектура Mixture-of-Transformers в Cosmos 3 соединяет раздельные сети обработки текста и визуальной генерации с помощью внимания. Генератор предсказывает каждый короткий сегмент на основе подсказки, доступных элементов управления и сгенерированной истории.
Элементы управления + история → генерация фрагмента → декодирование изображений → обновление истории
Шумоподавление преобразует зашумленные сжатые представления видео в сегмент. Темпорально-причинное внимание позволяет считывать доступную историю и элементы управления, блокируя при этом наблюдения за будущими целевыми объектами. Кэш ключей/значений сохраняет информацию внимания для следующего прогноза.
Модель работает со сжатыми представлениями видео, называемыми латентами. После начального изображения каждый временной шаг латента представляет четыре RGB-кадра. Transfer прогнозирует по одному шагу на фрагмент; оптимизированная конфигурация Bimanual в отчете прогнозирует два. Более мелкие фрагменты позволяют новым элементам управления чаще влиять на генерацию.
Четырехэтапный рецепт обучения
- Этап 0 — Двунаправленная адаптация: изучение домена и его взаимосвязей «управление-видео» на основе полных записанных клипов.
Этап 0 — Двунаправленная адаптация: изучение домена и его взаимосвязей «управление-видео» на основе полных записанных клипов.
- Этап 1 — Принуждение учителя (Teacher forcing): прогнозирование каждого фрагмента на основе ранее записанных наблюдений и доступных элементов управления, при этом чистый ответ и будущие цели маскируются.
Этап 1 — Принуждение учителя (Teacher forcing): прогнозирование каждого фрагмента на основе ранее записанных наблюдений и доступных элементов управления, при этом чистый ответ и будущие цели маскируются.
- Этап 2 — Дистилляция согласованности: использование замороженного учителя для обучения студента, который генерирует каждый фрагмент за четыре шага шумоподавления.
Этап 2 — Дистилляция согласованности: использование замороженного учителя для обучения студента, который генерирует каждый фрагмент за четыре шага шумоподавления.
- Этап 3 — Самопринуждение (Self-forcing): обучение на сгенерированной студентом истории. Замороженный учитель и вспомогательная модель оценки предоставляют сигнал для согласования распределения.
Этап 3 — Самопринуждение (Self-forcing): обучение на сгенерированной студентом истории. Замороженный учитель и вспомогательная модель оценки предоставляют сигнал для согласования распределения.
Почему важен финальный этап: слегка неверно предсказанный объект становится контекстом для последующих кадров, поэтому ошибки могут накапливаться. Самопринуждение подвергает обучение воздействию этой сгенерированной истории. Дистилляция и кэширование снижают затраты на создание каждого наблюдения.
🛠️ Адаптация с использованием ваших данных
Рецепты постобучения начинаются с Cosmos3-Nano или совместимых базовых весов и охватывают все четыре этапа. Сохраняйте полные контрольные точки обучения для возобновления; экспортированные веса для вывода не содержат оптимизатор и другие состояния обучения.
- Transfer-auto: Выполните постобучение на ваших данных вождения, чтобы адаптироваться к вашей сенсорной установке и домену, а также генерировать автономные синтетические данные.
: Выполните постобучение на ваших данных вождения, чтобы адаптироваться к вашей сенсорной установке и домену, а также генерировать автономные синтетические данные.
- Sim-auto: Примените причинное обучение и дистилляцию к адаптированной модели Transfer-Auto для быстрой потоковой симуляции.
: Примените причинное обучение и дистилляцию к адаптированной модели Transfer-Auto для быстрой потоковой симуляции.
- Sim-Transfer : Выполните постобучение контрольной точки для вашей среды с локальной подготовкой данных, конфигурациями этапов и возобновлением.
: Выполните постобучение контрольной точки для вашей среды с локальной подготовкой данных, конфигурациями этапов и возобновлением.
- Sim-Bimanual: Выполните постобучение для вашего воплощения с проверкой данных, конфигурациями этапов, передачей контрольных точек и экспортом.
: Выполните постобучение для вашего воплощения с проверкой данных, конфигурациями этапов, передачей контрольных точек и экспортом.
Предоставьте своему агенту кодирования навык и расположение набора данных. Следуйте проверкам среды, проверьте образец и протестируйте обучение и перезапуск перед более длительным запуском. Оцените качество на отложенных эпизодах: успешный короткий запуск подтверждает выполнение, а не сходимость.
Дополнительные ресурсы
- 🤗Скачать контрольные точки
🤗Скачать контрольные точки
- 📺 Посмотреть повтор прямой трансляции Cosmos Labs
📺 Посмотреть повтор прямой трансляции Cosmos Labs
📖 Читать технический блог
