KINO-2: Производственный ИИ для манипуляций в реальном мире

1 От обучения роботов к реальным рабочим процессам

Компания Bear имеет более 16 000 коммерческих роботов, работающих в самых разных условиях: от сферы гостеприимства до коммерческих объектов и складов. Работа в таком масштабе определила то, как мы создаем навигацию и координируем парки роботов, а также дала нам данные и инфраструктуру обучения, которые мы теперь используем для улучшения восприятия роботов.

KINO-1 заложила наш собственный подход к обучению манипуляциям на основе демонстраций. KINO-2 развивает эту работу для коммерческого развертывания двумя способами: единая среда для обучения и развертывания различных архитектур моделей и ускоренная среда выполнения, которая запускает более мощные модели на борту. Это позволяет нам масштабировать наши собственные модели и внедрять предварительно обученные базовые модели, такие как NVIDIA Isaac GR00T, по мере роста потребностей клиентских рабочих процессов.

Рабочий процесс клиента редко заканчивается тем, что робот достигает пункта назначения. Товары могут нуждаться в сортировке, упаковке или пополнении запасов с использованием оборудования, уже находящегося на объекте. KINO-2 обучает этим навыкам с помощью демонстраций и смоделированной практики, сокращая объем кастомного программирования, которое в противном случае потребовалось бы для каждого нового рабочего процесса.

В качестве примера можно привести рабочий процесс упаковки на складе. Обученные манипуляции позволяют брать бутылки и наполнять ящики, в то время как программное обеспечение Bear для мобильности и рабочих процессов управляет транспортировкой ящиков и последовательностью работ. Клиентам требуется выполнение задачи целиком, а не отдельный навык, поэтому мы создаем и оцениваем выполнение задачи целиком.

Рисунок 3. Конфигурация собственной модели манипуляций компании Bear

Проиллюстрированная собственная конфигурация прогнозирует 40 шагов действий с частотой 10 Гц, что соответствует горизонту в четыре секунды. KR1 выполняет один шаг длительностью 0,1 секунды перед повторным планированием на основе обновленных данных наблюдения. Это позволяет последующим прогнозам реагировать на изменения, такие как смещение бутылки во время контакта. История наблюдений и горизонт выполнения зависят от данной конфигурации модели.

Поддержка более крупных архитектур моделей

KINO-2 поддерживает как однозадачные, так и многозадачные модели в рамках единой инфраструктуры обучения и развертывания, включая наши собственные модели и предварительно обученные базовые модели. Мы подбираем модель в соответствии с требуемым для рабочего процесса поведением и бортовыми вычислительными мощностями, внедряя более крупные архитектуры по мере того, как клиентам требуются более широкие возможности.

Поддержка различных моделей требует не просто замены контрольной точки (чекпоинта). Каждая из них сохраняет свои собственные энкодеры и архитектуру генерации действий. Мы адаптируем ее представление данных и интерфейсы робота, сохраняя смысл наблюдений и действий неизменными от обучения до выполнения.

Эта гибкость зависит от двух основ: данных о задачах, отражающих реальные вариации, и бортовой среды выполнения, которая преобразует прогнозы в своевременные действия робота. В следующих двух разделах рассматриваются оба этих аспекта.

3 Масштабирование обучения роботов с помощью данных и симуляции

Навык, который работает только на записанном примере, бесполезен для клиента. Мы начинаем с демонстраций реальной задачи клиента, а затем расширяем этот опыт за счет визуального дополнения (аугментации) и смоделированного взаимодействия. Каждый метод играет особую роль в едином конвейере обучения.

Начало с демонстраций реальных задач

Демонстрации фиксируют то, как выполняется работа. С помощью телеоперации и других контролируемых рабочих процессов мы записываем данные с камер вместе с состоянием робота и действиями оператора. Синхронизация этих записей сохраняет связь между тем, что видит робот, и тем, как он движется, включая тайминг захвата и отпускания. Записи служат примерами для обучения и последующего дообучения выбранной модели.

Расширение визуальных вариаций с помощью синтетических данных

Одна и та же задача может выглядеть по-разному при новом освещении или на другом фоне. Наш конвейер аугментации использует модели открытого мира NVIDIA Cosmos для изменения стиля демонстрационных видеороликов с сохранением связанных с ними данных о действиях, состоянии и времени. Цель состоит в том, чтобы варьировать внешний вид при сохранении продемонстрированного движения, чтобы метки действий оставались применимыми. В данной статье описывается возможность генерации данных; в ней не проводится количественная оценка прироста производительности задач от аугментации Cosmos.

Параллельное обучение и тестирование в симуляции

Симуляция позволяет модели учиться посредством взаимодействия, включая неудачные попытки. Параллельные среды позволяют на практике изменять настройки задач, повторять сложные случаи и отрабатывать восстановительное поведение в контролируемых условиях.

Мы обучаем политики KR1 в NVIDIA Isaac Lab, открытой среде для обучения и оценки, запуская 1,024 симулированных экземпляра KR1 параллельно в конфигурации задачи захвата. Это дает процессу обучения более тысячи копий задачи одновременно без необходимости использования тысячи физических роботов.

В ходе одного цикла симуляционного обучения задачи захвата время на один захват сократилось вдвое: с 7,4 до 3,7 секунды по мере продвижения обучения. Модель использовала состояния, предоставляемые симулятором, в качестве входных данных, поэтому результат показывает улучшение в рамках этой среды обучения; тесты на физическом роботе добавляют данные с камер, контакты и реальное время выполнения.

Эти источники данных питают один цикл разработки. Симуляция обеспечивает контролируемую практику в масштабе, в то время как аппаратные тесты и пилотные проекты с клиентами выявляют те реальные условия, которые должен учесть следующий цикл обучения.

4 Ускорение KINO-2 с помощью NVIDIA Isaac OS

Более крупная модель полезна на роботе только в том случае, если вся система успевает за ней. На KR1 изученные манипуляции делят NVIDIA Jetson AGX Thor с существующим программным обеспечением автономии робота, поэтому на счету каждая миллисекунда. NVIDIA Isaac OS, детерминированная среда выполнения с открытым исходным кодом, составляет основу нашей среды выполнения восприятия. Разработка Bear вокруг нее дала самые значительные результаты в этой статье: в 4,2 раза более быстрая инференс-обработка, открытая модель VLA Isaac GR00T, работающая на роботе, и существенно более плавное движение, обеспечивающее эффективное использование бортовых вычислений от ввода с камеры до инференса модели.

Ускоренный конвейер восприятия и инференса

Isaac OS построена на базе комплекта разработчика NVIDIA Holoscan SDK (HSDK) 5.0. Мы используем HSDK для подключения захвата с камер к обработке наблюдений и инференсу в ускоренном конвейере графического процессора (GPU). Кадры остаются в памяти GPU на этапе предварительной обработки и выполнения модели, в то время как NVIDIA TensorRT оптимизирует выполнение графов моделей.

Интеграция среды выполнения с KR1

Мы разработали специализированную плату-носитель Thor для KR1 вокруг этого конвейера, заменив предыдущий подход с платой камеры на базе FPGA на интегрированное решение. Владение как аппаратным, так и программным обеспечением позволяет нам оптимизировать путь от датчика к модели как единую систему. Ранний доступ к технологиям NVIDIA и прямое взаимодействие с ее инженерными командами способствовали быстрой итерации.

NVIDIA Isaac Bridge соединяет конвейер Isaac OS/HSDK с нашим существующим стеком робототехники, благодаря чему ускоренная среда выполнения работает с мобильностью и рабочими процессами, которые KR1 уже использует. Проверенные возможности робота остаются на месте, позволяя новым моделям и их предсказанным действиям подключаться к тем же задачам и интерфейсам управления.

Ускорение собственной модели

Перенос нашей собственной модели в конвейер HSDK 5.0 позволил сократить заявленное время инференса с 72,3 до 17,2 миллисекунды, что обеспечивает ускорение в 4,2 раза по сравнению с выполнением в режиме PyTorch eager. Именно этот запас производительности позволяет KR1 запускать более крупные пост-тренированные базовые модели на том же бортовом оборудовании.