Роботы обучаются в вымышленных мирах гораздо дольше, чем может показаться судя по нынешнему энтузиазму вокруг симуляций. В 1989 году система ALVINN Дина Померло в Университете Карнеги — Меллона тренировалась на изображениях виртуальных дорог, после чего успешно прошла испытания на автономном навигационном автомобиле университета. Графика была примитивной, но урок оказался непреходящим: синтетический мир не обязан быть идеальной копией реальности, если он содержит структуру, вариативность и обратную связь, необходимые для выполнения задачи.
По сути, в этом и заключается концепция фабрики активов. Обычная 3D-модель говорит нам, как выглядит объект. Системы автоматизированного проектирования (САПР) идут дальше, задавая инженерные размеры и способ сборки объекта. Ассет, готовый к симуляции, также должен сообщить роботу, сколько весит объект, как он движется, где происходит столкновение, как реагируют его поверхности и что воспримут его датчики.
Если этот актив предназначен для обучения с подкреплением, он должен пойти еще дальше — определить, что робот может наблюдать и делать, что считается прогрессом и какие состояния означают успех или неучу.
Задача заключается в том, чтобы создавать такие активы эффективно и в больших масштабах. Наша концепция фабрики активов (Asset Factory Blueprint) объединяет принципы, лежащие в основе проверяемого, повторяемого агентского пайплайна для создания активов, готовых к симуляции и обучению.
От описаний к активам, пригодным для машинной обработки
Входные данные для фабрики активов могут принимать самые разные формы. Это могут быть структурированные источники, такие как файлы САПР или информационного моделирования зданий (BIM), спецификации, каталоги инвентаря или описания роботов. Это также могут быть фотографии, частичные сканы, руководства по обслуживанию, заметки оператора или даже однострочное описание, например: «тележка из нержавеющей стали на колесах с двумя запирающимися дверцами».
Каковы бы ни были входные данные, фабрика сохраняет исходные материалы и определяет, что известно, чего не хватает и что остается неопределенным. Происхождение (провенанс) и ведение учета имеют фундаментальное значение для процесса, поскольку небольшие ошибки могут привести к серьезным последствиям. Неправильный масштаб может изменить геометрию захвата, а перевернутая ось может внести незаметные ошибки в симуляцию, которые подорвут обучение с подкреплением.
Концепция (Blueprint) поддерживает актуальный манифест источников, а также отслеживает единицы измерения, осей, права на источники и контрольные суммы на протяжении всего процесса.
Затем источник проходит необходимые этапы: от реконструкции или подготовки до проверки полигональной сетки, семантической сегментации, вывода свойств материалов и физических свойств, текстурирования, физики и кинематики вплоть до проверки на готовность к симуляции (SimReady).
В результате получается не просто представление объекта, а пакет проверенной геометрии, именованных деталей, материалов, тел столкновений, массовых характеристик, соединений, функциональных возможностей (affordances), разрешенных вариантов, данных о происхождении и неопределенности. Задача определяет, какие из этих элементов необходимы и что означает готовность к симуляции на практике.
Рассмотрим складской контейнер с откидной крышкой. Что нужно знать о нем роботу?
Это зависит от задачи. Робету, открывающему контейнер, требуются правильный масштаб, ось и пределы движения петли, инерция крышки, геометрия столкновений, трение и расположение ручки. Робету, сортирующему контейнеры, важнее внешний вид и реакция датчиков. Робет, складывающий их в стопку, может уделять приоритетное внимание центру масс и деформации.
Уровень детализации зависит от задачи. Внешний вид и поведение также должны соответствовать друг другу: поверхность, которая выглядит как резина, но ведет себя как полированная сталь, формирует неверные ожидания от контакта.
Именно поэтому концепция (Blueprint) может использовать данные из спецификаций, названия материалов в САПР, технические требования, изображения и заметки операторов для предложения физических свойств с указанием единиц измерения, диапазонов, подтверждающих данных и степени достоверности.
Например, модель VoMP от NVIDIA прогнозирует детальные механические свойства, включая плотность, модуль Юнга и коэффициент Пуассона, для трехмерных объектов.
Вместо того чтобы полагаться на один вывод, данные могут накапливаться и использоваться для уточнения значений до тех пор, пока не будет достигнут приемлемый уровень достоверности. Результатом является воссоздаваемый актив, пригодный для машинной обработки.
От объекта к цели
Полноценный физический актив, каким бы точным он ни был, все еще не является средой для обучения с подкреплением. Он также должен быть связан с роботом, датчиками, сценой и условиями задачи (task contract).
Расширение для обучения с подкреплением в нашей концепции обеспечивает этот контракт, определяя, что можно наблюдать, какие действия доступны, как рассчитывается вознаграждение, когда заканчиваются эпизоды, как сцена сбрасывается, какие вариации разрешены и какие тесты подтверждают правильность запуска среды.
Это создает ориентированную на достижение целей тренировочную среду.
В задаче захвата и перемещения физические состояния не равны по своей ценности. Закрытие захвата, достижение стабильного подъема и прибытие в пункт назначения должны увеличивать вознаграждение для стратегии. Столкновение, проскальзывание, раздавленная упаковка или использование лазейки в симуляторе должны отдалять систему от этой цели или прерывать попытку.
В этом оперативном смысле среда «понимает» задачу, сопоставляя пространственные и физические условия с обучающими сигналами.
Сама сцена становится частью системы обучения. Геометрия определяет, что доступно, а физика определяет последствия действий. Датчики определяют, что можно наблюдать, а сигнал вознаграждения определяет, какое поведение подкрепляется.
Неправильно созданный мир может преподать неверный урок с огромной вычислительной эффективностью. И наоборот, ускоренные на GPU симуляционные среды в некоторых случаях могут сократить время обучения с подкреплением на два-три порядка по сравнению с традиционным обучением с подкреплением с использованием симулятора на базе CPU.
Поскольку фабрика контролирует вариативность, она также может поддерживать адаптивные учебные программы. Обучение может начинаться со стабильного освещения и незагроможденного пространства, прежде чем будут введены новые точки обзора, нагрузки, трение, износ, положения, шум датчиков и отвлекающие факторы. Это позволяет наращивать сложность в соответствии с учебной задачей.
Ни цифровой двойник, ни симулятор
Важно отличать фабрики активов от двух связанных концепций: цифровых двойников и симуляторов.
Цифровой двойник обычно представляет конкретный актив, предприятие или процесс. Фабрика активов может использовать входные данные цифрового двойника или создавать активы, которые в конечном итоге будут жить внутри него, но ее основная цель иная: она создает активы и вариации, необходимые роботу для обучения.
Это различие меняет конечную цель. Одна точная копия единственного синего контейнера может оказаться менее полезной для обучения, чем 10 000 правдоподобных контейнеров с различными размерами, износом, свойствами поверхности, нагрузками и вариантами размещения. Цель состоит в том, чтобы создать распределение опыта, которое поможет подготовить робота к реальной вариативности, а не просто воспроизводить один и тот же экземпляр.
Фабрика активов также не является симулятором. Симулятор просчитывает физику, визуализирует датчики и продвигает время вперед. Фабрика создает и проверяет объекты, сцены и контракты задач, которые выполняет симулятор.
Говоря языком программного обеспечения, симулятор — это среда выполнения, в то время как фабрика предоставляет компилятор, систему сборки и набор тестов.
Большая реалистичность автоматически не означает лучшего качества. Захват объектов может зависеть от геометрии контакта, трения и массы гораздо сильнее, чем от идеально воспроизведенного логотипа, в то время как при визуальном осмотре приоритеты могут измениться на противоположные. Степень детализации должна определяться поставленной задачей и обучающим сигналом, а не тем, насколько реалистичным кажется рендер.
Фабрика как основа
Исторически сложилось так, что для создания контента для симуляций часто требовалось взаимодействие между CAD-инженерами, 3D-художниками, специалистами по материалам, инженерами по физике, робототехниками и командами по обучению с подкреплением. Такой подход применим для отдельных демонстраций, но его становится трудно масштабировать на тысячи сред обучения.
«3D-модель просто показывает объект. CAD задает его спецификацию. Фабрика ассетов наделяет его последствиями и смыслом».
Цель «фабричной» модели — обеспечить повторяемость, маршрутизацию, пропускную способность и контроль качества.
Инфраструктура агентной оркестрации способна преобразовать запрос в план, учитывающий все зависимости, этапы, поставщиков, типизированные входные и выходные данные, шлюзы валидации, повторные попытки и условия остановки. Источники разного типа могут проходить по конвейеру по разным маршрутам, в то время как недостающие компоненты, права или критически важные для задачи данные переводят систему в заблокированное состояние, вместо того чтобы заменять их неподтвержденными допущениями.
Все это не исключает участия человека, а переносит его туда, где оно приносит наибольшую пользу.
Детерминированные проверки позволяют подтверждать схемы, контрольные суммы, единицы измерения, комплектность пакетов, загрузку в формате OpenUSD и конфигурацию физики. Проверка с помощью визуально-языковых моделей помогает выявить перцептивные дефекты, которые могут пропустить формальные валидаторы. Ограниченное исправление позволяет устранять известные классы ошибок, в то время как нерешенные проблемы, физическая валидация и решения о релизе могут быть переданы человеку.
Это также демонстрирует, как открытые и проприетарные возможности могут работать вместе. Открытые технологии OpenUSD, а также общедоступные технологии реконструкции, работы с геометрией, симуляции и валидации создают основу для взаимодействия. Мы объединяем их с собственными разработками в области рендеринга материалов, вывода физических свойств, агентной координации и проектирования сред.
Модульная архитектура также позволяет интегрировать новые технологии в конвейер по мере их созревания.
Симуляция как первоклассный источник опыта
Симуляцию часто рассматривают как замену реальности. В сфере физического ИИ она также может служить первоклассным источником опыта для обучения.
Реальный мир остается высшей инстанцией, но он плохо подходит на роль единственной среды для обучения. Он может быть медленным, дорогостоящим, трудным для сброса состояния и в некоторых случаях опасным. Редкие сбои происходят нечасто, внутреннее состояние может оставаться скрытым, а разметка данных обходится дорого.
Симуляция меняет эти ограничения. Она позволяет воспроизводить граничные случаи по требованию, раскрывать скрытое состояние, генерировать точную разметку и запускать вариации параллельно. Это дает возможность создавать наборы данных, сбор которых в физическом мире был бы непрактичным, небезопасным или невозможным.
Этот подход применим как к детально проработанным инженерным средам, так и к гораздо более крупным операционным условиям. Например, данные CAD и BIM могут помочь в создании сред обучения для роботов, работающих на шахтах, заводах и других инфраструктурных объектах.
Здравоохранение предлагает еще один пример. 1000 Lungs dataset содержит 1000 синтетических эпизодов виртуальной бронхоскопии, предназначенных для поддержки исследований в области навигации по искусственным дыхательным путям человека. Каждый случай включает сгенерированную анатомию, геометрию дыхательных путей, траекторию движения камеры в процедурном стиле, потоки отрендеренных состояний и данные траектории.
Там, где данные из реального мира стоят дорого или их трудно получить в необходимом масштабе, симуляция может предоставить дополнительный опыт для обучения.
Все это не устраняет проблему переноса навыков из симуляции в реальный мир. Некорректная физика может просто генерировать некорректный опыт в больших масштабах.
Именно поэтому с каждым ассетом должны передаваться данные о неопределенности, происхождении, результатах валидации и пригодности для задачи, в то время как наблюдения из реального мира продолжают калибровать фабрику и замыкать цикл обратной связи.
Blueprint предоставляет эталонную структуру для этого процесса, в то время как реализации, включая наши проприетарные инструменты, обеспечивают физическую точность, необходимую для конкретных сценариев использования.
Индустриализация создания миров
Фабрика ассетов — это не просто генератор контента с добавленным физическим слоем. Это система для преобразования описаний физических объектов в машинный опыт, охватывающий геометрию, материалы, поведение, восприятие, задачи и цели.
По мере совершенствования робототехнических моделей узким местом все чаще становятся среды, в которых они обучаются.
Для стратегий обучения нужен опыт, который является разнообразным, но контролируемым, синтетическим, но основанным на фактических данных, и ориентированным на конкретную задачу, а не на визуальные эффекты. Фабрики ассетов делают этот процесс более повторяемым и масштабируемым.
Роботам не нужен мир, который просто выглядит убедительно. Им нужен мир, который корректно реагирует, разумно изменяется и понимает значение успеха.
