Масштабирование робототехники с помощью физического ИИ Google Cloud и NVIDIA

Прежде чем робот сможет безопасно взять коробку на складе или начать работу на производственной линии, его необходимо этому обучить. Для этого инженерным группам требуется генерировать огромные объемы синтетических данных, обучать крупные модели зрения и движения, а также запускать эти модели на локальном оборудовании с молниеносной скоростью отклика. Тестирование непосредственно на физических машинах сопряжено с риском поломки оборудования, дорогостоящих простоев и угрозой безопасности.

Сегодня мы рассказываем о том, как физический ИИ Google Cloud объединяет симуляцию, обучение моделей и развертывание в реальном мире на единой платформе для разработчиков робототехники и инженерных команд.

Вместо того чтобы объединять разрозненные инструменты для симуляции физических процессов, разметки видео, обучения на GPU и периферийных вычислений, команды могут запускать весь робототехнический конвейер в Google Cloud:

Этап

Рабочая нагрузка

Предложение Google

Симуляция

NVIDIA Isaac Sim, Mujoco,

Обучение

Автоматическая разметка видеопоследовательностей и обучение моделей VLA / WMA

AI Hypercomputer с машинами A3, A4 и A5, ускоряемыми NVIDIA (Cluster Director, GKE, кластеры обучения на платформе Gemini) и Managed Lustre

Эксплуатация

Потоковая передача с нескольких камер, данные датчиков и использование модели Google

GCS, Pub/Sub, Bigquery, Gemini Live, Gemma 4, GDM ER 2

Каждый этап напрямую связан со следующим: обучающие данные переносятся из виртуальных сред в производственных роботов, а журналы датчиков реального мира возвращаются в будущие циклы обучения.

1. Симуляция: тестирование роботов в виртуальных средах до работы с железом

Чтобы ускорить тестирование нового поведения роботов, разработчики могут запускать тысячи виртуальных сред параллельно в Google Kubernetes Engine (GKE) с использованием оптимизированных для графики виртуальных машин G4 на базе NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs. Эта установка поддерживает инструменты физики и симуляции, включая открытую платформу симуляции NVIDIA Isaac Sim, открытые базовые модели мира NVIDIA Cosmos и ускоренный физический движок Google DeepMind — MuJoCo Warp.

В этих виртуальных средах инженерные группы могут проводить крупномасштабные тесты с подкреплением обучения, проверять согласованность видов с нескольких камер под разными углами и оценивать модели «зрение-язык-действие» (VLA), которые связывают то, что робот видит и слышит, с тем, как он двигается. Команды могут проще симуляционировать свои сценарии использования без простоев, затрат на оборудование или рисков безопасности, связанных с физическими проб и ошибок.

2. Обучение: автоматическая разметка видеоданных и обучение крупных моделей робототехники

Для обучения роботов обычно требуется огромное количество размеченных видеоматериалов, чтобы они понимали, как устроено физическое окружение. Google Cloud объединяет семейство моделей Gemini с NVIDIA Cosmos для автоматического анализа и разметки видео. Поскольку Gemini обрабатывает видео, аудио и пространственный контекст на длинных записях, этот набор инструментов может автоматически создавать ограничивающие рамки, размечать объекты в сцене и генерировать аннотации для обучения VLA.

После разметки данных команды могут сразу переходить к распределенному обучению на суперкомпьютере AI Hypercomputer в Google Cloud для создания и тонкой настройки крупных сетей VLA и архитектуры мировых моделей (WMA):

• Быстрое хранение данных: видеоданные с нескольких камер и наборы данных о движениях хранятся в Google Cloud Managed Lustre — полностью управляемой параллельной файловой системе с субмиллисекундной задержкой и скоростью в терабайты в секунду. Это обеспечивает постоянную подачу данных на GPU и ускоряет создание контрольных точек моделей.

Быстрое хранение данных: видеоданные с нескольких камер и наборы данных о движениях хранятся в Google Cloud Managed Lustre — полностью управляемой параллельной файловой системе с субмиллисекундной задержкой и скоростью в терабайты в секунду. Это обеспечивает постоянную подачу данных на GPU и ускоряет создание контрольных точек моделей.

• Прямое управление GPU: команды, которым требуется производительность «голого железа» GPU на виртуальных машинах A3, A4 и A5, могут использовать Cluster Director (для управляемого Slurm на GCE или GKE) или GKE (нативно или через дополнение Slinky Slurm Operator). Это планирует задачи в сетевой фабрике Google Jupiter для поддержания высокой пропускной способности во время масштабных запусков обучения с подкреплением.

Прямое управление GPU: команды, которым требуется производительность «голого железа» GPU на виртуальных машинах A3, A4 и A5, могут использовать Cluster Director (для управляемого Slurm на GCE или GKE) или GKE (нативно или через дополнение Slinky Slurm Operator). Это планирует задачи в сетевой фабрике Google Jupiter для поддержания высокой пропускной способности во время масштабных запусков обучения с подкреплением.

• Управляемое обучение: команды, которые предпочитают не создавать и не обслуживать собственные кластеры самостоятельно, могут использовать Vertex AI / кластеры обучения на платформе Gemini. Они предоставляют управляемую оркестрацию Slurm, автоматическое восстановление после сбоев оборудования и готовые рецепты для распределенных SFT и RL, либо бессерверные пользовательские задачи обучения для донастройки.

Управляемое обучение: команды, которые предпочитают не создавать и не обслуживать собственные кластеры самостоятельно, могут использовать Vertex AI / кластеры обучения на платформе Gemini. Они предоставляют управляемую оркестрацию Slurm, автоматическое восстановление после сбоев оборудования и готовые рецепты для распределенных SFT и RL, либо бессерверные пользовательские задачи обучения для донастройки.

3. Эксплуатация: запуск моделей в цехах и обучение на данных реального мира

Эксплуатация роботов на заводах и складах требует как планирования масштаба облака, так и быстрого локального выполнения. Google Cloud помогает командам развертывать мировые модели и собственные пользовательские агенты в облачных, гибридных и автономных средах:

• Планирование задач и голосовое взаимодействие: Gemini Robotics ER 2 (Embodied Reasoning, в настоящее время доступна в режиме превью в Model Garden и Gemini API в Google AI Studio) преобразует пространственное и физическое понимание в пошаговые планы задач и оркестрацию множества роботов для низкоуровневого управления ими.

Планирование задач и голосовое взаимодействие: Gemini Robotics ER 2 (Embodied Reasoning, в настоящее время доступна в режиме превью в Model Garden и Gemini API в Google AI Studio) преобразует пространственное и физическое понимание в пошаговые планы задач и оркестрацию множества роботов для низкоуровневого управления ими.

• Параллельно с этим Gemini Live поддерживает визуальный интеллект и голосовые беседы с низкой задержкой на более чем 70 языках, благодаря чему роботы могут одновременно понимать то, что они видят, и реагировать на устные инструкции.

Параллельно с этим Gemini Live поддерживает визуальный интеллект и голосовые беседы с низкой задержкой на более чем 70 языках, благодаря чему роботы могут одновременно понимать то, что они видят, и реагировать на устные инструкции.

• Локальное и автономное выполнение: Google Distributed Cloud (GDC) запускает управляемые вычислительные мощности и контейнеры прямо на территории заводов и складов для обработки данных с камер с низким уровнем задержки и управления парком техники. Для роботов, работающих без подключения к сети, легковесные открытые модели Gemma 4 работают на локальном оборудовании, обрабатывая зрение, аудио и вызовы инструментов менее чем за 10 миллисекунд.

Локальное и автономное выполнение: Google Distributed Cloud (GDC) запускает управляемые вычислительные мощности и контейнеры прямо на территории заводов и складов для обработки данных с камер с низким уровнем задержки и управления парком техники. Для роботов, работающих без подключения к сети, легковесные открытые модели Gemma 4 работают на локальном оборудовании, обрабатывая зрение, аудио и вызовы инструментов менее чем за 10 миллисекунд.

• Непрерывное улучшение: петабайты журналов работы парка техники и потоков данных с датчиков передаются через Cloud Storage и Pub/Sub в BigQuery. Команды могут использовать эти данные для раннего выявления проблем с оборудованием и возврата результатов из реального мира в следующий цикл обучения моделей.

Непрерывное совершенствование: Петабайты логов парка оборудования и потоков данных с датчиков поступают через Cloud Storage и Pub/Sub в BigQuery. Команды могут использовать эти данные для раннего обнаружения проблем с оборудованием и передачи реальных результатов в следующий цикл обучения моделей.

Начало работы с Google Cloud Physical AI

Независимо от того, запускаете ли вы свою первую физическую симуляцию или управляете парком складских роботов, вы можете начать разработку на Google Cloud уже сегодня:

• Симуляция: Запускайте оптимизированные для графики ВМ G4 в Google Kubernetes Engine для работы с NVIDIA Isaac Sim и MuJoCo-Warp.

Симуляция: Запускайте оптимизированные для графики ВМ G4 в Google Kubernetes Engine для работы с NVIDIA Isaac Sim и MuJoCo-Warp.

• Обучение: Изучите рецепты обучения AI Hypercomputer на платформе Gemini или настройте Cluster Director с помощью Google Cloud Managed Lustre.

Обучение: Изучите рецепты обучения AI Hypercomputer на платформе Gemini или настройте Cluster Director с помощью Google Cloud Managed Lustre.

• Управление: Попробуйте Gemini Robotics ER 2 в предварительной версии или обратитесь к своей команде Google Cloud для организации семинара по Physical AI.

Управление: Попробуйте в предварительной версии или обратитесь к своей команде Google Cloud для организации семинара по Physical AI.

• Инфраструктура ИИ
• Партнеры