LeRobot v0.7.0: от терабайтов до промптинга роботов

Любая политика робота начинается с терабайтов демонстраций и заканчивается роботом, выполняющим инструкции. LeRobot v0.7.0 работает на обоих концах этого пути. Теперь на Hub хранится почти 300 ТБ открытых данных по физическому ИИ в формате LeRobot, причем некоторые из крупнейших наборов данных были выпущены всего за последние несколько месяцев. Теперь вы можете обучать модели на этих датасетах напрямую с Hub, Storage Bucket или LanceDB, не скачивая их предварительно. Стек обучения был переработан для моделей действия в мире (world action models) с миллиардами параметров.

Как только робот начинает работу, вы можете взаимодействовать с его политикой в реальном времени. Не останавливая робота, вы можете изменить его траекторию, спросить модель, что она видит в данный момент, или поставить новую задачу для автономного выполнения. Между тем, версия v0.7.0 приносит модели действия в мире от NVIDIA, Black Forest Labs и RLinf, новые VLA-модели и удаленный инференс, который позволяет запускать большие модели на GPU-сервере, сохраняя низкими требования к вычислительным ресурсам робота.

Кратко (TL;DR)

LeRobot v0.7.0 добавляет язык в контур управления: интерактивные запуски позволяют переключать подзадачи, задавать вопросы и автоматически управлять работающим роботом с помощью текстовых политик (FineART-VLA, Wall-OSS-0.5) или внешнего планировщика VLM. Добавлены четыре модели действия в мире (Cosmos 3, Long-WAM, FLUX 3 Action, LaWAM), четыре новые VLA-модели (G0.5, LingBot-VLA 2.0, DM0.5, Wall-OSS-0.5) и созданный для них стек обучения: FSDP2, HSDP, распределенные контрольные точки, поддержка FP16, EMA и Trackio. Политики теперь могут выполняться на удаленном GPU с помощью lerobot-policy-server, Unitree G1 получает полнотелый контроллер NVIDIA SONIC, датасеты стримятся с Hub, Storage Buckets или LanceDB без скачивания, а каждый симулятор работает на одном ядре, локально или через сервер.

Оглавление

• LeRobot v0.7.0: от терабайтов до промптинга роботов Кратко (TL;DR) Оглавление Язык в контуре: говорите со своим роботом Интерактивные запуски Внешний планировщик VLM FineART: подзадачи в больших масштабах Обучение с языковыми аннотациями Датасеты: обучение на терабайтах без их скачивания Стриминг без диска LanceDB: объектное хранилище на скорости локального диска Аугментация на GPU Масштабируемое обучение: создано для моделей действия в мире FSDP2, HSDP и распределенные контрольные точки Рецепты обучения больших моделей Trackio: трекинг экспериментов в стиле Hugging Face Модели действия в мире: воображай, затем действуй Cosmos 3 FLUX 3 Action LaWAM Long-WAM VLA-модели: зоопарк моделей продолжает расти G0.5 LingBot-VLA 2.0 DM0.5 Wall-OSS-0.5 Удаленный инференс: большие модели, легкие роботы Симуляция и оценка Оборудование: больше рук, больше гуманоидов YAM reBot B601 Unitree G1: SONIC и вариант с 23 степенями свободы (23-DoF) Кодовая база: с типизацией, общая, проще расширять Сообщество и экосистема 300 ТБ открытых данных физического ИИ Заключительные мысли
• Кратко (TL;DR)
• Оглавление
• Язык в контуре: говорите со своим роботом Интерактивные запуски Внешний планировщик VLM FineART: подзадачи в больших масштабах Обучение с языковыми аннотациями
• Интерактивные запуски
• Внешний планировщик VLM
• FineART: подзадачи в больших масштабах
• Обучение с языковыми аннотациями
• Датасеты: обучение на терабайтах без их скачивания Стриминг без диска LanceDB: объектное хранилище на скорости локального диска Аугментация на GPU
• Стриминг без диска
• LanceDB: объектное хранилище на скорости локального диска
• Аугментация на GPU
• Масштабируемое обучение: создано для моделей действия в мире FSDP2, HSDP и распределенные контрольные точки Рецепты обучения больших моделей Trackio: трекинг экспериментов в стиле Hugging Face
• FSDP2, HSDP и распределенные контрольные точки
• Рецепты обучения больших моделей
• Trackio: трекинг экспериментов в стиле Hugging Face
• Модели действия в мире: воображай, затем действуй Cosmos 3 FLUX 3 Action LaWAM Long-WAM
• Cosmos 3
• FLUX 3 Action
• LaWAM
• Long-WAM
• VLA-модели: зоопарк моделей продолжает расти G0.5 LingBot-VLA 2.0 DM0.5 Wall-OSS-0.5
• G0.5
• LingBot-VLA 2.0
• DM0.5
• Wall-OSS-0.5
• Удаленный инференс: большие модели, легкие роботы
• Симуляция и оценка
• Оборудование: больше рук, больше гуманоидов YAM reBot B601 Unitree G1: SONIC и вариант с 23 степенями свободы (23-DoF)
• YAM
• reBot B601
• Unitree G1: SONIC и вариант с 23 степенями свободы (23-DoF)
• Кодовая база: с типизацией, общая, проще расширять
• Сообщество и экосистема 300 ТБ открытых данных физического ИИ
• 300 ТБ открытых данных физического ИИ
• Заключительные мысли

Язык в контуре: говорите со своим роботом

Версия v0.6.0 научила датасеты LeRobot сохранять языковые аннотации. В версии v0.7.0 они задействованы на полную мощность: политики учатся читать и писать текст, а вы можете разговаривать с ними прямо во время работы.

Интерактивные запуски

Добавьте --interactive=true в lerobot-rollout, и подключение к роботу, веса политики и процессоры останутся загруженными между инструкциями. Вы управляете сеансом из терминала, пока робот движется:

/subtask изменяет инструкцию во время работы робота, /vqa спрашивает политику, что видит робот, а /autosteer задает политике цель, чтобы она сама выбирала подзадачи, пока вы не вернете управление. Вы можете записывать эпизоды, пока все это происходит. Для /vqa и /autosteer требуется политика, генерирующая текст, такая как FineART-VLA или Wall-OSS-0.5, либо внешний планировщик. Дополнительную информацию см. в документации по интерактивным сеансам.

Внешний планировщик VLM

Нет текстовой политики? Укажите LeRobot на любую VLM, работающую через OpenAI-совместимый API, запущенную локально с помощью transformers serve, Llama или vLLM, либо хостящуюся через провайдеров инференса. Планировщик отвечает на запросы /vqa и управляет /autosteer, пока робот продолжает действовать, превращая расплывчатые запросы вроде «уберись тут» в точные инструкции, понятные VLA, в духе управляемых политик. См. документацию по внешнему планировщику.

FineART: подзадачи в больших масштабах

FineART от Scale AI и Hugging Face демонстрирует, как это выглядит в больших масштабах: более 40 тыс. бимануальных эпизодов (1718 часов) с более чем 533 тыс. аннотаций подзадач, 1,9 ТБ в формате LeRobot. FineART-VLA, обученная на этих данных, расширяет π0.5 языковым модулем: высокоуровневая система интерпретирует цель и предсказывает следующую подзадачу словами (Система 2), после чего эксперт по действиям на основе сопоставления потоков (flow-matching action expert) выполняет ее (Система 1). Вы можете дообучить lerobot/FineART-VLA-subtask-midtrained на собственных аннотированных данных; подробности приведены в документации и paper.

Обучение с языковыми аннотациями

Любая политика может обучаться таким образом. YAML-рецепты преобразуют разметку lerobot-annotate (подзадачи, планы, память, VQA, речь) в обучающие цели в стиле чата. Теперь этот рецепт включен в конфигурацию политики, поэтому обучение и инференс обрабатывают язык одинаково. В комплект поставки входят четыре рецепта, EO-1 и Wall-X получили текстовый надзор, а lerobot-annotate теперь запускается на HF Jobs с помощью всего одного флага. См. документацию по языку, рецептам и конвейеру аннотирования.

Датасеты: обучение на терабайтах без их скачивания

Крупнейшие датасеты робототехники больше не помещаются на диск тренировочного узла. Начиная с версии v0.7.0, вы можете обучать модели напрямую с Hub через Storage Bucket или Datasets.

Стриминг без диска

Для стандартных датасетов LeRobot параметр --dataset.streaming=true теперь использует новый считыватель, который извлекает с Hub или Storage Bucket только те диапазоны байтов видео, которые необходимы для обучения. Каждый кадр посещается ровно один раз за эпоху, а запуск возобновляется детерминировано. Считыватель поддерживает воркеры DataLoader, обеспечивая на 2.1–2.5x больше сэмплов в секунду при использовании четырех воркеров. См. обучение со стримингом датасетов.

LanceDB: объектное хранилище на скорости локального диска

Созданный совместно с командой LanceDB, LeRobot теперь читает наборы данных, сохраненные как таблицы Lance, а исходные файлы MP4 хранятся в виде больших двоичных объектов (blob), поэтому ничего не перекодируется. Фреймы считываются «на месте» (in place), что позволяет немедленно приступить к обучению с истинным глобальным перемешиванием и на скорости локального диска. Вы используете тот же LeRobotDataset:

Конвертируйте существующий набор данных с помощью lerobot-lance-convert и просматривайте его в lerobot-dataset-viz. См. раздел о LanceDB в документации по наборам данных и собственное руководство LanceDB.

Аугментация на GPU

Теперь вы можете обучать модели быстрее, перенеся аугментацию изображений на GPU. Установите --dataset.image_transforms.backend=gpu: ACT обучается в 2,8 раза быстрее на H100 и в 3,3 раза быстрее на A100. С ней поставляются восемь новых робототехнических аугментаций: от размытия в движении и случайных теней до JPEG-сжатия и дрожания цветовой температуры. См. запуск преобразований на GPU.

Масштабируемое обучение: создано для моделей действий в мире (world action models)

Модели действий в мире часто имеют большое количество параметров (5–20 млрд) и множество видеотокенов на один образец. При стандартном параллелизме данных эти модели превышают доступный объем памяти. Поэтому мы пересобрали стек обучения для них.

FSDP2, HSDP и распределенные чекпоинты

Забудьте о старом пути FSDP1, теперь он заменен фреймворком параллельного обучения со всеми функциями: шардингом FSDP2 и HSDP, накоплением градиентов и распределенными чекпоинтами PyTorch (DCP), которые возобновляют работу на нескольких GPU. На узле 8×H200 с 6-миллиардной моделью FastWAM сохранение чекпоинтов с помощью DCP происходит в 3 раза быстрее, а пиковые требования к памяти при возобновлении снижаются со 143 ГБ до 42 ГБ на GPU. См. документацию по многопроцессорному обучению (multi-GPU training).

Рецепты обучения больших моделей

• Точность, упрощенная. Смешанная точность FP16 со скейлингом потерь теперь работает на любой топологии, TF32 настраивается, и во всех политиках используется одна и та же настройка типа данных (dtype).
• EMA весов политики с разминкой (warmup), постоянным и степенным затуханием, включая шардированное обучение. Веса EMA сохраняются рядом с рабочими.
• Расписание «разминка — плато — затухание» (warmup-stable-decay) и опциональные слитные (fused) Adam/AdamW.

См. документацию по аппаратным ускорителям.

Trackio: отслеживание экспериментов в стиле Hugging Face

LeRobot теперь поддерживает Trackio — инструмент для отслеживания экспериментов с открытым исходным кодом от Hugging Face. Вы можете следить за локальными запусками без регистрации и входа в систему. Войти нужно только для синхронизации с пространством Hugging Face Space. Он также записывает команду запуска и вывод консоли каждого запуска, включая трассировки (tracebacks). Trackio полностью заменяет Weights & Biases; документация по установке содержит таблицу миграции.

Модели действий в мире: представь, а затем действуй

v0.6.0 принесла в LeRobot первые три модели действий в мире. С тех пор эта сфера быстро развивалась: в v0.7.0 добавлено еще четыре от NVIDIA, Black Forest Labs и RLinf.

Cosmos 3

Cosmos 3 приносит базовые модели мира в обучение роботов. На основе видов с камер и языковой инструкции она одновременно прогнозирует будущие видеокадры и следующий набор (chunk) действий. Она выпускается в двух размерах: Cosmos 3 Nano (16,5 млрд параметров) и Cosmos 3 Edge (4,6 млрд), которые достигают среднего показателя успешности 97,90% и 97,95% на LIBERO. Вы можете дообучить любую из них на любом наборе данных LeRobot, полностью с FSDP2 или с LoRA, начиная с коллекции Cosmos 3: lerobot/Cosmos3-Nano или lerobot/Cosmos3-Edge. Прочтите документацию по Cosmos 3 и технический отчет.

FLUX 3 Action

Black Forest Labs, команда создателей FLUX, переносит свои генеративные модели в робототехнику. В FLUX 3 Action замороженные видео-VAE и текстовый энкодер передают данные в диффузионный трансформер, который одновременно прогнозирует скрытые представления (latents) видео и наборы действий; при инференсе выдаются только действия. Коллекция FLUX 3 Action объединяет три чекпоинта (base, SO-101 и DROID), а LeRobot поддерживает инференс и LoRA-дообучение для новых задач. Чтобы обучить новое тело (embodiment), используйте репозиторий Black Forest Labs. Подробности в документации по FLUX 3 Action.

LaWAM

LaWAM от команды RLinf изучает динамику в латентном пространстве: бэкбон Qwen3-VL, латентное действие и модель мира, а также голову действий на основе сопоставления потоков (flow-matching action head). Исходные чекпоинты LaWAM загружаются напрямую, а оценка дообучения на LIBERO составляет 98,5% (1970 из 2000 эпизодов). См. документацию по LaWAM, страницу проекта и paper.

Long-WAM

Long-WAM от команды LongLive из NVIDIA создана для работы с длинным контекстом. Авторегрессионное предварительное обучение видео обучает модель тому, как прошлое влияет на будущее перед выполнением действия. Она работает в двух режимах: модель обратной динамики (Inverse-Dynamics Model) представляет будущие латентные переменные и обусловливает ими действия без декодирования ни одного RGB-кадра, в то время как видео и действия совместно очищаются от шума (co-denoised). Обе достигают около 99% среднего успеха на LIBERO (99,00% для IDM, 98,45% для COD, по 2000 эпизодов для каждого). Ознакомьтесь с документацией, страницей проекта и paper.

VLA: зоопарк моделей продолжает расти

G0.5

G0.5 от OpenGalaxea — это VLA-модель Qwen3.5-2B, которая думает вслух: она записывает ход своих мыслей (текущую подзадачу, опционально ограничивающие рамки) и свои действия в одном потоке. Запустите ее как быструю Систему 1 или позвольте ей рассуждать как Системе 2. Она напрямую подключается к интерактивным запускам, поэтому /subtask и /autosteer работают из коробки. Коллекция G0.5 объединяет четыре конвертированных чекпоинта, охватывающих базовую модель, LIBERO, RoboTwin 2.0 и SO-101, а дообучение работает на роботах, на которых G0.5 никогда не обучалась. См. документацию по G0.5.

Код и веса G0.5 выпускаются под некоммерческой лицензией G0.5 Community License, а не под Apache-2.0.

Код и веса G0.5 выпускаются под некоммерческой лицензией G0.5 Community License, а не под Apache-2.0.

LingBot-VLA 2.0

LingBot-VLA 2.0 от Robbyant объединяет бэкбон Qwen3-VL-4B с разреженной смесью экспертов для действий (32 эксперта, маршрутизация top-4) и действует в 55-мерном пространстве действий, общем для разных форм тел. На базовых тестах она демонстрирует 93,5% успеха на RoboTwin 2.0 (чистом) по сравнению с 82,7% у π0.5. В LeRobot графики CUDA и torch.compile сокращают время генерации набора действий с примерно 756 мс до примерно 120 мс (bf16, RTX PRO 6000). Начните с lerobot/lingbot_vla_v2_base, просмотрите базовые чекпоинты и чекпоинты RoboTwin в коллекции LingBot-VLA 2.0, а также прочитайте документацию и paper.

DM0.5

DM0.5 от Dexmal объединяет VLM Gemma3-4B с экспертом по действиям на основе сопоставления потоков с 680 млн параметров. Она перенесена из OpenDM на стандартные наборы данных, процессоры и обучение LeRobot, причем lerobot/dm05_base готова к дообучению, а lerobot/dm05_libero набирает 197/200 при проверке воспроизведения LIBERO. См. документацию по DM0.5.

Wall-OSS-0.5

Wall-OSS-0.5 от X Square Robot представляет собой 4-миллиардную VLA-модель (Qwen2.5-VL плюс эксперт по действиям с сопоставлением потоков), которая теперь официально поддерживается в transformers. Ее эксперт по зрению и языку также генерирует текст, поэтому после дообучения на вашем роботе она может отвечать на вопросы /vqa и планировать свои собственные подзадачи в интерактивном режиме. Начните с базового чекпоинта lerobot/wall-oss-0.5; см. документацию по Wall-OSS-0.5.

Удаленный инференс: большие модели, легкие роботы

Компьютеру, подключенному к вашему роботу, больше не требуется большой объем памяти для загрузки стратегии. С помощью lerobot-policy-server вы можете оставить ноутбук или одноплатный компьютер рядом с роботом и запустить модель на GPU-рабочей станции в другой части лаборатории. Камеры, моторы, телеуправление и запись остаются локальными; наблюдения и инструкции отправляются на сервер, а порции предстоящих действий возвращаются обратно.

Робот может выполнять буферизованные действия, пока сервер вычисляет следующую порцию. Такое перекрытие эффективно маскирует задержку инференса и позволяет настраивать частоту репланирования без переобучения стратегии. Поскольку робот продолжает двигаться во время этих вычислений, клиент сопоставляет поступающие порции с оставшейся траекторией. Он отбрасывает устаревшие шаги и смешивает пересекающиеся цели для плавных переходов. Совместимые контрольные точки также могут использовать чанкинг в реальном времени (RTC) для непосредственной увязки этих новых предсказаний с оставшимися действиями.

Вы также можете запускать интерактивные сеансы и записывать эпизоды удаленно, используя тот же рабочий процесс роллаутов, что и для локального инференса. Для передачи используется Zenoh, с настроенными TLS и контролем доступа. В документации по удаленному инференсу описаны установка, поддерживаемые стратегии и роботы, а также настройка сети и задержки инференса.

Удаленный инференс заменяет модуль lerobot.async_inference и дополнительный компонент lerobot[async], которые удалены в версии v0.7.0. Вместо этого установите компонент remote.

Удаленный инференс заменяет модуль lerobot.async_inference и дополнительный компонент lerobot[async], которые удалены в версии v0.7.0. Вместо этого установите компонент remote.

Симуляция и оценка

Каждый бенчмарк раньше устанавливал собственный симулятор в ту же среду, что и LeRobot, что приводило к конфликтам версий зависимостей (robosuite, MuJoCo, NumPy 1.x и т. д.). В версии v0.7.0 все симуляторы работают через единое ядро векторной среды, которое используется двумя способами. В качестве среды оно объединяет эпизоды в батчи для lerobot-eval и оценки во время обучения. В качестве робота-симулятора вы можете запускать роллауты, выполнять запись и телеуправление в симуляции точно так же, как и на «железе». Вам больше не нужен физический робот для тестирования и улучшения своего рабочего процесса. В любом случае симулятор работает в рамках процесса или в собственном образе Docker за новым сервером lerobot-env-server, и указание конечной точки — это единственный переключатель.

Первым бенчмарком, созданным на новом ядре, стал RoboLab от NVIDIA: 120 настольных задач для установки DROID Franka на базе Isaac Lab. См. документацию по симуляции.

Теперь результаты также сопровождаются планками погрешности. lerobot-eval сообщает количество успешных запусков и 95-процентный доверительный интервал Уилсона на каждом уровне (задача, набор и общие показатели), поэтому десять удачных эпизодов больше не выглядят как решенный бенчмарк:

Оборудование: больше манипуляторов, больше гуманоидов

YAM

Теперь вы можете управлять одним манипулятором I2RT YAM или объединить два манипулятора для бимануальной установки в LeRobot. Гравитационное опережающее воздействие (feed-forward), вычисляемое на основе инерциальной модели манипулятора, компенсирует его собственный вес. См. документацию по YAM.

reBot B601

Манипулятор reBot B601 от Seeed Studio имеет 6 степеней свободы и работает в паре с ведущим манипулятором reBot Arm 102. Теперь он поддерживает как моторы RobStride, так и Damiao, которые выбираются с помощью единой настройки motor_family, а в бимануальных установках даже можно комбинировать оба типа.

Unitree G1: SONIC и вариант с 23 степенями свободы

SONIC — это общетелесный контроллер NVIDIA для гуманоидов, и теперь LeRobot запускает половину декодера своего стека развертывания на Unitree G1. Вместо 29 целевых положений суставов стратегия выдает 64-мерный токен движения на каждом шаге, а бортовой декодер превращает его в целевые положения суставов с частотой 50 Гц для всего тела. Это также работает с удаленным инференсом: стратегия выполняется на GPU-машине, а Jetson робота G1 запускает декодер. Попробуйте это в стратегии симуляции, а затем следуйте проверенному на «железе» рецепту в документации по Unitree G1.

Модификация G1 с 23 степенями свободы также пополнила линейку, разделяя драйвер G1-29 с помощью единой настройки воплощения. На этом варианте поддерживается локомоция GR00T и Holosoma.

Кодовая база: типизированная, общая, более простая для расширения

• Доступен PyTorch 2.15 со сборкой CUDA 13 из PyPI как для uv sync, так и для pip install.
• Полная типизация. Теперь единый набор правил mypy охватывает всю кодовую базу, и этап типизации попутно исправил реальные баги.
• Посмотрите, что предсказывает ваша стратегия. Стратегии возвращают типизированное предсказание наряду со своими действиями. Вы можете просматривать эти предсказания в реальном времени в доступных визуализаторах.
• Роллауты, которые отчитываются и расширяются. lerobot-rollout логирует частоту управления, задержку инференса и память во время работы, и вы можете использовать собственную стратегию роллаута — встроенную или в виде пакета, устанавливаемого через pip.
• Документация. Документация с машинным переводом (включая китайский, корейский и испанский языки), справочник по API и новые страницы со списком стороннего оборудования и интеграций.

Сообщество и экосистема

• 8 октября мы провели первый в истории LeRobot LIVE в нашем Discord, где сообщество встретилось с инженерами, стоящими за LeRobot, узнало о новых функциях и задало свои вопросы. Следите за анонсами следующего мероприятия в декабре!
• Наш сервер Discord и аккаунт в X преодолели отметку в 20 000 участников, а репозиторий на GitHub приближается к 30 000 звезд.
• LeLab получил несколько интересных обновлений.
• Наборы данных LeRobot в JavaScript. С помощью нового пакета @huggingface/lerobot вы можете читать наборы данных LeRobot напрямую с Хаба в вашем браузере или в Node. Он использует запросы с диапазонами, поэтому вам не нужно скачивать весь набор данных целиком.

300 ТБ открытых данных по физическому искусственному интеллекту

Теперь на Hugging Face Hub размещено почти 300 ТБ открытых данных по физическому ИИ в формате LeRobot, причем некоторые из крупнейших пополнений появились за последние несколько месяцев: от реальных роботов, ручных захватов, видео с людьми, симуляций и живых развертываний. Многие выходят за рамки обычного RGB и включают тактильное восприятие, глубину, крутящие моменты в суставах или плотные текстовые аннотации. Вот некоторые из них в порядке выхода:

Заключение

Помимо этих главных особенностей, версия v0.7.0 включает сотни исправлений ошибок, улучшений документации и повышений удобства использования по всей кодовой базе: от более точной статистики наборов данных до значительно ускоренного CI.

Мы хотим выразить огромную благодарность всем участникам сообщества. Этот релиз включает работу академических кругов, индустрии и команд энтузиастов, которые выбрали LeRobot в качестве основы для своих моделей, наборов данных, роботов и бенчмарков. Каждый PR и отчет об ошибке продвигают робототехнику с открытым исходным кодом вперед.

Следите за новостями, впереди еще много интересного 🤗 Начните работу с here! – Команда LeRobot (и MicroDuck) ❤️