Perceptron Egocentric преобразует необработанное видео с роботом и эгоцентрическое видео в структурированное наблюдение, пригодное для обучения политики: временная сегментация на атомарные манипуляционные события, автономные метки подзадач и плотные сигналы привязки к рукам.
Сегодня мы открываем ранний доступ для робототехнических лабораторий, исследователей и поставщиков данных, создающих крупномасштабные конвейеры аннотации.
Почему это важно для робототехнических лабораторий?
Обучение политике ограничено наблюдением. Видео дешево собирать, но дорого аннотировать: аннотация человеком стоит примерно 50 долларов за час видео, а автоматизированные конвейеры, построенные на универсальных VLM, производят плоские текстовые метки с слабыми временными границами и без привязки к тому, что делали руки. Perceptron Egocentric устраняет этот разрыв. Он превосходит Gemini Robotics ER-1.6 и Gemini 3.5 Flash, предыдущие достижения в этой области, и был extensively протестирован на наших внутренних кейсах. Учитывая эпизод, он сегментирует демонстрацию на атомарные манипуляционные события и помечает каждое из них описанием, пригодным для выполнения, автономным, с инструкцией задачи или без нее. Его возможности включают:
- Плотная аннотация рук. Сайдкар обнаружения и оценки позы рук Perceptron Mk1 отслеживает обе руки в видео, производя ограничивающие рамки на кадр и полные скелеты из 21 ключевой точки (запястье плюс четыре сустава на палец) с идентификацией левой/правой стороны. Границы манипуляции следуют за руками, а не пикселями, поэтому сегментатор получает прямой сигнал о том, где происходит контакт, захват и отпускание. Каждой руке присваивается независимая подпись в соответствии с заранее определенной таксономией манипуляционных действий (достижение, захват/щипание, поднятие, удержание, размещение/вставка, толкание/тяга, вращение, открытие/закрытие, отпускание и т.д.) плюс состояние видимости.
Плотная аннотация рук.
- Сайдкар обнаружения и оценки позы рук Perceptron Mk1 отслеживает обе руки в видео, производя ограничивающие рамки на кадр и полные скелеты из 21 ключевой точки (запястье плюс четыре сустава на палец) с идентификацией левой/правой стороны.
Сайдкар обнаружения и оценки позы рук Perceptron Mk1 отслеживает обе руки в видео, производя ограничивающие рамки на кадр и полные скелеты из 21 ключевой точки (запястье плюс четыре сустава на палец) с идентификацией левой/правой стороны.
- Границы манипуляции следуют за руками, а не пикселями, поэтому сегментатор получает прямой сигнал о том, где происходит контакт, захват и отпускание.
Границы манипуляции следуют за руками, а не пикселями, поэтому сегментатор получает прямой сигнал о том, где происходит контакт, захват и отпускание.
- Каждой руке присваивается независимая подпись в соответствии с заранее определенной таксономией манипуляционных действий (достижение, захват/щипание, поднятие, удержание, размещение/вставка, толкание/тяга, вращение, открытие/закрытие, отпускание и т.д.) плюс состояние видимости.
Каждой руке присваивается независимая подпись в соответствии с заранее определенной таксономией манипуляционных действий (достижение, захват/щипание, поднятие, удержание, размещение/вставка, толкание/тяга, вращение, открытие/закрытие, отпускание и т.д.) плюс состояние видимости.
- Детальная аннотация подзадач. Атомарные действия, совершаемые роботом или человеком в видео, разделяются, комментируются и проверяются, что позволяет получить аннотации значительно более высокого качества.
Детальная аннотация подзадач.
- Атомарные действия, совершаемые роботом или человеком в видео, разделяются, комментируются и проверяются, что позволяет получить аннотации значительно более высокого качества.
Атомарные действия, совершаемые роботом или человеком в видео, разделяются, комментируются и проверяются, что позволяет получить аннотации значительно более высокого качества.
- Операция без необходимости инструкции. Система работает в двух профилях: с инструкцией задачи эпизода в качестве контекста (обслуживает набор потребностей, где задача известна заранее) или полностью вслепую без какой-либо инструкции.
Операция без необходимости инструкции. Система работает в двух профилях: с инструкцией задачи эпизода в качестве контекста (обслуживает набор потребностей, где задача известна заранее) или полностью вслепую без какой-либо инструкции.
Основные результаты
WGO-Bench ("Что происходит") — это эталон Macrodata для автоматизированной аннотации подзадач: эпизоды, охватывающие HomER (эгоцентрическое), DROID (внешняя камера робота) и Galaxea (камера на голове робота), с 743 вручную аннотированными сегментами по 62 инструкциям задач на 71,5 минутах видео.
Оценка по WGO-Bench дала два основных результата:
- Наш профиль с инструкцией на 10–15 раз дешевле, чем аннотация человеком. Macrodata оценивает аннотацию человеком примерно в 50 долларов за час видео.
Наш профиль с инструкцией на 10–15 раз дешевле, чем аннотация человеком. Macrodata оценивает аннотацию человеком примерно в 50 долларов за час видео.
- С инструкциями Perceptron Egocentric обеспечивает +77% конечный F1 при стоимости ниже, чем у полной конвейерной системы Macrodata.
С инструкциями Perceptron Egocentric обеспечивает +77% конечный F1 при стоимости ниже, чем у полной конвейерной системы Macrodata.
Соотношение цены и качества на WGO-Bench (семантический конечный F1, стандартные цены списка). Слева — с инструкцией задачи: фронт Парето (пунктир) простирается от одноразового WGO в конце с низкой стоимостью до Perceptron Egocentric в конце с высоким качеством; конвейер WGO с повторной аннотацией находится внутри него. Справа — без инструкции: вариант WGO с метками занимает низкий конец; оба профиля Perceptron обеспечивают строго более высокое качество, до 0,225 конечного F1.
Сравнение на WGO-Bench
Строки WGO взяты из окончательной таблицы оценки Macrodata по конечному результату (Gemini 3.5 Flash, инструкция предоставлена). Их одноразовый вариант помечает сегменты в том же проходе, в котором они производятся, что является сравнением «как есть» с нашей конвейерной системой с одним проходом. Их вариант повторной аннотации добавляет второй, сегментный проход аннотации Gemini поверх.
Основные различия: Perceptron Egocentric (с инструкцией) против WGO одноразового прохода:
- Семантический конечный F1: 0,280 против 0,158 (+77% относительно). Это метрика, которая измеряет готовый продукт: правильно ограниченные и правильно помеченные подзадачи. Мы производим 181 полностью правильный сегмент из 743 золотых против ~101 (память 0,136) для WGO.
Семантический конечный F1: 0,280 против 0,158 (+77% относительно). Это метрика, которая измеряет готовый продукт: правильно ограниченные и правильно помеченные подзадачи. Мы производим 181 полностью правильный сегмент из 743 золотых против ~101 (память 0,136) для WGO.
- F1 сегмента: 0,370 против 0,302 (+23% относительно), с точностью сегмента 0,435 и памятью 0,322 (239 из 743 золотых сегментов совпали при IoU ≥ 0,75 из 550 предсказаний).
F1 сегмента: 0,370 против 0,302 (+23% относительно), с точностью сегмента 0,435 и памятью 0,322 (239 из 743 золотых сегментов совпали при IoU ≥ 0,75 из 550 предсказаний).
- Семантическая точность 0,330 против 0,190 и семантическая память 0,244 против 0,136. Больше того, что мы выдаем, является правильным, и мы восстанавливаем ~80% больше золотых подзадач в целом.
Семантическая точность 0,330 против 0,190 и семантическая память 0,244 против 0,136. Больше того, что мы выдаем, является правильным, и мы восстанавливаем ~80% больше золотых подзадач в целом.
- Без инструкции профиль с наивысшей точностью все равно превосходит предыдущую конвейерную систему SOTA по сегментации и конечному результату. Система восстанавливает, что происходит, только из видео.
Без инструкции профиль с наивысшей точностью всё равно превосходит предыдущую конвейерную систему SOTA в сегментации и сквозном процессе. Система восстанавливает происходящее только из видео.
- Быстро вычисляемый профиль без инструкции — это вариант с низкой стоимостью и задержкой, а не профиль с максимальными показателями бенчмарка: он сокращает стоимость без инструкции примерно на 30% и достигает 0,182 F1 в сквозном процессе, что всё равно опережает вариант без инструкции WGO с семенным переименованием (0,138) по качеству.
Быстро вычисляемый профиль без инструкции — это вариант с низкой стоимостью и задержкой, а не профиль с максимальными показателями бенчмарка: он сокращает стоимость без инструкции примерно на 30% и достигает 0,182 F1 в сквозном процессе, что всё равно опережает вариант без инструкции WGO с семенным переименованием (0,138) по качеству.
Вариант с семенным переименованием обеспечивает 78,1% точности меток за счёт дополнительного прохода Gemini по каждому сегменту, но всё равно достигает 0,168 в сквозном процессе — на 40% ниже даже нашего результата с инструкцией и без переименования (0,280). Условная точность меток также проще при низком уровне воспроизведения: она оценивается только на сегменте с воспроизведением 0,144, который их конвейер может сопоставить.
Почему он побеждает
Perceptron Egocentric построен на основе Mk1 — нашей передовой перцептивной модели. Mk1 обучена воспринимать физический мир напрямую: руки, контакт, состояние объекта и пространственные отношения — это родные концепции в её представлении, изученные в ходе предобучения.
Ни одна из функций аннотации не была включена в процесс обучения. Mk1 никогда не подвергалась тонкой настройке на харнесе, таксономии или эпизодах в стиле WGO. Конвейер — это рамочная система для инференса, построенная вокруг общей инкорпорированной модели. Результаты, показанные выше, включая способность восстанавливать структуру задачи только из видео без какой-либо инструкции, являются естественными последствиями продвинутого инкорпорированного рассуждения.
Общие конвейеры VLM выбирают кадры и угадывают, что произошло; Mk1 воспринимает манипуляцию в процессе её совершения. Этот разрыв — это модель, а не конвейер, поэтому он сохраняется без специфического обучения для задачи и будет увеличиваться по мере совершенствования Mk1.
Заметки об оценке и стоимости
Протокол оценки (идентичный для всех строк ниже): предсказанный сегмент соответствует золотому сегменту, когда временное IoU ≥ 0,75; правильность метки оценивается судейской моделью LLM, предписанной бенчмарком (та же судейская модель, что и в опубликованной оценке Macrodata); семантическая сквозная оценка требует, чтобы предсказание прошло как тест на границу, так и тест на метку. Все результаты получены на полном бенчмарке с предоставленной инструкцией по задаче (за исключением случаев, отмеченных как «без инструкции»).
Не включено: оценка судей WGO-Bench (стоимость оценки, а не стоимость аннотации; обе системы оцениваются одинаково) и поток оценки позы рук, который работает на наших собственных GPU, а не на измеряемом API. Его включение добавляет примерно ~$1 на час видео. Цифры являются оценками на основе зарегистрированного использования, а не экспорта счетов.
Источники
- Числа WGO: публичный блог Macrodata, включая окончательную таблицу сквозной оценки (варианты с одним проходом и с семенным переименованием), разбивку сегментации по датасетам и разбивку стоимости по этапам. Их конвейер получает инструкцию по эпизоду.
Числа WGO: публичный блог Macrodata, включая окончательную таблицу сквозной оценки (варианты с одним проходом и с семенным переименованием), разбивку сегментации по датасетам и разбивку стоимости по этапам. Их конвейер получает инструкцию по эпизоду.
- Числа Perceptron: полные запуски WGO-Bench (июль 2026), все эпизоды завершены, оценены в соответствии с опубликованным протоколом бенчмарка (временное сопоставление IoU ≥ 0,75 и предписанная бенчмарком судейская модель LLM для меток).
Числа Perceptron: полные запуски WGO-Bench (июль 2026), все эпизоды завершены, оценены в соответствии с опубликованным протоколом бенчмарка (временное сопоставление IoU ≥ 0,75 и предписанная бенчмарком судейская модель LLM для меток).
- Стоимость: рассчитана на основе зарегистрированного использования модели по стандартным тарифам провайдеров по состоянию на июль 2026 года; скидки на пакетные заказы исключены для обеих систем. Стоимость оценки и судейства исключена для обеих систем.
Стоимость: рассчитана на основе зарегистрированного использования модели по стандартным тарифам провайдеров по состоянию на июль 2026 года; скидки на пакетные заказы исключены для обеих систем. Стоимость оценки и судейства исключена для обеих систем.
Мы сотрудничаем с робототехническими лабораториями, исследователями и поставщиками данных в области крупномасштабной аннотации данных.
