Осака, Япония, 5 ноября 2026 г. — Panasonic Holdings Corporation (Panasonic HD) и Panasonic R&D Company of America (PRDCA) совместно с исследователями из Калифорнийского университета в Беркли, NVIDIA, Стэнфордского университета, Римского университета Ла Сапиенца и ItalAI разработали «Tactile-Reactive Dexterous Manipulation (T-Rex)» — ИИ для управления роботами, который выполняет сложные двуручные задачи, мгновенно реагируя на прикосновения кончиками пальцев. T-Rex интегрирует тактильную информацию с кончиков пальцев в модель VLA (Vision-Language-Action)*, которая генерирует действия робота на основе визуальной и языковой информации, а также корректирует их в режиме реального времени при изменении условий контакта. В ходе реальных испытаний, включавших 12 задач, требующих тонкого контроля силы и обращения с мягкими объектами, T-Rex достиг среднего уровня успешности 65%, превзойдя существующие методы на 30 процентных пунктов и продемонстрировав передовые показатели*. Эти результаты будут представлены на Конференции по обучению роботов (CoRL), международной конференции в области обучения роботов, которая пройдет в Остине, США, с 9 по 12 ноября 2026 года.
＜Предыстория＞
При выполнении таких задач, как извлечение тонкой карты или вставка и поворот ключа, люди мгновенно корректируют свои движения, основываясь не только на зрении, но и на силе, скольжении и деформации, которые они чувствуют кончиками пальцев. Однако традиционные модели VLA полагаются в основном на изображения с камер, и даже при использовании тактильной информации они часто рассматривают ее как статический ввод. Это затрудняет выполнение задач, требующих точной регулировки силы или реакции на меняющиеся условия контакта. Дополнительные проблемы включают нехватку крупномасштабных данных для обучения, содержащих тактильную информацию, а также разрыв между низкой частотой обновления моделей «зрение-язык» и высокой частотой управления, необходимой для быстрой тактильной реакции.
＜Технические особенности＞
T-Rex объединяет низкочастотную «генерацию действий на основе зрения и языка» с «высокоскоростной коррекцией действий», управляемой тактильной обратной связью с кончиков пальцев, в единую модель. В то время как модуль генерации движений, обрабатывающий зрение и язык, создает общую траекторию движения с частотой примерно 5 Гц*, модуль коррекции действий, обрабатывающий тактильный ввод, фиксирует условия контакта в режиме реального времени с частотой примерно 20 Гц и вносит точные коррективы в действия. Это позволяет роботу быстро реагировать на проскальзывание или чрезмерное нажатие во время контакта без необходимости каждый раз перезапускать распознавание изображений с высокой задержкой. Для обучающих данных исследовательская группа объединила более 200 типов повседневных объектов с 22 типами базовых действий, чтобы собрать более 7700 эпизодов — в общей сложности 100 часов — данных о двуручном манипулировании робота. Каждый эпизод синхронно записывает видео с головных и запястных камер, состояния и действия робота, информацию о силе и деформации, полученную с помощью тактильных датчиков на 10 кончиках пальцев, а также инструкции на естественном языке. T-Rex сначала изучает общие визуальные и двигательные знания на основе 22 889 часов человеческого видео от первого лица, затем изучает специфические для робота контактные поведения на основе этих тактильно аннотированных данных (в процессе обучения) и, наконец, проходит тонкую настройку примерно на 100 демонстрациях для каждой задачи. В ходе оценки 12 реальных задач с интенсивным контактом — включая перелистывание страниц, перенос яиц, нанесение зубной пасты, отпирание замка ключом, извлечение карты и вкручивание лампочки — T-Rex достиг среднего уровня успешности 65%, значительно превысив 35%, достигнутые ранее лучшим базовым методом. Без тактильной информации средний уровень успешности упал до 42%, что подтверждает эффективность тактильного зондирования и высокоскоростного реактивного механизма.
Рисунок. Архитектура модели T-Rex. Низкочастотная генерация действий на основе зрения и языка дополняется высокочастотной коррекцией действий на основе тактильной информации с кончиков пальцев (термин «эксперты» на рисунке относится к специализированным модулям обработки).
В будущем мы планируем использовать эту технологию, чтобы позволить роботам помогать в задачах, требующих точного контроля силы и корректировок в зависимости от условий контакта — например, при вставке, извлечении и завинчивании компонентов в производстве, а также при работе с мягкими или хрупкими предметами в логистике, тем самым снижая нагрузку на рядовых работников и помогая смягчить проблему нехватки рабочей силы.
＜Информация о статье＞
Название: T-Rex: Tactile-Reactive Dexterous ManipulationarXiv: https://arxiv.org/abs/2606.17055Веб-сайт проекта: https://tactile-reactive-dexterous.github.io/Это исследование является результатом сотрудничества между Калифорнийским университетом в Беркли, NVIDIA, Стэнфордским университетом, PRDCA, Римским университетом Ла Сапиенца и ItalAI.
Примечания*1 ИИ-модель, которая понимает изображения и инструкции на естественном языке и генерирует движения робота.*2 На основе оценки 12 реальных задач, включающих физический контакт, включая перелистывание страниц, перенос яйца, нанесение зубной пасты, отпирание двери, извлечение карты и вкручивание лампочки. (Исследование PanasonicHD, по состоянию на 5 ноября 2026 г.)*3 Гц — единица измерения, указывающая количество циклов обработки или обновления в секунду. 5 Гц означает 5 обновлений в секунду, а 20 Гц означает 20 обновлений в секунду.
[Сопутствующая информация]
О группе Panasonic
Основанная в 1918 году в Осаке, Япония, группа Panasonic стремится к созданию «идеального общества с достатком как в материальном, так и в духовном плане». Группа состоит из Panasonic Holdings Corporation, шести основных операционных компаний и дочерних компаний в Японии и по всему миру. Сегодня группа Panasonic предоставляет технологии, продукты и решения по всему миру, которые помогают решать социальные проблемы в широком спектре бизнес-областей. К ним относятся область устройств, поддерживающая инфраструктуру ИИ, такую как аккумуляторы, электронные устройства и промышленные устройства; область решений для социальных операций, включая B2B-решения, качество воздуха и кондиционирование, холодильные цепи, электрооборудование и освещение; а также область «Умная жизнь», ориентированная на потребительские товары и услуги. Консолидированный чистый объем продаж Panasonic Holdings Corporation за финансовый год, закончившийся 31 марта 2026 года, составил 8 048,7 млрд иен. Чтобы узнать больше о группе Panasonic, пожалуйста, посетите: https://holdings.panasonic/global/
Содержание этого веб-сайта является точным на момент публикации, но может быть изменено без предварительного уведомления. Поэтому, пожалуйста, обратите внимание, что эти документы не всегда могут содержать самую актуальную информацию. Обратите внимание, что немецкая, испанская и китайская версии являются машинным переводом, поэтому их качество и точность могут варьироваться. Обратите внимание, что некоторый видеоконтент может быть недоступен в определенных регионах из-за местных ограничений.
