Bear Robotics представляет KINO-2 благодаря инженерному сотрудничеству с NVIDIA

Компания Bear Robotics объявила сегодня о выходе KINO-2, своей платформы обучения роботов для преобразования демонстраций задач в готовые к развертыванию навыки манипулирования на KR1, гуманоидном роботе компании Bear. KINO-2 расширяет возможности Bear от перемещения товаров до работы с ними, помогая клиентам автоматизировать большую часть устоявшегося процесса.

Компания Bear развернула более 16 000 роботов, в основном сервисных роботов, на более чем 5000 объектах клиентов. Благодаря этим развертываниям Bear создала инфраструктуру навигации, координации парка и операционной деятельности, а также накопила практические знания о том, как роботы работают бок о бок с людьми в коммерческих средах.

Многие рабочие процессы клиентов требуют как перемещения, так и манипуляций. Ящик должен быть упакован, прежде чем его можно будет транспортировать, машину нужно загрузить, прежде чем она сможет работать, а возвращенные продукты необходимо отсортировать, прежде чем они смогут двигаться дальше. KINO-2 решает эти задачи, соединяя изученные навыки манипулирования с проверенными в промышленности системами навигации, управления и рабочих процессов Bear.

С помощью KINO-2 компания Bear собирает демонстрации задач, использует их для обучения и доработки моделей, а также оценивает полученные навыки на KR1 перед развертыванием в пилотном проекте с клиентом. Платформа поддерживает собственные модели Bear и внешние базовые модели благодаря общим инструментам обучения, оценки и развертывания. Поскольку Bear разрабатывает аппаратное обеспечение, программное обеспечение и ИИ робота совместно, инженеры компании могут адаптировать как изученное поведение, так и окружающую систему под требования клиента.

«Люди, выполняющие работу, уже понимают ее продукты, оборудование и последовательность действий. Демонстрации позволяют нам зафиксировать эти знания и обучить робота. наша цель — снизить объем индивидуального инжиниринга для каждой новой задачи и предоставить каждому клиенту полезные навыки манипулирования». — Брен Пирс, директор по робототехнике, Bear Robotics

«Люди, выполняющие работу, уже понимают ее продукты, оборудование и последовательность действий. Демонстрации позволяют нам зафиксировать эти знания и обучить робота. наша цель — снизить объем индивидуального инжиниринга для каждой новой задачи и предоставить каждому клиенту полезные навыки манипулирования».

- Брен Пирс, директор по робототехнике, Bear Robotics

Bear развивает эти возможности в рамках активных пилотных проектов по манипулированию, включая обработку возвратов в супермаркетах и работу с ящиками на складе. Ее более широкая стратегия парка роботов объединяет специализированные мобильные роботы для транспортировки с KR1 для манипуляций при поддержке общей инфраструктуры управления парком и рабочих процессов.

«Нашим клиентам нужно, чтобы вся работа была выполнена до конца: упаковать ящик, переместить его и принести пустой. Мы создали навигацию и инфраструктуру для перемещения товаров в клиентских средах, и KINO-2 распространяет это на работу с объектами. Совместная разработка платформы обучения и робота позволяет нам выстраивать процессы вокруг задач каждого клиента». — Фанвэй Ли, технический директор, Bear Robotics

«Нашим клиентам нужно, чтобы вся работа была выполнена до конца: упаковать ящик, переместить его и принести пустой. Мы создали навигацию и инфраструктуру для перемещения товаров в клиентских средах, и KINO-2 распространяет это на работу с объектами. Совместная разработка платформы обучения и робота позволяет нам выстраивать процессы вокруг задач каждого клиента».

- Фанвэй Ли, технический директор, Bear Robotics

Проектирование KINO-2 с использованием NVIDIA Isaac OS в основе среды выполнения восприятия

Поскольку Bear расширяет свое присутствие в различных рабочих процессах клиентов, KINO-2 должна обобщать данные для разных объектов, макетов и условий эксплуатации. Это увеличивает потребность в эффективном запуске более крупных и мощных базовых моделей непосредственно на борту KR1. Bear разрабатывает свое аппаратное и программное обеспечение в комплексе для решения этой задачи, причем NVIDIA Isaac OS служит основой для среды выполнения восприятия.

Ранний доступ к технологиям NVIDIA и непосредственное взаимодействие с инженерными командами NVIDIA позволяют Bear быстро дорабатывать собственное аппаратное и программное обеспечение по мере развития технологий. Bear создает и оценивает эти системы, используя клиентские данные и проводя тестирование в реальных условиях эксплуатации, обеспечивая NVIDIA практической инженерной обратной связью на протяжении всей разработки.

Isaac OS, стек среды выполнения робототехники NVIDIA на периферии, включающий SDK NVIDIA Holoscan (HSDK) 5.0, объединяет обработку восприятия и инференс моделей на NVIDIA Jetson AGX Thor. Используя NVIDIA Isaac ROS Bridge, Bear бесшовно интегрировала среду выполнения со своим существующим стеком робототехники. Это позволило Bear сохранить устоявшееся программное обеспечение, одновременно интегрировав собственные модели KINO-2 и открытые базовые модели, включая NVIDIA Isaac GR00T, в более широкую систему, охватывающую навигацию и SLAM, управление парком и координацию рабочих процессов.

Используя среду выполнения NVIDIA Isaac OS наряду с NVIDIA TensorRT и квантованием моделей, Bear сократила время инференса GR00T примерно с 500 миллисекунд в своем первоначальном неоптимизированном развертывании примерно до 60 миллисекунд — примерно в 8 раз быстрее по внутренним измерениям. Собственная модель Bear также достигла ускорения инференса в 4,2 раза, сократив время инференса с 72,3 до 17,2 миллисекунды.

KINO-2 запускается на NVIDIA GTC Berlin

Bear представляет KINO-2 на NVIDIA GTC Berlin одновременно с представлением компанией NVIDIA первой публичной бета-версии Isaac OS и общей доступности SDK Holoscan (HSDK) 5.0, являющейся частью среды выполнения Isaac OS.

По приглашению NVIDIA компания Bear демонстрирует работу KINO-2 на базе KR1 на стенде NVIDIA. Работая по заказу системы управления складом, KR1 берет и упаковывает бутылки в ящики, доставляет ящик в пункт выдачи и возвращается с пустым, сочетая изученные манипуляции с системами навигации, управления и рабочих процессов Bear.