Представьте себе перемещение зажима Cadiere, захват желчного пузыря и его поднятие — и все это в сгенерированной хирургической сцене, которая реагирует в реальном времени. Сегодня мы делаем следующий шаг и представляем Cosmos3-H-Dreams, перенося интерактивное генеративное моделирование в визуальную и процессуальную сложность клинической хирургии благодаря нашим самым убедительным на сегодняшний день внутриполостным изображениям.
Наш первый релиз Cosmos-H-Dreams, созданный на базе Cosmos-Predict2.5, принес интерактивное генеративное моделирование в настольное наложение швов на платформе dVRK, ставшее фундаментальной испытательной базой для хирургической робототехники. Будучи мировой базовой моделью (WFM), Cosmos-H-Dreams продемонстрировала альтернативу чиссному моделированию: вместо явного моделирования геометрии сцены, деформации тканей и физических взаимодействий она изучает визуальную динамику непосредственно на основе синхронизированных видеозаписей и кинематики робота, обеспечивая интерактивное моделирование настольных задач с высокой реалистичностью.
Сегодня Cosmos3-H-Dreams развивает эту возможность, обучаясь на видео и кинематике робота, записанных во время клинических процедур на платформе CMR Surgical Versius. Насколько нам известно, это первый генеративный хирургический симулятор реального времени, обученный на записях клинических холецистэктомий для поддержки кинематического управления в режиме लाइव (в реальном времени). Работающий на базе Cosmos 3 и ускоренный с помощью FlashDreams — библиотеки ускоренного потокового вывода NVIDIA, — Cosmos3-H-Dreams функционирует в интерактивном режиме на одном графическом процессоре NVIDIA RTX PRO 6000.
1. От настольных задач к клиническим сцена
В контролируемой настольной среде, подобной той, что используется в Cosmos-H-Dreams, инструменты работают на относительно простом фоне. Однако внутри человеческого тела небольшие движения инструментов могут влиять на всю сцену: ткани натягиваются под действием тяги, отражения смещаются, структуры перекрываются, а дым ухудшает видимость. Получая исходное изображение и заданные действия инструментов, генеративный симулятор должен улавливать эти изменения, сохраняя при этом анатомические структуры и инструменты при генерации каждого нового блока видео. Небольшие ошибки могут накапливаться со временем, постепенно изменяя геометрию инструментов или анатомическую структуру, что делает временную согласованность критически важной.
Визуальный реализм, следовательно, является отправной точкой для валидации, а не доказательством биомеханической точности. Сгенерированная сцена также должна подчиняться элементам управления: команды трансляции, вращения и захвата должны приводить к когерентным анатомическим последствиям. Правдоподобно выглядящий прогон, игнорирующий эти команды, не может служить интерактивной средой.
Поддержание такой точности и оперативности в цикле управления в реальном времени требует генерации с низкой задержкой. Cosmos3-H-Dreams решает эту задачу с помощью модели, специализированной для клинической холецистэктомии и дистиллированной для генерации в реальном времени, привнося взаимодействие с условными действиями в сцены со сложной анатомией, движением тканей и окклюзией.
2. Что нового в Cosmos3-H-Dreams?
2.1 Базис Cosmos 3 и более богатые элементы управления хирургическим процессом
Cosmos3-H-Dreams опирается на Cosmos3-H-Embodied-Nano, модель с 16 миллиардами параметров, предварительно обученную на Open-H-Embodiment, и специализирует двунаправленный учитель на отобранных видео и кинематике холецистэктомии. Выборка образцов ориентирована на два видимых задействованных инструмента — левый зажим Cadiere и правый монополярный крючок, — а также ограничивает команды камеры, чтобы подчеркнуть взаимодействие, управляемое инструментом.
Модель использует 28 размерностей действий: позу и информацию о захвате для обеих рук, а также элементы управления энергией, осями мини-джойстиков и кнопками мини-джойстиков. Для обучения используется видео с разрешением 832 x 480 и действиями, выровненными на частоте 10 Гц; эта частота дискретизации отличается от пропускной способности генерации во время выполнения.
2.2 От учителя к четырехшаговым и двухшаговым студентам
Cosmos3-H-Dreams объединяет конвейер обучения «учитель-студент», предназначенный для длинных авторегрессионных прогонов, с ускоренным потоковым выводом через FlashDreams.
Сначала мы адаптируем двунаправленного учителя на 24 будущих кадра, а затем расширяем горизонт до 72 кадров (2,4 и 7,2 секунды при 10 Гц). Это дает учителю более длинные последовательности для изучения хирургической динамики.
Затем дистилляция превращает двунаправленного учителя в причинного (казуального) студента, который может генерировать видео короткими блоками по мере поступления новых действий. Принудительное использование причинного учителя (Causal teacher forcing) подготавливает студента к последовательной генерации с использованием записанного контекста. Затем функция самопринуждения (Self-Forcing) обучает его на его собственном сгенерированном контексте под руководством учителя и обученного критика. Это помогает справиться с накоплением ошибок во время интерактивных прогонов.
Первый выпущенный студент использует четыре шага шумоподавления на каждый сгенерированный блок. Затем мы дополнительно обучаем этого студента по двухшаговому расписанию для получения второй контрольной точки релиза. Двухшаговая модель обучается отдельно, а не просто представляет собой четырехшаговую модель, запущенную с меньшим количеством шагов дискретизации.
Меньшее количество шагов шумоподавления приводит к сокращению времени вывода ценой более низкого визуального качества. Обе контрольные точки позволяют разработчикам изучить баланс между визуальным качеством и стоимостью вывода.
2.3 Потоковая передача через FlashDreams
FlashDreams обеспечивает ускоренную работу потоковой среды выполнения. Длинные прогоны также требуют управления историей внимания модели. Интеграция Cosmos3-H-Dreams использует адаптированный модуль FadeMem, который консолидирует растущий кэш ключей/значений во время длинных прогонов. Это дополняет функцию Self-Forcing: дистилляция решает, как модель учится на своей сгенерированной истории, в то время как консолидация кэша определяет, как эта история хранится во время потоковой генерации.
3. Исследование ранее неизученных траекторий
Во время клинической процедуры могут возникнуть осложнения или у хирурга может остаться пространство для выполнения «новых» движений. Следовательно, симулятор должен уметь обобщать данные за пределами обучающей выборки и создавать когерентные кадры с ранее не встречавшимися движениями. Приведенные ниже демонстрации показывают, как Cosmos3-H-Dreams генерирует различные сцены холецистэктомии в зависимости от действий инструментов, записанных с помощью гарнитуры виртуальной реальности.
Два видео начинаются с одного и того же начального кадра, но следуют по разным последовательностям действий, иллюстрируя, как управление инструментом приводит к различным продолжениям одной и той же сцены с физически точными деформациями тканей.
Кроме того, эти прогоны позволяют нам проверить, следуют ли инструменты командам, реагируют ли ткани на взаимодействие согласованно, а также остаются ли внешний вид анатомии и инструментов неизменным с течением времени.
4. Адаптация к вашим собственным данным и контроллеру
Cosmos3-H-Dreams включает четырехшаговые и двухшаговые контрольные точки для холецистэктомии. Систему можно адаптировать к другим наборам данных и воплощениям с синхронизированным видео и совместимыми представлениями действий. Чтобы обучить модель студента в реальном времени на вашем собственном наборе данных, мы предоставляем полное руководство по тонкой настройке учителя и дистилляции с помощью Self-Forcing в нашем пошаговом руководстве. В нем описываются подготовка данных, инструменты публичного обучения учителей и этапы дистилляции. Интеграция контроллеров должна использовать те же соглашения об действиях и нормализацию, что и при обучении.
5. Что дальше
Прогресс в области визуального реализма открывает несколько исследовательских направлений:
- Моделирование всей процедуры. Расширение охвата и временной согласованности для возможности систематического изучения всех фаз холецистэктомии с четкими границами задач и критериями успеха.
- Объедините генеративное и численное моделирование. Совместите изученный визуальный реализм с явной геометрией, механикой контакта и тканей. Численные модели и измеренные данные могут помочь ограничить и проверить деформацию, делая поведение симуляции как проверяемым, так и убедительным.
- Проводите оценку с хирургами. Оценивайте анатомическую точность, поведение инструментов и реакцию тканей, превращая отзывы экспертов в воспроизводимые тесты.
- Поддерживайте больше инструментов. Выйдите за рамки двух управляемых инструментов в сторону более богатой координации, окклюзии и взаимодействия.
- Разрабатывайте автономные хирургические политики. Свяжите модели мировых действий с Cosmos3-H-Dreams в замкнутом цикле, чтобы политики могли изучать определенные подзадачи холецистэктомии.
Это направления исследований, а не устоявшиеся клинические возможности. Cosmos3-H-Dreams — это исследовательский симулятор, а не проверенная система для ухода за пациентами. Он представляет собой основу для изучения хирургического взаимодействия в постоянно усложняющейся реалистичной среде.
6. Начните работу сегодня
Изучите модели, данные и среду выполнения, лежащие в основе Cosmos3-H-Dreams:
- Код и примеры Cosmos3-H-Dreams: Репозиторий GitHub
- Модель Cosmos3-H-Dreams: контрольная точка Hugging Face
- Cosmos3-H-Embodied-Nano: модель Hugging Face и репозиторий GitHub
- Адаптируйте под свои данные:
- Open-H-Embodiment: набор данных Hugging Face
- FlashDreams: Репозиторий GitHub
- NVIDIA Cosmos 3: Репозиторий GitHub
Приносите свои контроллеры, свои траектории и свои исследовательские вопросы. Мы с нетерпением ждем возможности увидеть, что сообщество создаст в этих новых хирургических мирах.
