Техник стоит на коленях рядом с промышленным водонагревателем, прислонив телефон к трубе, а ИИ-ассистент наблюдает за процессом через камеру. Она тянется не к тому клапану, и ассистент говорит: «Стоп, это линия подачи». Будет ли это полезным советом, зависит исключительно от того, что произойдет дальше. Успело ли предупреждение предотвратить неверное действие? Доверилась ли она ему? Не запутало ли это ее относительно следующего шага?

Эти вопросы скоро станут гораздо важнее. ИИ-ассистенты выходят за пределы чат-окон и становятся помощниками в реальном времени для физической работы, наблюдая за видео в прямом эфире и направляя людей в ходе многоэтапных задач.

В этом году прогресс шел быстро. В мае Thinking Machines представили модели взаимодействия, которые непрерывно воспринимают аудио, видео и текст и реагируют в реальном времени, не дожидаясь завершения хода пользователя. В июне Meta исследователи выпустили набор данных с носимых камер для проактивной процедурной помощи, аннотированный для моментов, когда пользователи отклоняются от плана, и способов исправления ситуации. В сентябре Google introduced Gemini 3.8 Live объединили визуальное понимание в реальном времени, разговорную речь и способность выполнять задачи в фоновом режиме.

Но есть подвох: большинство оценок визуальных ассистентов основаны на воспроизведении заранее записанного видео и сравнении ответов с эталоном. Это позволяет понять, было ли предупреждение верным. Но это не говорит о том, сработало ли предупреждение, потому что запись не может реагировать.

Поэтому Salesforce AI Research создали Interactive Visual Gym — симулированный полигон, где ИИ-ассистенты обучают виртуальных работников, способных реагировать на инструкции. Таким образом, исследователи могут увидеть, действительно ли советы меняют результат, разработать бенчмарки и в конечном итоге улучшить этих визуальных ассистентов.

Петля обратной связи живого испытания, но в масштабе

Руководитель, решающий, стоит ли предоставлять визуального ИИ-ассистента фронтлайн-командам, хочет знать, с большей ли вероятностью эти команды завершат работу и сделают это правильно с ассистентом, чем без него.

Очевидный подход — тестирование с реальными людьми, но это не масштабируемо. Чтобы понять, надежно ли ассистент помогает техникам, потребовались бы тысячи тренировочных запусков с людьми разного уровня квалификации, совершающими разные ошибки в разные моменты. Набор такого количества участников для каждого устройства и процедуры был бы медленным и непомерно дорогим. То, что нужно — это петля обратной связи живого испытания в масштабе набора данных.

Именно это предоставляет Interactive Visual Gym. IVG воссоздает повседневные физические задачи, такие как приготовление пищи или настройка смартфона. Он связывает каждую задачу с симулированным пользователем, который выполняет ее, получая руководство от визуального ИИ-ассистента. Действия симулированного пользователя и симулированная среда меняются в ответ на эти советы.

Например, в кухонной среде симулированный повар готовит по рецепту, скажем, собирает бургер: сначала булочка, затем котлета, потом сыр. Если он берет не тот ингредиент, наблюдающий ИИ-ассистент должен вовремя заметить ошибку, чтобы повар мог отреагировать на то, что он скажет.

Три конструктивных решения делают IVG практичным. Во-первых, ИИ-ассистенты говорят на естественном языке («иди к сковороде с мясом»), а не на языке скоростей соединений и координатных углов классических робототехнических симуляторов. Во-вторых, мы можем планировать моменты отклонения от плана в точные моменты задачи, сохраняя при этом диалог пользователя в соответствии с его поведением. К ним относятся ошибки, изменения плана в процессе работы, вопросы и запросы напоминаний. В-третьих, симулированные пользователи различаются по четырем осям: квалификация, доверие к ИИ, предпочтительная скорость выполнения и терпимость к прерываниям. Опытному пользователю, который хочет, чтобы его оставили в покое, и новичку, которому нужно разжевать каждый шаг, требуется совершенно разная помощь.

Что делают не так современные ассистенты и как IVG может помочь

Используя IVG, мы создали IVG-Bench: 315 сценариев в трех средах, использованных для оценки 15 ассистентов, каждый из которых работает на своей модели. Самый сильный, работающий на Gemini 4 Argon, завершил только 53,4% задач в рамках лимита времени (в среднем по средам), а модели с открытыми весами в целом отставали от передовых моделей. Это все еще сложный бенчмарк для достижения.

Наша динамическая оценка выявляет несколько проблем с визуальными ИИ-ассистентами. Первая заключается в том, что модель может чаще помогать пользователям завершать работу, но при этом давать более неуклюжие советы, поэтому нам нужны две метрики для измерения возможностей: успех задачи и качество взаимодействия. Вторая — динамическое тестирование выявляет сбои, которые пропускают статические тесты. Задержка превращает правильный совет в устаревший. Говорить пользователю подойти к столу после того, как он уже подошел, бессмысленно. Некоторые ассистенты повторяют инструкции, которые пользователь уже подтвердил. У некоторых моделей с открытыми весами качество руководства снижается по мере выполнения задачи.

Чтобы проверить, отражают ли наши оценки на основе симуляции реальный опыт, мы попросили людей управлять поваром в симуляторе, работать с разными ассистентами и ранжировать их. Когда люди предпочитали одного ассистента другому, наш автоматизированный показатель качества взаимодействия из симуляции соответствовал их предпочтениям в 78,5% случаев. Реальные люди и симулированные пользователи также вели себя схожим образом, с одним отличием: симулированные пользователи говорят и отвечают гораздо чаще.

Наши симулированные среды также могут активно улучшать производительность визуальных ассистентов. В раннем доказательстве концепции мы использовали симулятор для обучения модели с открытым исходным кодом, стимулируя ее отдавать приоритет завершению задачи и предотвращению ошибок. Уровень успеха модели улучшился, и ассистент стал заметно лучше давать правильные советы в нужное время, проактивно вмешиваясь до того, как произойдут ошибки.

Что это значит для руководителей

В конечном счете, визуальные ассистенты в реальном времени будут оцениваться по результатам. Прежде чем внедрять одного из них, задайте три вопроса: помогает ли он измеримо людям завершить задачу? Приходит ли его руководство тогда, когда оно еще может изменить результат? Сохраняет ли он эффективность в конце долгой работы или когда пользователь отклоняется от сценария? Ответы на эти вопросы означают тестирование самого взаимодействия в средах, где советы имеют последствия. Именно для этого и создан Interactive Visual Gym.