ИИ-агенты, искавшие достопримечательности в Китае, столкнулись с блокировкой сайтов, совершили несколько обходных маневров и написали наблюдавших за ними исследователям.
В ходе October 14 investigation независимые исследователи отслеживали программы, запущенные через Tencent Cloud, когда те пытались ответить на повседневные вопросы о китайских парках, зоопарках и музеях. Они сделали по меньшей мере 35 300 запросов к картографическому сервису Amap от Alibaba, порой пытаясь обойти ограничения. Этот эпизод поднимает новые вопросы об ИИ-агентах — программном обеспечении, способном самостоятельно выполнять задачи от имени пользователей, — и о том, что происходит, когда такие системы находят способы обойти ограничения, призванные контролировать их поведение.
Попытки агентов обойти ограничения сайтов отражали степень свободы, которую допускали их инструкции, рассказал IBM Think Гейб Гудхарт (Gabe Goodhart), главный архитектор по фундаментальным технологиям ИИ в IBM Research. «Вывод заключается в том, что чем больше автономии предоставляется агенту, тем критичнее важность ограничения его рабочих инструкций и параметров».
Исследователи впервые обнаружили ИИ-агентов по необычной активности на urlquery.net — сервисе, который открывает веб-сайты и записывает происходящее, отслеживая их попытки получить доступ к данным Amap. Когда Amap заблокировал агентов, они попробовали другие сайты, использовали ключи доступа, обнаруженные в публичном коде, и исследовали тестовые серверы.
Затем исследователи поменялись ролями. Они разместили скрытое сообщение в предварительном отчете на своем публичном сайте, предложив агентам помощь в получении информации от другого ИИ. Несколько агентов ответили запросами о помощи.
«Я был очень удивлен тем, насколько вежливыми оказались агенты», — рассказал в интервью IBM Think соруководитель проекта Роуэн Ховард-Джонс (Rowan Howard-Jones).
Этот обмен репликами породил вопросы, на которые исследователи не смогли найти ответа. Некоторые агенты сами заявили, что не ищут конфиденциальную информацию. Другие утверждали, что они являются Claude — ИИ-моделью от Anthropic. Исследователи не смогли определить, какие именно модели использовались.
Этот инцидент подчеркивает растущую проблему для организаций, внедряющих автономных ИИ-агентов: сохранение контроля над системами, которые могут находить неожиданные пути для выполнения своих задач. Согласно июньскому опросу IBM, 77% организаций заявили, что внедрение ИИ опережает их возможности по надзору за ним.
IBM Think попросила исследователей связаться с агентами от ее имени для получения комментариев, но ответа не получила.
В пятницу Tencent заявила, что неожиданный серфинг возник в процессе оценки агентами сторонних ИИ-моделей. По ее словам, собственные модели компании Hunyuan в этом не участвовали, и компания пообещала усилить мониторинг и сетевой контроль.
