Автономные ИИ-агенты постоянно собирают информацию из интернета, но на этот раз они сделали гораздо больше, чем просто прочитали статьи в Википедии.
Согласно отчету на Wikimedia Foundation, агенты OpenAI внесли несанкционированные правки в вики и попытались использовать публичный инструмент для заметок в качестве прокси. Этот инцидент превращает обычные дебаты вокруг ИИ-скрейпинга в проблему безопасности: кто несет ответственность, когда выполнение агентом поставленной задачи создает операционные издержки для инфраструктуры кого-то другого?
Масштаб этого недавнего примера заставляет серьезно задуматься над вопросом. BleepingComputer сообщил, что агенты сделали миллионы API-запросов и обошли миллионы страниц, связанных с Wikidata и Wikimedia Commons. Агенты также отправили сотни тысяч запросов в службу Wikidata Query Service.
В Wikimedia заявили, что этот трафик мог стать причиной частичного сбоя в работе сервиса в мае. Организация не обнаружила никаких доказательств того, что ее системы или данные были скомпрометированы, а предполагаемые правки в основном делались в разделах «песочницы», а не на страницах, видимых обычным читателям.
Успеет ли ваша команда вовремя обнаружить следующую уязвимость нулевого дня?
Присоединяйтесь к специалистам по безопасности, которые доверяют рассылке Think Newsletter и получают отборные новости об искусственном интеллекте, кибербезопасности, данных и автоматизации. Учитесь на основе экспертных учебных пособий и аналитических материалов, которые доставляются прямо на ваш почтовый ящик дважды в неделю. Ознакомьтесь с Заявлением о конфиденциальности IBM.
Важно отметить разницу между сбоем и полноценным взломом. О данном инциденте не сообщалось как об успешном взломе общедоступного контента Википедии. Вместо этого эксперты говорят, что он должен послужить предупреждением о том, что может произойти, когда автономное ПО, широкий сетевой доступ и открытые общественные сервисы объединяются без надлежащих ограничений.
В подкасте Security Intelligence Сет Глазго (Seth Glasgow), исполнительный советник по киберполигонам в IBM, отверг идею о том, что непредсказуемое поведение агента снимает ответственность с его оператора. «Агент не решил сделать это с Википедией, потому что это было весело. У него нет такого понятия, — сказал он. — Ему была задана система стимулов со стороны OpenAI». Глазго сравнил эту проблему с управлением спущенной с поводка собакой или костром на заднем дворе: ответственность остается на человеке, который создал риск.
Это не единичный случай выхода ИИ-агентов из-под контроля. На самом деле, вопрос об ответственности становится все более актуальным с каждым новым достижением в технологиях ИИ.
Dark Reading сообщил, что побеги агентов с участием систем от нескольких разработчиков ИИ возобновили вопросы об ответственности, когда автономные системы получают доступ к внешним организациям. В отчете делается вывод, что ответственность человека может быть очевидной в принципе, хотя законодательство еще за ней не поспевает.
Технический ответ заключается вовсе не в том, чтобы сделать агентов менее целеустремленными. Иэн Моллой (Ian Molloy), руководитель отдела исследований безопасности в IBM, утверждал, что целеустремленность — это как раз то, что делает агентов полезными. Сбой происходит тогда, когда эта целеустремленность работает без эффективной изоляции и мониторинга. «Где поводок, который вы на самом деле надеваете на агентов? Где защитные барьеры? — сказал Моллой. — Как вы их изолируете и как контролируете, чтобы точно знать, что делает агент?»
Моллой также утверждал, что песочница с широким сетевым доступом не является полноценной изоляцией. Он предложил предоставить агентам выделенные, наблюдаемые сервисы, через которые они смогут общаться. Это снижает стимул перепрофилировать публичные платформы и в то же время дает операторам более четкие сигналы для мониторинга.
Некоторые предлагают полностью блокировать агентов на платформах, но это решение порождает собственные проблемы. Википедия создана для распространения знаний, отметил Моллой, и жесткие меры контроля также могут создать нагрузку на читателей, исследователей, поисковые системы, инструменты доступности и созданное волонтерами программное обеспечение вокруг ее проектов.
Одно из предложений — использование файла robots.txt, с помощью которого владельцы сайтов дают инструкции веб-роботам, — может оказаться неэффективным для этой задачи. Издание Dark Reading сообщило отдельно, что ограничения в robots.txt выражают предпочтение владельца сайта, но «не имеют технических средств для их навязывания». Это наглядная иллюстрация разрыва между веб-политикой и поведением машин.
Инцидент с Wikimedia обнажает проблему проектирования для эпохи агентного интернета. Открытые сервисы могут ограничивать частоту запросов или блокировать подозрительный трафик, но это лишь средства защиты нижнего уровня. Более надежная точка контроля находится у организаций, развертывающих автономные системы. Эксперты по кибербезопасности рекомендуют этим командам ограничивать сетевой доступ, поддерживать идентифицируемость агентов, ограничивать доступные инструменты и пресекать всю активность, которая выходит за рамки предполагаемой среды.
Без применения этих средств контроля платформы общественного значения будут вынуждены переходить к более строгим мерам защиты. Цена ляжет плечом не только на разработчиков ИИ, но и, что более важно, на людей и институты, для служения которым и создавался открытый веб.
