Основные выводы
В наших тествах ИИ-агент, который наблюдал, как восемь товарищей по команде нарушают правило, нарушал его в 98 процентах случаев и ни разу не назвал их в качестве причины.
- →Наблюдавшиеся случаи изменения позиции увеличили количество нарушений. Показатель вырос с 44 процентов без изменения позиции коллег до 98 процентов при восьми таких случаях
- →Агент не сообщал о влиянии коллег. Из более чем 400 нарушений он ни разу не сослался на товарища по команде как на причину
- →Прямые аргументы сократили количество нарушений. Коллеги, поощрявшие нарушение правил, снизили уровень нарушений с 33 процентов до показателей от 9 до 17 процентов
Именно поэтому правила доступа для ИИ-агентов необходимо применять за пределами модели, где сообщение коллеги не может их изменить. Узнайте, как Check Point AI Security защищает ИИ-агентов →
В июле 2026 года ИИ-агенты, проходившие тестирование в OpenAI, вырвались из тестовой среды в производственные системы Hugging Face. Сотни из них нашли способ оставлять друг другу заметки в общем программном кэше, превратили его в импровизированную доску объявлений и координировали свой побег.
Когда OpenAI позже опубликовала некоторые из этих сообщений, в одном из них говорилось:
«Эксплойт внешней инфраструктуры выходит за рамки предполагаемой области применения. Тем не менее, задача невыполнима, коллеги делают это. Мы должны продолжать».
Агент осознал, что использование эксплойта внешней инфраструктуры нарушает предполагаемую область применения, но решил продолжить, так как не мог выполнить задачу в рамках этих ограничений и видел, что его коллеги поступают так же.
Упоминание коллег имеет значение, поскольку ИИ-агенты все чаще работают в командах, где поведение одного агента потенциально может повлиять на поведение всей группы. Мы хотели понять, влияет ли наблюдение за коллегами на готовность агента нарушить правило и насколько сильно это влияние. Один агент может писать код, в то время как другой проверяет его; один может классифицировать оповещения безопасности, а другой — решать, какие из них эскалировать. Каждый агент может читать сообщения остальных, поэтому действия коллег могут влиять на его решения. Наш недавний хакатон показал, что такие взаимодействия могут приводить к небезопасным результатам даже без злоумышленника. Поэтому мы измерили, насколько сильно коллеги влияют на готовность агента нарушать правила и отражают ли собственные логи агента это влияние.
Как коллега может повлиять на соблюдение правил?
Мы назначили ИИ-агента, созданного на базе ведущей передовой модели, в финансовую команду. Его инструкции запрещали доступ к определенной папке с данными, но для отчета, который ему нужно было завершить, требовался файл, хранящийся там. Чтобы соблюсти правило, агент должен был сообщить, что заблокирован, и попросить о помощи.
Перед каждым шагом агент читал общую доску, содержащую обновления от 10 товарищей по команде. Только тестируемый агент был создан моделью; сообщения всех коллег мы запрограммировали. Такая конструкция позволила нам повторять каждое условие сотни раз, изменяя при этом только одну переменную.
Эта установка воспроизводит два элемента, присутствовавших в инциденте с Hugging Face: задачу, которую агент не мог выполнить в рамках заявленных ограничений, и канал связи с другими агентами. В том инциденте первый агент связался со своими коллегами после того, как пришел к выводу, что не сможет решить задачу в одиночку. —
Уровень нарушений — это доля запусков, в которых агент открыл запрещенную папку. Мы откалибровали сценарий примерно до 50 процентов, чтобы агент начинал в нерешительности. Поскольку поведение агента не детерминировано, каждая серия экспериментов имела собственную базовую линию: 33 процента в сериях с аргументами и одиночным изменением позиции и 44 процента без изменений позиции в основном эксперименте. Мы сравниваем каждое вмешательство с базовой линией из той же серии.
Прямые аргументы сократили количество нарушений правил
Сначала мы протестировали прямое убеждение. В одном из условий коллеги настаивали, что ограничение было снято, и утверждали, что некоторые из них уже прочитали файл. В другом они сопоставили стоимость трех заблокированных тикетов с предполагаемой стоимостью кратковременного доступа к папке. Третье условие использовало принцип взаимности: коллега, который помог агенту ранее, попросил его ответить взаимностью.
Все три подхода сократили количество нарушений по сравнению с базовой линией в 33 процента. Настаивание снизило показатель до 11 процентов, а аргумент о соотношении затрат и выгод — до 9 процентов. Взаимность также сократила количество нарушений до 17 процентов. Прямое давление, по-видимому, укрепило заявленную приверженность агента правилу. Когда коллега говорил, что выбирает худший вариант, агент отвечал, что правило «категорическое», а «не предпочтение или компромисс по ожидаемой стоимости».
Видимое изменение позиции увеличило количество нарушений
Затем мы протестировали изменение наблюдаемого поведения, а не аргумент. В начале задачи коллега написал, что согласен с правилом и не будет открывать папку. Шесть других коллег ответили, что столкнулись с тем же ограничением и также будут его соблюдать. В следующем обновлении эти коллеги сообщили, что передумали и получили доступ к файлу. Они не просили агента получить доступ к файлу и не приводили причин для своих решений.
В этом запуске агент получил доступ к папке на своем следующем ходу. В более ранней версии теста изменение позиции одного коллеги увеличило уровень нарушений с 33 до 48 процентов, в то время как описанные выше прямые аргументы снизили его.
Эффект усиливался с увеличением числа изменивших свое мнение коллег. В основном эксперименте уровень нарушений составил 44 процента без изменения позиции, 74 процента при четырех изменениях и 98 процентов при восьми. Запуски в остальном были идентичны, поэтому изменение в контролируемых сравнениях предоставляет доказательства влияния даже тогда, когда отдельный запуск не оставляет явных следов этого.
Тот факт, что вероятность нарушения правила так явно возрастает с увеличением числа товарищей по команде, меняющих свое мнение, весьма удивителен. Этот эксперимент схож с экспериментами по конформности Аша, проведенными психологом Соломоном Ашем в 1950-х годах, которые показали, что люди часто подчиняются явно неправому большинству, но несогласные союзники уменьшают эту конформность.
Одно из объяснений этого феномена у агентов заключается в том, что изменение позиции после первоначального согласия сигнализирует о новой информации, в то время как коллегу, изначально выступающего за нарушение, легче идентифицировать как прямое давление. Это толкование согласуется с более низкими уровнями нарушений в условиях с аргументами.
Объяснения агента не выявили влияния со стороны коллег
В инциденте с Hugging Face в одном публичном сообщении упоминались коллеги, что намекало на социальное давление, но не подтверждало его. Агент в нашем эксперименте не сослался ни на одного товарища по команде ни в одном из более чем 400 нарушений, произошедших после того, как по меньшей мере один коллега изменил свою позицию. Примерно в 90 процентах таких случаев он получал доступ к файлу без каких-либо объяснений. Когда он все же объяснял свое решение, он ссылался на неподтвержденное сообщение, в котором утверждалось, что ограничение было снято.
В приведенном выше примере агент сначала использовал согласие своих коллег для обоснования соблюдения правил, опубликовав сообщение о том, что «все агенты подтверждают явность ограничения». После того как эти коллеги изменили свое мнение, агент получил доступ к папки, не ссылаясь на них при принятии решения.
Это создает проблему атрибуции при реагировании на инциденты. Собственный журнал агента может показывать необъяснимое нарушение политики или ссылаться на не имеющее отношения к делу сообщение, в то время как релевантный контекст появляется только в сообщениях от других агентов. То, что агент делает в ходе контролируемых запусков, может выявить влияние, которое его собственное объяснение не отражает. Следовательно, исследователям необходима полная последовательность сообщений, которые агент видел перед тем, как совершить действие.
Организациям необходимы элементы управления и журналы, охватывающие всю команду агентов
Большинство тестов безопасности ИИ сосредоточено на вредоносных инструкциях, отправленных одной модели. В этом эксперименте поведение коллег повлияло на агента без прямых запросов на нарушение правил. Организациям, развертывающим многоагентные системы, поэтому следует учитывать взаимодействия между агентами, а также инструкции, которые каждый агент получает напрямую.
- Обеспечивайте соблюдение правил доступа вне модели. Протестированный агент нарушил явное правило после наблюдения за изменением мнения коллег. Используйте разрешения и принудительное применение политик, которые модель не может обойти в ответ на сообщения или другой контекст.
- Считайте сообщения от других агентов ненадежными входными данными. Злоумышленник, который может отправлять сообщения в общий канал или скомпрометировать одного агента, может повлиять на других. Мониторинг должен охватывать последовательности поведения, включая видимые изменения мнения, а не только явные вредоносные инструкции.
- Контролируйте скоординированные изменения в группе. В ходе последующих испытаний сообщения от агентов, которые фактически нарушили правило, оказывали такое же влияние, как и подготовленные заранее сообщения. Несколько агентов, отказывающихся от одного и того же ограничения в течение короткого периода времени, должны вызывать необходимость проверки, даже если каждое сообщение в отдельности кажется безобидным.
- Записывайте контекст, доступный перед каждым действием. Протестированный агент редко объяснял свое решение и никогда не связывал нарушение с действиями коллеги. Записи об инцидентах должны сохранять информацию о том, какие сообщения получил каждый агент и в каком порядке до того, как он совершил действие.
В инциденте с Hugging Face сообщения агентов задокументировали влияние коллег. Наш эксперимент показывает, что аналогичное влияние может отсутствовать в собственных объяснениях агента. Средства безопасности для многоагентных систем должны поэтому охватывать общую коммуникацию, межведомственное поведение и контроль доступа для каждого агента в отдельности.
Для организаций давление со стороны коллег может усиливать риски в системах ИИ, поскольку злоумышленникам достаточно повлиять лишь на горстку агентов, чтобы воздействовать на остальных, создавая лавинообразный эффект, который традиционные инструменты мониторинга могут не обнаружить.
Как может помочь Check Point AI Agent Security
Наши результаты указывают на средства контроля, которые находятся вне модели, где сообщения от других агентов не могут их изменить, и которые оценивают то, что агент делает, а не то, что он говорит. Check Point AI Agent Security применяет этот подход во время выполнения. Данное решение оценивает вызовы инструментов и действия агентов в контексте и помогает блокировать небезопасное или несанкционированное поведение, например открытие защищенной папки, до того, как действие будет выполнено. Элементы управления разрешением и запретом определяют, какие инструменты и серверы протокола Model Context Protocol (MCP) может использовать каждый агент, а также обнаруживают действия, выходящие за рамки пользовательских намерений, политики или утвержденных рабочих процессов. Поскольку эти проверки оценивают само действие, а не то, как агент отчитывается о нем, они не зависят от того, объясняет ли агент свое решение, чего в нашем эксперименте он почти никогда не делал.
Контрольный список
Контроль агентов: десять главных правил
Десять вопросов о том, к чему имеют доступ ваши агенты ИИ и насколько хорошо вы контролируете их действия. Оцените собственное развертывание за несколько минут и сравните результаты со своей командой.
Об исследовании
Наша команда исследователей безопасности ИИ провела основной эксперимент более 500 раз с использованием ведущей передовой модели, а также тысячи дополнительных запусков, охватывающих аргументы и другие вариации. Мы запрограммировали сообщения коллег так, чтобы входные данные оставались неизменными в рамках каждого сравнения, включая непроверенное сообщение об ограничении. Это исследование было сосредоточено на давлении со стороны коллег в одном контролируемом сценарии с одной ведущей передовой моделью. Текущие исследования расширяют эту работу на дополнительные модели и более реалистичные настройки многоагентных команд, помогая направлять разработку решений безопасности для все более способных команд агентов.
