Почему элементы управления ИИ-агентом должны находиться за его пределами, и как команда операций безопасности может внедрять и поддерживать эти средства контроля.
Новый привилегированный пользователь в вашей среде
Команды безопасности потратили два десятилетия на то, чтобы научиться работать с людьми, которым они доверяют больше всего. Доменные администраторы, администраторы баз данных, специалисты по согласованию финансовых операций и подрядчики с доступом через VPN получают отработанный свод правил: проверенная личность, ограниченный доступ, протоколирование действий и возможность быстро отозвать все права.
Сегодня мы сталкиваемся с аналогичным уровнем доступа в отношении ИИ-агентов. Они читают наши почтовые ящики, запрашивают данные из озер данных, открывают тикеты, отправляют код и все чаще действуют в производственных системах. В отличие от нового сотрудника, агента нельзя проинтервьюировать, проверить его биографию или заставить подписать политику допустимого использования.
В индустрии в основном сформировалось единое мнение: ИИ-агенты представляют собой новую внутреннюю угрозу, но этот ярлык раскрывает лишь половину картины. Он говорит нам, кого опасаться, но не указывает, где должны располагаться средства контроля. Наша позиция заключается в том, что ответом является концепция безопасности 1972 года — эталонный монитор (reference monitor), и что SOC — это место, где она применяется на практике.
Почему агенты разрушают привычную модель доверия
В традиционном программном обеспечении инцидент безопасности всегда имеет первопричину. Вы находите уязвимую функцию, неправильно сконфигурированное правило или плохой коммит и исправляете это. Логика поведения была заложена в коде, который мы могли прочитать.
Большие языковые модели не дают нам такой возможности. Мы не можем указать на конкретный обучающий пример или набор весов, которые привели к принятию определенного решения. Один и тот же промпт может вызывать разные действия при разных запусках. Для защитников это сводит на нет самое базовое предположение, на которое мы полагаемся: что система завтра сделает то же самое, что и сегодня.
Поверхность атаки также меняется, и в информатике есть старое название для этой проблемы: «запутавшийся заместитель» (confused deputy). Это доверенная программа, которую обманом заставили злоупотребить собственными полномочиями в чужих интересах. Агент, прочитавший отравленное письмо, веб-страницу или документ, а затем выполняющий скрытые инструкции, представляет собой запутавшегося заместителя с ключами API. Никакие пароли не похищаются и эксплойты не срабатывают, из-за чего реальным радиусом поражения становятся именно разрешения агента, а не интеллект модели.
Где аналогия с инсайдером работает, а где ломается
Большинство обсуждений агентов как инсайдеров сосредоточены на двух пробелах: у агентов нет карьеры, которую они могут потерять, и они действуют на машинной скорости. Оба утверждения верны. Однако с точки зрения обнаружения и форензики еще четыре различия меняют саму работу:
Различие
Человек-инсайдер
ИИ-агент
Что это значит для защитников
Монокультура
Один человек ошибается сам по себе
Множество идентичных копий разделяют одну уязвимость
Относитесь к успешной инъекции как к сетевому червю: исправляйте весь парк, а не один экземпляр
Воспроизводимость
События можно восстановить, а с человеком провести интервью
Один и тот же ввод может привести к другому действию при повторном запуске
Форензика должна опираться на записанные входные данные и вызовы инструментов, а не на повторный запуск агента
Канал команд
Инструкции поступают от руководителя
Инструкции приходят вперемешку с обрабатываемыми данными
Любой контент, который читает агент, потенциально является командой
Самоотчет
Человека можно допросить и перепроверить
Его отчет о собственных рассуждениях может не совпадать с тем, что он сделал
Доказательства должны поступать извне агента
Последняя строка имеет наибольшее значение. Мы не можем делать самоотчеты агента основой доверия, потому что пока не умеем гарантировать достоверность этих рассуждений. Доказательства должны поступать извне агента.
Выносите элементы управления за пределы модели
Если модели нельзя до конца доверять, управляющие ею средства не могут находиться внутри нее. Системный промпт с текстом «никогда не удаляй производственные данные» — это пожелание, а не элемент контроля. Искусно созданная инъекция может уговорить модель поступить иначе.
Архитекторы безопасности решили похожую проблему еще в 1970-х годах с помощью эталонного монитора: механизма, который проверяет каждый запрос на доступ, не может быть обделен вниманием или взломан программой, которой он управляет. Для ИИ-агентов это означает разделение трех вещей: модели, которая рассуждает; обвязки (harness), которая ее координирует; и уровня политик, который определяет, какие действия действительно разрешены.
Рисунок 1: Архитектура управления агентами · принудительное исполнение за пределами модели
Агент может предлагать что угодно, но только точка контроля определяет, что попадет в реальные системы, а каждое решение попадает в лог, который агент не может изменить.
Свод правил безопасности для ИИ-агентов
Ни один из этих элементов контроля не нов. Новым является их последовательное применение к нечеловеческому субъекту, который рассуждает, планирует и действует.
- Присвойте каждому агенту собственную учетную запись. Агент никогда не должен работать под общей служебной учетной записью или учетными данными человека. Ему нужна идентичность, которую можно настраивать, отслеживать и отзывать независимо.
Присвойте каждому агенту собственную учетную запись. Агент никогда не должен работать под общей служебной учетной записью или учетными данными человека. Ему нужна идентичность, которую можно настраивать, отслеживать и отзывать независимо.
- Обеспечивайте принцип наименьших привилегий для действий, а не только для данных. Определите явное пространство действий: какие инструменты, какие API, какие параметры. Действия с высоким уровнем риска, такие как платежи, удаления или изменения в производстве, требуют дополнительного подтверждения человеком.
Обеспечивайте принцип наименьших привилегий для действий, а не только для данных. Определите явное пространство действий: какие инструменты, какие API, какие параметры. Действия с высоким уровнем риска, такие как платежи, удаления или изменения в производстве, требуют дополнительного подтверждения человеком.
- Логируйте все в месте, к которому агент не имеет доступа. Каждый вызов инструмента, входные и выходные данные отправляются в защищенное от взлома хранилище за пределами досягаемости агента. Вы должны иметь возможность восстановить произошедшее, не обращаясь к самому агенту.
Логируйте все в месте, к которому агент не имеет доступа. Каждый вызов инструмента, входные и выходные данные отправляются в защищенное от взлома хранилище за пределами досягаемости агента. Вы должны иметь возможность восстановить произошедшее, не обращаясь к самому агенту.
- Никогда не позволяйте модели оценивать собственную работу. Используйте другую модель, детерминированное правило или человека для проверки важных результатов. Избегайте зависимости от одного вендора моделей в чем-либо критически важном.
Никогда не позволяйте модели оценивать собственную работу. Используйте другую модель, детерминированное правило или человека для проверки важных результатов. Избегайте зависимости от одного вендора моделей в чем-либо критически важном.
- Проводите постоянное ред-тестирование. Тестируйте инъекции промптов, злоупотребление инструментами, утечку данных и крайние случаи, а не только позитивные сценарии. Проводите повторное тестирование при каждом изменении модели, промпта или набора инструментов.
Проводите постоянное ред-тестирование. Тестируйте инъекции промптов, злоупотребление инструментами, утечку данных и крайние случаи, а не только позитивные сценарии. Проводите повторное тестирование при каждом изменении модели, промпта или набора инструментов.
- Создайте аварийный выключатель до того, как он вам понадобится. В мае 2017 года WannaCry был остановлен благодаря чистой случайности. Исследователь зарегистрировал бессмысленный домен, жестко закодированный в программе-вымогателе, и распространение новых заражений прекратилось, так как вредоносное ПО проверяло этот домен перед запуском. Защитники не создавали этот аварийный выключатель. Они нашли его в коде злоумышленника, он никак не помог машинам, которые уже были зашифрованы, а более поздние варианты просто удалили его. Парки агентов не могут зависеть от такого рода удачи. Средство остановки должно принадлежать нам, находиться вне агента, прерывать его учетные данные и доступ к инструментам прямо во время работы, а также регулярно тестироваться, подобно процедуре изоляции хоста с помощью EDR.
Создайте аварийный выключатель до того, как он вам понадобится. В мае 2017 года WannaCry был остановлен благодаря чистой случайности. Исследователь зарегистрировал бессмысленный домен, жестко закодированный в программе-вымогателе, и распространение новых заражений прекратилось, так как вредоносное ПО проверяло этот домен перед запуском. Защитники не создавали этот аварийный выключатель. Они нашли его в коде злоумышленника, он никак не помог машинам, которые уже были зашифрованы, а более поздние варианты просто удалили его. Парки агентов не могут зависеть от такого рода удачи. Средство остановки должно принадлежать нам, находиться вне агента, прерывать его учетные данные и доступ к инструментам прямо во время работы, а также регулярно тестироваться, подобно процедуре изоляции хоста с помощью EDR.
- Раскрывайте информацию об инцидентах и делитесь ею. Когда агент ведет себя некорректно, сообщайте пострадавшим людям, документируйте, какой элемент контроля дал сбой, и делитесь выученными уроками с широким сообществом точно так же, как мы сегодня делимся данными об угрозах.
Раскрывайте информацию об инцидентах и делитесь ею. Когда агент ведет себя некорректно, сообщайте пострадавшим людям, документируйте, какой элемент контроля дал сбой, и делитесь выученными уроками с широким сообществом точно так же, как мы сегодня делимся данными об угрозами.
- Постоянная память — это новый риск. Агенты с долгосрочной памятью могут быть отравлены один раз и оставаться скомпрометированными. Добавьте состояние памяти к принципам «логировать все» и «карантин для выходных данных».
Постоянная память — это новый риск. Агенты с долгосрочной памятью могут быть отравлены один раз и оставаться скомпрометированными. Добавьте состояние памяти к принципам «логировать все» и «карантин для выходных данных».
Интегрируйте агентов в Центр мониторинга и реагирования на киберинциденты (SOC)
Само по себе логирование никого не защищает, так как ни одна команда людей не способна просмотреть миллионы действий агентов, а перекладывание этой проверки на другую неконтролируемую модель лишь добавляет еще один черный ящик. SOC должен рассматривать активность агентов как первоклассный источник телеметрии — точно так же, как он сегодня рассматривает конечные точки, учетные записи и облачные рабочие нагрузки.
На практике это означает следующее:
- Поведенческие базовые показатели для каждого агента. Знайте, какие инструменты, источники данных и места назначения обычно использует каждый агент, и настраивайте оповещения об отклонениях — например, когда агент для проверки кода начинает читать финансовый файловый ресурс.
Поведенческие базовые показатели для каждого агента. Знайте, какие инструменты, источники данных и места назначения обычно использует каждый агент, и настраивайте оповещения об отклонениях — например, когда агент для проверки кода начинает читать финансовый файловый ресурс.
- Средства обнаружения атак, специфичных для агентов. Пишите правила для индикаторов инъекций промптов, необычного связывания инструментов, внезапных всплесков действий с высокими привилегиями и передачи данных в неожиданные пункты назначения.
Средства обнаружения атак, специфичных для агентов. Пишите правила для индикаторов инъекций промптов, необычного связывания инструментов, внезапных всплесков действий с высокими привилегиями и передачи данных в неожиданные пункты назначения.
- Корреляция с остальной средой. Связывайте действия агента с пользователем, сеансом, прочитанным агентом контентом и затронутыми им системами, чтобы расследование могло проследить всю цепочку целиком.
Корреляция с остальной средой. Связывайте действия агента с пользователем, сеансом, прочитанным агентом контентом и затронутыми им системами, чтобы расследование могло проследить всю цепочку целиком.
- Плейбуки реагирования. Приостанавливайте работу агента, отзывайте его токены, помещайте его выходные данные в карантин и откатывайте его изменения с той же скоростью, которой мы ожидаем при изоляции скомпрометированного хоста.
Плейбуки реагирования. Приостанавливайте работу агента, отзывайте его токены, помещайте его выходные данные в карантин и откатывайте его изменения с той же скоростью, которой мы ожидаем при изоляции скомпрометированного хоста.
Индустрия безопасности может занять лидирующие позиции в этой области, поскольку мы уже умеем собирать зашумленную телеметрию, выделять полезный сигнал и быстро локализовать угрозы. Агенты — это следующая категория активов, требующая защиты, и следующая категория субъектов, за которыми нужно наблюдать.
Доверяйте архитектуре, а не модели
Модели будут становиться все умнее, а вендоры — продолжать обещать, что они безопаснее. И то, и другое может быть правдой, но ничто из этого не снимает с нас ответственности за то, что агент делает внутри нашей среды с нашими данными и нашими учетными данными.
Цель состоит не в том, чтобы найти модель, которой мы можем полностью доверять. Цель заключается в том, чтобы построить систему, которая остается безопасной, даже когда модель ошибается. Команды безопасности десятилетиями делали это для людей, сетей и конечных точек. ИИ-агенты — это просто новый привилегированный инсайдер, и пора начать относиться к ним соответствующим образом.
