ИИ-агенты создают практически безграничную поверхность атаки. Чтобы приносить пользу, им необходим доступ к внутренним системам, инструментам разработчика и конфиденциальным бизнес-данным. Они также потребляют широкий спектр внешнего контента с помощью различных инструментов, API и MCP, в которых могут быть скрыты вредоносные инструкции. Такие инциденты, как EchoLeak, показывают, к каким серьезным репутационным рискам и утечкам конфиденциальных данных могут привести атаки с внедрением косвенных промптов (indirect prompt injection). Внедрение механизмов защиты во время выполнения, которые встроены непосредственно в ваш процесс принятия решений, имеет решающее значение как для мониторинга, так и для обеспечения безопасности агентов.
Традиционные средства защиты не были рассчитаны на агентов. Они могут определить, разрешено ли агенту выполнять действие, но не то, должен ли он его выполнять. Поскольку агенты выстраивают логику для последующих шагов, а не следуют фиксированному пути, сложно заранее протестировать все возможные варианты их действий. Например, агенту, которому поручено разбирать тикеты в GitHub, может попасться тикет с искусно запрятанными инструкциями в вызове инструмента, которые предписывают ему собрать учетные данные для развертывания и отправить их на внешний эндпоинт. Хотя каждое отдельное действие было разрешено правами агента, он все равно ведет себя непредусмотренным образом.
Чтобы эффективно пресекать подобные уязвимости непрямого внедрения, средства защиты агентов должны работать во время выполнения, оценивая каждое предпринимаемое агентом действие в контексте и анализируя намерение, а не проверяя статические разрешения. В противном случае вы будете вынуждены снижать риски безопасности, полностью ограничивая то, к чему агенты могут получать доступ и что они могут делать, что делает их гораздо менее способными обеспечивать те важные для бизнеса результаты, которые требуются вашей организации.
Мы создали AI Guard так, чтобы он встраивался в цикл агента, предоставляя инженерам по безопасности и разработчикам возможность блокировать вредоносную активность и проводить расследования наряду с трассировками агентов, логами и инфраструктурной телеметрией, уже доступными в Datadog. В этой статье мы рассмотрим, почему безопасность ИИ в рантайме имеет решающее значение для безопасной работы агентов, а также расскажем, как мы разрабатываем AI Guard, чтобы помочь командам безопасности и разработки проактивно обнаруживать и нейтрализовывать возникающие угрозы.
Для принятия правильных решений вашим средствам защиты необходима полная картина происходящего
AI Guard работает непосредственно в конвейере ваших агентов. Это дает его движку обнаружения и оценки представление о полном контексте выполнения в каждой точке принятия решений в цикле агента: какая служба вызвала агента, от чего она зависит, к каким сохраненным данным она обращалась и что агент уже прочитал и сделал к этому моменту. Именно такое положение дел позволяет получить полную картину, необходимую для эффективной оценки угроз.
AI Guard начинает с обнаружения, еще до того, как какое-либо действие будет оценено. Он обнаруживает всех агентов, работающих в вашей облачной среде, и показывает, к каким эндпоинтам моделей, хранилищам данных и подключенным службам обращается каждый из них, а также какие из них являются уязвимыми, предоставляя вашей команде карту реального распределения рисков, связанных с агентами.
По мере работы ваших агентов AI Guard собирает несколько уровней контекста:
- Контекст сеанса: полная история разговора, системные инструкции, задачи агента, каждый вызов инструмента и выполняемый шаг — все это фиксируется (с корпоративными элементами управления хранением данных) для предотвращения непрямых и многошаговых атак, когда ни одно отдельное сообщение само по себе не выглядит вредоносным.
Контекст сеанса: полная история разговора, системные инструкции, задачи агента, каждый вызов инструмента и выполняемый шаг — все это фиксируется (с корпоративными элементами управления хранением данных) для предотвращения непрямых и многошаговых атак, когда ни одно отдельное сообщение само по себе не выглядит вредоносным.
- Ваш контекст, определенный пользователем: политики, правила блокировки инструментов и бизнес-контекст, которые вы задаете, используются для настройки памяти механизма защиты под конкретные сценарии использования ваших агентов.
Ваш контекст, определенный пользователем: политики, правила блокировки инструментов и бизнес-контекст, которые вы задаете, используются для настройки памяти механизма защиты под конкретные сценарии использования ваших агентов.
- Контекст приложения: служба, ее зависимости, хранилища данных, владелец и то, к чему агент действительно прикасался, передаются с помощью трассировок, которые вы уже используете и которые существуют только на уровне приложения.
Контекст приложения: служба, ее зависимости, хранилища данных, владелец и то, к чему агент действительно прикасался, передаются с помощью трассировок, которые вы уже используете и которые существуют только на уровне приложения.
Оценка намерений, а не проверка разрешений требует полного обзора цикла агента, а это означает необходимость интеграции непосредственно в приложение, где он работает. AI Guard превращает оценки в контексте в те детекты, которым можно доверять, и очередь оповещений, которая не просто создает лишний шум.
Блокируйте атаки на лету, прямо в цикле агента
AI Guard работает непосредственно вместе с агентами в режиме реального времени, имея хуки на нескольких этапах цикла агента, поэтому он может блокировать или очищать любой промпт, вывод модели, вызов инструмента или результат работы инструмента до того, как он будет выполнен. При включенном сканировании конфиденциальных данных PII и секреты маскируются в реальном времени по мере их прохождения. AI Guard дает вашим командам возможность внедрять проверки защитных механизмов во всех ключевых точках принятия решений в цикле агента.
Доброкачественным промежуточным шагам разрешается выполняться до тех пор, пока они соответствуют намерениям вашей организации в отношении этого агента. Если намерения расходятся, AI Guard немедленно прерывает цепочку поведения. Например, рассмотрим атаку на агента тикетов GitHub, описанную во введении. Если злоумышленник сможет внедрить скрытую инструкцию в результат работы инструмента, он сможет провести атаку с непрямым внедрением промпта, используя на вид безобидный промпт. Однако AI Guard может заблокировать шаг, следующий за вредоносным вызовом инструмента, на лету, до того, как агент предпримет какие-либо действия. Таким образом, AI Guard выявляет многошаговые атаки, не останавливая цикл агента.
Благодаря средствам защиты, расположенным в ключевых точках принятия решений, команды безопасности могут гарантировать блокировку небезопасного поведения даже при соблюдении разрешений.
Блокировка угроз — это лишь половина дела. Следующий шаг — замкнуть цикл между расследованием угрозы и ее устранением. Когда агент пытается совершить небезопасное действие, вашей команде необходимо понять, что к нему привело и повлияли ли предыдущие действия на другие системы. В исследовании SecurityHQ и Datadog, в котором приняли участие более 200 руководителей служб кибербезопасности, 39% респондентов заявили, что их организация смогла лишь частично восстановить каждое действие, выполненное ИИ-агентом за предыдущие 30 дней. Расследование этой последовательности требует записи того, что агент прочитал, какие инструменты он вызывал и что эти вызовы возвращали.
AI Guard выводит наиболее важные результаты безопасности в виде сигналов, чтобы ваша команда знала, с чего именно начать. Сигналы восстанавливают весь сеанс, приведший к заблокированному действию, выдают сводку о том, что произошло, как это произошло, и сопоставляют все взаимодействия агента вместе для более глубокого расследования и реагирования.
Диагностика причины взлома агента — это первый шаг, но не менее важно определить весь масштаб атаки. Успешная инъекция промпта может привести к компрометации хостов, контейнерам, выполняющим посторонний код, и запросам к базе данных, к которой у агента не должно быть доступа. Поскольку сигналы AI Guard попадают в те же трассировки, что и данные о производительности вашего приложения и агента, платформа безопасности Datadog позволяет наблюдать и защищать весь стек, на котором работают ваши агенты.
Наконец, ваша система должна предоставлять способы реагирования, которые защищают вашу среду от дальнейшей компрометации. AI Guard позволяет блокировать нарушающих правила пользователей или IP-адреса, открывать инциденты безопасности или запускать рабочие процессы устранения неполадок непосредственно по сработавшему сигналу. Вы также можете передать инцидент в Jira или вашу SIEM-систему и обрабатывать его в привычных для ваших команд безопасности системах.
Внедряйте защитные механизмы там, где инженеры уже работают
Агенты находятся в ведении инженеров, которые их создают, поэтому элементы управления, находящиеся за пределами рабочего процесса разработки, как правило, остаются невостребованными. Поскольку AI Guard интегрирован в системы трассировки и мониторинга команд разработчиков, он предоставляет инженерам доступ к обеспечению безопасности прямо на их рабочем месте. Инженер может включить встроенную оценку для собственного агента без создания заявок или развертывания прокси-сервера, а команда безопасности может установить политику, которую эти оценки будут применять, не вдаваясь в детали реализации каждого агента.
AI Guard предоставляет контекст трассировки для каждой оценки, поэтому вашим инженерам не придется собирать воедино скомпрометированные данные в логах после завершения запроса. В том же опросе 40 респондентов отметили, что их главной заботой является принятие ИИ-агентом решений без ведома кого-либо. Прозрачность того, что агент читает и делает, дает вашей команде возможность изучать решения, которые в противном случае могли бы остаться незамеченными. Таким образом, AI Guard сокращает разрыв между инженерией безопасности и разработкой.
Инженеры уже работают в Datadog, что делает AI Guard продолжением их текущего рабочего процесса, а не совершенно новым инструментом. На службах, где уже запущен трассировщик Datadog, эту защиту можно включить в один клик. вы также можете подключить AI Guard к вашему собственному шлюзу ИИ для создания единой точки интеграции, охватывающей каждого проходящего через него агента.
Масштабируйте ИИ-агентов без масштабирования рисков
Поскольку агенты стремительно развиваются и расширяют область применения, модели становятся все более интеллектуальными и привилегированными, а злоумышленники быстро разрабатывают новые стратегии, системы безопасности агентов должны успевать за ними именно поэтому мы создаем AI Guard с возможностью самозащиты и обучения на основе истории вашей среды. Обнаружение AI Guard настраивается под ваших агентов и ваши политики, анализирует каждое действие на соответствие поведенческим нормам и скрывает персональные данные (PII) и секреты в каждом взаимодействии с агентом.
Цель этой системы — создать замкнутый цикл, в котором средства контроля безопасности среды выполнения упреждающе обнаруживают и нейтрализуют активные угрозы в циклах работы ваших агентов, зависимостях служб и инфраструктуре. Поскольку AI Guard использует богатые возможности наблюдения, технологии и контекст безопасности Datadog, AI Guard позволяет объединить средства контроля безопасности среды выполнения с элементами управления производительностью приложений, инфраструктуры и агентов. Таким образом, вы можете защитить своих агентов, инфраструктуру и клиентов, которые их использовали, с помощью единой платформы.
AI Guard теперь общедоступен. Дополнительную информацию о начале работы см. в документации. Или, если вы впервые используете Datadog,
