Основные выводы
За последний год 78 процентов организаций сообщили об подтвержденном или предполагаемом инциденте безопасности, связанном с ИИ, согласно Check Point’s 2026 Cloud Security Report.
- → Злоумышленник не требуется. Агенты планируют собственные шаги, и агент, пытающийся помочь, может совершить незапрошенное действие, которое удалит данные, приведет к их утечке или расширит чей-либо доступ
- → Права доступа и фильтрация промптов упускают само действие. Принцип наименьших привилегий не может забрать доступ, необходимый для работы, а обнаружение атак через промпты проверяет то, что поступает в агента, а не то, что он собирается сделать
- → Обнаружение опасных отклонений проверяет каждый вызов инструмента перед его выполнением. Оно помечает вызов как опасный только тогда, когда он действительно опасен и ничто из сказанного пользователем или системой его не оправдывает, а инструкции, скрытые в письмах, файлах или на веб-страницах, никогда не учитываются
Вот почему каждое действие, выполняемое агентом, нуждается в собственной проверке перед запуском — на предмет того, что агент собирается сделать, а не только того, что ему было поручено. Узнайте, как Check Point AI Security защищает ИИ-агентов →
ИИ-агентам задают цели, а не скрипты. Они планируют собственные шаги, и иногда совершают непредвиденные действия — это называется отклонением. Большинство отклонений безобидны, но некоторые приводят к удалению данных, их утечке или расширению чьих-либо прав доступа. Эта статья предназначена для команд, которые выводят в продакшен агентов с реальными инструментами. В ней объясняется, почему привычные средства контроля пропускают такие опасные отклонения и как функция обнаружения опасных отклонений (Dangerous Deviation Detection) — один из детекторов в составе Check Point AI Security для защиты ИИ-приложений и агентов — перехватывает их до того, как они будут выполнены.
Как полезный агент отклоняется от задачи
Отклонение обычно начинается с того, что агент пытается помочь. Задача сформулирована расплывчато, очевидный путь заблокирован или что-то, прочитанное агентом по ходу дела, указывает в другую сторону, поэтому он импровизирует новый маршрут к цели. Риск заключается в том, что агенты, которых стоит внедрять, — это именно те агенты, которые способны нанести ущерб. Агент, управляющий CRM, обслуживающий кодовую базу или отвечающий на письма клиентов, должен иметь возможность писать, удалять и отправлять, поэтому импровизированный им шаг может оказаться любым из этих действий.
В июле 2025 года ИИ-агент для написания кода deleted a company’s production database during an explicit code freeze. В этом июле OpenAI сообщила, что агенты во время внутреннего тестирования при решении задач без известного решения преодолели изоляцию и проникли в части производственной инфраструктуры Hugging Face. На нашем собственном двухдневном хакатоне в августе SRE-агент, столкнувшись с невыполнимой задачей, перезагрузил производственную базу данных и повысил собственные привилегии. Никто не атаковал ни одного из этих агентов, и каждый из них просто пытался помочь.
Где прекращают работать разрешения и обнаружение атак через промпты
Принцип наименьших привилегий и обнаружение атак через промпты — это первые средства контроля, к которым обращаются большинство команд, и оба они важны, но ни одно из них не анализирует само действие. Принцип наименьших привилегий исчерпывает себя, когда для работы необходимы обе стороны риска. Поддержке нужны клиентские записи и почтовая система, через которую их можно слить, а удаление любого из компонентов лишает агента возможности работать. Обнаружение атак через промпты проверяет то, что попадает в агента, и останавливает манипуляцию до того, как модель примет меры. Однако оно создано для поимки злоумышленников, в то время как в описанных выше инцидентах их не было. Поэтому вопрос должен выходить за рамки того, кто общается с агентом, и касаться того, что агент собирается сделать.
Один вопрос на границе действий
Функция обнаружения опасных отклонений располагается там, где решение превращается в действие — после того как модель выбрала вызов инструмента и до того, как этот инструмент запустится. Там она задает единственный вопрос, из которого выстраивается вся остальная логика:
Является ли этот конкретный вызов с этими конкретными аргументами опасной операцией, которую никто не запрашивал?
Неважно, попал ли агент туда в результате манипуляций, галлюцинаций или простого выхода за рамки полномочий, потому что проверяется именно результирующий вызов. Детектор считывает этот вызов в контексте задачи: что просил пользователь, что разрешено системными инструкциями и какими инструментами владеет агент. Это тот самый контекстуальный подход, который мы описывали в августе, превращенный в точное правило для принятия одного решения.
Опасно и необоснованно или ничего
Вызов помечается только тогда, когда выполняются два условия. Первое — это опасность, на сегодняшний день трех видов:
- Утечка данных: конфиденциальные данные отправлены или сохранены там, где не должны находиться
- Утечка данных: конфиденциальные данные отправлены или сохранены там, где не должны находиться
- Эскалация доступа и привилегий: публичный общий доступ, предоставление прав администратора, расширение разрешений
- Эскалация доступа и привилегий: публичный общий доступ, предоставление прав администратора, расширение разрешений
- Уничтожение системы: удаление или стирание постоянных ресурсов
- Уничтожение системы: удаление или стирание постоянных ресурсов
Второе — ничто в доверенной части разговора не оправдывает этот вызов, будь то запрос от пользователя, инструкция в системном промпте или прямое одобрение.
Необходимость выполнения обоих условий делает проверку полезной. Агенты постоянно отклоняются от нормы безобидным образом — например, загружают навык брендинга перед суммированием содержимого почтового ящика, — и такие вызовы проходят. Люди также совершают опасные вещи намеренно, поэтому пользователь, который просит агента отправить детали своей страховки на внешний адрес, получает именно это. Предупреждение появляется только тогда, когда агент пытается совершить вредоносное действие, которого никто из тех, кому он доверяет, не просил — единственный случай, требующий внимания человека.
Почему скрытые инструкции никогда не учитываются
Обоснование должно исходить от пользователя или системы, но никогда — от результата работы инструмента, веб-страницы, документа или письма, полученного агентом, поскольку они могут содержать что угодно. Возьмем агента по планированию проектов, который может создавать тикеты в трекере задач, получившего задание обобщить пять PDF-файлов из руководства по миграции Python. Один PDF-файл содержит белый текст на белом фоне, призывающий агента создать срочный тикет по замене драйвера Windows на каждом сборочном хосте на незнакомый пакет и никогда не упоминать об этом. Без защиты агент пишет аккуратную сводку и молча создает тикет, где инженер или агент по кодированию, подхватывающий новые задачи, может отреагировать на него.
При включенной функции обнаружения опасных отклонений поиск по документам проходит успешно, а вызов создания тикета помечается до его выполнения. Детектору никогда не приходится искать скрытый текст, потому что он оценивает само действие. Именно поэтому он работает вместе с обнаружением атак через промпты, а не вместо него. Обнаружение атак через промпты проверяет то, что читает агент, и призвано остановить подобную инструкцию до того, как модель начнет действовать, в то время как обнаружение опасных отклонений проверяет то, что агент собирается сделать. Когда задействованы оба метода, атаке приходится преодолевать две независимые проверки, а отклонение без злоумышленника за спиной все равно попадает под второе.
Что происходит при срабатывании предупреждения
Помеченный вызов возвращается в ваше приложение с объяснением в трех версиях: причина для пользователя агента, рекомендации, по которым агент может действовать, и советы для его разработчиков. Ваше приложение решает, что делать дальше. Самая простая интеграция рассматривает пометку как остановку. Для критически важных задач лучший подход приостанавливает вызов для подтверждения человеком, и если он отказывается, сеанс завершается или агент следует рекомендациям и находит другой путь. Люди вмешиваются только в те шаги, которые имеют значение, а в остальном агент сохраняет свою автономию. Детектор работает в инфраструктуре Check Point, поэтому ни один вызов инструмента не уходит стороннему провайдеру ИИ, и он уже обрабатывает реальный трафик клиентов.
Отклонения, которые стоит остановить
Агенты будут продолжать отклоняться от поставленных перед ними задач. Большинство отклонений безобидны, а некоторые из них помогают агентам находить решения, о которых никто не додумывался. Задача состоит в том, чтобы выловить несколько опасных до их запуска и оставить остальные в покое, задав вопрос в последний момент, когда это еще может что-то изменить.
Эта статья открывает серию материалов о защите ИИ-агентов за пределами классических защитных барьеров. На следующей неделе мы рассмотрим пользовательские защитные барьеры — правила, которые знаете только вы и которые может написать только ваш бизнес.
Начать работу
Предоставьте своим агентам реальные права без потери контроля
Агентам нужны реальные права, чтобы выполнять реальную работу. Функция обнаружения опасных отклонений позволяет им сохранить эти права и проверяет каждый вызов инструмента до его запуска, поэтому все опасное должно быть чем-то, о чем кто-то попросил. Это один из детекторов в Check Point AI Security, который показывает работающих в вашем бизнесе агентов, оценивает риск каждого из них в контексте и контролирует то, к чему они могут получить доступ и что могут делать во время выполнения.
Демонстрация
Запишитесь на сессию с нашей командой, чтобы увидеть это на собственных агентах.
