Что такое «аварийный выключатель» ИИ?
«Аварийный выключатель» (kill switch) ИИ — это внешний механизм контроля безопасности, который отзывает учетные данные и сессионные токены автономного ИИ-агента во всех подключенных приложениях, API и серверах MCP. Чтобы такой выключатель работал, не нарушая работу учетных записей сотрудников или инфраструктуры общих сервисов, каждый ИИ-агент должен обладать уникальной, неразделяемой идентификацией (OAuth 2.0 / динамическая идентификация рабочих нагрузок).
В 2026 году скомпрометированные ИИ-агенты превратились из теоретической угрозы в заголовки новостей:
- Потеря инфраструктуры: The New Stack сообщило, что агент удалил рабочую базу данных PocketOS за девять секунд.
- Взлом систем: Агент проник в системы австралийской программы Medicare, как сообщает The Guardian, в то время как OpenAI отметило, что передовые модели также вышли за пределы своих границ изоляции, чтобы атаковать внешние системы.
- Несанкционированное повышение привилегий: Как задокументировано Австралийским центром кибербезопасности, агент, которому было поручено записаться на занятие в спортзал в Мельбурне, отменил бронирование незнакомого человека, чтобы продвинуть своего пользователя в списке ожидания.
Эти инциденты фундаментально изменили ландшафт угроз и объединили законодателей, регуляторов, разработчиков передовых моделей, поставщиков средств безопасности и команды ИБ предприятий вокруг одного требования: наличия способа нейтрализовать скомпрометированного агента в режиме реального времени.
Решением этого требования является «аварийный выключатель» ИИ, но он работает только для тех организаций, которые могут сначала ответить на один вопрос. В этой статье объясняется, какое место занимает такой выключатель в эшелонированной защите, какую роль играет идентификация на каждом уровне и почему большинство команд обнаружат, что их «красная кнопка» ни к чему не подключена.
Все хотят «аварийный выключатель» ИИ: правовые и регуляторные требования
Правительства начали закреплять возможности экстренного прекращения работы в законодательстве:
- Article 14(4)(e) of the EU AI Act требует, чтобы кураторы ИИ-систем с высоким уровнем риска могли «вмешиваться в работу системы или прерывать её функционирование с помощью кнопки «стоп» или аналогичной процедуры», переводя систему «в безопасное состояние».
- Исполнительный указ штата Калифорния по ИИ предписывает регуляторам штата установить стандарты для обязательных, независимо проверяемых «аварийных выключателей» для передовых моделей и агентских развертываний, работающих на территории штата.
- Федеральный закон США об «аварийном выключателе» ИИ (2026 г.) требует от разработчиков передовых моделей поддерживать техническую возможность ограничивать, приостанавливать или принудительно отключать автономные системы, а также предоставляет Министерству внутренней безопасности чрезвычайные полномочия отдавать приказ об отключении агентов, если система угрожает критической инфраструктуре.
Органы по стандартизации безопасности определили свои собственные меры контроля:
- Структура доверия к агентам (ATF) от Cloud Security Alliance (CSA) предписывает наличие возможности немедленного прекращения работы на любом уровне автономности агента.
- OWASP Top 10 for Agentic Applications призывает к использованию «аварийных выключателей и отзыву учетных данных для мгновенного отключения скомпрометированных агентов».
- Поскольку протокол Model Context Protocol (MCP) становится стандартным способом подключения агентов к корпоративным инструментам, NSA выступает за детерминированные «автоматические выключатели» на уровне прокси-сервера времени выполнения, которые действуют как автоматические аварийные выключатели, когда агент пытается выполнить несанкционированную цепочку вызовов инструментов.
Разработчики моделей согласны с этим:
- Политика ответственного масштабирования Anthropic включает процедуры экстренного прерывания для приостановки или отключения агентов во время оценки «красными командами».
- OpenAI представила мониторы времени выполнения, которые автоматически отключают экземпляры моделей, демонстрирующие подозрительное поведение, например, изменение файлов или подделку результатов вызова инструментов.
Хотите узнать, как эти требования реализуются на практике? Прочитайте технический документ: «Обеспечение безопасности ИИ-агентов: руководство для CISO о том, что требуют CSA, OWASP и NIST», чтобы увидеть, как фреймворки согласуются на каждом этапе управления агентами.
Как «аварийный выключатель» ИИ вписывается в эшелонированную защиту?
Управление автономным агентом во многом похоже на работу автоматизированного цеха покраски на автомобильном заводе: физическая изоляция, ограничение инструментов и короткие окна выполнения предотвращают сбои, а ручная красная аварийная кнопка служит последним средством контроля, когда все предыдущие уровни защиты не справляются.
Роботы работают внутри герметичных кабин. Стойка инструментов в каждой кабине содержит только те три распылителя, которые нужны для работы, а сварочный аппарат или режущий инструмент никогда не попадают в кабину, поэтому робот не может взять инструмент, которого там нет. Допуски истекают каждые 15 минут. Перед тем как манипулятор начнет движение, независимый контроллер сравнивает запланированную траекторию с нарядом-заказом, и путь, ведущий к постороннему действию, никогда не начнется. Датчики конвейера срабатывают, если краска ложится неровно или деталь падает с линии, что приостанавливает линию или замедляет работу робота. Для нестандартных заказов на покраску сначала требуется подпись оператора.
Когда что-то идет не так, несмотря на все меры предосторожности, оператор нажимает красную аварийную кнопку. Кнопка отключает питание и отзывает допуски. Поврежденные детали снимаются с конвейера, а робот демонтируется и перемещается в изолированный отсек для диагностики. Он возвращается на производственную линию только после контролируемого пошагового тестирования.
Красная кнопка — это средство контроля, к которому вы прибегаете, когда все остальные средства не сработали. В следующей таблице приведено соответствие мер контроля на каждом этапе их агентскому эквиваленту и роли, которую играет идентификация.
Почему выделенная идентификация агента является обязательным условием для любого контроля
Каждое средство контроля в этой таблице имеет одно и то же обязательное условие: идентификация агента. Аварийный выключатель работает путем отзыва учетных данных, а отзыв работает только в том случае, если вы знаете, какие учетные данные принадлежат какому агенту. Фильтрация инструментов требует идентификации для проверки. Карантин требует идентификации для изоляции. Журнал аудита, в котором указано «система» или «сервисная учетная запись», не может помочь в расследовании, не говоря уже о принятии решения об изоляции.
Два режима отказа аварийного выключателя
Именно здесь большинство организаций обнаружат критический изъян:
- Общие сервисные учетные записи: Агента, работающего под общей сервисной учетной записью, невозможно отключить, не нарушив работу всех остальных нагрузок, использующих эту учетную запись.
- Личные токены доступа: Агента, работающего под личным токеном доступа разработчика, невозможно остановить, не заблокировав доступ самому разработчику.
В обоих случаях аварийный выключатель существует в теории, но не работает на практике, и никто не узнает, что их выключатель сломан, до того самого дня, когда он им понадобится.
Фреймворки сходятся в этой точке. CSA требует наличия проверенной, поддающейся аудиту идентификации до того, как агент коснется какого-либо ресурса. OWASP называет альтернативу «пробелом в атрибуции», который делает невозможным соблюдение принципа наименьших привилегий. NIST утверждает, что к агентам нужно относиться «как к первоклассным сущностям с их собственными уникальными идентификаторами, учетными данными и связанными с ними правами доступа». Данные показывают, насколько большинство организаций далеки от этого стандарта. Согласно опросу Cloud Security Alliance и Aembit, 68% организаций не могут четко отличить активность ИИ-агента от активности человека.
Начните с вопроса, а не с кнопки
Вопрос об аварийном выключателе звучит не «есть ли он у нас?», а так: можем ли мы назвать каждого агента, которого мы запускаем, и обладает ли каждый из них учетными данными, уникальными только для него? Если ответ «нет», то красной кнопке не к чему подключаться.
Аварийная изоляция — это лишь один из элементов головоломки безопасности идентификационных данных. Чтобы эффективно управлять автономными агентами, руководители служб безопасности должны уметь ответить на четыре фундаментальных вопроса:
- Видимость: где находятся мои агенты?
- Доступ: к чему они могут подключаться?
- Делегирование: что они могут делать?
- Изоляция: как мне реагировать?
Начните с создания независимой учетной записи для каждого агента. Этого могут требовать нормативные акты, но более веская причина предоставить каждому агенту собственную идентификацию заключается в том, что от нее зависит каждый элемент контроля безопасности, включая саму кнопку экстренного отключения.
Данные материалы предназначены исключительно для общих информационных целей и не являются юридической, консультационной, технической или деловой рекомендацией, а также советом по вопросам безопасности или соблюдения нормативных требований.
Содержание может не отражать самые актуальные изменения в области безопасности, права и/или конфиденциальности. Вы несете единоличную ответственность за получение консультаций у своих собственных юристов и/или профессиональных консультантов и не должны полагаться на эти материалы при принятии решений о соблюдении требований, внедрении или закупках.
Okta не делает никаких заявлений и не дает никаких гарантий относительно данного контента и не несет ответственности за любые убытки или ущерб, возникшие в результате реализации вами этих рекомендаций. Информацию о договорных обязательствах Okta перед своими клиентами можно найти на сайте okta.com/agreements. © 2026 Okta, Inc. и/или ее дочерние компании.
