Поскольку мы отмечаем Месяц осведомленности о кибербезопасности, я размышляю об общей нити, связывающей мое время управления федеральной кибербезопасностью в Министерстве юстиции с моей нынешней работой в Okta, где я поддерживаю компании и государственные ведомства.
На протяжении всей моей карьеры, будь то защита конфиденциальных данных судебных дел в Исполнительном офисе прокуроров США или помощь компаниям из списка Fortune 500 в модернизации их технологических стеков, одна истина оставалась неизменной: нельзя защитить то, что невозможно идентифицировать.
Сегодня, когда искусственный интеллект меняет как государственный, так и частный сектора, этот урок важен как никогда. ИИ предлагает огромные возможности: автоматизацию услуг для граждан, оптимизацию сложных цепочек поставок и обработку огромных массивов данных за считанные секунды. Но без надежной основы безопасности автономные инструменты и агенты могут быстро превратиться в неконтролируемые бэкдоры к конфиденциальным данным.
Почему безопасность агентного ИИ — это фундаментально проблема идентификации?
Представьте себе ИИ как невероятно быстрого и способного помощника. Чтобы выполнять свою работу, этому помощнику необходим доступ к вашим файлам, базам данных и внутренним коммуникациям.
Если бы вы не доверили ключи от хранилищ улик или картотек непроверенному подрядчику, вы не должны позволять неавторизованному пользователю или автоматизированному боту взаимодействовать с вашей системой ИИ. Безопасность ИИ в конечном счете является проблемой идентификации.
Концепция безопасного предприятия, использующего агентов
Для решения этой задачи компания Okta стала соучредителем Blueprint Alliance — открытой отраслевой инициативы, создающей стандартизированную эталонную архитектуру для обеспечения безопасности предприятий, использующих агентов. В своей основе Альянс организует безопасность агентов вокруг четырех фундаментальных вопросов, на которые должна уметь отвечать каждая организация:
- Где мои агенты?
- Что они могут делать?
- Что они делают?
- Как мне реагировать?
Обеспечение безопасности ИИ с помощью идентификации: четыре основных компонента для защиты агентного ИИ в государственном секторе
1. Обнаружение и проверка удостоверений: «Где мои агенты?»
- Проблема: Вы не можете защитить или контролировать то, чего не видите. Инструменты теневого ИИ (Shadow AI) и несанкционированные боты должны быть выявлены и зарегистрированы с четким операционным владельцем.
- Решение: Прежде чем какой-либо сотрудник, подрядчик или автоматизированный системный модуль сможет отправить запросы (или прежде чем агент начнет действовать автономно), его личность должна быть обнаружена, занесена в каталог и вне всяких сомнений проверена.
- Внедрение в Okta: Okta действует как цифровой привратник. С помощью устойчивой к фишингу многофакторной аутентификации (MFA) и непрерывной оценки удостоверений Okta гарантирует, что только проверенные пользователи-люди и авторизованные программные службы смогут получить доступ к вашей инфраструктуре ИИ.
2. Принцип наименьших привилегий и доступ на основе служебной необходимости: «Что они могут делать?»
- Проблема: Помощник с ИИ безопасен ровно настолько, насколько безопасны предоставленные ему разрешения и разрешения запрашивающего его лица. Если аналитик не допущен к просмотру секретных разведывательных данных, активных материалов большой жюри или конфиденциальных HR-файлов, система ИИ никогда не должна извлекать или синтезировать эти данные для него.
- Решение: Принципы наименьших привилегий и служебной необходимости являются не подлежащими обсуждению границами, особенно в соответствии с такими структурами, как структура управления рисками ИИ NIST.
- Внедрение в Okta: С помощью Okta Identity Governance и детализированных политик доступа Okta гарантирует, что когда удостоверение запрашивает модель ИИ, система обрабатывает и возвращает только те данные, на просмотр которых конкретный пользователь или процесс имеют прямое разрешение.
3. Мониторинг во время выполнения и защита на базе ИИ: «Что они делают?»
- Проблема: Злоумышленники все чаще используют ИИ для создания гиперреалистичных дипфейков, автоматизации атак на основе учетных данных и создания убедительных схем социальной инженерии. Одновременно с этим автономные агенты выполняют многоэтапные рабочие процессы в различных системах, где в ходе сеанса может возникнуть аномальное поведение или инъекция промтов.
- Решение: Идентификация не заканчивается при первоначальном входе в систему. Организации должны в реальном времени наблюдать за тем, что делают агенты и пользователи.
- Внедрение в Okta: Мы противодействуем угрозам на базе ИИ с помощью защиты на базе ИИ. Okta анализирует шаблоны аутентификации и телеметрию на основе миллиардов ежедневных сигналов для обнаружения подозрительных отклонений, таких как аномальные местоположения или несанкционированные вызовы API, и автоматически останавливает атаки до того, как данные будут скомпрометированы.
4. Управление удостоверениями и жизненным циклом: «Как мне реагировать?»
- Проблема: Когда агент действует за пределами своего мандата, сталкивается скомпрометированными учетными данными или выполняет свою задачу, у групп безопасности должна быть оперативная возможность вмешаться, скорректировать доступ или немедленно отозвать разрешения.
- Решение: ИИ-агенты не могут рассматриваться как неуправляемые фоновые скрипты или статические служебные учетные записи; ими необходимо управлять с той же строгостью, что и человеческими и другими нечеловеческими удостоверениями.
- Внедрение в Okta: Okta для ИИ-агентов позволяет организациям управлять действиями агентов на протяжении всего их жизненного цикла, от подключения и предоставления учетных данных до динамического делегирования и вывода из эксплуатации. Создавая проверяемые цепочки идентификации и механизмы мгновенного обратимого сдерживания (агентский аварийный выключатель), Okta предоставляет организациям защитные механизмы, необходимые для немедленной остановки несанкционированных действий без нарушения более широких операций.
Как команды государственного сектора могут сформировать культуру безопасности, учитывающую особенности ИИ?
Безопасность никогда не является исключительно техническим контролем; это организационное мышление. Проводя собственные кампании в рамках Месяца осведомленности о кибербезопасности, поощряйте свои команды следовать этим четырем практикам:
- Проверяйте каждый запрос на доступ: рассматривайте запросы MFA как официальные авторизации. Всегда проверяйте попытки входа в систему с помощью защищенных инструментов, таких как Okta Verify, а не слепо одобряйте push-уведомления.
- Используйте утвержденные корпоративные инструменты ИИ: избегайте ввода проприетарных организационных данных, конфиденциальных записей граждан или конфиденциальных операционных деталей в неодобренные публичные потребительские приложения ИИ. Пользуйтесь одобренными на уровне предприятия платформами, где действуют корпоративное управление данными и политики конфиденциальности.
- Сообщайте об аномалиях на ранних этапах: если электронное письмо, аудиосообщение или запрос данных кажутся подозрительными (даже если кажется, что они исходят от руководства или доверенного партнера ведомства), немедленно сообщайте об этом. ИИ делает социальную инженерию убедительной, но бдительные команды остаются нашей сильнейшей защитой.
- Установите защитные механизмы для деятельности агентов: если ваши команды развертывают автономные ИИ-агенты, убедитесь, что операционные защитные механизмы действуют с первого дня. В соответствии с the Cybersecurity and Infrastructure Security Agency (CISA)'s AI security guidance, убедитесь, что у каждого агента есть назначенный владелец-человек, он работает под управлением строгих разрешений на основе служебной необходимости, контролируется на протяжении всего выполнения и включает в себя прямой аварийный выключатель для приостановки или отзыва выполнения в случае возникновения аномального поведения.
Обеспечение безопасности ИИ — это не замедление прогресса, а создание доверия, необходимого для безопасного движения вперед. Будь то защита общественного доверия или сохранение корпоративной ценности, защита идентификации — это то, с чего начинается это доверие. Будьте в безопасности и проявляйте бдительность.
Оцените архитектуру безопасности ИИ вашего ведомства
Сделайте первый шаг к модернизации своей системы безопасности. Воспользуйтесь нашим интерактивным инструментом оценки AI Blueprint, чтобы смоделировать сценарии атак, оценить текущее покрытие Zero Trust и выявить пробелы в вашей агентской архитектуре. Узнайте больше об Okta Solutions for Government и свяжитесь с нашей командой напрямую уже сегодня.
