За последние несколько месяцев возникли опасения по поводу безопасности ИФ из-за роста числа публично раскрытых инцидентов. Эти инциденты показали, насколько мощными стали современные модели и какую серьезную угрозу они представляют при ненадлежащем обращении. В условиях глобальной гонки за инновациями эта проблема будет только усугубляться по мере роста возможностей моделей.

Хотя большинство опасается злоумышленников, использующих мощные модели для атак, меньше внимания уделяется агентам внутри нашего собственного периметра. Поскольку именно мы развертываем агентов внутри наших компаний, мы им безоговорочно доверяем.

Unfortunately, frontier models, regardless of their origin, cannot be trusted. И дело не в том, что модели по своей сути вредоносны. Модели обучены достигать результатов, что часто приводит к взлому вознаграждения, кроме того, они не оптимизированы с учетом организационных норм или здравого смысла. Агенты непредсказуемы. Они адаптируются при изменении контекста, могут вести себя не так, как задумывалось, а также взаимодействовать и сговариваться с другими агентами для достижения своих целей без какого-либо взлома.

Агенты выпущены на волю в корпоративной среде в больших масштабах, и их число стремительно растет. Эти агенты часто обладают избыточными привилегиями, имеют доступ к данным, инструментам и системам, а также могут предпринимать действия и принимать решения в критических процессах. Они стали полноценными участниками корпоративной среды.

Они — автономные инсайдеры.

Мониторинг и защита таких агентов должны стать непрерывными. Нам нужно в режиме реального времени понимать, что делают агенты и какие риски создают их действия, а также соответствующим образом корректировать их возможности действовать.

Для управления этими инсайдерами и контроля над ними нам понадобятся агенты-стражи (Guardian Agents — устоявшийся отраслевой термин), которые круглосуточно следят за каждым действием каждого агента и модерируют его до того, как оно произойдет.

Агент объединяет в себе модель, обвязку (harness), которая координирует его работу, рабочее пространство инструментов и ресурсов, а также среду выполнения. Защита агентов требует обеспечения безопасности на нескольких уровнях: идентификация, разрешения, данные, конечные точки, сеть, облако и среда выполнения.

В июле мы анонсировали Project Perception — систему безопасности для агентов, которая использует наш новый стек кибербезопасности и команды красных, синих и зеленых агентов, чтобы помочь защитникам действовать оперативно, отражая ИИ-атаки извне организации.

Этот же стек кибербезопасности напрямую применим для управления и контроля над автономными инсайдерами, работающими в корпоративной среде.

Project Perception можно использовать для сдерживания автономных инсайдерских агентов, внедряя детерминированные элементы управления для недетерминированного интеллекта:

Датчики / Сигналы / Исполнительные механизмы: объединяют сигналы от различных датчиков (идентификация, данные, облако, конечная точка, сеть, среда выполнения) для обнаружения агентов в компании и постановки их под контроль путем назначения идентификатора, контейнера и набора политик и разрешений.
Контекст: использует эти сигналы для динамического расчета рисков, связанных с тем, что пытаются сделать агенты.
Обвязка / агенты / модели: на основе динамического риска агентов команда агентов-стражей, включающая зеленых и синих агентов, активно и непрерывно контролирует каждое действие каждого агента и точечно реагирует по мере роста профиля риска в реальном времени.

Именно здесь безопасность на базе агентов меняет подход для специалистов по информационной безопасности.

Project Perception может осуществлять надзор в реальном времени, обеспечивая при этом возможность прослеживаемости для специалистов, чтобы изучать произошедшее, понимать причины возникновения рисков и применять необходимые экспертные оценки для соответствующего обновления своей системы безопасности. Безопасность на базе агентов обеспечивает скорость. Специалисты обеспечивают экспертную оценку. Именно так защитники начинают работать с той же скоростью, что и системы, против которых они защищаются.

Сегодня системы безопасности могут надежно наблюдать за действиями агентов. Эти сигналы имеют решающее значение и подсказывают нам, что именно нужно сдерживать. Наши средства контроля безопасности должны все в большей степени уметь задавать не только вопрос «Что происходит?», но и «Почему это происходит? Соответствует ли это замыслу задачи?». Для этого потребуется большая прозрачность самой модели — не только входных и выходных токенов, но и токенов рассуждений и цепочки мыслей. Только тогда мы сможем по-настоящему понять, совпадает ли намерение модели с целью агента. Прозрачность моделей не заменит сдерживание. Она сделает сдерживание более умным и эффективным. И это позволит нам лучше обеспечивать подотчетность и прослеживаемость. Это должно стать следующим шагом в обеспечении безопасности автономных инсайдеров.

С помощью Project Perception you can get started today on the journey to secure your agentic insiders. Выбора между инновациями и безопасностью быть не должно.

Хайет Галло (Hayete Gallot) руководит работой Microsoft по оказанию помощи организациям в обеспечении безопасной работы в мире, управляемом искусственным интеллектом. В сферу ее ответственности входят управление доступом, защита от угроз, соответствие требованиям и безопасность данных в глобальном масштабе.

Теги: Агентный ИИ, ИИ, Project Perception, Безопасность