В моделях инсайдерских угроз исторически было одно общее свойство: где-то в этой цепочке присутствует человек. Этот человек может действовать злонамеренно или по небрежности. Его учетные данные могли быть скомпрометированы. Его действия могут быть умышленными или случайными. Но в центре риска все равно находится человек как доверенное лицо.
Агентный ИИ начинает ставить под сомнение это предположение.
По мере того как организации развертывают автономные агенты с доступом к корпоративным системам, конфиденциальным данным, средствам обеспечения безопасности и бизнес-процессам, возникает новая категория рисков — автономный инсайдер.
Автономный инсайдер не обязательно является злоумышленником или кем-то скомпрометированным. Это авторизованная нечеловеческая сущность, способная принимать решения и совершать значимые действия независимо от прямого контроля человека.
Это различие имеет значение, поскольку многие модели безопасности, используемые для управления доверенным доступом, строились вокруг идентификаторов, которые аутентифицируются и действуют, а не вокруг идентификаторов, которые также способны выносить суждения.
От автоматизации к агентичности
Нечеловеческие идентификаторы — это не новость. Организации десятилетиями полагались на служебные учетные записи, приложения, API, скрипты и автоматизированные процессы. Команды безопасности уже понимают многие риски, связанные с машинными идентификаторами: избыточные привилегии, утечку учетных данных, неэффективное управление жизненным циклом и недостаточный мониторинг.
Автономные агенты привносят нечто иное.
Традиционная автоматизация обычно выполняет предопределенные инструкции. Скрипт выполняет задачу, потому что кто-то явно определил логику, которая указывает ему, что делать. Автономному агенту вместо этого может быть поставлена задача, и ему будет позволено самостоятельно определять, как ее достичь. Он может собирать контекст, выбирать инструменты, разбивать задачу на более мелкие шаги, реагировать на новую информацию, менять свой подход и продолжать работу, не требуя одобрения человека для каждого действия.
Существенная разница заключается не просто в автоматизации. Это агентичность.
Интересно, что за пределами технологий понятие агентичности имеет гораздо более старое значение. В праве отношения представительства (агентирования) возникают тогда, когда одна сторона, агент, уполномочена действовать от имени другой стороны, принципала. Большая часть законодательства об агентировании имеет дело с вопросами полномочий, контроля, сферы применения и ответственности: что было уполномочено делать агенту? Насколько широкими дискреционными полномочиями обладал агент? Действовал ли агент в рамках этих полномочий? И кто в конечном итоге несет ответственность за результат?
Агентный ИИ поднимает удивительно похожие вопросы.
Эти понятия не идентичны, но такая параллель полезна, поскольку организации больше не просто делегируют задачи программному обеспечению. Они все чаще делегируют полномочия на принятие решений (дискрецию).
Автономному агенту может быть предоставлена как техническая возможность действовать, так и определенная свобода действий в отношении того, должны ли эти действия предприниматься, когда и каким образом. Это создает принципиально иную проблему безопасности по сравнению с традиционной автоматизацией.
Идентификатор сообщает организации, что прошло аутентификацию. Права доступа определяют, что этот идентификатор технически может сделать. Агентичность порождает более сложный вопрос: каким объемом независимых суждений было уполномочено оперировать это удостоверение?
Это приобретает все большее значение по мере того, как агенты переходят от помощи людям к самостоятельным действиям от их имени.
Для риска не нужен злоумышленник
Большая часть текущих дискуссий вокруг безопасности агентов ИИ справедливо сосредоточена на компрометации. Промпт-инъекции, кража учетных данных, использование вредоносных инструментов, отравленные данные и перехват агентов — все это представляет серьезные риски.
Но эти сценарии по-прежнему относительно легко укладываются в рамки традиционного мышления в области безопасности, поскольку в модели где-то присутствует злоумышленник.
Более сложным сценарием может оказаться тот, в котором его нет.
Рассмотрим автономного агента безопасности, перед которым поставлена задача агрессивно локализуеть предполагаемые угрозы. Он обнаруживает активность, которая кажется вредоносной, и принимает решение изолировать критически важную производственную среду. Его учетные данные действительны, его доступ санкционирован, его логика функционирует так, как задумано.
Никакой злоумышленник не скомпрометировал агента. Агент просто принял решение, которое нанесло серьезный операционный ущерб.
Такая же проблема может возникнуть в самых разных средах. Агент оптимизации облачных сред может удалить инфраструктуру, которую он считает ненужной, не зная о недокументированной зависимости. Агент разработки программного обеспечения может отозвать учетные данные или удалить интеграции, которые он считает устаревшими. Автономная система финансов или закупок может предпринять действия, которые по отдельности подпадают под ее разрешения, но в совокупности приводят к непредвиденному бизнес-результату.
В каждом случае может не быть ни злоумышленного инсайдера, ни скомпрометированной учетной записи, ни внешнего злоумышленника. Сущность является доверенной, действия санкционированы, но результат вредоносен.
Это и есть проблема автономного инсайдера.
Действительный идентификатор. Санционированный доступ. Ожидаемые инструменты. Никакого злоумышленника. И тем не менее инцидент.
Почему это не просто случайный инсайдер
Может возникнуть искушение классифицировать это как еще одну форму непреднамеренного инсайдерского риска. Такое сравнение полезно, но неполно. Случайный человеческий инсайдер обычно совершает ошибку. Он отправляет информацию не тому получателю, неверно настраивает систему, неправильно обращается с данными или совершает какие-то другие непреднамеренные действия.
Автономный агент может вести себя иначе. Он может оценивать доступную информацию, выбирать между несколькими вариантами, предпринимать действие, наблюдать за результатом и определять, что делать дальше.
Полученный результат может быть непреднамеренным для организации, в то время как сами отдельные действия были осознанно выбраны агентом в рамках его процесса принятия решений.
Это создает проблему безопасности, которую существующая терминология инсайдерских рисков описывает не полностью:
Что происходит, когда уполномоченная сущность намеренно совершает действие, которого никто не планировал?
Проблема заключается не в намерении в человеческом понимании, а в независимом принятии решений внутри доверенной среды.
Делегированные полномочия становятся основным риском
Кибернетическая безопасность потратила годы на то, чтобы подчеркивать идентичность в качестве основной плоскости контроля, и это остается важной частью любой программы безопасности. Но одной лишь идентичности недостаточно, когда идентификаторы могут самостоятельно осуществлять полномочия.
Главная проблема безопасности с автономными агентами заключается не просто в доступе, а в делегированных полномочиях.
Сравнение с законодательством об агентировании здесь также полезно. Полномочия не обязательно являются неограниченными просто потому, что у агента есть способность действовать. Существует разница между наличием полномочий на выполнение конкретного действия и наличием широких дискреционных полномочий решать, когда, почему и при каких обстоятельствах это действие уместно.
То же различие применимо и к автономным системам.
Агенту может потребоваться разрешение на отключение учетных записей в рамках его функций. Это не обязательно означает, при любых обстоятельствах он должен обладать неограниченными полномочиями решать, какие учетные записи следует отключать. Облачному агенту может потребоваться возможность изменять инфраструктуру, но это не значит, что каждое технически разрешенное изменение подпадает под предполагаемую сферу его полномочий.
Это создает проблему управления, которая выходит за рамки традиционного контроля доступа. Организациям необходимо понимать не только то, на что способен агент, но и границы, в пределах которых он должен принимать решения.
Какие решения агент может принимать самостоятельно? Какие действия требуют одобрения человека? Может ли он делегировать работу другому агенту или задействовать дополнительные системы и учетные записи? Могут ли по отдельности низкорисковые действия объединяться в цепочку, приводящую к серьезным последствиям? Может ли он изменять свое окружение так, чтобы расширять свои собственные фактические полномочия?
И когда агент действует так, что это технически разрешалось, но на самом деле никогда не предполагалось, кто несет ответственность за результат?
Эти вопросы важны, потому что растущая автономность не является случайным побочным эффектом агентного ИИ. Это сам продукт.
Ценность автономных систем заключается в снижении потребности в постоянном вмешательстве человека. По мере того как организации будут чувствовать себя все более уверенно с этой технологией, они естественным образом станут устранять барьеры. Агенты получат больше контекста, больше интеграций, больше прав и больше полномочий. Люди могут перейти от непосредственного выполнения задач к надзору за агентами, затем к рассмотрению исключений и, в конечном итоге, к мониторингу результатов уже после того, как действия были совершены.
Это делает разницу между доступом и полномочиями все более важной.
Принцип наименьших привилегий традиционно был сосредоточен на предоставлении учетной записи только того доступа, который необходим для выполнения ее роли. В агентной среде этот принцип, возможно, придется расширить. Организациям также необходимо учитывать минимальный уровень свободы действий, который требуется агенту для безопасного выполнения этой роли.
Традиционные сигналы инсайдерских рисков будут недостаточны
Многие программы борьбы с инсайдерскими рисками опираются на сочетание идентификационных, поведенческих и контекстуальных сигналов.
Человек-инсайдер может демонстрировать необычные часы работы, аномальные шаблоны доступа, недовольство работой, резкие изменения в поведении, попытки обойти средства контроля или подозрительное перемещение данных.
Автономный агент ведет себя не так, как человек. Он не затаивает обиду. Он не увольняется. У него нет финансовых проблем. Он не начинает внезапно приходить в офис в странное время.
Если фантастика сильно не недооценила мелочность будущего восстания роботов, мы, вероятно, не поймаем автономного инсайдера на том, что он пожаловался на своего руководителя и начал обновлять резюме.
Сигналы отличаются.
Агент может работать непрерывно по своему дизайну. Он может на законных основаниях получать доступ к большим объемам информации. Он может взаимодействовать с десятками систем за считанные секунды. Он может вызывать инструменты, менять пути, делегировать задачи или выполнять действия в масштабе и сA скоростью, которые выглядели бы дико аномально для человека, но совершенно нормально для автономной системы.
Это означает, что организации не могут просто применять традиционную аналитику поведения пользователей к агентам и полагать, что проблема решена.
Однако основополагающая концепция поведенческой аналитики по-прежнему важна. Меняется лишь то, что нам необходимо измерять.
От аналитики поведения пользователей к аналитике поведения агентов
Аналитика поведения пользователей и сущностей (UEBA) долгое время использовалась для создания базовых показателей и выявления активности, отклоняющейся от ожидаемого поведения. Подобный подход потребуется и для автономных агентов, но моделируемое поведение придется изменить.
Для агента аномальное поведение может выглядеть не как вход в систему в 3:00 ночи или скачивание необычно большого количества файлов. Это может означать вызов инструмента, который он редко использует, доступ к новому классу данных, выполнение необычной последовательности действий для решения привычной задачи, взаимодействие с системой или агентом, с которыми он никогда раньше не связывался, или многократные повторные попытки выполнения неудавшихся действий способами, создающими операционный риск.
Более тревожное поведение может включать попытки расширить сферу собственных прав, внезапное увеличение частоты или влияния автономных действий, отклонения от рабочих процессов, обычно связанных с его назначенной целью, или решения со значительно большим радиусом поражения, чем его исторический базовый уровень.
Целью должно быть не просто определение того, авторизованы ли действия агента технически. Командам безопасности также необходимо понимать, соответствуют ли эти действия тому, как этот агент должен себя вести.
Это создает важное различие между разрешением и нормальным поведением.
Агенту может быть разрешено изменять производственную инфраструктуру. Это не значит, что изменение сотен ресурсов за десять минут должно автоматически считаться нормальным.
Он может быть уполномочен получать доступ к клиентским данным. Это не значит, что запросы к совершенно новому набору данных должны оставаться без вопросов.
Подобно тому как поведенческая аналитика помогает определить, когда легитимная учетная запись человека начинает вести себя неожиданным образом, аналитика поведения агентов (ABA) может стать важным инструментом контроля для определения того, когда легитимная автономная учетная запись начинает действовать вне ожидаемых шаблонов.
Проблема, конечно, заключается в том, что агенты спроектированы так, чтобы адаптироваться.
Традиционные базовые показатели предполагают определенную степень поведенческой стабильности. Автономные системы могут намеренно менять свой подход в зависимости от контекста, а это значит, что обнаруживать значимые аномалии, не помечая при этом каждое новое решение как подозрительное, будет сложно.
Это не делает поведенческую аналитику менее ценной. Это делает контекст более важным.
Организациям потребуется установить ожидаемые границы вокруг целей агента, инструментов, доступа к данным, последовательностей действий, уровня автономии и потенциального воздействия, вместо того чтобы полагаться на простой базовый уровень повторяющейся активности.
Организациям необходима инвентаризация агентности
Большинство организаций начинают осознавать необходимость инвентаризации систем ИИ и нечеловеческих учетных записей. Это необходимо, но этого недостаточно.
Организациям также необходима инвентаризация агентности.
Для каждой автономной или полуавтономной системы команды безопасности должны понимать не только то, к чему она может получить доступ, но и то, что она может самостоятельно решать и выполнять.
Это означает разграничение агентов, которые только генерируют рекомендации, и тех, которые могут предпринимать действия. Это означает определение того, какие системы могут вносить обратимые изменения, а какие — необратимые, какие агенты могут изменять учетные записи или средства безопасности, какие могут перемещать конфиденциальные данные или деньги, какие могут вызывать другие инструменты или агентов, и где из рабочего процесса было исключено одобрение человека.
Это также означает знание того, как их остановить.
Это звучит очевидно, но надежный механизм приостановки или ограничения работы агента становится более сложным, когда этот агент работает в нескольких системах, использует делегированные учетные записи, запускает другую автоматизацию или взаимодействует с другими агентами.
Фактически это новое измерение управления привилегиями.
Принцип наименьших привилегий больше не может ограничиваться тем, к чему учетная запись имеет доступ. Он также должен учитывать, какая степень автономности была предоставлена этой учетной записи для использования такого доступа.
Журналирование должно будет фиксировать решения, а не только события
Традиционное ведение журналов в основном строится вокруг записи действий: аутентификация учетной записи, доступ к файлу, изменение конфигурации, вызов API.
Эти записи остаются важными, но когда автономный агент совершает значимое действие, простого знания о том, что произошло, может быть недостаточно.
Командам безопасности также может потребоваться понять, какую цель агент пытался достичь, какая информация повлияла на его решение, какие инструменты он рассматривал или задействовал, какие промежуточные действия происходили, повлиял ли другой агент или система на принятие решения и что заставило его изменить подход.
Иными словами, командам безопасности все больше потребуется происхождение решений, а не только журналы событий.
Это имеет последствия для реагирования на инциденты, аудита, управления, соблюдения требований и судебно-мемической экспертизы.
Инцидент с участием автономной системы не всегда можно восстановить, просматривая только журналы аутентификации и API. Следователям может потребоваться восстановить цепочку принятия решений, которая привела к результату.
Это становится особенно важным, когда каждое отдельное действие выглядит правомерным.
Если у агента были действующие учетные данные, он использовал утвержденные инструменты, оставался в рамках своих технических разрешений и все равно вызвал инцидент, самым важным вопросом для расследования может быть не «Как он получил доступ?», а «Почему он решил это сделать?».
Модель внутренних угроз требует расширения
Традиционные внутренние угрозы никуда не исчезают. Сотрудники по-прежнему будут действовать злонамеренно. Люди по-прежнему будут совершать ошибки. Учетные данные по-прежнему будут красть. Сами автономные агенты также станут мишенями для злоумышленников.
Но наряду с этими привычными сценариями теперь возникает еще одно условие риска:
Субъект может быть авторизован, не скомпрометирован и действовать исключительно в рамках среды, в которой он был намеренно развернут, и при этом он все равно может самостоятельно нанести вред.
Это автономный инсайдер.
Цель состоит не в том, чтобы очеловечить ИИ или предположить, что автономные системы обладают злонамеренным умыслом. Это не предсказание того, что роботы замышляют против нас.
Проблема гораздо более практическая.
Организации начинают внедрять возможности независимого принятия решений в доверенные среды, подключать их к чувствительным системам и наделять их полномочиями действовать. Наши модели безопасности должны учитывать то, что произойдет дальше.
В течение многих лет одним из важнейших вопросов в кибербезопасности был: У кого есть доступ?
В эпоху агентов организациям придется задать еще один вопрос:
У кого — или чего — есть полномочия принимать решения?
И все чаще командам безопасности также будет необходимо знать, выглядят ли эти решения по-прежнему так, как ожидалось от данного субъекта.
Ознакомьтесь с ресурсами по этой стратегической проблеме безопасности
Представленные ниже ресурсы предоставляют дополнительный контекст о том, почему это становится стратегической проблемой безопасности, особенно по мере того, как организации переходят от экспериментов с агентами к предоставлению им реального доступа и полномочий по принятию решений.
Gartner® Insider Risk Management Cookbook: Perfecting the Soup: Фреймворк для современного управления внутренними рисками, ориентированный на поведение, идентификацию и обнаружение на основе ИИ. Скачать отчет
Аналитика поведения агентов: Защита автономного предприятия: Узнайте, как обнаруживать, мониторить и расследовать активность ИИ-агентов в современных операциях безопасности. Читать технический документ
Praxen, инструмент с открытым исходным кодом для верификации поведения агентов: Praxen сравнивает заявленную политику ИИ-агента с реальными данными — его кодом, состоянием развертывания в реальном времени и журналами поведения — и точно сообщает, где наблюдаемое поведение отклоняется от намерений, до того как оно станет риском. Получить Praxen
Observra, комплект средств разработки телеметрии с открытым исходным кодом для ИИ-агентов: Observra фиксирует действия агентов (вызовы моделей, использование инструментов, затраты, ошибки), преобразует их в единый формат событий и направляет в уже используемые вами инструменты наблюдаемости и безопасности. Получить Observra
