Технический долг накапливается, когда организации отдают приоритет сиюминутной скорости и откладывают архитектурную работу, которая обеспечивает надежность систем. Большинство руководителей инженерных отделов знают, чем заканчивается эта история. Сокращения пути, которые сделали возможным первый релиз, в конечном итоге замедляют каждый последующий релиз.
Эпоха автономных предприятий порождает эквивалент в сфере безопасности. Компании быстро внедряют агентов, а работа, необходимая для понимания удостоверений, разрешений, поведения, зависимостей, ответственности и реагирования, часто откладывается на потом. Иногда она не проводится вовсе.
Это финальная статья из серии из трех частей. В первой рассматривалась теневая автоматизация. Во второй объяснялось, почему моделям безопасности, созданным для людей, необходим поведенческий контекст для агентов ИИ.
Что такое долг по безопасности ИИ?
Долг по безопасности ИИ — это накопившийся разрыв между тем, что могут автономные системы, и способностью организации понимать эту активность, управлять ею, расследовать и безопасно прерывать ее.
Агент не создает долг по безопасности просто фактом своего существования. Он создает долг, когда организация наращивает автономные возможности быстрее, чем ответственность, видимость, понимание поведения, управление и готовность к реагированию.
Это различие делает концепцию долга по безопасности ИИ полезной. Она измеряет разрывы и не утверждает, что агенты вредоносны. Она отличается от технического долга, и ни один отдельный инструмент безопасности не сможет его устранить. Она также выходит за рамки управления и комплаенса, поскольку большая часть долга накапливается после того, как агент получает одобрение.
Обязательства по безопасности, которые создает каждый агент ИИ
Каждый агент ИИ создает обязательства по безопасности, которые действуют до тех пор, пока он работает, поэтому развертывание агента никогда не является разовым решением. Кто-то должен отвечать за его удостоверение, управлять его учетными данными и разрешениями, сопоставлять используемые им инструменты и API, а также проверять данные, к которым он может получить доступ. Кому-то также необходимо документировать его предполагаемое назначение, отслеживать его поведение, отслеживать его зависимости, вести записи расследований и поддерживать способ его сдерживания.
Каждое из этих обязательств требует повторной проверки при каждом изменении агента, его модели, инструментов или рабочего процесса. Именно поэтому безопасность агентов работает лучше всего как жизненный цикл проверки, наблюдения, анализа и улучшения, а не как контрольная точка перед развертыванием.
Типы долга по безопасности ИИ
Долг по безопасности ИИ имеет тенденцию накапливаться в шести категориях:
Долг по удостоверениям и разрешениям, а также долг контекста проявляются в последнем исследовании Exabeam. Почти половина (48%) руководителей службы безопасности назвали агентов ИИ с избыточным, скомпрометированным или непреднамеренным доступом своей главной угрозой. Кроме того, 27% назвали ограниченный поведенческий контекст и корреляцию самым большим ограничением своего текущего мониторинга.
Почему долг по безопасности ИИ трудно заметить
Долг по безопасности ИИ легко упустить из виду, потому что большинство его сигналов выглядят как успех. Агенты используют правомерный доступ, и их индивидуальные действия выглядят легитимными. Успешная автоматизация приносит видимую бизнес-ценность, что затрудняет ее сомнение. Негативные последствия могут проявиться в другой системе или значительно позже в рабочем процессе. Объем мониторинга можно принять за понимание поведения, и ни одна команда не владеет полной картиной рисков.
Исследование проводит эту границу напрямую. Мониторинг активности — это не то же самое, что понимание того, как эта активность связана между системами, разрешениями и бизнес-процессами. Организация может собирать огромные объемы телеметрии агентов и при этом нести значительный долг.
Как накапливается долг по безопасности ИИ
Долг по безопасности ИИ накапливается, потому что сложность растет с каждым новым агентом, разрешением и подключением. Простая концептуальная модель может помочь структурировать обсуждения на уровне руководства:
Больше агентов × больше разрешений × больше подключений × больше автономности = больше поведенческой сложности
Больше агентов × больше разрешений × больше подключений × больше автономности = больше поведенческой сложности
Эта модель — способ осмысления проблемы, а не точная формула. Она показывает, почему долг по безопасности ИИ растет быстрее, чем количество агентов. Один агент получает доступ к нескольким приложениям, а затем вызывает другой автоматизированный рабочий процесс. Позже модель, инструмент, промпт, API или разрешение изменяются, и исходная базовая линия или проверка устаревают. Когда что-то идет не так, специалисты по расследованию должны реконструировать цепочку выполнения в нескольких системах, а сдерживание может прервать важный бизнес-процесс.
Долг по безопасности ИИ растет не только с увеличением числа агентов, но и с ростом взаимосвязей между ними.
Как долг по безопасности ИИ влияет на бизнес
Долг по безопасности ИИ становится бизнес-долгом, когда руководители службы безопасности не могут перевести его в финансовые термины. То же исследование Exabeam выявило широкое согласие между руководителями служб безопасности и финансов в отношении киберрисков. Такое совпадение взглядов не всегда приводит к инвестициям. Более половины (55%) руководителей службы безопасности заявили, что отложили или сократили инициативу по безопасности, потому что не смогли сформулировать риск в финансовых терминах, которые одобрил бы их финансовый директор.
Долг по безопасности ИИ столкнется с тем же барьером, если лидеры не выразят его на языке бизнес-решений. Несколько вопросов помогают осуществить этот перевод:
- Какой бизнес-процесс может быть прерван?
- Какие данные или решения затронуты?
- Какова стоимость остановки рабочего процесса?
- Какова стоимость его продолжения?
- Сколько усилий аналитиков потребует расследование?
- Может ли организация объяснить свое решение аудиторам, регуляторам, клиентам и руководству?
Как руководители могут отслеживать долг по безопасности ИИ
Руководители могут отслеживать долг по безопасности ИИ с помощью простого исполнительного реестра. Для каждого агента или автономного рабочего процесса реестр фиксирует шесть полей:
- Агент или рабочий процесс
- Его владелец со стороны бизнеса и владелец со стороны безопасности
- Его удостоверение, разрешения и подключенные инструменты
- Его предполагаемое поведение и критические зависимости
- Охват мониторингом и расследованиями
- Готовность к сдерживанию и дата последней проверки
На основе этого реестра руководители могут отслеживать четыре направленных показателя: процент агентов с назначенным владельцем, процент с задокументированным предполагаемым поведением, процент с кросс-системной поведенческой видимостью и процент с протестированным путем сдерживания. Эти показатели будут выглядеть не лучшим образом в первый день. Их ценность заключается в том, чтобы показать, уменьшается ли разрыв с течением времени.
Как руководители могут сократить долг по безопасности ИИ
Руководители наиболее эффективно снижают долг по безопасности ИИ на уровне программы, а не на уровне отдельного агента:
- Сделайте требования безопасности пропорциональными автономности и доступу каждого агента.
- Рассматривайте понимание поведения во время выполнения как дополнение к управлению на этапе проектирования.
- Переоценивайте агентов всякий раз, когда меняются их разрешения, инструменты, модели или рабочие процессы.
- Связывайте инвестиции в безопасность ИИ с защищаемыми ими бизнес-процессами.
- Требуйте доказательств того, что рискованное поведение можно исследовать и сдерживать.
- Отслеживайте улучшения с течением времени вместо того, чтобы относиться к одобрению развертывания как к финальной черте.
Зрелые программы по борьбе с инсайдерскими рисками предлагают здесь полезный шаблон. Они организуются вокруг управления, видимости, обнаружения, расследования, реагирования и измерения, и эта же структура естественным образом распространяется на автономные удостоверения.
Скорость без видимости становится фактором уязвимости
Внедрение ИИ будет продолжаться, так как его ценность для бизнеса реальна. Задача руководства заключается в том, чтобы автономность не масштабировалась быстрее, чем ответственность.
Организации, которые отслеживают долг безопасности ИИ, могут решать, где принять риск, куда инвестировать и где сбавить темп. Те же, кто этого не делает, могут обнаружить этот долг только тогда, когда агент поведет себя непредусмотренным образом и никто не сможет объяснить полную последовательность произошедшего.
Часто задаваемые вопросы о долге безопасности ИИ
Что вызывает появление долга безопасности ИИ?
Долг безопасности ИИ накапливается, когда организации наращивают автономные возможности быстрее, чем ответственность, прозрачность, понимание поведения, управление и готовность к реагированию. Само по себе количество агентов его не создает.
Является ли долг безопасности ИИ тем же самым, что и технический долг?
Нет. Технический долг возникает из-за отложенной инженерной работы, которая усложняет обслуживание систем. Долг безопасности ИИ возникает из-за отложенной работы по безопасности, такой как распределение ответственности, проверка разрешений, мониторинг поведения и планирование локализации, что усложняет понимание и контроль автономной активности.
Каковы шесть типов долга безопасности ИИ?
Шесть типов долга безопасности ИИ включают в себя долг инвентаризации, долг идентификации и разрешений, долг контекста, долг ответственности, долг реагирования и долг измерения.
Как директоры по информационной безопасности (CISO) могут измерить долг безопасности ИИ?
CISO могут измерять долг безопасности ИИ с помощью исполнительного реестра, который отслеживает владельцев каждого агента, их разрешения, предполагаемое поведение, охват мониторингом и готовность к локализации. Четыре полезных показателя: процент агентов с назначенными владельцами, задокументированным предполагаемым поведением, кросс-системной видимостью поведения и проверенным путем локализации.
Ознакомьтесь с исследованием
Загрузите The Agentic Insider: From Monitoring to Understanding, чтобы узнать, как руководители служб безопасности сокращают разрыв между мониторингом активности агентов и ее пониманием.
