Три вопроса по управлению ИИ, на которые должен ответить каждый руководитель

ИИ — главная тема для обсуждения среди руководителей высшего звена и членов советов директоров в организациях любого масштаба, и это вполне оправдано. Управленческие команды обязаны оперативно внедрять ИИ, будь то требование совета директоров или их собственные убеждения. Независимо от причин, цель состоит в том, чтобы получить конкурентное и бизнес-преимущество за счет ИИ, используя эту технологию безопасно.

Для безопасного использования ИИ существует три вопроса по управлению, на которые должен ответить каждый руководитель. Прежде чем мы перейдем к ним, я хочу дать контекст, почему они так важны.

Все, что связано с ИИ и агентскими технологиями, развивается стремительно, вызывая изменения такого же масштаба, как появление железных дорог, компьютеров и интернета. Отличие от предыдущих технологических скачков заключается в скорости инноваций и масштабе рисков.

Практически в одночасье разработчики программного обеспечения превратились из кодеров в кураторов ИИ-агентов. ИИ также демократизировал разработку, создав «гражданских разработчиков» в нетехнических группах, которые создают собственные инструменты для своих специфических задач, используя при этом корпоративные данные.

Одновременно с этим компании, занимающиеся ИИ, невероятными темпами расширяют возможности технологии. Каждый новый релиз улучшает способность модели принимать решения и действовать автономно. И в отличие от традиционного ПО, которое следует заранее определенным шагам, ИИ-агенты пишут свои планы в процессе выполнения. Сейчас мы также видим долгоживущих агентов, работающих независимо или совместно для решения сложных задач, улучшения исследований и взаимодействия с клиентами.

Мы также наблюдаем рост рисков, связанных с ИИ. Каждую неделю появляются сообщения о новых взломах и примерах того, как агенты выходят из-под контроля. Вопросы безопасности новых или усовершенствованных моделей ИИ привели к задержкам релизов. А среди крупных игроков в сфере ИИ опасения по поводу безопасности побудили их объединиться для обсуждения регулирования и управления.

Учитывая трансформационную скорость и проблемы безопасности ИИ, критически важно, чтобы руководители понимали, какие вопросы следует задавать, чтобы сбалансировать риск и выгоду.

Баланс между риском и выгодой

ИИ-агенты — это множители силы, но они могут действовать непредсказуемо, балансируя на грани безопасности и безрассудства. Именно поэтому руководителям необходимо калибровать свои планы по внедрению ИИ вокруг двух ключевых моментов.

Во-первых, то, что ваши ИИ-агенты делают от имени вашей команды, — это ваша ответственность. Точно так же, как вы управляете сотрудниками, приложениями и другими активами, вам нужно управлять ИИ. Во-вторых, ваши ИИ-агенты, вероятно, имеют доступ к учетным данным, которые дают им разрешение на перемещение по нескольким поверхностям атаки, включая конечные точки, облако и SaaS. Это означает, что их влияние выходит за пределы ваших сред и затрагивает ваших клиентов и поставщиков.

Основатель и технический директор Sysdig Лорис Деджоанни поделился своим видением того, почему среда выполнения (runtime) является единственным источником достоверных данных для ИИ-агентов. В этом блоге используется другой подход, сфокусированный на вопросах управления ИИ, на которые должен уметь ответить каждый руководитель.

Три вопроса по управлению ИИ, которые вам нужно задать, и ответы, которые вы должны ожидать

Вам, возможно, не нужно разбираться в ядрах или системных вызовах, чтобы руководить управлением ИИ, но вам нужны подкрепленные доказательствами ответы, когда совет директоров спросит, как вы гарантируете, что ваша организация использует ИИ ответственно. Вот вопросы, которые стоит задать любой из ваших команд, работающих с ИИ, и ответы, которые стоит ожидать в ответ:

• Как мы узнаем, что наш ИИ не вышел из-под контроля? Наблюдение во время выполнения (runtime) — самый надежный способ понять, что делает ИИ-агент и противоречит ли это поведение политике. Данные, собранные во время выполнения, также являются идеальной основой для реагирования в тот момент, когда агент совершает действие.
• Какой ИИ мы используем и кто несет за него ответственность? У вашей команды должен быть актуальный инвентарный список, составленный на основе данных в реальном времени, а не опросов, где каждый агент привязан к конкретному человеку или команде. Теневой ИИ, то есть ИИ, используемый без официального одобрения безопасности, уже присутствует в большинстве организаций. И в отличие от теневого ИТ прошлого, несанкционированный ИИ может получить доступ практически ко всему в вашей ИТ-инфраструктуре и средах клиентов и партнеров.
• Что мы можем доказать? Вы должны ожидать получения неискаженной криминалистической записи действий агента, включая то, что ему было разрешено делать и кто это одобрил. Информация должна быть представлена в форме, которую агент не может изменить. Эта запись одинаково полезна для аудитов, расследований и регуляторов.

Эти вопросы работают, потому что они привязаны к результатам, а ответы работают, потому что они привязаны к наблюдаемости во время выполнения.

Среда выполнения — основа эффективной безопасности ИИ

Безопасность среды выполнения построена на проверенной дисциплине мониторинга контейнера во время его работы в продакшене. В самом простом определении ИИ-агенты — это рабочие нагрузки, а значит, мониторинг среды выполнения должен быть направлен на них, независимо от того, где они работают. Но как это выглядит на практике?

Все начинается с корреляции данных наблюдаемости из двух слоев: под агентом на уровне ядра и внутри самого агента. Каждый слой обогащает другой, чтобы обеспечить наиболее надежный сигнал в случае возникновения проблем и контекст, необходимый для уверенного реагирования.

Вот почему корреляция и обогащение необходимы для снижения рисков агентного ИИ. Данные ядра предоставляют достоверную информацию о таких действиях, как процессы, которые запускает агент, файлы, которые он открывает, и соединения, которые он устанавливает. Но данные, собранные на уровне ядра, показывают лишь часть картины. Им не хватает контекста о том, почему агент предпринимает действия и от чьего имени. Чтобы заполнить этот пробел, вам нужно наблюдать за тем, что происходит внутри агента в режиме реального времени, чтобы собрать семантические детали.

Кодирующие агенты, такие как Claude или Codex, раскрывают свою активность через хуки, конфигурационные файлы и данные сессий. Именно здесь вы видите семантические данные о промпте, стоящем за действием, MCP-сервере, который вызывает агент, или веб-поиске, который он выполняет. Агент контролирует этот слой, поэтому данные сами по себе не являются доказательством, а в недавнем отчете ставится под сомнение надежность этой информации, поскольку «связь между тем, как они думают, и тем, о чем они сообщают, становится все более слабой».

Сами по себе семантические данные от агента все еще оставляют пробелы в понимании предпринятых им действий. Но в сочетании с данными системных вызовов на уровне ядра эти данные обеспечивают полную картину того, что происходит, в момент самого события.

Последний элемент головоломки — это способность выполнять реагирование на машинной скорости, основанное на контексте реального времени, чтобы остановить или заблокировать агента, действующего аномально или злонамеренно. Одно и то же действие может быть тривиальным или катастрофическим в зависимости от охвата, который имеет агент на основе своих учетных данных. Коррелированные, обогащенные данные позволяют вашей команде — или агентам безопасности, которые они используют — делать точные оценки наилучшего ответа на ноутбуках, облачных рабочих нагрузках и сторонних агентских платформах.

Заключение

В конечном счете, наибольшую выгоду от ИИ получат те организации, которые смогут показать, что делают их агенты, и доказать это по первому требованию. Вот почему аналитика времени выполнения должна быть в ДНК вашей программы безопасности, а не просто добавлена к существующему продукту для устранения пробелов в покрытии, связанных с ИИ. И хотя вы не можете контролировать скорость развития инноваций в области ИИ, вы можете контролировать шаги, которые предпринимает ваша организация для обеспечения ответственного управления ИИ.