Guardian Agents: сохранение контроля над агентами ИИ во время выполнения

Агенты ИИ переходят от экспериментов к промышленной эксплуатации, и ставки быстро растут. Агент может получать доступ к конфиденциальным данным, вызывать инструменты, взаимодействовать с корпоративными системами и действовать автономно. По мере роста парка агентов организации больше не могут полагаться на политики, написанные при развертывании, или периодические проверки для сохранения контроля. Им необходимо постоянно контролировать то, что агенты делают на самом деле, и вмешиваться, когда они выходят за установленные границы.

Что нового: Guardian Agents

Именно здесь на помощь приходят Guardian Agents. Guardian Agents — это новая возможность AI Command Center, которая расширяет контроль на время выполнения, постоянно отслеживая, как агенты ИИ ведут себя в соответствии с установленными для них правилами. Они помогают организациям выявлять случаи, когда агент выходит за пределы своих границ, и принимать соответствующие меры — от маркировки и эскалации проблемы до перенаправления поведения или блокировки несанкционированных действий.

Guardian Agents работают совместно с Agent Contracts, которые определяют многоуровневые, машиночитаемые элементы управления, устанавливающие порядок работы агентов. Agent Contracts задают границы, а Guardian Agents следят за тем, соблюдаются ли эти границы во время выполнения. Вместе они создают непрерывный подход к управлению агентами: определение того, как агенты должны работать, контроль за тем, что они делают на самом деле, и вмешательство, когда они отклоняются от курса.

Как помогают Guardian Agents

Одобрение агента для промышленной эксплуатации не означает, что он всегда будет вести себя так, как задумано. После развертывания агент может использовать неавторизованные инструменты, получать доступ к данным вне утвержденной области или совершать действия, выходящие за рамки установленных границ. По мере роста парка агентов ручная проверка этих действий становится невозможной. Телеметрия времени выполнения может показать, что сделал агент, но организациям также необходимо определить, было ли такое поведение приемлемым на основе элементов управления, установленных для этого агента. Guardian Agents устраняют этот разрыв, постоянно контролируя поведение агента и выявляя случаи, когда агенты выходят за пределы своих границ.

Проблемы, которые они решают

• Управление в конкретный момент времени: агент может быть одобрен для промышленной эксплуатации, но позже начать вести себя вне установленных для него границ.
• Ограниченный надзор во время выполнения: организациям сложно связать то, что агент делает на самом деле, с элементами управления, которые определяют, что ему разрешено делать.
• Элементы управления, которые не масштабируются: ручной контроль действий сотен или тысяч агентов становится невозможным по мере роста парка агентов.
• Разобщенность управления и поведения во время выполнения: политики и элементы управления могут оставаться отделенными от систем, в которых фактически работают агенты.
• Ограниченная способность реагировать: обнаружения неожиданного поведения недостаточно — организациям необходимо выявлять нарушения и принимать соответствующие меры, когда агенты отклоняются от курса.

Как работают Guardian Agents

Guardian Agents расширяют элементы управления, определенные для агента, на среду его выполнения. Процесс начинается с Agent Contracts, которые устанавливают многоуровневые, машиночитаемые элементы управления, основанные на таких факторах, как специализация агента, функция, профиль риска и контекст работы.

Как только агент запущен, Guardian Agents постоянно контролируют его поведение на соответствие применимым к нему элементам управления. Активность во время выполнения предоставляет доказательства, необходимые для определения того, остается ли агент в пределах своих границ, включая то, как он взаимодействует с данными, инструментами, системами и другими ресурсами.

Когда поведение выходит за эти границы, Guardian Agents выявляют нарушение и предоставляют контекст, необходимый для понимания того, что произошло и какой элемент управления был нарушен. Затем организации могут применить соответствующую реакцию, начиная от обеспечения видимости и эскалации до перенаправления поведения — или, если включен режим блокировки, остановки несанкционированных действий до того, как они произойдут.

Это создает непрерывный цикл управления между тем, что агент должен делать, и тем, что он делает на самом деле, позволяя организациям сохранять контроль по мере роста парка агентов и уровня их автономности.

Почему вы должны быть в восторге

Руководитель по управлению ИИ

• Постоянное понимание того, какие агенты работают вне установленных элементов управления.
• Фокусировка команд управления на исключениях вместо ручной проверки каждого действия агента.
• Связь поведения во время выполнения с требованиями управления, установленными для каждого агента.
• Сохранение доказательств того, как поведение агента контролируется с течением времени.

CIO / CTO

• Сохранение видимости и контроля по мере перехода организации от отдельных агентов к корпоративному парку агентов.
• Понимание того, остаются ли агенты в пределах своих границ работы после развертывания.
• Постепенный переход от мониторинга к более строгому принудительному исполнению во время выполнения там, где это необходимо.
• Масштабирование внедрения агентов без необходимости полагаться на ручной надзор.

Разработчик ИИ / Владелец агента

• Понимание того, когда фактическое поведение агента отклоняется от его границ работы.
• Определение того, связана ли проблема с доступом к данным, использованием инструментов, разрешениями или другим элементом управления.
• Получение контекста, необходимого для исправления поведения агента, вместо получения общего сообщения об ошибке управления.

Варианты использования

Предотвращение несанкционированного доступа к данным

Агент службы поддержки клиентов имеет право доступа к информации об учетной записи клиента, но не к данным HR сотрудников. Применимые к нему элементы управления устанавливают эти границы. Если агент пытается получить доступ к набору данных о зарплатах, Guardian Agents могут определить, что это поведение выходит за рамки установленных элементов управления, пометить нарушение и инициировать соответствующую реакцию до того, как конфиденциальная информация будет раскрыта.

Удержание автономных действий в утвержденных границах

Агент по закупкам может искать одобренных поставщиков и готовить рекомендации по закупкам, но не уполномочен выполнять транзакции выше определенного порога. Guardian Agents контролируют его поведение во время выполнения на соответствие этим элементам управления и выявляют, когда попытка действия превышает его авторизованную область, позволяя организации эскалировать или заблокировать действие.

Сохранение контроля над растущим парком агентов

В организации работают агенты с разными обязанностями, доступом к данным, инструментами и уровнями автономности. Вместо ручной проверки каждого агента, Guardian Agents постоянно контролируют поведение во время выполнения на соответствие применимым к ним элементам управления, позволяя командам управления сосредоточиться на агентах и действиях, которые выходят за установленные границы.

Ключевые выводы о Guardian Agents

Guardian Agents расширяют управление от определения того, как агенты должны работать, до постоянного контроля того, как они ведут себя на самом деле в промышленной среде. Работая вместе с Agent Contracts, они помогают организациям выявлять случаи, когда агенты выходят за установленные границы, и принимать соответствующие меры — от обеспечения видимости и эскалации до более строгого принудительного исполнения там, где это необходимо. Это создает масштабируемый подход к сохранению контроля по мере перехода организаций от отдельных агентов к растущим паркам агентов.

Три вывода

• Agent Contracts определяют границы; Guardian Agents следят за тем, чтобы агенты оставались в их пределах.
• Надзор во время выполнения связывает корпоративные элементы управления с фактическим поведением агента.
• Организации могут постепенно переходить от обеспечения видимости и эскалации к вмешательству и блокировке несанкционированных действий.

Где узнать больше о Guardian Agents

Агентный ИИ меняет задачу управления: теперь недостаточно просто понимать, какой ИИ используется, необходимо сохранять контроль над тем, что на самом деле делают автономные системы. Контракты агентов (Agent Contracts) устанавливают границы. Guardian Agents расширяют эти средства контроля до этапа выполнения, помогая организациям непрерывно контролировать поведение агентов и вмешиваться, когда они отклоняются от заданного курса.

Узнайте больше:

→ Изучите AI Command Center

→ Посмотрите на работу Guardian Agents и Agent Contracts на саммите Collibra AI Summit

• Шикхар Вайш (Shikhar Vaish), старший менеджер по продукту, Collibra

Шикхар Вайш

Шикхар Вайш

Старший менеджер по продукту

Collibra

• Дэвид Талага (David Talaga), директор по маркетингу продуктов, Collibra

Дэвид Талага

Дэвид Талага

Директор по маркетингу продуктов

Collibra

• Майкл Маес (Michael Maes), старший менеджер по разработке программного обеспечения, Collibra

Майкл Маес

Майкл Маес

Старший менеджер по разработке программного обеспечения

Collibra