ИИ-агенты переходят от этапа экспериментов к промышленной эксплуатации, и ставки растут стремительно. Агент может получать доступ к конфиденциальным данным, вызывать инструменты, взаимодействовать с корпоративными системами и действовать автономно. По мере роста парка агентов организации больше не могут полагаться на политики, написанные при развертывании, или периодические проверки для поддержания контроля. Им необходимо непрерывно контролировать то, что агенты делают на самом деле, и вмешиваться, когда они выходят за установленные рамки.
Что нового: Guardian Agents
Именно здесь на помощь приходят Guardian Agents. Guardian Agents — это новая функция ИИ-центра управления, которая расширяет контроль на этап выполнения, непрерывно отслеживая фактическое поведение ИИ-агентов на соответствие установленным для них ограничениям. Они помогают организациям определять, когда агент выходит за рамки предполагаемых границ, и предпринимать надлежащие меры — от маркировки и эскалации проблемы до перенаправления поведения или блокирования несанкционированных действий.
Guardian Agents работают в паре с контрактами агентов (Agent Contracts), которые определяют многоуровневые машиночитаемые элементы управления, задающие правила работы агентов. Контракты агентов устанавливают границы, а Guardian Agents следят за тем, чтобы эти границы соблюдались во время выполнения. Вместе они создают непрерывный подход к управлению агентами: определять, как агенты должны работать, контролировать то, что они делают на самом деле, и вмешиваться, когда они отклоняются от курса.
Как помогают Guardian Agents
Утверждение агента для промышленной эксплуатации не означает, что он всегда будет вести себя так, как задумано. После развертывания агент может использовать неавторизованные инструменты, получать доступ к данным за пределами разрешенной области видимости или совершать действия, выходящие за установленные рамки. По мере роста парка агентов ручной просмотр таких действий становится невозможным. Телеметрия периода выполнения может показать, что сделал агент, но организациям также необходимо определить, было ли такое поведение приемлемым на основе средств контроля, установленных для этого агента. Guardian Agents устраняют этот пробел, непрерывно контролируя поведение агентов и выявляя моменты, когда они выходят за свои границы.
Проблемы, которые они решают
- Управление на определенный момент времени: агент может быть одобрен для промышленной эксплуатации, но позже начать вести себя за пределами установленных для него границ.
- Ограниченный надзор во время выполнения: организациям сложно связать то, что агент делает на самом деле, с элементами управления, определяющими то, что ему разрешено делать.
- Элементы контроля, которые не масштабируются: ручной контроль действий сотен или тысяч агентов становится невозможным по мере роста парка агентов.
- Рассогласование управления и поведения во время выполнения: политики и средства контроля могут существовать отдельно от систем, в которых агенты фактически функционируют.
- Ограниченные возможности реагирования: обнаружения неожиданного поведения недостаточно — организациям необходимо выявлять нарушения и принимать надлежащие меры, когда агенты отклоняются от курса.
Как работают Guardian Agents
Guardian Agents распространяют средства контроля, определенные для агента, на его среду выполнения. Процесс начинается с контрактов агентов (Agent Contracts), которые устанавливают многоуровневые машиночитаемые элементы управления на основе таких факторов, как специализация агента, функция, профиль риска и контекст работы.
После запуска агента Guardian Agents непрерывно контролируют его поведение на предмет соответствия применимым к нему элементам контроля. Активность во время выполнения предоставляет данные, необходимые для определения того, остается ли агент в пределах намеченных границ, включая то, как он взаимодействует с данными, инструментами, системами и другими ресурсами.
Когда поведение выходит за эти рамки, Guardian Agents выявляют нарушение и предоставляют контекст, необходимый для понимания того, что произошло и какое правило было нарушено. Затем организации могут применить соответствующие меры — от обеспечения прозрачности и эскалации до перенаправления поведения или, если включен режим блокировки, предотвращения несанкционированных действий до того, как они произойдут.
Это создает непрерывный цикл контроля между тем, что агент должен делать, и тем, что он делает на самом деле, позволяя организациям сохранять надзор по мере роста их парка агентов и уровня их автономности.
Почему вам стоит это оценить
Руководитель отдела управления ИИ (Head of AI Governance)
- Непрерывно понимайте, какие агенты работают вне установленных средств контроля.
- Сосредоточьте команды по управлению на исключениях вместо ручной проверки каждого действия агента.
- Свяжите поведение во время выполнения с требованиями управления, установленными для каждого агента.
- Сохраняйте свидетельства того, как поведение агента контролируется с течением времени.
Директор по информации / Директор по технологиям (CIO / CTO)
- Сохраняйте видимость и контроль по мере перехода организации от отдельных агентов к корпоративному парку агентов.
- Понимайте, остаются ли агенты в пределах намеченных рабочих границ после развертывания.
- Постепенно переходите от мониторинга к более строгому принудительному исполнению правил во время выполнения, где это необходимо.
- Масштабируйте внедрение агентов, не полагаясь на ручной надзор как на единственный способ масштабирования.
Создатель ИИ / Владелец агента (AI producer / Agent owner)
- Понимайте, когда фактическое поведение агента отклоняется от его предназначенных рабочих границ.
- Определяйте, связана ли проблема с доступом к данным, использованием инструментов, разрешениями или другим средством контроля.
- Получите контекст, необходимый для исправления поведения агента, а не общую ошибку управления.
Варианты использования
Предотвращение несанкционированного доступа к данным
Агент службы поддержки клиентов имеет право доступа к информации об учетной записи клиента, но не к данным HR сотрудников. Применимые к нему средства контроля устанавливают эти границы. Если агент пытается получить доступ к набору данных о зарплатах, Guardian Agents могут определить, что такое поведение выходит за рамки установленных средств контроля, пометить нарушение и инициировать надлежащую реакцию до того, как конфиденциальная информация будет раскрыта.
Удержание автономных действий в рамках утвержденных границ
Агент по закупкам может искать одобренных поставщиков и готовить рекомендации по закупкам, но не уполномочен совершать транзакции выше определенного порога. Guardian Agents контролируют его поведение во время выполнения на соответствие этим средствам контроля и определяют, когда предпринятое действие превышает его авторизованную область видимости, позволяя организации эскалировать или заблокировать это действие.
Поддержание контроля над растущим парком агентов
В компании работают агенты с разными обязанностями, доступом к данным, инструментами и уровнями автономности. Вместо того чтобы вручную проверять каждого агента, Guardian Agents непрерывно контролируют поведение во время выполнения на соответствие применимым к ним элементам управления, позволяя командам по управлению сосредоточиться на агентах и действиях, которые выходят за установленные рамки.
Основные выводы о Guardian Agents
Guardian Agents расширяют управление от определения того, как агенты должны работать, до непрерывного контроля за тем, как они фактически ведут себя в рабочей среде. Работая совместно с контрактами агентов (Agent Contracts), они помогают организациям определять, когда агенты выходят за установленные рамки, и предпринимать надлежащие меры — от прозрачности и эскалации до более строгого принудительного исполнения там, где это необходимо. Это создает масштабируемый подход к поддержанию контроля по мере перехода организаций от отдельных агентов к растущим паркам агентов.
Три главных вывода
- Контракты агентов определяют границы; Guardian Agents контролируют, остаются ли агенты в их пределах.
- Надзор во время выполнения связывает корпоративные средства контроля с фактическим行为 агента.
- Организации могут постепенно переходить от видимости и эскалации к вмешательству и блокировке несанкционированных действий.
Где узнать больше об агентах Guardian
Автономный ИИ меняет задачу управления: от простого понимания того, какой ИИ используется, до контроля над тем, что на самом деле делают автономные системы. Контракты агентов устанавливают границы. Агенты Guardian расширяют эти средства контроля на этап выполнения, помогая организациям непрерывно контролировать поведение агентов и вмешиваться, когда агенты отклоняются от заданного курса.
Узнайте больше:
→ Изучите Центр управления ИИ
→ Посмотрите агентов Guardian и контракты агентов в действии на саммите Collibra AI Summit
- Шикар Вайш (Shikhar Vaish), старший менеджер по продукту в Collibra
Шикар Вайш
Шикар Вайш
Старший менеджер по продукту
Collibra
- Дэвид Талага (David Talaga), директор по продуктовому маркетингу в Collibra
Дэвид Талага
Дэвид Талага
Директор по продуктовому маркетингу
Collibra
- Майкл Маес (Michael Maes), старший менеджер по разработке программного обеспечения в Collibra
Майкл Маес
Майкл Маес
Старший менеджер по разработке программного обеспечения
Collibra
