Главная

Блог

Управление автономным ИИ в масштабе: 4 вопроса, которые нужно задать, прежде чем предоставить агентам доступ

Управление и безопасность ИИ

Истории клиентов

Встроенная интеграция

Обзор сессий WOW 2026 Embedded: как LogicGate, Nextiva и S-Docs определяют, что их ИИ-агенты могут видеть, решать и делать.

Хейлли Паркер

13 окт. 2026 г.

На конференции World of Workato (WOW) 2026, ежегодной конференции пользователей по корпоративной оркестрации и ИИ, три клиента Workato Embedded поделились опытом того, как они определяют границы возможностей ИИ-агентов.

Их вывод: ИИ-агенту не обязательно быть вредоносным, чтобы нанести вам финансовый ущерб. В некоторых случаях достаточно предложить скидку, которую никто не одобрял.

В ходе сессии «Управление автономным ИИ в масштабе» модератор Джастин Пол, директор по консалтингу решений в Workato, побеседовал со следующими участниками:

Стив Миклрайт, руководитель отдела интеграционных служб, LogicGate: GRC-платформа для работы с рисками третьих сторон, соблюдением нормативных требований и киберрисками.
Роберт Харрис, директор по управлению продуктами, Nextiva: платформа для клиентского опыта и унифицированных коммуникаций.
Ананд Нарасимхан, технический директор, S-Docs: генерация документов и электронные подписи для госсектора и регулируемых предприятий.

Каждая компания находится на своем этапе развития автономных агентов и представила собственный взгляд на четыре фундаментальных вопроса об ИИ.

Вопрос 1: Что агент может видеть?

Ответ: Спросите себя, что ваш агент наследует, а не только что вы ему разрешаете.

Компания LogicGate уже связала права доступа с ролями для пользователей-людей. Роль определяет, какие приложения, данные и рабочие процессы видит человек. Когда команда Стива создала агентов, им были назначены роли из той же модели, поэтому управление ими не потребовало создания чего-то нового. По словам Стива, этот подход годами работал для их конечных пользователей, так зачем изобретать велосипед заново?

Внутренние агенты LogicGate следуют той же логике. Они читают GitHub, Confluence и базу знаний Zendesk и не подключены к Salesforce или кадровой системе компании, поэтому данные клиентов или сотрудников остаются недосягаемыми.

В компании Nextiva Роберт описал более узкий вариант. Ее агент поддержки видит лишь часть Salesforce и возвращает только то, что принадлежит запросившему клиенту. Он применил тот же подход к агентам своих клиентов: судоходная компания может позволить звонящим отслеживать заказ, но не оформлять возврат без предварительного общения с живым человеком.

«Интересно, сколько людей используют такие реализации, где они, вероятно, предоставляют доступ к слишком большому объему информации и даже не замечают этого». — Роберт Харрис, Nextiva

«Интересно, сколько людей используют такие реализации, где они, вероятно, предоставляют доступ к слишком большому объему информации и даже не замечают этого». — Роберт Харрис, Nextiva

Ананд расширил этот вопрос, выйдя за рамки самого агента. Если подключенная система имеет слабый контроль доступа на основе ролей (RBAC), агент наследует эту уязвимость, независимо от того, насколько хорошо управляется уровень оркестрации.

Вопрос 2: Что он может решать?

Ответ: Шаг с участием человека работает потому, что агент показывает ход своих мыслей.

Пример Роберта взят из практики клиентов Nextiva, среди которых есть круглосуточные ветеринарные клиники. Когда ситуация звонящего критическая, агент не может продолжать прогонять его по своему циклу. Он должен распознать момент и перевести звонок на человека.

LogicGate применяет то же правило к онбордингу поставщиков. Раньше проверка нового поставщика означала сбор опросников и внешних данных о рисках, а также прохождение нескольких этапов согласования, на которых люди часто заново проверяли одни и те же данные. Это могло занимать дни, недели или месяцы. Теперь агент изучает анкеты и аналитические данные по поставщикам. На последнем этапе он рекомендует решение. Человек утверждает его.

«Мы не даем им саммари от ИИ как таковое. Мы показываем, как ИИ пришел к выводу, что их действия являются безопасными». — Стив Миклрайт, LogicGate

«Мы не даем им саммари от ИИ как таковое. Мы показываем, как ИИ пришел к выводу, что их действия являются безопасными». — Стив Миклрайт, LogicGate

Вариант Ананда касается договоров. S-Docs генерирует коммерческие предложения, соглашения о неразглашении (NDA) и основные соглашения об оказании услуг (MSA), поэтому он знает, к чему может привести один неверный пункт. Агент, который незаметно добавляет 20-процентную скидку за пропущенный уровень обслуживания (SLA), по его словам, поверг бы любой юридический отдел в шок. Решение S-Docs заключается в том, чтобы стать управляемой агентской платформой для корпоративных документов: контролируемой, безопасной и достаточно простой для нетехнических пользователей.

Вопрос 3: Как вы узнаете, что агент ошибается?

Ответ: Все сложно.

Каждый участник панели ответил по-своему, и эти различия очень полезны, но сначала они требуют определенной саморефлексии. Их совет: степень свободы ваших агентов зависит от того, во сколько обходится неверный ответ.

Ананд поставил оценку работы (эвалы) на первое место наряду с ролевым контролем на каждом уровне и защитными барьерами.

«Если вы запускаете агентов без эвалов, вы действуете вслепую. Надеетесь, что сработает». — Ананд Нарасимхан, S-Docs

«Если вы запускаете агентов без эвалов, вы действуете вслепую. Надеетесь, что сработает». — Ананд Нарасимхан, S-Docs

Стив начал с оценки стоимости ошибки. В сфере GRC ответ не может быть «может быть». По его словам, если бы ИИ сказал международному банку, что тот, возможно, соответствует какому-то нормативу, этот банк на следующий день мог бы столкнуться со штрафом в 100 миллионов долларов.

Управление оказалось легкой частью для LogicGate, а вот обучение ИИ потребовало времени. Как только тестирование стало давать хорошие и отличные результаты, команда предоставила агента максимально возможной базе пользователей с установленными защитными барьерами, но без полного доступа. Каждый пользователь формулирует запросы по-своему, поэтому обратная связь поступила уже на следующий день и помогла сформировать следующую версию.

Роберт, с другой стороны, добавил показатель, который эвалы не могут зафиксировать: эмоциональное состояние конечного клиента. Клиенты Nextiva интегрируют агентов для взаимодействия со своими собственными покупателями, поэтому он советует оставаться вовлеченными и следить за тональностью отзывов, а не рассчитывать на то, что всем сразу все понравится.

Вопрос 4: Как повторить это быстрее?

Ответ: Скорость достигается за счет того, что не пришлось перестраивать с нуля.

LogicGate демонстрирует, как выглядит повторное использование. Сотрудники общаются с внутренним агентом в Slack. Workato соединяет Slack с API искусственного интеллекта и хранилищами памяти с помощью рецептов, которые копируют базы знаний в эти хранилища. Workato также ставит задачи в очередь, поэтому множество людей могут задавать вопросы одновременно, и команде не пришлось проектировать систему с расчетом на масштабирование.

Создание первого агента для команды интеграционных служб заняло от двух до трех месяцев. Второй был запущен в течение 48 часов, так как рецепты были уже готовы: сообщение из этого канала Slack отправляется в то хранилище памяти, а вызовы API остаются прежними. На следующей неделе команда управления продуктом добавила одну строку в рецепт и получила собственного агента уже на следующий день.

«Пока у [агента] есть обучение, архитектура остается прежней. Это просто повторение по кругу: клонируй рецепт, перенаправь в другое место». — Стив Миклрайт, LogicGate

«Пока у [агента] есть обучение, архитектура остается прежняя. Это просто повторение по кругу: клонируй рецепт, перенаправь в другое место». — Стив Миклрайт, LogicGate

Ананд придерживается такого же мнения и в отношении самого управления. Любая команда может изобрести его заново в виде плоскости управления, говорил он, но зачем это делать, если платформа уже предоставляет ее готовой?

Создайте систему управления, которую можно использовать повторно с помощью Workato

Для компаний на этой сцене управление не было препятствием. Это было то, что они могли использовать повторно.

Workato ONE для SaaS-платформ предоставляет продуктовым командам надежную основу для разработки — единую управляемую платформу для каждого рабочего процесса, агента и интеграции в вашем продукте, со встроенными проверенными правами доступа пользователей, этапами согласования с участием человека и журналами аудита.

Изучите Workato ONE для SaaS-платформ