СЛУШАТЬ • 13 минут
Основные выводы
- Организации должны четко понимать не только то, на что способен ИИ-агент, но и то, что ему разрешено делать.
- Лестница автономности помогает командам выбрать правильный уровень делегирования: от простой поддержки исследований до агентов, которые действуют и общаются от имени человека или компании.
- Управление зависит от исполнимых мандатов, надзора, возможности отмены и аудита, чтобы ИИ-агенты могли действовать, не создавая рисков, которые бизнес не может поглотить.
Агентный ИИ — это не просто продуктовый тренд или выбор технической архитектуры. Он становится операционной моделью на рабочем месте: это системы, которые могут суммировать, составлять черновики, маршрутизировать, рекомендовать и все чаще действовать в рамках тех инструментов, которые мы уже используем каждый день. Возможности реальны, но вопрос управления — тоже. Когда мы даем ИИ-системе работу, какие полномочия мы ей делегируем?
Этот вопрос мы часто обсуждаем в моей команде. Я занимаюсь управлением ИИ в Vonage, и на этой должности отвечаю за фреймворк, категории рисков, реестр ИИ и общие стандарты, которые продуктовые команды могут использовать для безопасного внедрения ИИ-трансформации. Команда по ИИ определяет правила игры, которые применяются ко всему внедрению ИИ в компании — от внутренних инструментов продуктивности до продуктов для клиентов. Мы управляем рисками, обеспечиваем скорость и, прежде всего, защищаем клиентов и их данные.
Эпоха агентов наступила
Эпоха агентов наступила
Десятилетиями наличие (человеческого) агента означало, что выгоды получены. Кто-то понимал, чего вы хотите, справлялся со сложностями от вашего имени, координировал действия с другими людьми и добивался результатов, пока вы концентрировались на общей картине. Сегодня вам не нужно ваше имя на киноафише, чтобы иметь агента. Добро пожаловать в агентную эру: вы даете ИИ-агенту реальную работу, и самое забавное, что он работает полностью удаленно.
Пропишите мандат в промпте. Обеспечьте соблюдение полномочий в разрешениях.
Пропишите мандат в промпте. Обеспечьте соблюдение полномочий в разрешениях.
Что делает ИИ-агента особенным
Что делает ИИ-агента особенным
ИИ-агенты эволюционировали от инструментов, отвечающих на вопросы, до систем, которые преследуют цели, принимают решения и совершают действия в рамках заданных нами параметров. Это может звучать ново, но лежащая в основе идея нам знакома.
Агент знаменитости не ждет вопроса: «Какие фильмы доступны?». Он понимает цель, ведет переговоры с третьими лицами, координирует графики, дает рекомендации, решает рутинные вопросы и передает наверх те решения, которые действительно важны.
Что особенно важно, у них есть мандат. Но они никогда не продадут дом актера только потому, что решили, будто это пойдет на пользу его карьере. Это различие между тем, что агент может сделать, и тем, что ему разрешено делать, является предметом данной статьи.
Мандат, стоящий за машиной
Мандат, стоящий за машиной
Вы бы никогда не позволили человеческому агенту действовать от вашего имени на основе простого рукопожатия. Существовало бы соглашение о сотрудничестве, определяющее, в чем он может вас обязать, лимит расходов, путь эскалации и способ прекращения договоренности. ИИ-агенту нужно то же самое. Разница заключается в том, где находится мандат. У человека полномочия действовать прописаны в соглашении и повседневных инструкциях.
В случае с ИИ-агентом большинство людей предполагают, что он находится в промпте. Это лишь отчасти так. Промпт — это запрос, а не ограничение. Его можно неверно истолковать, перевесить противоречащей инструкцией или вытеснить текстом, с которым агент сталкивается при выполнении работы. Обязательная часть мандата — это то, с чем агент не может договориться: к каким системам он имеет доступ, какие действия требуют подписи человека, что он может тратить, что он может отправлять, и журнал, в котором фиксируется то, что он сделал. Пропишите мандат в промпте. Обеспечьте соблюдение полномочий в разрешениях. Когда они противоречат друг другу, реально только второе.
Лестница автономности: от ответов к полномочиям
Лестница автономности: от ответов к полномочиям
Таким образом, вопрос никогда не стоит так: «насколько автономным мы можем сделать этого агента?». Вопрос в том: «сколько полномочий на самом деле требуется этому агенту?». Представьте себе лестницу как переход от информации к действию, а затем от действия к представительству. Чем выше ступень, тем меньше требуется одобрения человека и тем больше система работает на основе постоянного мандата.
Лестница полезна только в том случае, если она меняет решения о развертывании. Каждая ступенька должна сопровождаться соответствующим мандатом: предоставленными полномочиями, доступными системами, разрешенными действиями, точками эскалации и доказательствами, необходимыми постфактум. Без такого мандата дискуссия превращается в дебаты о возможностях, а не в решение об ответственности. Вот что означает каждый уровень на лестнице для вашей повседневной работы:
Уровень 1: Исследователь
Ответы, а не действия
Этот уровень у вас уже есть. Это окно чата. Вы спрашиваете, оно отвечает, вы решаете, что делать с отбором. Строго говоря, это вообще не агент. Ничего не преследуется, ничего не выполняется, ничего не происходит, когда вы закрываете вкладку. Это очень хорошая справочная библиотека, которая умеет разговаривать. В любом случае стоит назвать это Уровнем 1, потому что это база, которую почти все принимают за всю технологию целиком.
Ваша задача: проверять работу. Каждый раз.
Уровень 2: Помощник
Подготовка перед разрешением
Помощник организует работу, готовит черновики результатов, подготавливает решения и выстраивает действия в очередь, во многом подобно исполнительному помощнику или аналитику. Он просматривает ваш календарь, замечает конфликты и готовит проект письма о переносе встречи. Агент выполняет когнитивную работу, но материальное действие остается за вами. Вы знаете политику, взаимоотношения и то, какую встречу действительно нельзя перенести.
Очевидный риск? Рекомендация звучит убедительно при скудных доказательствах, черновик построен на ложных предположениях, или конфиденциальная информация уходит дальше, чем следует. Менее очевидный риск хуже. Когда каждая рекомендация хороша, человек перестает их читать. Одобрение становится рефлексом, и Помощник незаметно становится лицом, принимающим решения, без какого-либо наделения его такими полномочиями. Следите за автоматическим одобрением (резиновыми штампами). Одобрение должно оставаться реальным. Если вы не можете вспомнить, когда в последний раз что-то отклоняли, вы не одобряете, вы ставите штамп.
Уровень 3: Консьерж
Рутинная работа, реальное смещение границ
Вот тут-то и начинается самое интересное. Консьерж имеет постоянное разрешение на выполнение рутинных задач с низкими последствиями без предварительного запроса. Кто-то отклоняет встречу; он находит другой слот и переносит ее. Вы даже не слышите об этом. Это первая по-настоящему агентная ступень, потому что вы больше не одобряете отдельные действия. Вы перестали контролировать работу и начали контролировать категорию работы. Именно здесь начинается смещение границ.
Первое смещение — это расползание разрешений: для надежного переноса встреч агенту нужен доступ к календарю, затем к почтовому ящику, затем к системе бронирования комнат, затем к инструменту для путешествий. Ни одно отдельное предоставление доступа не выглядит неразумным. Но их стек — да. Второе — расползание масштаба. Задачи проскальзывают в корзину рутины просто потому, что они происходят часто. Квартальное исключение, обработанное три раза подряд, начинает выглядеть как постоянный процесс. Никто этого не решало. Оно просто накопилось.
У обычной корзины задач должен быть владелец. Кто-то должен регулярно проверять ее и спрашивать, как туда попало то, что никто не утверждал.
Уровень 4: COO (Операционный директор)
Делегирование результатов, а не задач
На 4-м уровне вы перестаете указывать задачи и начинаете ставить цели. Вы передаете цель, операционные параметры и полномочия. Агент анализирует ситуацию, строит план, определяет необходимые инструменты, выполняет работу и отчитывается. В этом и заключается настоящий сдвиг: переход от делегирования задач к делегированию субъектности (полномочий).
Здесь же сбои перестают быть аккуратными. Агент на этом уровне оптимизирует цель, а не организацию. Он может решить проблему в одном месте, создав ее в другом, и решить, что он способен справиться с тем, что следовало бы передать человеку.
Прикажите ему сократить расходы на поддержку на 20%, и он может добиться этого, сделав службу поддержки труднодоступной. Удовлетворенность падает, удержание клиентов ухудшается, а экономия оборачивается большими затратами в отделе, который этого совсем не ждал. Агент сделал именно то, о чем мы просили. Мы просто никогда не говорили, какими путями идти нельзя.
Цель — это лишь половина технического задания. Ограничения — это то, что обеспечивает безопасность организации.
Уровень 5: Агент
Действуя от вашего имени
Классическая голливудская фраза «Мой агент позвонит вашему агенту» получает новую жизнь в эпоху ИИ на 5-м уровне. Отправляйтесь в отпуск, который вы откладывали годами, а работа продолжается. Этот агент работает в разных областях, сам решает, что заслуживает внимания, начинает дела по собственной инициативе и представляет вас или вашу организацию в рамках широкого мандата.
Именно это на самом деле означало слово «агент» до того, как его позаимствовало программное обеспечение. Настоящий агент не просто ищет варианты и назначает встречи. Он представляет ваши интересы, ведет дела с другими сторонами, договаривается и берет на себя обязательства. Итак, предоставьте ему соответствующий доступ: к электронной почте, CRM, календарю, закупкам и корпоративным данным. Позвоните ему общаться с клиентами, поставщиками и коллегами. Позвольте ему инициировать транзакции, принимать условия и привлекать других агентов для выполнения задач.
Самый острый вопрос об ИИ-агенте — пожалуй, не «Насколько он разумен?», а «Что мы уполномочили его делать?»
Самый острый вопрос об ИИ-агенте — пожалуй, не «Насколько он разумен?», а «Что мы уполномочили его делать?»
Разница на 5-м уровне заключается не в том, что агент может совершить ошибку. Люди совершают ошибки постоянно, и организации созданы для того, чтобы сглаживать их. Разница заключается в том, какого рода ошибку теперь можно совершить. Он может пообещать то, чего вы никогда не планировали. Он может превратить рекомендацию в обязательство. Он может объединить разрешения таким образом, на который никто не уполномочен. Каждое отдельное разрешение может выглядеть незначительным само по себе, но агент, обладающий ими всеми одновременно, работающий непрерывно и объединяющий информацию из разных систем, обладает гораздо большей мощностью, чем предполагает любое отдельное разрешение. Он может следовать вашей цели более буквально, чем вы задумывали. И он может сделать все это до того, как кто-либо заметит.
Спросите себя, сможете ли вы это отменить. Не «может ли он это сделать?», а «можете ли мы это отменить?». На 5-м уровне обратимость и читаемый журнал аудита перестают быть просто гигиеной и становятся основой всей безопасности.
Действительно ли ИИ-агенты работают в сфере обслуживания клиентов?
Вот семь вещей, которые следует учитывать при внедрении агентного ИИ в процессы обслуживания клиентов.
Когда ИИ-агент говорит от вашего имени
Когда ИИ-агент говорит от вашего имени
Голливудская метафора работает неспроста. В агентском праве принципал может быть связан тем, что другая сторона обоснованно считала разрешенным для агента. Это называется видимыми полномочиями. Если ваш агент входит в комнату, ведет себя как человек с мандатом, а у контрагента нет причин думать иначе, сделка может состояться, даже если вы приватно ничего подобного своему агенту не говорили.
А теперь перечитайте это, представив в комнате ИИ-агента. У него ваш домен в адресе электронной почты. Он пишет в вашем фирменном стиле. Он отвечает мгновенно, в три часа ночи, с абсолютной уверенностью. Для поставщика на другом конце провода он выглядит точно так же, как человек, уполномоченный говорить от вашего имени. Ваш тщательный мандат невидим для них. Все, что они видят, — это агент.
Интеллектуальный риск, а не слепая автономность
Интеллектуальный риск, а не слепая автономность
Стоит ли нам запретить 5-й уровень и вернуться к чат-боту? Нет. Но обратите внимание, насколько соблазнителен этот вопрос, и заметите, что подход «добавить больше защитных механизмов по мере роста автономности» лишь немногим лучше. Это звучит ответственно, но на самом деле это просто регулятор с одним положением. Интеллектуальный риск полезнее этого. Три вопроса выполняют основную работу.
Доверили бы мы такие полномочия человеку?
Не блестящему человеку. Компетентному новому сотруднику с хорошим инструктажем на третьей неделе его работы. Позволили бы вы ему отправить это письмо, утвердить этот счет, согласиться с этими условиями без присмотра? Если ответ «нет», проблемой никогда не была технология. Вы собирались делегировать то, чего не доверили бы никому. А если ответ «да», вы уже знаете, как выглядят защитные механизмы, потому что установили бы их и для человека.
Что происходит, когда случается предсказуемая ошибка?
Не экзотический сбой. А скучный, который можно предвидеть: он выбирает не ту запись, неверно истолковывает исключение, соглашается на что-то чуть за пределами диапазона. Спросите, во сколько это обходится и, что более важно, можете ли вы это отменить. Ошибка, которую можно исправить за полдня, — это издержки ведения бизнеса. Ошибка, которая уже попала в почтовый ящик клиента, подписанный заказ или публичное обязательство, — это совершенно другая категория вещей. Дайте агенту пространство для исправимых ошибок. Никогда не давайте ему пространства для фатальных ошибок.
Является ли наш контроль реальным или это показуха?
Это то, что люди пропускают. Человек, вовлеченный в процесс и одобряющий все подряд, — это не элемент контроля, а путь эскалации, которым никто никогда не пользовался, — это не страховочная сеть. Это просто схема. Спросите, когда ваш проверяющий в последний раз говорил «нет». Если он не может вспомнить, вы работаете на более высоком уровне, чем утверждают ваши регламенты.
Задайте эти три вопроса, и вы получите нечто полезное: цель состоит не в том, чтобы карабкаться по упомянутой выше лестнице агентов. Цель — занять правильную ступеньку для стоящей перед вами задачи, которая обычно ниже, чем позволяют технологии, и выше, чем подсказывает интуиция. Агент 3-го уровня, хорошо выполняющий строго ограниченную работу, намного лучше агента 5-го уровня, которому никто не доверяет настолько, чтобы оставить его без присмотра. Дайте агенту достаточно полномочий, чтобы делегирование имело смысл. Затем разработайте его мандат так, чтобы предсказуемые ошибки не привели к последствиям, с которыми вы не сможете справиться.
Главный вопрос: что мы уполномочили делать?
Главный вопрос: что мы уполномочили делать?
Будущее за ИИ не в том, что он знает больше. А в том, что он делает больше от вашего имени. Как только система может общаться, принимать решения, совершать транзакции и брать на себя обязательства за вас, вы выходите за рамки технологического риска. Вы делегируете полномочия, и это гораздо более старая проблема, за которой стоит гораздо более развитый массив идей, чем признают большинство дискуссий об ИИ. Именно поэтому самый острый вопрос об ИИ-агенте — пожалуй, не «Насколько он разумен?», а «Что мы уполномочили его делать?»
Больше не нужно быть голливудской звездой. Но вы все равно должны тщательно выбирать своего агента и четко понимать, какие именно полномочия вы ему делегировали.
