Введение
Заставить ИИ-агента дать вам хороший ответ стало достаточно просто. Заставить его безопасно выполнить действие — например, изменить цену, запустить акцию или снять товар с публикации — совершенно другая задача. Я считаю это принципиально новой парадигмой.
В день, когда агент получает возможность менять цену в вашей системе, ваши отделы по рискам, юридическим вопросам и аудиту начинают спрашивать, что именно ему разрешено делать. Эти вопросы обычно возникают раньше, чем кто-либо ожидает, и ответы на них определяют, выйдет ли инициатива в области автономной коммерции за пределы тестовой среды.
Эта статья представляет собой чек-лист по этим вопросам управления, благодаря которому автономность начинает восприниматься комфортнее, поскольку больше не означает потерю контроля. В ее основе лежит опыт моих команд, полученный при создании коммерческих агентов в commercetools, а также наблюдения Roman Tejada, AI Innovation Lead в Google Cloud, помогающего предприятиям переводить ИИ из стадии экспериментов в продакшен.
Примечание: эта статья основана на беседе с Roman Tejada, AI Innovation Lead в Google Cloud. Посмотрите полную запись беседы по запросу.
Что меняется, когда агенты действуют, а не просто предлагают?
Около двадцати лет программное обеспечение для коммерции — да и любое ПО в целом — строилось вокруг задач. Кто-то решает, что должно произойти, создает запрос, и он ждет в бэклоге действий от человека или системы. Автономная коммерция меняет эту модель. ИИ-агенты непрерывно выполняют работу по ценообразованию, учету запасов, акциям, приему заказов, расчету стоимости и согласованиям в рамках установленных вами ограничений и ведут учет всего, что они сделали.
Именно этот переход от задач к результатам делает приведенные ниже вопросы насущными. Ошибка агента, который всего лишь готовит рекомендацию, обходится дешево. Ошибка агента, который меняет ваш каталог или цены, — нет.
Но сначала нам нужно ответить на ключевые вопросы.
1. Кто этот агент?
Каждому агенту нужна собственная идентичность. Когда что-то идет не так, вам нужно знать, какой именно агент совершил действие, а это крайне сложно сделать, если действия теряются в путанице фоновых процессов. Это актуально независимо от того, создан ли агент вами, поставщиком или сторонним разработчиком.
На практике это означает наличие единого реестра, где зарегистрирован каждый агент вашей коммерческой среды с указанием того, чем он является, что ему разрешено делать и к чему он имеет доступ.
2. К чему он имеет доступ, а к чему не должен прикасаться ни в коем случае?
Область полномочий — это и есть защитное ограждение. Агент должен иметь возможность действовать только в тех пределах, которые вы для него определили, при этом доступные ему данные также должны учитываться при принятии решений. Какие агенты могут использовать те или иные инструменты, какие данные могут поступать в эти инструменты и какие сотрудники могут использовать тех или иных агентов — все это отдельные решения, и их количество стремительно растет при переходе от одного агента к сотне.
Антипаттерн — это сервисная учетная запись в режиме «бога», способная делать всё что угодно. Определяйте область полномочий для каждого агента и по возможности создавайте политику один раз, применяя ее ко всем агентам.
3. Кто утверждает действия?
Одобрение человеком — это этап, на котором многие команды останавливаются. Агент может использовать данные, вызывать инструменты и рассуждать, поэтому возникает искушение разрешить ему действовать самостоятельно. Но позиция Романа тверда, как и моя: во всем, что связано с финансовыми затратами, участие человека в процессе непреложно.
Полезный вопрос заключается в том, в какие именно моменты требуется участие человека. Пороги согласования можно установить исходя из стоимости, радиуса поражения и того, можно ли отменить действие. В одной из демонстраций наших операционных агентов плановая проверка запасов выявила два распроданных товара, которые все еще были опубликованы, что позволяло клиентам заказывать их. Агент не стал тихо исправлять это, а точно показал, что предлагает изменить, и дождался одобрения человека.
Вы бы относились к нему так же, как к очень умному новому сотруднику, который только вышел на работу в понедельник. Он может готовить любые черновики, но на кону стоят реальные вещи. Поэтому вам нужно одобрение человека. Вам нужен контроль.
Roman Tejada
AI Innovation Lead, Google Cloud
4. Могу ли я увидеть, что он сделал?
Для каждого действия вы должны иметь возможность просмотреть данные, которые прочитал агент, последовательность вызовов инструментов и логику, приведшую к результату. Роман сравнивает это с тем, как ученик показывает ход решения задачи. Вам также нужна полная запись: что именно сделал агент, на каком основании и когда.
Это не просто хорошая инженерная гигиена. Об этом спросят аудиторы и регуляторы, и именно те команды, которые изначально заложили наблюдаемость и журналы аудита, а не пытались добавить их задним числом, успешно выводят агентов в продакшен.
5. Могу ли я отменить действие? Могу ли я просто выдернуть вилку из розетки?
Защитные ограничения — это одно. Кнопка отмены — другое. Вам нужна возможность мгновенно отозвать доступ агента и остановить его на лету, до того как он нанесет ущерб, а не после долгого совещания. Обратимость также определяет, какую именно работу следует передавать агенту в первую очередь.
«Одно дело — иметь защитные ограничения, но совершенно другое — иметь кнопку останова, способную немедленно прекратить убытки».
Roman Tejada, AI Innovation Lead, Google Cloud
6. Какой ущерб может нанести одно некорректное действие?
Это вопрос радиуса поражения, и совет Романа категоричен: если честный ответ — «мы узнаем методом тыка», начните с чего-то другого. Наихудший сценарий должен быть не опаснее царапины.
Рассмотрим акцию, которая запускается без проверки запасов. Происходит перепродажа. Каждый агент может идеально выполнять свою задачу, но бизнес все равно несет убытки. Вот почему оркестрация агентов ценообразования, акций и учета запасов важна не меньше, чем поведение каждого отдельного агента, и почему лимиты полномочий и согласований должны устанавливаться с учетом наихудшего сценария.
7. Будет ли он по-прежнему вести себя корректно со временем?
Этот вопрос обычно возникает позже. Агент может отлично себя вести и пройти все тесты в день запуска. Но через четыре или пять месяцев данные сдвинутся, базовые модели изменятся, и поведение может подвергнуться дрейфу. Вот почему мы в commercetools проводим непрерывную оценку для выявления этого дрейфа. Управление — это не то, что настраивается один раз при запуске; это постоянный процесс.
Краткий чек-лист
Прежде чем агент начнет действовать в продакшене, вы должны уметь ответить на вопросы:
- Идентичность: Кто этот агент и зарегистрирован ли он?
- Область полномочий: К чему он имеет доступ и к каким данным он никогда не должен прикасаться?
- Одобрение: Кто утверждает действия и при каких пороговых значениях?
- Прозрачность: Могу ли я увидеть использованные им данные, предпринятые шаги и то, на чьем основании действовал агент?
- Обратимость: Могу ли я мгновенно остановить его и отменить сделанное?
- Радиус поражения: Каков худший ущерб от одного некорректного действия?
- Дрейф: Как я узнаю, что спустя месяцы он все еще ведет себя так, как ожидалось?
Как начать без попыток охватить необъятное
Все это не означает, что автономность — дело далекого будущего. Это означает лишь необходимость начать с правильного места.
Выберите что-нибудь скучное. Выберите повторяющийся, обратимый процесс с небольшим радиусом поражения. Вашим первым сценарием не должно быть ценообразование для самого доходного SKU в пиковый период. Пример Романа — магазин, который постоянно не выполняет утренние показатели из-за того, что подготовка начинается уже после начала ажиотажа. Решение — изменение графика, и если оно не сработает, вы просто вернете все назад на следующий день. Никакой драмы, но реальная выгода.
Закладывайте участие человека, наблюдаемость и аудит с первого дня. Не пытайтесь добавить их потом.
Измеряйте результаты и укрепляйте уверенность. Переходите осознанно от людей с поддержкой ИИ к ИИ с поддержкой человека на основе фактических данных. Доверие строится небольшими шагами, и автономность должна расти с той же скоростью.
Доверие завоевывается скучным путем. Одно одобрение за другим, а затем вы даете чуть больше свободы, потому что никто не получает кабинет руководителя на первой неделе.
Roman Tejada
AI Innovation Lead, Google Cloud
Как автономная коммерция выглядит на практике
В commercetools AgentSphere реестр агентов — это место, где каждый агент регистрируется со своей областью действия. После этого мерчандайзер может использовать агента по промоакциям, чтобы описать акцию простым языком, например: «купи один, получи второй за полцены на мебель». Агент задает уточняющий вопрос (должна ли акция быть глобальной или ограничена определенными магазинами?), возвращает структуру промоакции для проверки и сохраняет ее как черновик. Ничто не запускается в работу, пока человек это не активирует.
Тот же шаблон применим и к запланированным задачам, от ежедневной проверки низких запасов до описанного выше исправления каталога: настройка на простом языке, четкий учет и одобрение человеком там, где это важно. Это путь от управляемого к запланированному, а затем к автономному, и каждый шаг можно увидеть и проконтролировать.
Пропустили прямую трансляцию? Посмотрите наш вебинар «Автономная коммерция на практике: от задач к результатам» в записи.
Часто задаваемые вопросы
Автономная коммерция — это использование ИИ-агентов для непрерывного выполнения торговых операций, таких как ценообразование, промоакции, управление запасами, прием заказов, формирование коммерческих предложений и согласования, в рамках ограничений, установленных бизнесом, с полной регистрацией действий агентов.
Это набор элементов управления, которые определяют, что разрешено делать агенту: идентификация, область действия, шлюзы утверждения, журналы аудита, возможность остановки и непрерывная оценка.
Потому что как только агенты получают возможность действовать, а не только давать советы, ошибки начинают стоить реальных денег. Одобрение человека в моментах высокой важности или в ситуациях, которые трудно обратить вспять, обеспечивает подотчетность автономности, и вы можете ослаблять контроль по мере завоевания доверия.
Что-то рутинное, измеримое и обратимое, с небольшим радиусом поражения, когда ответ уже содержится в ваших данных, но ни у кого нет времени действовать на их основе.
Регистрируйте каждого агента с определенной областью действия, фиксируйте каждое действие и данные, стоящие за ним, и проводите непрерывную оценку, чтобы вовремя выявлять отклонения.
