Область задач, которые могут брать на себя агенты, за последние несколько лет значительно расширилась. Они прошли путь от простой генерации текста до вызова инструментов, принятия решений и выполнения полноценных задач. Будущее агентов — за принятием открытых целей и работой над их достижением. Запуски продуктов вроде Hone дают нам возможность заглянуть в это будущее.
В этом мире определение области ответственности агентов имеет решающее значение. Направьте их не в ту сторону — и вы просто потратите кучу токенов впустую. Ключевая часть настройки агентов Hone — это определение метрик, которые они должны оптимизировать.
Как проектировать цели
Работая над подобными типами агентов, мы осознали важную вещь касательно проектирования их области ответственности: нужно проектировать её так, чтобы было максимально легко предоставлять обратную связь по мере того, как агент работает в этой области.
Почему это так?
Когда агенты ошибаются, одна из главных причин этого — отсутствие правильного контекста. Чтобы исправить это, вам нужно предоставить агенту нужный контекст. Существуют разные типы контекста. Некоторые из них — это доступ к правильным документам или API, и это относительно легко исправить. Но самый сложный контекст для передачи агенту — тот, который нигде заранее не записан. Такой контекст должен передаваться агенту в виде обратной связи от человека-эксперта.
Это особенно важно по мере того, как агенты выходят за рамки выполнения легко проверяемых задач и начинают брать на себя субъективную работу вместе с людьми внутри организации. Например, если вы хотите, чтобы агент помог оптимизировать бизнес-метрику (скажем, улучшить рекламу для повышения эффективности маркетинга), существует множество нюансов помимо просто фактического контекста, которые должны определять поведение агента. У вас, вероятно, есть определенный вкус к тому, что звучит и выглядит хорошо. У вас есть мнение о том, насколько провокационным или неординарным может быть ваш бренд. Агент, который не может эффективно получать обратную связь для усвоения таких вещей, быстро становится бесполезным.
Если область ответственности вашего агента позволяет легко давать много высококачественной обратной связи по его работе, это огромным образом поможет вам создать агента, способного надежно следовать долгосрочной цели.
Еще один связанный вывод заключается в том, что стоит серьезно инвестировать в понятный и удобный UX для проверки работы агента. Узким местом в работе агентов часто является процесс их обучения на основе обратной связи. Поэтому вам следует стремиться оптимизировать простоту и качество сбора обратной связи! Инвестиции в понятный UX для этих целей абсолютно себя оправдывают.
Кейс: Actively AI
Давайте рассмотрим пример от Actively AI, компании, которая создает агентов для отделов продаж.
Первая версия целеориентированного агента от Actively была устроена так, что на каждый аккаунт (потенциального клиента, которому отдел продаж хочет продать продукт) приходился отдельный агент. Перед агентом ставилась цель продвигать аккаунт вперед, и он генерировал действия для утверждения торговыми представителями. Интуитивно это имело смысл: это была относительно ограниченная и направленная цель с четким результатом. На первый взгляд казалось, что контекст аккаунта — это самый важный контекст для агента, поэтому агента следует ориентировать именно вокруг него.
В процессе работы агентов выяснилось, что существовал еще один источник важного контекста, необходимого агенту: как эффективно выполнять свою работу. В частности, как выстраивать первичные контакты (outbound), как отвечать, как формировать стратегию сделок, насколько агрессивным быть, как ориентироваться в крупной организации и т. д. Этот тип контекста был распределен между множеством агентов — если вы узнаете что-то новое о выстраивании контактов на примере одного аккаунта, вы очень часто хотите перенести эти знания и на другие аккаунты.
В Actively обнаружили, что когда агент занимался только одним аккаунтом, продавцам было трудно эффективно использовать агента и предоставлять ему обратную связь. При продвижении одного аккаунта агенту приходится выполнять множество разных задач, и они часто растянуты во времени. Они выявили, что: (а) происходило постоянное переключение контекста между агентами (поскольку в любой момент времени у одного агента требовали проверки лишь несколько вещей) и (б) делиться полученными знаниями между агентами было неудобно с точки зрения UX (а это требовалось, так как они учились одному и тому же).
Вторая версия системы агентов от Actively исправила это. Их новые целеориентированные агенты (построенные на Deep Agents!) называются «моушенами» (motions). Моушен — это конкретная задача, которую нужно выполнить, например первичный контакт или ведение сделки на ранних этапах. То, как именно выполнять эту работу, четко не регламентировано, и многое зависит от предпочтений конкретного менеджера по продажам. Огромное количество знаний находится в голове продавца, и их необходимо передавать в виде обратной связи агенту, отвечающему за данный моушен, чтобы тот мог учиться. Поскольку моушен объединяет ряд однотипных задач, продавцу довольно легко проверять их все вместе. Любая обратная связь, полученная по одной задаче в рамках моушена, интуитивно переносится на другие задачи этого же моушена.
Это позволяет согласовать обратную связь (как ее объем, так и простоту предоставления) с самими агентами, что значительно облегчает создание мощных агентов.
Это не значит, что контекст аккаунта неважен — конечно же, он важен! Но контекст аккаунта часто уже где-то зафиксирован и носит гораздо более объективный характер. Поэтому у Actively есть агенты для сбора контекста, которые работают в фоновом режиме и собирают информацию по каждому аккаунту, но сама работа по продвижению аккаунтов по воронке продаж теперь выполняется моушенами, работающими сразу с множеством аккаунтов. Они отвечают за свой срез процесса продаж, намного быстрее учатся на основе обратной связи и подтягивают контекст конкретного аккаунта по мере необходимости.
В будущем
В будущем агенты развиются до такого уровня, когда вы просто ставите им цель, а они сами работают над ее оптимизацией.
Проверка человеком работы, которую выполняют эти агенты, занимает много времени — но она невероятно ценна. Именно так вы учите этих агентов тому, что нужно делать, и адаптируете их под вашу предметную область. Эти знания, существующие только в головах людей, крайне важно извлекать в форме, которую легко передать агентам.
Чтобы сделать это наилучшим образом, вам потребуется согласовать цели агента с тем, что человеку проще всего проверять. Это позволит создать удобный UX проверки, извлечь максимум информации и дать агентам возможность непрерывно обучаться, становясь со временем все более полезными и автономными.
Промпт-инжиниринг и контекст-инжиниринг уйдут в прошлое, но инженерия целей останется.
