Приносит ли ваш агент окупаемость инвестиций?

Agent Intelligence теперь доступна в рамках раннего доступа. Зарегистрируйтесь, чтобы попробовать ее здесь.

За последний год мы пообщались со множеством продуктовых команд, создающих агентов. У некоторых один уже работал в продакшене. Другие находились на половине пути к его созданию. А несколько команд перестраивали вокруг агента весь свой продукт.

Практически у всех была одна и та же проблема: они не могли понять, приносит ли агент окупаемость инвестиций или нет.

У них не было недостатка в данных. Большинство могли сказать, сколько произошло разговоров, сколько стоил каждый из них и сколько времени занимали ответы. Чего они не могли сказать, так это что происходило с их клиентами в макромасштабе.

Были ли люди, использовавшие агента, более склонны к конверсии?
Оставались ли они с продуктом?
Или у них был разочаровывающий разговор, после которого они молча уходили?

Чтобы ответить на эти вопросы, вам нужно видеть весь путь целиком: что человек делал до того, как открыл агента, что происходило в ходе разговора и что он сделал после. У большинства команд были отдельные кусочки пазла, но ни у кого не было полной картины.

Два инструмента и много скотча

Самым очевидным сигналом, который мы наблюдали, было то, как команды обходили эту проблему.

Большинство команд измеряли показатели своего агента в отдельном инструменте наблюдаемости, что вполне логично. Когда вы создаете агента, вам нужно что-то для отслеживания запросов и отладки при сбоях. Но эти инструменты отделены от остальных данных вашего продукта. Поэтому команды экспортировали события ИИ в Mixpanel, вручную строили когорты и пытались самостоятельно встроить агента в остальной клиентский опыт.

Один из клиентов высказался напрямую. Они перестраивали свой продукт вокруг агента и спросили нас: «Когда большая часть пользовательского опыта происходит внутри разговора, как нам связать это со всем остальным, что мы измеряем?» Это был отличный вопрос, на который мы хотели ответить.

Мы делали то же самое

Дело в том, что мы не просто слышали об этой проблеме — мы жили с ней.

Как только наш собственный Mixpanel Agent попал в руки клиентов, мы обнаружили, что задаем те же вопросы, что и все остальные: «Помогает ли это на самом деле?» Мы использовали один инструмент для отслеживания стоимости, задержки и ошибок. Затем мы использовали Mixpanel, чтобы понять, как агент меняет поведение людей в продукте. Два инструмента, два набора данных и куча ручной работы каждый раз, когда мы хотели связать их воедино.

Вот вопрос, который часто доставлял нам хлопоты: был ли разговор с агентом действительно успешным? Мы могли подсчитывать разговоры, объединяя промпты по ID. Но сам разговор не был чем-то, что мы могли легко проанализировать. Мы не могли видеть, сколько разговоров прошли успешно, сколько шагов требовалось для хорошего разговора по сравнению с плохим, или оставались ли люди, у которых были хорошие разговоры, дольше. Чтобы ответить на эти вопросы, нам пришлось создать кастомное событие Conversation_Ended и вручную тегировать каждый результат. Это был обманчиво простой вопрос с удивительно запутанным ответом.

Мы действительно добились прогресса. Просмотр записей сессий (Session Replay) людей, использующих агента, привел к исправлениям, которые увеличили кликабельность созданного агентом контента на 10%. Но каждый более глубокий вопрос — из тех, что связывают действия агента с возвращением клиента, — означал ручное объединение данных. Снова.

Поэтому, когда мы создавали Agent Intelligence, цель была простой: собрать агента и остальной путь клиента в одном месте, чтобы вы наконец могли определить, улучшает ли ваш агент клиентский опыт.

Два решения, которые определили его облик

Пара решений на самом раннем этапе определили практически все остальное.

Разговоры на первом месте

Большинство инструментов для агентов организованы вокруг спанов и трейсов: каждый вызов модели, каждый вызов инструмента, каждая строка лога. Это правильный подход для инженера, отлаживающего один запрос.

Но если вы продакт-менеджер, пытающийся понять, через что прошел ваш клиент, вы мыслите не спанами. Вы мыслите разговорами. О чем спросил клиент? Как ответил агент? Получили ли они то, что им было нужно, или им пришлось спрашивать три раза?

Поэтому мы сделали разговор главным элементом интерфейса. Это единица, наиболее близкая к тому, что на самом деле испытал ваш клиент, и это деталь, которая естественным образом связывается со всем остальным, что он делает в вашем продукте.

Детали скрыты внутри разговора

Однако мы не хотели жертвовать глубиной ради простоты. Все, что находится под разговором, вложено внутрь него: каждый шаг, каждый спан, каждый вызов инструмента и то, что он вернул. Вы начинаете с разговора, и когда вам нужно точно узнать, где что-то пошло не так, это всего в одном клике.

Именно так мы уже работали над собственным агентом. Оказалось, что именно так хотели работать и большинство команд, с которыми мы общались.

На что вы наконец сможете ответить

Главный вопрос — это тот, с которого мы начали: приносит ли ваш агент положительную окупаемость инвестиций? Вот как Agent Intelligence помогает вам ответить на него.

Отличайте хороший разговор от плохого без необходимости что-либо создавать

Метрики стоимости, задержки, ошибок и объема доступны сразу же, как только поступают ваши трейсы. Не нужно создавать дашборды, и вам не придется решать, какие метрики имеют значение, до того, как вы увидите хоть какие-то данные.

Это важно, потому что сама по себе вовлеченность обманчива. Пользователь, отправляющий шесть промптов, может погружаться в тему глубже, а может перефразировать один и тот же вопрос, потому что агент постоянно ошибается. На графике использования они выглядят одинаково. Но как только вы можете открыть разговор и увидеть, что произошло, ситуация меняется.

Посмотрите, что происходило до и после

Это та часть, от которой мы в наибольшем восторге. Разговоры с агентами попадают в Mixpanel и привязываются к тому же пользователю, что и все остальное в вашем продукте. Агент перестает быть черным ящиком в стороне и становится одним из этапов пути, который вы действительно можете отследить.

В результате вы наконец можете задавать такие вопросы:

Конвертируются ли пользователи, взаимодействующие с агентом, лучше, чем те, кто с ним не взаимодействует?
Чем использование агента отличается у ваших активных пользователей и людей на первой неделе?
Обернулся ли разочаровывающий разговор оттоком месяц спустя?
Что люди делали прямо перед тем, как начать разговор с агентом?

Это те самые вопросы, которые говорят вам, стоит ли ваш агент затраченных усилий. Раньше затраты на токены жили в одном инструменте, а удержание — в другом. Теперь они находятся в одном месте, и вы можете анализировать их с помощью тех же воронок, когорт и отчетов об удержании, которыми вы уже пользуетесь.

Узнать больше

Ознакомьтесь с нашей документацией для получения подробной информации о настройке Agent Intelligence.

Затем сделайте агента лучше

Большинство команд выпускают агентов не для того, чтобы сжигать токены. Вы выпускаете его, чтобы сделать что-то лучше для своих клиентов.

Вот как это выглядит на практике. Вы замечаете группу пользователей, которые не возвращаются после использования вашего агента. Вы изучаете их разговоры и обнаруживаете, что они в основном пытались сделать одно и то же. Вы спрашиваете у Mixpanel Agent, где эти разговоры пошли не так, и каждый раз обнаруживаете один и тот же сбойный вызов инструмента. Вы исправляете его, выпускаете новую версию под флагом функций (feature flag) и запускаете ее как эксперимент, чтобы проверить, улучшится ли удержание. Вы проходите путь от обнаружения проблемы до доказательства исправления, не покидая Mixpanel.

Множество инструментов могут подсказать, какой промпт показал себя лучше в ходе тестирования. Но нам всегда хотелось знать, какой именно заставил клиентов остаться.

Начало работы

Мы создали Agent Intelligence на базе OpenTelemetry, так как большинство команд, разрабатывающих агенты, уже используют ее. Не нужно добавлять SDK Mixpanel. Вы отправляете трассировки, которые уже собираете, в Mixpanel вместе с любыми другими используемыми инструментами и добавляете идентификатор пользователя, чтобы каждый разговор был связан с конкретным человеком. Подробности читайте в нашей документации.

Мы создали несколько агентов в Sprout, включая Listening и Insights. Но понимание того, что агент ответил, не говорит нам, достиг ли клиент своей цели, а для нас это самое главное.

До появления Agent Intelligence мы отслеживали каждое взаимодействие с агентом как отдельное пользовательское событие. Теперь мы можем видеть весь диалог в едином представлении, включая действия клиента и информацию о том, было ли решено его обращение».

Блейк Курински (Blake Kurinsky)

Старший директор по управлению продуктами, Sprout Social

Создавайте это вместе с нами

Если вы создаете агента и пытаетесь понять, окупается ли он на самом деле, мы будем рады, если вы это попрощеете. Agent Intelligence доступен по программе раннего доступа!

Запросите ранний доступ и расскажите нам, на какой вопрос вы пытаетесь найти ответ. Мы все еще многое дорабатываем, и те вопросы, которые вы задаете, — это именно то, с чем мы хотим помочь в первую очередь. Вы также можете ознакомиться с документацией, чтобы узнать, как выглядит настройка.

Менеджер продукта в Mixpanel

Старший продуктовый дизайнер в Mixpanel