В ходе одного из анализов пользователей Amplitude мы просмотрели запись сессии, где человек потратил 76 секунд на формулирование вопроса на главной странице нашего агента. На той же странице, вероятнее всего, в поле зрения пользователя, наш продукт отображал три карточки с подсказками. По сути, мы сделали три попытки предугадать, что именно захочет сделать этот человек, и все они оказались мимо. Это стоило ему больше минуты на объяснения.
Налицо было явное несоответствие между тем, что мы пытались создать, и тем, как работал реальный интерфейс. Мы увидели возможность исследовать проблему и улучшить наши подсказки на основе недавней работы каждого пользователя. Это именно тот тип задач, который лучше всего решать с помощью Wave.
Мы создали Wave, чтобы находить ответы на сложные вопросы о том, как люди используют цифровые продукты. Мы также применяем его и для нашего собственного продукта. Во всех командах Amplitude уже используют Wave для сохранения текстовых ответов, уточнения требований к настройке, изменения принципов исследования запросов агентами и устранения трудностей при поиске по документации.
Когда мы впервые представили Wave, мы отследили баг, который приводил к удалению сессий, если пользователь кликал по экрану во время ответа агента. Wave связал данные из записей сессий с отзывами клиентов и помог превратить расследование в пул-реквест для агента-разработчика. Наша команда проверила и объединила исправление.
Это полезный рабочий процесс: использовать записи сессий для формирования гипотезы, а аналитику — чтобы проверить, насколько широко распространен этот паттерн. Wave превращает такое исследование в «Возможность» (Opportunity), включая предлагаемое изменение и способ его оценки. Мы можем изучить доказательства, пересмотреть план и передать реализацию коллеге или агенту-разработчику. После выпуска изменения мы возвращаемся в тот же контекст, чтобы посмотреть, что изменилось.
Вот несколько способов, которыми мы используем Wave для улучшения Amplitude.
Делаем первый вопрос более релевантным
Вернемся к пользователю, который проигнорировал наши карточки с подсказками. Этот человек участвовал в анализе Wave, охватывавшем 100 записей сессий. В этой выборке пользователи вручную вводили вопросы в 80 сессиях и лишь в 12 случаях выбрали карточку. Подсказки отображались корректно. Просто их формулировки были настолько общими, что не соответствовали задачам, которые действительно нужно было решить людям.
Пользователь, перешедший с дашборда или вернувшийся к существующему графику, предоставлял нам контекст, который мы могли использовать. Рекомендация Wave заключалась в том, чтобы генерировать подсказки на основе недавней активности этого человека с графиками и дашбордами. Наша команда обновила интерфейс: теперь персонализированные карточки показываются пользователям с имеющейся историей контекста, а общие подсказки отображаются тем, у кого такой истории нет. При этом у всех пользователей осталась возможность проигнорировать карточки и ввести собственный вопрос.
Первоначальный эксперимент (проведенный в июле) показал 2,43 отправки подсказки на 100 пользователей, которым демонстрировались персонализированные карточки, по сравнению с 0,94 для общих карточек. Этот прирост (на 160% больше) является лишь предварительным результатом теста, который еще требует дальнейшей валидации, но он служит знаком прогресса.
Придаем полезным ответам следующий шаг
Когда Amplitude помогает пользователю найти ответ на вопрос, у него может возникнуть желание повторить этот анализ. Мы создали кастомных агентов ровно для такого типа повторяющихся задач, однако четкого пути для превращения полезного ответа в кастомного агента не существовало. Wave выявил эту «Возможность» для нас. Система порекомендовала добавить контекстную подсказку, которая ведет к созданию кастомного агента, если ответ представляет собой повторяющуюся задачу.
Мы также добавили атрибуцию источника чата, чтобы отличать клики по созданию агента, совершенные из ответа. Отчет за четыре недели зафиксировал около 70 уникальных пользователей в неделю, кликающих по новой точке входа в чате, что составляет примерно 8,3% от всех кликов по созданию. Теперь мы видим, как люди выбирают этот путь для решения повторяющихся задач.
Еще одной частью нашей эволюции стало понимание того, что некоторые ответы стоит сохранять даже тогда, когда пользователь не хочет превращать их в автоматизированные задачи. Пользователи всегда могли сохранить график, но структурированное текстовое объяснение не имело эквивалентного действия.
Wave предложил новые механизмы для сохранения результатов в Notebook или их экспорта/копирования. Наша команда одобрила и выпустила функцию. Теперь сохраненное содержимое блокнота включает цитаты из ответа и ссылку на исходный результат. Финальный отчет зафиксировал 152 события сохранения за 30 дней.
Все работало, но этот шаг вперед также привел к одному шагу назад: показатель Session Value Rate (метрика, созданная нами для оценки пользовательского опыта) не учитывал новое событие сохранения. Функция сохранения использовалась, но нам потребовалось обновить определение метрики, прежде чем она смогла точно оценивать такое поведение.
Другая «Возможность» расширила доступ к результатам работы синтезированных специализированных агентов через ресурсы Model Context Protocol (MCP). Наша команда реализовала этот интерфейс, чтобы клиенты MCP могли получать эти результаты. Теперь сохранение ответа, превращение повторяющейся задачи в агента и предоставление результатов через MCP — это различные способы задействовать уже проделанную агентом работу в новых местах.
Помогаем пользователям настроить рабочий процесс
Другой продукт Amplitude, AI Feedback, выполняет поиск по всем различным каналам, через которые клиенты общаются по поводу продуктов (отзывы, опросы, тикеты в поддержку и т. д.), и консолидирует их предложения. Для получения значимых результатов ему необходимы подключения к этим источникам обратной связи, однако его состояние пустого экрана (empty state) не давало пользователям достаточной помощи для установления этого первого подключения.
Wave выявил этот пробел, подготовил рекомендацию, и наша команда выпустила новый интерфейс с более четкими инструкциями по установлению таких подключений. В период с 30 июня по 29 июля измерения этой «Возможности» показали, что 121 уникальный пользователь начал настройку и 84 завершили подключение источника, что составляет показатель завершения в 69,4%.
Следующим шагом в нашем исследовании стало отслеживание действий пользователей в галерее коннекторов. Мы обнаружили, что пользователи могли открыть коннектор и столкнуться с препятствием, требующим прав администратора для продолжения. Наша команда добавила значки требований для Intercom и Zendesk, если источники не были подключены, перенеся обязательное условие туда, где пользователи делают выбор. В качестве метрики успеха в этом эксперименте мы отслеживаем завершенные подключения и все еще ждем данных, которые подтвердят рост.
Другая команда использовала Wave для изучения выбора источников данных во время онбординга. Выпущенное изменение добавляло метки рекомендаций для CSV или HTTP API, оставляя порядок плиток прежним. Рекомендация HTTP API была внедрена 27 октября.
По результатам непосредственного эксперимента активация настройки для разработчиков составила 24,61% для варианта с HTTP API и 17,75% для контрольной группы. Результат носил направленный характер и статистически был неопределенным, поэтому рекомендация остается гипотезой для дальнейшей оценки.
Wave также предложил концепцию чек-листа для руководства по онбордингу. После того как новый пользователь выбирал свою роль, чек-лист предлагал ему рекомендуемое действие на основе этого ввода. Эта «Возможность» была рассмотрена, однако внедрение и оценка ее влияния пока не подтверждены.
Изменение подхода агента к работе
Wave выявил сценарий работы Setup Agent, который проводил масштабное сканирование данных, прежде чем спросить пользователей, чего именно они хотят. Наша команда изменила процесс так, чтобы начинать его с определения намерений пользователя. Обладая этой информацией, Setup Agent может проводить исследование, предлагать быстрые и хорошо проработанные пути, а также выдавать более краткие предложения.
У исследователя Web Vitals была другая проблема: во время работы инструмент создавал повторяющиеся, перекрывающие друг друга отчеты о производительности. Команда внедрила более строгий контракт промпта для устранения этого дублирования, изменив инструкции, которые управляют тем, что создает агент. Оба изменения касаются поведения внутри агента.
Исследование Wave может привести к пересмотру промпта или другой последовательности решений. Оно даже может внести изменения в окружающее программное обеспечение
Джейкоб Ньюман (Jacob Newman)
Главный менеджер по продукту, Amplitude
Для подобных итераций наша команда рассматривает предложенную Wave реализацию и решает, что попадет к пользователям.
Изучение проблемы на основе документации и блога
Поиск по нашей документации мог выдавать результаты, когда пользователь еще вводил первые символы запроса. Короткий, неполный ввод мог вызвать запрос и событие поиска, запущенное до того, как человек закончил вводить слово.
Внедренное нами исправление ввело настраиваемый минимум в три символа и примерно 200 миллисекунд задержки (debounce). Более короткие варианты ввода теперь отображают подсказку без получения результатов или запуска поиска. Это изменение решает проблему преждевременных запросов и исключает неполный ввод из телеметрии поиска.
В блоге Amplitude Wave выявила возможность использовать тему публикации для выбора призыва к действию. Команда реализовала этот таргетинг с помощью существующего встроенного рекламного компонента Sanity, адаптируя следующее действие под то, что читал человек. Нам по-прежнему необходима атрибуция, которая отделяет эффект соответствия темы от изменений в структуре трафика и общей активности в формах.
Сохранение доказательств вместе с изменениями
С помощью Wave я могу просматривать предложенное изменение интерфейса вместе с контрактом промпта или исправлением инструментирования, а также с доказательствами, которые к нему привели. Наша команда решает, какое предложение выбрать, и проверяет то, что выпускается в релиз. Когда результат неясен, мы можем вернуться к исходному вопросу и определить, что именно должно показать следующее измерение.
Функция сохраненного ответа дает нам конкретную следующую задачу: включить новое действие сохранения в определение метрики, а затем оценить поведение, для поддержки которого оно было разработано. Исследование, реализация и результат остаются связанными в рамках Opportunity.
Предоставьте Wave продуктовую область и цель, а затем обсудите возможности со своей командой.
