Amplitude всегда помогала командам видеть, как люди действительно используют их продукты. Ее проактивный продуктовый агент Wave помогает командам превращать эти инсайты в готовые улучшения. В Amplitude отмечают, что примерно на 80% Wave работает на моделях OpenAI, включая GPT‑6.1 Sol, GPT‑6 Luna и GPT‑Image‑2.5 Flare. Wave преобразует продуктовые инсайты в планы реализации, которые команды могут передать агентам-программистам (включая Codex), а затем измеряет влияние этих изменений.
По оценкам Amplitude, Wave помогает командам выпускать улучшения продуктов всего за 1–2 дня вместо примерно одного месяца. На собственной главной странице Amplitude агент Wave помог персонализировать карточки с подсказками, что обеспечило рост числа отправок с их помощью на 160%.
«ИИ теперь способен находить полезную работу, которую мы даже не думали ему поручать. Модели OpenAI могут исследовать проблему, писать и запускать код, а также использовать полученные результаты для принятия решений о том, что делать дальше».
— Спенсер Скейтс (Spenser Skates), генеральный директор Amplitude
От продуктовых данных до выпущенных улучшений
Wave — это проактивный продуктовый агент Amplitude. Команды задают ему продуктовую область, а также цели и метрики, которые хотят улучшить. Wave объединяет данные Amplitude, записи сессий, отзывы клиентов и код, чтобы выявлять и приоритизировать возможности, разрабатывать решения и координировать внедрение с участием людей и агентов-программистов. Затем он отслеживает результаты и использует эти знания при подготовке следующего раунда улучшений.
Для реализации этого рабочего процесса Amplitude использует разные модели OpenAI для разных задач. GPT‑6.1 Sol поддерживает менеджер возможностей и глубокий анализ кода и данных. GPT‑6 Luna справляется с частыми и более дешевыми задачами, такими как сканирование кода и выполнение небольших проверочных тестов. GPT‑Image‑2.5 Flare генерирует продуктовые макеты, используя в качестве визуальных ориентиров скриншоты из записей сессий.
Когда возможность готова к реализации, команды могут отправить ее напрямую из Wave агентам-программистам, включая Codex, вместе с техническим планом и критериями приемки для руководства процессом разработки.
Как Wave обеспечил рост вовлеченности агента на 160%
«Идея Wave заключается в создании единой платформы с агентами, которые прочесывают огромные массивы записей сессий, аналитики и кода для поиска возможностей по улучшению продуктов», — объясняет Джейкоб Ньюман (Jacob Newman), главный менеджер по продуктам в области ИИ в Amplitude.
Amplitude протестировала Wave на собственной главной странице, где общие карточки с подсказками должны были помочь пользователям начать диалог с ИИ-агентом. Wave обнаружил, что пользователи часто обходят их стороной: в выборке из 100 записей сессий 80 пользователей вводили свои собственные вопросы и только 12 выбирали готовую подсказку.
Wave предложил персонализировать карточки на основе недавних графиков, дашбордов или страницы, с которой пришел пользователь. Он проиллюстрировал изменение и подготовил технический план, предусматривающий сохранение возможности свободного ввода текста и показ общих подсказок, если контекст персонализации недоступен. После краткого обзора команда передала работу агенту-программисту и провела A/B-тестирование изменения.
Согласно результатам эксперимента, которыми поделилась Amplitude, количество сообщений, отправленных через карточки с подсказками на главной странице, увеличилось на 160% по сравнению с контрольной группой спустя всего один день. «Это отличный пример того, как заурядные вещи, которые обычно игнорируются, могут повысить вовлеченность в использование функций неожиданным образом», — объясняет Эрик Карлсон (Eric Carlson), старший главный инженер по ИИ в Amplitude.
Выбор подходящей модели OpenAI для каждой задачи
Задачи Wave предъявляют разные требования к его моделям. Глубокое исследование требует мощных возможностей рассуждения и хорошо обоснованных выводов. Небольшая проверка, повторяемая сотни раз, должна выполняться быстро и стоить недорого. Amplitude оценивает качество, задержку и стоимость для каждой задачи, а затем соответствующим образом назначает модели.
«OpenAI предоставила нам как мощные модели для рассуждений, так и более мелкие и быстрые модели, что позволило сбалансировать качество, задержку и стоимость инференса для всего продукта».
— Спенсер Скейтс (Spenser Skates), генеральный директор Amplitude
При оценке исследователя возможностей (Opportunity Investigator) в Wave компания Amplitude проверяла, насколько модели подтверждают выводы, избегают ложноположительных результатов, учитывают отзывы оценщиков, восстанавливаются после сбоев инструментов и удерживают соответствие утверждений имеющимся доказательствам. GPT‑6.1 Sol набрала 4,06 балла из 5 в общем зачете по сравнению с 3,62, 3,52 и 2,94 у трех альтернативных моделей. Она заняла первое место по всем пяти критериям исследования и показала самое быстрое медианное время проведения расследования — 54 минуты.
В ходе отдельного оценивания агента по работе с данными (Data Science Agent) в Wave модель GPT‑6.1 Sol набрала 67,5 балла из 100 по сравнению с 69,3 у другой ведущей модели, при этом средняя стоимость работы модели составила $1,28 против $2,63 за один запрос. GPT‑6.1 Sol также получила более высокие оценки по соблюдению контрактов инструментов, оценке и неопределенности, а также по опоре на фактические данные.
Оценка агента по работе с данными на базе GPT‑6.1 Sol
Для выполнения больших объемов работы, таких как сканирование кода и проведение небольших проверочных тестов, Amplitude использует GPT‑6 Luna, чтобы минимизировать задержки и снизить затраты. Распределение работы между специализированными агентами позволяет команде резервировать более дорогостоящие рассуждения для задач, где они нужнее всего.
При создании вайрфреймов и макетов модель генерации изображений от OpenAI набрала 80,3 балла из 100 для вайрфреймов решений по сравнению с 63,9 у другой модели генерации изображений. Оценка Amplitude охватывала качество коммуникации, точность воспроизведения продукта, соблюдение инструкций, читаемость текста и элементов пользовательского интерфейса, а также визуальную согласованность по 15 направлениям.
Оценка вайрфреймов, созданных с помощью GPT‑Image‑2.5 Flare
Команды сохраняют полный контроль над тем, что выпускается
Клиенты из разных отраслей уже используют Wave в бета-версии для выявления и выпуска улучшений продуктов. Wave анализирует данные сессий и аналитики, а затем формирует рекомендации с предлагаемым исправлением, техническим планом и критериями приемки.
Исходя из этого, команды могут контролировать уровень автоматизации. Большинство команд отправляют исправления багов напрямую агентам-программистам, в то время как новые функции и более крупные проекты проходят проверку человеком.
Для изменений, которые доходят до релиза, путь от обнаружения до реализации может быть очень коротким: среди запущенных клиентами экспериментов, фича-флагов и руководств каждый четвертый был запущен в тот же день, когда Wave обнаружил эту возможность, половина — менее чем за четыре дня, а две трети — в течение недели.
Данные получены путем интерполяции предоставленных контрольных точек; кривая носит иллюстративный характер, а не отражает отдельные наблюдения.
Что дальше
«Наша цель в сотрудничестве с OpenAI — сделать саморазвивающиеся продукты стандартным способом создания программного обеспечения для компаний», — говорит Скейтс. По мере того как модели OpenAI будут лучше справляться с рассуждениями и написанием кода, команды смогут делегировать агентам еще больше задач по исследованию и реализации, что в конечном итоге позволит быстрее доставлять лучшие продукты пользователям. Amplitude уже видит это на практике: агенты находят и помогают реализовывать улучшения в ее собственном продукте, пока команда работает над другими приоритетами: «Я думаю, команды будут удивлены тем, как многого они смогут добиться, когда их софт работает бок о бок с ними, делая продукт лучше».
