DigitalOcean помогает разработчикам и растущему бизнесу создавать и запускать приложения с помощью более простой облачной инфраструктуры. Наши продукты варьируются от Droplets, наших виртуальных машин, до управляемых сервисов для инференса ИИ и агентов. Клиент, только начинающий работу с нами, может создавать свой первый сервер или пробовать новый способ создания ИИ-приложения.
Я продакт-менеджер, отвечающий за рост и онбординг в DigitalOcean. Моя задача — помогать клиентам пройти путь от регистрации до использования наших продуктов: найти нужный сервис, добавить способ оплаты и создать свой первый ресурс. Я также работаю с продакт-менеджерами, отвечающими за наши более новые ИИ-продукты, чтобы понять, что мешает их клиентам.
Мы помогаем клиентам находить и использовать продукты для запуска агентов, оценки моделей и обслуживания инференса. Хотя для создания первого черновика мы полагаемся на интуицию или прошлые бенчмарки, единственный способ действительно улучшить пользовательский опыт — это анализировать поведение пользователей и запустить программу экспериментов.
От продуктового анализа к эксперименту
До появления Wave наша команда уже использовала воронки и когорты Amplitude, чтобы понять, как разработчики проходят онбординг. Данные о кликах и повторы сессий помогали нам выявить места, где пользователи застревали. Например, наша воронка онбординга показала значительный отток на этапе добавления способа оплаты, до того как клиенты могли создать свой первый ресурс.
Поиск таких инсайтов требует значительных усилий, а их превращение в техническое задание для инженеров — еще больших. Нам нужно было детально изучить доказательную базу, решить, какое изменение стоит попробовать, обсудить с инженерами выполнимость и написать требования для эксперимента.
Поскольку ИИ ускорил разработку, поиск нужных инсайтов в качестве доказательств для принятия решения о том, какое продуктовое изменение стоит выкатывать, стал новым ограничивающим фактором.
Хейли Эйдем, PhD
Продакт-менеджер, DigitalOcean
Именно этим Wave и привлек меня. Он мог объединять отзывы клиентов, записи сессий и продуктовые данные, предлагать улучшения и готовить план, к реализации которого можно было сразу приступить. Я хотела проверить, стоят ли его предложения внимания и смогут ли инженеры вести разработку на основе его результатов. Также мне хотелось узнать, сможем ли мы довести эксперименты до принятия решений в Amplitude, даже пока мы еще разрабатывали метрики для наших ИИ-продуктов.
Тестирование Wave в пяти продуктовых направлениях
Мы присоединились к бета-тестированию и настроили пять продуктовых направлений: onboarding разработчиков, Harness Runtime, Action Gateway, Evaluations & Simulations и Inference Engine. Это дало нам сочетание знакомых проблем онбординга и вопросов относительно новых возможностей ИИ.
Wave предлагал ранжированные гипотезы с вайрфреймами и дизайном экспериментов. Как эксперт в этой продуктовой области, я могла быстро просмотреть их и за считанные минуты решить, какие из них стоят реализации.
Я руковожу нашей продуктовой работой с Amplitude вместе с Аароном Митчеллом, нашим техническим руководителем направления Platform Experience в DigitalOcean. Мы объединяем продуктовый и технический взгляды. Я анализирую возможности и то, что они могут означать для наших клиентов, в то время как Аарон руководит реализацией наших экспериментов. Благодаря использованию Wave мы также привлекли Джоша Бейли, Суманта Мехту и Сатиша Джотикумара для работы над гипотезами в их продуктовых областях.
Для выбранных экспериментов я использовала Wave, чтобы создавать тикеты напрямую в Jira, и могла сразу переходить к их обсуждению с командой. Инженеры создавали и запускали тесты на основе этих файлов.
Сотрудничество с ними дало нам контекст каждого продукта при поиске улучшений в сфере онбординга и наших новых ИИ-продуктов. Мы отслеживали тесты и изучали результаты в Amplitude без использования дополнительных инструментов или времени аналитиков. По мере получения опыта мы также могли уточнять определения метрик и статистические настройки.
Всего за шесть недель Wave выявил 55 возможностей в этих продуктовых направлениях, включая четыре бага, которые мы не обнаружили ранее, и четыре идеи по устранению продуктовых пробелов, о которых мы не задумывались. Мое время, затрачиваемое на написание отдельных документов с требованиями к продукту (PRD), сократилось практически до нуля.
Хейли Эйдем, PhD
Продакт-менеджер, DigitalOcean
Больше клиентов добавили способ оплаты
Наш анализ онбординга уже показывал, что добавление способа оплаты было самой большой точкой оттока. Wave предложил сделать это требование более заметным на странице создания Droplet.
У нас уже был небольшой индикатор в процессе. Эксперимент перенес подсказку в баннер в верхней части страницы, сделав его аналогичным другим процессам создания. Баннер мог помочь клиентам быстрее заметить требование, но мог и загромождать интерфейс. Мы хотели протестировать этот компромисс.
Команды, видевшие баннер, на 3,3% чаще добавляли способ оплаты по сравнению с контрольной группой. Результат соответствовал заданному пороговому значению достоверности в 80%, и мы решили внедрить баннер для всех.
Предоставление клиентам контроля над их дашбордом
Другая возможность касалась блока Product Spotlight на нашем основном дашборде. Мы хотели дать клиентам возможность скрывать промо-блок, одновременно отслеживая, не снизится ли вовлеченность в продвигаемые продукты.
Вовлеченность в продвигаемые продукты практически не изменилась между двумя группами. Мы решили внедрить эту опцию, дав клиентам, которым не нужно было промо-предложение, способ убрать его со своего дашборда.
Переосмысление процесса Harness Runtime
Для Harness Runtime, который позволяет клиентам создавать управляемые среды выполнения агентов, мы протестировали добавление информации о ценах на целевую страницу. Наша гипотеза заключалась в том, что отсутствие подробностей мешало клиентам создавать среду.
Создание сред с добавленной информацией оказалось немного ниже. Мы не смогли сделать вывод, что дополнительная информация стала причиной снижения, и решили не выкатывать это изменение.
Однако это дало нам еще один вопрос для проверки: поможет ли клиентам начать работу более простой процесс с более понятным рекомендуемым путем? Этот вопрос теперь определяет наш подход к Harness Runtime и Inference Engine.
Больше возможностей для действий
Wave дал нам возможность довести гипотезу до готового эксперимента с гораздо меньшим объемом работы над PRD. Я могла тратить свое время на анализ доказательств и выбор направлений, в то время как команда разработки сразу начинала с предложенного решения и плана эксперимента.
Мы планируем развернуть баннер оплаты и переключатель промо-блока для всех клиентов, а затем протестировать более простой процесс в Harness Runtime. У нас также есть четыре бага для исправления и четыре продуктовые идеи для оценки объема работ. По мере совершенствования наших метрик и устранения пробелов в логировании ИИ-продуктов мы рассчитываем продолжать использовать Wave для поиска и тестирования способов помочь клиентам начать работу.
