Когда мы начали рассматривать возможность создания no-code редактора для A/B-тестов, я не был уверен, стоит ли нам это делать.
Существует вполне разумный аргумент, что ИИ «убил» no-code эксперименты. Если любой может попросить ИИ внести изменения в продукт для тестирования, зачем нужен визуальный редактор? Я отнесся к этому серьезно. Поэтому, прежде чем принять решение, мы поговорили с теми, кто будет этим пользоваться: менеджерами по развитию (growth PMs), маркетологами и командами по оптимизации конверсии, в основном в потребительских компаниях.
Никто из них не внедрял изменения в продакшн с помощью ИИ.
На прошлой неделе мы запустили Web Experiments, наш новый визуальный редактор для no-code A/B-тестирования, а также ряд других обновлений Mixpanel. Но я хочу поделиться тем, что мы узнали при создании Web Experiments, потому что это многое говорит о том, где именно сейчас «застревает» работа над продуктом. Затем я расскажу о четырех других новых обновлениях продукта, которые ускоряют проведение тестов и повышают доверие к их результатам.
Почему ИИ не заменил no-code A/B-тестирование
ИИ упростил написание изменений для продукта. Но он не затронул большинство препятствий, стоящих между командой и запуском теста.
Некоторые из тех, с кем мы общались, имели юридические или комплаенс-ограничения относительно того, какие ИИ-инструменты они могут использовать на работе. Другие недостаточно хорошо знали кодовую базу, чтобы указать ИИ на нужный файл, не говоря уже о том, чтобы пройти процесс проверки и развертывания изменений. И почти все отметили, что время инженеров становится все более дефицитным ресурсом.
Это сильнее всего бьет по небольшим тестам. Изменение текста или стиля кнопки — это всего несколько строк кода, поэтому такие задачи первыми вычеркиваются, когда спринт переполнен. Но небольшие тесты могут значить больше, чем вы ожидаете. Одна команда, с которой мы общались, постоянно корректировала одну кнопку входа — от текста до ширины границы — и каждый раз видела более значительные колебания конверсии, чем они могли предположить. Поэтому они продолжали проводить новые тесты.
Проводите небольшие тесты без тикета для инженеров с помощью Web Experiments
Именно для этого и нужен Web Experiments. Вы открываете свой работающий сайт, вносите изменения в визуальном редакторе и запускаете их как A/B-тест без создания тикета. Он работает на тех же флагах функций, метриках и результатах, что и любой другой эксперимент в Mixpanel.
Мы намеренно сделали его простым. Визуальные редакторы отлично подходят для небольших изменений с низким уровнем риска, но быстро становятся ненадежными при усложнении задач, поэтому мы ориентировались на тесты, которые обычно «застревают», а сложные изменения оставили для экспериментов на основе кода. Есть два способа тестирования, и вы можете выбрать тот, который подходит вам больше. (Мы подробнее расскажем о принятых нами компромиссах в следующей статье.)
Web Experiments сейчас находится в стадии бета-тестирования. Присоединяйтесь к списку ожидания для получения доступа here.
Запуск теста — это только половина дела
Вот к чему я постоянно возвращался во время разработки: упрощение запуска теста не сильно помогает, если вы не можете доверять результату. Быстрый тест на «грязной» метрике — это не прогресс. Как и победный вариант, который никто не может объяснить.
Другие команды в Mixpanel работали над этим с разных сторон. Ни одна из этих функций не является исключительно экспериментальной. Они работают во всей системе Mixpanel. Но каждая из них имеет реальное значение при проведении тестов, поэтому вот как они проявляются.
Наведите порядок в метриках с помощью ИИ-управления данными
Могу ли я доверять этой метрике?
Любой тест хорош ровно настолько, насколько хороша метрика, которую вы измеряете. Если регистрации отслеживаются дважды под двумя разными именами событий или никто не уверен, какое событие «оформление заказа» является настоящим, ваш результат будет сомнительным еще до начала теста.
ИИ-управление данными (data governance) исправляет это. Он находит и объединяет дублирующиеся события, архивирует устаревшие и заполняет отсутствующие описания, чтобы выбранная вами метрика была именно той, которую вы имели в виду. Вы можете запустить это в Mixpanel через наш MCP-сервер.
Передайте рутину Mixpanel Agent
Может ли кто-нибудь просто сделать это за меня?
Mixpanel Agent теперь выполняет больше практической работы. Вы можете попросить его настроить редактируемый веб-эксперимент [ПОДТВЕРДИТЬ]. Он также может редактировать ваши дашборды (Boards), при этом каждое изменение отслеживается в истории версий, чтобы вы могли видеть, что изменилось, и отменить это. А для более крупных запросов он работает в фоновом режиме, пока вы занимаетесь другими делами.
Он также следит за ситуацией после запуска. Агент может настроить мониторинг KPI, чтобы вы получали уведомления о падении ключевой метрики, и может инициировать анализ первопричин, когда что-то меняется неожиданно, будь то во время теста или в любой другой день.
Объясните свои результаты с помощью Context Engine
Почему получился такой результат?
Допустим, вариант побеждает в целом, но показывает плохие результаты на мобильных устройствах. Ваши данные могут показать вам это. Но обычно они не могут сказать, что другая команда внедрила изменения в мобильный вход на той же неделе.
Context Engine, уровень, который дает ИИ Mixpanel понимание вашего бизнеса, теперь подключается к Jira, GitHub и Linear. Поэтому, когда вы спрашиваете, почему результат выглядит именно так, ответ может учитывать то, что ваша команда действительно внедрила, а не только то, что отразилось в ваших событиях. В этом разница между «вариант B проиграл на мобильных» и пониманием того, был ли это действительно вариант.
Отслеживайте изменения ИИ с помощью журналов аудита MCP
Что ИИ изменил в наших данных?
Поскольку все больше этой работы выполняется через ИИ, будь то Mixpanel Agent или инструменты вроде Claude и ChatGPT, подключенные через наш MCP-сервер, командам нужно видеть, что сделали эти инструменты. Изменения, внесенные через MCP, теперь отображаются в журнале аудита Mixpanel, помечены как MCP и привязаны к человеку, который их инициировал. Администраторы также могут выгружать журналы аудита через MCP для проверки активности или отправки их в свои инструменты безопасности.
Для экспериментов это означает, что если ИИ-инструмент затронул флаг или определение метрики в середине теста, об этом останется запись. В более широком смысле, это часто то, что позволяет командам безопасности дать «добро» на использование ИИ.
Больше маленьких тестов, меньше догадок
Мой вывод после создания Web Experiments заключается в том, что ИИ не устранил «узкое место». Он его переместил. Написание изменений стало быстрее. Но их запуск, измерение на данных, которым вы доверяете, и понимание результата — нет, по крайней мере, не сами по себе.
Именно на это направлен данный набор запусков. И это возвращает меня к той кнопке входа: несколько строк кода, результат, который никто не предсказал, и команда, которая продолжала работать, потому что могла. Я хочу, чтобы у большего числа команд был такой цикл.
Если у вас есть небольшие тесты, застрявшие в бэклоге инженеров, подпишитесь на ранний доступ к
А если вы хотите получить полное представление о том, как мы создаем продуктовую аналитику, работающую для каждой команды, узнайте больше здесь.
Старший менеджер по продукту в Mixpanel
