С тех пор как в прошлом году мы запустили эксперименты и флаги функций для наших корпоративных клиентов (Enterprise), мне снова и снова задавали один и тот же вопрос: «Это здорово, а когда они появятся на других тарифах?»
Сегодня я рад сообщить, что эксперименты и флаги функций теперь доступны на тарифных планах Free и Growth в Mixpanel. Они включают в себя:
- Определенный ограниченный объем экспериментов и флагов функций
- Полное соответствие функциональности нашему тарифу Enterprise
- Возможность добавлять еще больше экспериментов и флагов функций простым указанием данных кредитной карты
Зачем Mixpanel внедряет эксперименты и флаги функций?
ИИ значительно упростил написание кода. Превращение идеи в работающую функцию теперь занимает полдня, а не целый спринт. Таким образом, узким местом становится не разработка, а валидация. Вам все еще нужно знать до фиксации кода, действительно ли идея выдерживает проверку реальными пользователями.
Как мы писали в нашем руководстве «Новая парадигма тестирования»: «Сегодня процветают не те команды, которые выпускают больше всего релизов. А те, которые выпускают правильные вещи с большей скоростью».
Именно это помогают вам осуществлять эксперименты и флаги функций на базе ИИ, и мы хотим, чтобы каждая команда могла использовать их там же, где они уже измеряют эффективность.
Теперь мы можем выпустить функцию, выдвинуть гипотезу о ее влиянии и сразу же измерить результаты. Возможность делать это, не покидая инструмент, в котором уже собраны все наши данные, вся ключевая аналитика и все отчеты, просто имела смысл.
Мэтью Корли (Matthew Corley)
Руководитель отдела разработки, Outlier
Запускайте весь цикл с помощью удобного для вас инструмента
Эксперименты и флаги функций полностью поддерживаются в Mixpanel MCP и Mixpanel Agent, поэтому цикл работает прямо в тех инструментах, с которыми вы уже работаете:
- Выявляйте возможности. Узнайте, что происходит в вашей воронке онбординга, и получите анализ первопричин на основе «живых» данных.
- Запускайте тест. Ваш ИИ-клиент предлагает гипотезу и основную метрику, а затем запускает тест.
- Выпускайте победителя. ИИ-ассистент по программированию создает флаг, интегрирует его в код и увеличивает масштаб внедрения.
А если вам нужно что-то более специфическое, Mixpanel Headless предоставляет примитивы для создания собственного рабочего процесса.
Принимайте взвешенные решения
Тестирование имеет значение только тогда, когда вы можете доверять результатам. Именно поэтому мы вложили колоссальные средства в наш статистический движок и включили во все тарифные планы все методологии и проверки работоспособности, необходимые для того, чтобы убедиться в достоверности наблюдаемого прироста — без каких-либо ограничений функционала только потому, что вы проводите меньше экспериментов.
- Выбирайте между моделями Frequentist, Sequential и Bayesian (в бета-версии)
- По мере необходимости используйте методы CUPED, поправку Бенджамини — Хохберга, винсоризацию, поправку Бонферрони, мониторинг SRM и тестирование на предэкспериментальное смещение
- Устанавливайте метрики успеха и защитные метрики, а также настраивайте статистические параметры по мере необходимости (например, изменяя порог достоверности)
Всё это звучит как бессмыслица? Не беспокойтесь, Mixpanel Agent поможет вам правильно настроить тест и интерпретировать результаты.
Точное таргетирование, безопасный выпуск
Вы также можете проводить тесты, создавать аварийные выключатели (kill switches) и управлять развертыванием прямо из Mixpanel с помощью наших встроенных флагов функций. Переходите от развертывания к соответствующей функции Session Replay или создавайте дашборд для автоматического отслеживания успеха после релиза.
Мы сделали флаги функций максимально гибкими, простыми в использовании и надежными:
- SDK и поддержка OpenFeature. Флаги доступны во всех наших клиентских и серверных SDK с поддержкой удаленной и локальной оценки в зависимости от того, насколько критична задержка для вашего сценария использования. Предпочитаете независимую от вендора настройку? Mixpanel также работает с провайдерами OpenFeature, поэтому вы можете оценивать флаги через стандартный API OpenFeature и менять провайдеров без переписывания логики флагов.
- Сохранение состояния флагов. Клиентские SDK могут сохранять назначения на устройстве с настраиваемым TTL, чтобы пользователи получали стабильный опыт даже при сбоях сети, вместо отката в середине сеанса.
- Права доступа, журнал аудита и тестировщики QA. Контролируйте, кто может создавать и редактировать флаги на уровне проекта или для каждого флага в отдельности, просматривайте полную историю изменений (кто, что и когда изменил) и добавляйте конкретных пользователей в белый список для тестирования варианта до его выпуска для остальных.
Что входит в тариф
Free: 1 000 пользователей, участвующих в экспериментах в месяц (MEU)*, до 10 активных флагов функций.
Growth: 5 000 MEU в месяц, до 50 активных флагов функций. Масштабируйте до 100 000 MEU и 500 активных флагов, добавляя MEU через Конструктор тарифов (Plan Builder).
*MEU учитывает пользователей, задействованных в эксперименте.
Аналитика для каждого.
Старший менеджер по продукту в Mixpanel
