Как отслеживать ваши KPI с помощью ИИ-агента в Mixpanel

Поскольку ИИ ускоряет выпуск продуктов, продуктовые команды берут на себя всё больше метрик, но времени следить за каждой из них становится меньше. Что бы ваша команда ни измеряла — будь то уровень активации, недельные активные пользователи или конверсия регистраций, — отслеживание обычно выглядит одинаково: каждое утро открывать дашборд, чтобы проверить, не изменилось ли что-то, или вручную выгружать цифры каждую неделю, чтобы описать изменения для стейкхолдеров. Это работает, но это ручная работа, и наблюдение происходит только тогда, когда вы об этом вспоминаете.

Мониторинг KPI в Mixpanel передаёт эту задачу ИИ-агенту. Вы выбираете метрику, задаёте расписание, и агент следит за ней круглосуточно, а затем доставляет дайджест в Slack или на почту, в котором рассказывается, что изменилось и на что стоит обратить внимание. Вы остаётесь в курсе метрики, и она сама приходит к вам с контекстом.

Определение

Что такое мониторинг KPI?

Мониторинг KPI — это практика отслеживания ключевой метрики с течением времени и получения предупреждения, когда она меняется значимым образом. В Mixpanel за наблюдение отвечает ИИ-агент: вы выбираете метрику, задаёте периодичность, и он доставляет персонализированный дайджест в Slack или на почту, в котором обобщает изменения и отмечает то, что считает важным.

Это мониторинг KPI в продуктовой аналитике, а не мониторинг серверов или инфраструктуры. Он также отличается от живого дашборда, который вы обновляете, и от порогового оповещения, которое срабатывает в момент, когда число выходит за пределы. Мониторинг KPI приносит вам плановую, контекстную сводку по метрике.

Вот что делает KPI-агент и как его настроить.

Что делает агент KPI Monitoring

Агент KPI Monitoring в Mixpanel — это способ отслеживать KPI в динамике, не проверяя дашборд самостоятельно. Вы получаете постоянную, не требующую усилий осведомлённость о той самой цифре, которая вам важна, прямо там, где вы уже работаете.

Что делает агент и где его возможности заканчиваются

• Выполняет один фиксированный запрос по выбранной вами метрике
• Резюмирует, что изменилось по сравнению с базовым уровнем
• Отмечает значимые изменения с обоснованием
• Не будет предпринимать действий самостоятельно

Как настроить монитор KPI

Настройка занимает несколько минут и полностью выполняется в продукте. Вот полная последовательность действий:

• Откройте рабочий процесс Automation. В боковой навигации нажмите «+ Create New», затем выберите Automation в нижней части раздела Analysis. (Если вы не видите этот пункт, возможно, в вашей организации ещё не включён Mixpanel AI — администратор может активировать его в настройках.)
• Выберите метрику для отслеживания. Выберите событийную метрику в стиле Insights, которую вы уже настроили, — сумму, количество или уникальное количество. Агент использует существующее определение метрики как источник истины.
• Задайте периодичность. Дайджесты могут приходить ежедневно, еженедельно или ежемесячно. Еженедельная периодичность — разумный выбор по умолчанию для большинства команд, ежедневная подходит для метрики, которую вы активно продвигаете, а ежемесячная — для медленно меняющихся показателей, которые вы всё же хотите фиксировать.
• Добавьте инструкции. Этот шаг большинство команд недооценивают. Поле Instructions формирует комментарий в сводке, а не сам запрос, поэтому вы можете объяснить агенту, что для вас важно.
• Выберите канал доставки: Slack или электронная почта. Для доставки в Slack необходимо сначала настроить интеграцию Slack для вашего проекта.
• Просмотрите и сохраните. Используйте «run now», чтобы увидеть пример дайджеста, прежде чем выбирать периодичность. Когда всё выглядит правильно, сохраните. Первая плановая сводка придёт в следующий запланированный срок, и вы сможете приостановить, изменить или удалить монитор в любой момент.

Совет от команды Mixpanel

Не пропускайте поле Instructions. Оно определяет, как агент пишет дайджест, а не то, что он запрашивает, поэтому инструктируйте его как коллегу: объясните, что считать значимым для этой метрики и с какого сравнения начинать. Что-то вроде «сосредоточься на изменении неделя к неделе и отмечай всё, что отклоняется более чем на 2 стандартных отклонения от среднего за 30 дней», даст более точную картину, чем стандартная.

Что появляется в дайджесте

Каждый дайджест короткий по замыслу. Вы получаете краткую сводку того, как вела себя метрика за последний период по сравнению с базовым уровнем, а также любые изменения, которые агент отметил как значимые, с обоснованием. Также есть элемент обратной связи: если агент показал что-то бесполезное, вы можете сообщить ему об этом, и со временем дайджесты станут точнее.

На практике это читается как записка от коллеги, который проверил цифру за вас. Еженедельный монитор недельных активных пользователей может начаться с замечания, что метрика выросла на 6% по сравнению с прошлой неделей, а затем указать, что основной рост начался в середине недели. Вы получаете «что» и «где» в паре предложений и сами решаете, что делать дальше.

Мониторинг KPI, оповещения и Root Cause Analysis: отличия

Мониторинг KPI, оповещения Anomaly Detection и Root Cause Analysis — все они работают с изменениями метрик, поэтому их часто путают. Однако они созданы для разных ситуаций и лучше всего работают вместе, а не как замена друг другу. Вот как их различить с первого взгляда:

На какую метрику стоит поставить монитор?

Начните с той цифры, за которую вы отвечаете, затем добавьте опережающие индикаторы, которые обычно меняются раньше неё. Если вы не уверены, как связаны эти входные данные, Metric Trees показывают, как ваши KPI выстраиваются в иерархию до конечного результата, и позволяют отслеживать их вместе. А это руководство по деревьям KPI — хорошее введение в их построение, прежде чем решать, за чем следить.

Монитор также оправдывает себя сразу после запуска. Когда вы выпускаете что-то за фича-флагом, поставьте монитор на метрику, которую этот флаг должен изменить, и следите за ней первые пару недель. Будьте честны в отношении охвата: монитор отслеживает одну выбранную метрику и сообщает её динамику, он не сравнивает варианты между собой — это задача Experiments Agent.

Настройте монитор — и пусть он сам приходит к вам

Выберите метрику, которую вы проверяете чаще всего, поставьте на неё монитор и перестаньте открывать дашборд, чтобы узнать, не изменилось ли что-то. Чтобы узнать больше, посмотрите, как Mixpanel KPI Agent следит за вашей метрикой и отправляет вам обновления.

Staff-продуктовый дизайнер @ Mixpanel