Мониторинг работоспособности автоматических цепочек писем: как мы создали его с помощью Claude

У любой команды удержания клиентов есть одна и та же уязвимость: автоматические цепочки писем ложатся на бок, но вы далеко не всегда замечаете, где именно это происходит, и тем более — почему.

Одно-единственное письмо в серии из 8 приветственных писем проваливается. Показатели открытий падают, растет число жалоб на спам, выручка снижается. Но общие цифры по цепочке все еще выглядят нормально, так что недели подряд никто ничего не замечает.

Я — вице-президент по удержанию в Particle, ведущем DTC-бренде мужской косметики с базой подписчиков более миллиона человек. У нашей команды в работе находится более 1000 активных email- и SMS-сообщений в 140 активных цепочках, причем в каждой цепочке насчитывается от 5 до 30 писем.

При таких объемах мониторинг эффективности писем и проверка работоспособности каждой цепочки на полную мощность заняли бы у команды целую неделю.

Поэтому мы создали решение с помощью Claude.

Проблема подхода большинства команд к управлению автоматическими цепочками

Большинство команд удержания делают одно и то же: они заходят в цепочки, приносящие наибольший доход, выбирают одно или два письма, запускают тест и смотрят на результаты. А затем повторяют все сначала.

Это не такая уж плохая стратегия, но это не настоящая оптимизация, поскольку она затрагивает лишь верхние 3% вашей email-программы.

Остальные 97% просто работают, и часто никто не проверяет их на наличие более глубоких проблем, таких как:

• Сохраняет ли пятое письмо в цепочке брошенной корзины такую же эффективность, как 18 месяцев назад
• Актуален ли дизайн
• Не устарело ли предложение
• Не перестало ли срабатывать что-то в логике триггеров
• Увеличилось ли количество жалоб на спам или отказов

Klaviyo предоставляет общие показатели по цепочкам, и если цепочка в целом выглядит нормально, легко предположить, что и все ее содержимое тоже в порядке.

Для нас с нашими 140 цепочками и огромным количеством активных сообщений такое предположение означало потерю огромных денег. Но мы не могли точно увидеть, где именно возникают эти глубокие проблемы, не инвестируя массу времени.

Создание оценки работоспособности цепочки с помощью Claude

Мы создали еженедельный монитор цепочек: дашборд, который каждую неделю автоматически подтягивает данные из интеграции Claude x Klaviyo и всего нашего аккаунта Klaviyo.

Вот как это работает:

1. Каждая цепочка получает оценку работоспособности.

2. Каждое письмо внутри каждой цепочки проверяется по заданным нами пороговым значениям:

• Падение показателей открытий
• Падение показателей кликов
• Падение выручки на одного получателя
• Падение числа получателей
• Рост числа жалоб на спам
• Рост числа отписок
• Рост показателей отказов.

3. Когда какой-то параметр пересекает пороговое значение, срабатывает оповещение. Мы разделяем оповещения об эффективности и оповещения о доставляемости, поскольку они требуют разных ответных мер.

4. В результате получается ранжированный список, в котором четко видно, какие цепочки требуют внимания и какие конкретно письма внутри этих цепочек являются проблемными. Система указывает на конкретное письмо со ссылкой на него в Klaviyo.

Полезный совет по здоровью рассылок: мы также установили минимальные пороги по числу получателей. Если письмо слишком новое или имеет слишком малый объем для генерации значимых данных, оно не вызывает оповещений. Система выводит на экран только реальные сигналы.

Получение ответов о первопричинах от Claude за секунды, а не дни

Здесь наш еженедельный монитор работоспособности цепочек становится еще более полезным.

Внутри каждого представления письма на дашборде есть окно чата с Claude, привязанное именно к этому сообщению. Когда срабатывает предупреждение, мы получаем уведомление, и Claude выступает в роли собеседника, который уже знает контекст: что это за письмо, какими были метрики на прошлой неделе, что изменилось и каковы возможные причины.

Таким образом, мы можем спросить его напрямую:

• Что стало причиной падения CTR?
• Является ли снижение числа получателей главной причиной падения выручки или происходит что-то еще?
• Какие A/B тесты вы бы запустили для этого письма, учитывая текущую ситуацию?

Claude может прочитать HTML-код конкретного письма и провести более точный анализ на основе тем, превью и реального контента, благодаря чему предложения получаются менее банальными. Он генерирует варианты тестов за считанные секунды. Мы проверяем их, создаем задачу и двигаемся дальше.

До появления нашего монитора работоспособности ручной сбор тех же рекомендаций потребовал бы выгрузки данных из Klaviyo, создания отчета, его анализа и последующего написания ТЗ с нуля. И это для одного письма. Для нас, имеющих более 1000 активных сообщений одновременно, это было просто невозможно.

Интеграция с Monday.com: сокращаем разрыв между обнаружением проблемы и ее устранением

Когда мы принимаем решение отреагировать на предупреждение, задача отправляется прямо на нашу доску Monday со всеми прикрепленными данными: названием цепочки, письмом, типом оповещения и метриками. Назначается ответственный исполнитель. Как только проблема решена, задача исчезает с доски.

Это важно, потому что раньше анализ и сама работа находились в совершенно разных местах. Вы находили проблему в одном инструменте, описывали ее, копировали куда-то еще и вручную назначали задачу. Теперь идентификация проблемы и сама задача происходят в одном месте.

Полезный совет по здоровью рассылок: если вы настраиваете аналогичный процесс, обязательно отправляйте задачи в свою систему управления проектами.

На 400% больше тестов и на десятки тысяч долларов больше выручки

С нашим новым еженедельным монитором работоспособности мы проводим более 30 новых A/B тестов в неделю по всем нашим цепочкам.

При том объеме тестов, которые мы теперь проводим по всей программе, наш монитор работоспособности увеличил наши возможности тестирования на 400%. При нашей базе, где каждый 1% прироста CTR приносит ощутимую выручку, эти расширенные возможности потенциально транслируются в десятки тысяч долларов дополнительного ежемесячного дохода.

Второе, что отслеживает наш монитор работоспособности — это технические сбои. Цепочки ломаются по причинам, не имеющим ничего общего с текстом или дизайном: интеграция перестает работать, меняется условие триггера или фильтр случайно исключает слишком много подписчиков. При наших масштабах такие незаметные сбои раньше оставались незамеченными неделями. Теперь они попадают в сводку оповещений в следующее воскресенье.

3 вещи, которые мы сделали бы иначе

Мы бренд косметики, а не софтверная компания. У нас нет большого штата инженеров. Создание этого монитора потребовало реальных усилий, и вот 3 вещи, к которым мы подошли бы иначе, если бы начинали все сначала:

• Настройка порогов: мы потратили много времени на калибровку того, что считать реальным оповещением, а что — шумом. Слишком высокая чувствительность приводит к тому, что дашборд затапливается предупреждениями, не требующими действий. Недостаточная чувствительность приводит к тому, что реальные проблемы проскальзывают мимо. Получение правильной калибровки потребовало множества итераций, и мы до сих пор настраиваем этот процесс.
• Система оценки: мы создали собственную оценку работоспособности для каждой цепочки, что очень полезно, но поначалу методология была несколько произвольной. Со временем мы ее усовершенствовали, но если бы мы начинали сегодня, то потратили бы больше времени на точное определение того, как выглядит здоровая цепочка, прежде чем писать первую строчку логики.
• Охват за пределами цепочек: мы начали с цепочек, а теперь у нас есть отдельный модуль для кампаний. Если бы мы строили все с нуля, то спроектировали бы архитектуру так, чтобы она поддерживала оба направления с первого дня, вместо того чтобы рассматривать их как отдельные разработки.

Что полная прозрачность дает вашей email-программе

Ваша программа в Klaviyo может быть не до конца оптимизирована, поскольку вам не хватает прозрачности. И, конечно же, невозможно исправить то, чего вы не видите. Если вы похожи на нас и управляете сотнями писем в десятках цепочек, то, чего вы не видите, значительно превосходит то, что находится в поле зрения.

Сочетание данных Klaviyo, анализа Claude и специально созданной панели мониторинга меняет это соотношение. Но это не заменяет экспертных решений. Человек по-прежнему проверяет каждое оповещение, решает, какие тесты запустить, и утверждает каждое изменение.

Это означает, что вы можете принимать такие решения по всем вашим более чем 1000 письмам в цепочках, а не только по топ-3.

Если создание чего-то подобного своими силами нереализуемо для вашей команды, это близко к тому, что функция Flow Audit в Klaviyo Composer уже делает за вас прямо внутри Klaviyo. Спросите ее, как работает цепочка, и она шаг за шагом пройдет по последовательности, укажет, где отсеиваются клиенты, и объяснит почему простым языком, опираясь на ваши реальные сегменты, каталог и историю эффективности.

То, что создала моя команда, потребовало реальных инженерных усилий, настройки пользовательских порогов и постоянного обслуживания панели мониторинга. Composer позволяет получить аналогичный результат в ходе одного разговора без необходимости разработки, поэтому ваше время уходит на исправление того, что работает плохо, а не на поиски этой проблемы.

Composer по-прежнему оставляет принятие решений за вами: что тестировать, что запускать и когда. Но если вам нужна такая прозрачность без необходимости технического обслуживания, она уже встроена.

Хотите масштабировать свою почтовую рассылку с помощью похожего подхода?