Любая программа оптимизации может похвастаться списком достижений. Гораздо меньшее их число способно отчитаться перед финансовым директором и объяснить, сколько именно выручки эти достижения реально принесли. Обычно это преподносят как проблему отчетности, но, по моему опыту, проблема возникает гораздо раньше — на этапе, когда команды решают, какие именно клиентские данные вообще заслуживают внимания.
Клиентские данные приносят пользу только тогда, когда они меняют решение, которое в противном случае было бы другим, а полученный результат превосходит затраты на его внедрение и поддержание. Главный вопрос заключается в том, какие части ваших клиентских данных могут пройти этот тест и сможете ли вы определить их до начала инвестиций.
«Вы постоянно используете это [число]. Мне кажется, оно означает совсем не то, что вы думаете».
Компания McKinsey выяснила, что компании, использующие персонализацию, растут быстрее. Это легко интерпретировать как доказательство того, что персонализация приносит больше выручки, но на самом деле это не так. Данный вывод говорит лишь о том, у кого дела идут хорошо, а не о том, что именно привело к такому успеху. Быстрорастущие компании также склонны иметь больше денег, лучшие данные и больше ресурсов. Персонализация может быть частью причины их быстрого роста, но она также может быть следствием наличия ресурсов для инвестиций в нее.
Смешение этих двух интерпретаций может обойтись очень дорого. Исследователи из Yahoo измерили эффект от таргетированной рекламы с помощью рандомизированной контрольной группы. При сопоставлении показанных и непоказанных пользователей методом наблюдения видимый прирост составлял примерно от 870% до 1200% в зависимости от способа сопоставления групп. Но при сравнении с рандомизированной контрольной группой расчетный прирост составил всего 5,4%.
Рон Кохави и Стефан Томке позже использовали тот же пример в Harvard Business Review, чтобы проиллюстрировать разрыв между тем, что показывают ваши данные, и тем, к чему реально приводят ваши действия.
Клиентские данные отлично показывают, кто уже покупает и как эти клиенты себя ведут. Однако сами по себе они не могут подсказать, как те же самые клиенты отреагировали бы на другой опыт. Вот почему так много тщательно исследованных сегментов в итоге создают больше работы, чем дополнительной выручки.
Разным клиентам не обязательно автоматически нужен разный опыт
Это различие имеет значение, когда вы решаете, действительно ли персонализация стоит затраченных усилий.
Допустим, вы проводите тест новой страницы продукта. Версия Б в целом превосходит версию А. Если сегментировать результаты по аудитории, то версия Б побеждает на 3% для большинства посетителей и на 9% для вернувшихся клиентов.
На первый взгляд, вернувшиеся клиенты выглядят очевидной возможностью для персонализации, верно? Не совсем. Если версия Б побеждает для обеих групп, покажите ее всем — и вы получите прирост без дополнительных затрат на создание отдельного опыта.
Когда вы решаете, заслуживают ли две аудитории разных версий интерфейса, аргументы в пользу персонализации появляются тогда, когда лучшее решение действительно меняется в зависимости от аудитории. Версия Б может победить для одной группы, в то время как версия А побеждает для другой. Это известно как перекрестное взаимодействие (crossover interaction).
Если для всех побеждает одна и более сложная стратегия таргетинга, она сталкивается с очевидным недостатком: больше правил, больше вариаций и больше работы ради результата, которого можно было бы достичь, просто запустив победителя для всех.
Исследователи из Уортона подкрепили это цифрами. Аня Щеткина и Рон Берман проанализировали данные пяти крупных розничных продавцов и протестировали пять распространенных методов персонализации в ходе двух масштабных полевых исследований. Оба исследования были поразительно похожи: каждое включало примерно 20 вариантов, схожие лучшие версии и ту же самую общую проблему.
Результаты оказались совершенно разными.
В одном исследовании персонализация превзошла простой запуск единственной лучшей версии на 18%. В другом прирост составил всего 4%. Почти идентичные настройки привели к разнице в ценности персонализации более чем в 4 раза.
Разница заключалась не в сложности метода персонализации. Скорее, дело было в том, помогли ли доступные клиентские данные выявить группы, по-разному реагирующие на тестируемый опыт.
Это приводит к не самому очевидному выводу: большее количество клиентских данных автоматически не увеличивает ценность персонализации. Ее увеличивают данные, которые помогают выявить значимые различия в реакциях. К сожалению, многие программы вкладывают значительные средства в первое, не убедившись, что у них достаточно второго.
Прежде чем создавать отдельный опыт для сегмента, воспользуйтесь этой простой диагностикой из четырех вопросов. Если ответ на любой из этих вопросов отрицательный, лучшим решением обычно будет запустить наиболее эффективный вариант для всех, а усилия по персонализации направить в другое русло.
1. Меняется ли победитель или одна из групп просто реагирует сильнее?
Вы ищете изменение лидера (flip), а не просто больший прирост. Группа, в которой версия Б побеждает на 9% вместо 3%, — это повод быстрее внедрить версию Б, но сама по себе не повод для персонализации.
2. Выделили ли вы сегмент до просмотра результатов?
Если «нарезать» завершенный тест достаточного количества способов, в конце концов вы обязательно найдете что-то интересное. Сегмент, обнаруженный постфактум, стоит исследовать, но он должен стать новой гипотезой для тестирования, а не готовым выводом к действию.
3. Можете ли вы идентифицировать клиента достаточно рано, чтобы отреагировать на разницу?
Перекрестное взаимодействие, основанное на пожизненной ценности клиента (LTV), не поможет, если вы не можете идентифицировать покупателя до момента оплаты. Сигнал должен быть доступен до того, как произойдет взаимодействие или будет принято решение, которое вы хотите изменить.
4. Покроет ли дополнительная ценность возросшие затраты на персонализацию?
Каждый отдельный вариант опыта создает дополнительные расходы. Это могут быть первоначальная разработка, постоянное обновление контента, контроль качества, отчетность, затраты на платформу и техническое обслуживание. Если ожидаемый дополнительный прирост существенно не оправдывает добавленные затраты, то более простой подход, вероятнее всего, является лучшей инвестицией.
Сделайте расчеты перед тем, как что-то создавать
Последний вопрос требует числового выражения. Прежде чем браться за персонализацию, посчитайте, какую дополнительную прибыль должна принести аудитория, чтобы просто покрыть расходы на создание и поддержку такого опыта.
Минимально необходимый прирост = Годовые дополнительные затраты на персонализацию ÷ годовая прибыль, генерируемая целевой группой
«Годовые дополнительные затраты» должны включать расходы, которые существуют именно потому, что существует данная персонализация. В зависимости от программы сюда могут входить внедрение, создание контента, контроль качества, затраты на платформу, отчетность и текущее обслуживание.
Например:
Подтвержденный прирост выручки на 3% выглядит как успех в отчете по тестированию, но если учесть стоимость реализации такого опыта, он приносит всего около $11 500 дополнительной годовой прибыли. По сравнению с годовыми затратами в $18 000, эта персонализация приносит убыток примерно в $6 500 в год.
Тут стоит уточнить: это не довод против персонализации как таковой. Это призыв знать точку безубыточности до того, как вы что-либо построите. Лучшие возможности обычно возникают там, где аудитория достаточно велика, поведение различается достаточно сильно, а потенциальная выгода значительна настолько, чтобы оправдать дополнительные затраты.
Большинство просмотренных мной программ персонализации содержат массу вариантов, которые вряд ли когда-либо преодолели бы эту планку.
Однажды я работал с брендом в сфере туризма и гостеприимства, который тестировал персонализированную страницу размещения для повторных посетителей, ранее просматривавших объекты премиум-класса. На этой странице отображался недавно просмотренный объект, расставлялись приоритеты для соответствующего пакетного предложения и предоставлялась возможность продолжить предыдущий поиск.
Тест дал прирост на 6%, и команда была готова запустить изменения в работу, но сначала мы пересчитали цифры. Аудитория генерировала около 900 000 долларов годового дохода, поэтому прирост стоил примерно 54 000 долларов. При марже в 25% это составило 13 500 долларов дополнительной прибыли. Дополнительные затраты на поддержку работы данного функционала с учетом сезонных предложений, объектов недвижимости, контроля качества и отчетности составили около 15 000 долларов в год. При дополнительной прибыли в 13 500 долларов этот успешный тест на самом деле приносил бы убыток в размере около 1 500 долларов ежегодно.
Тест сработал, но экономика не сошлась. В итоге мы отложили персонализацию и направили эти ресурсы на более масштабное улучшение пути бронирования с большим потенциалом роста.
Возможно, у вас уже есть несколько возможностей для пересечения аудиторий
Прежде чем инициировать новые исследования, просмотрите уже завершенные тесты и задайте простой вопрос: действительно ли выигрышный вариант отличался в зависимости от аудитории или та же самая версия просто показала себя лучше для всех?
Ищите только те сегменты, которые у вас изначально были причины оценивать, и рассматривайте все найденные закономерности как гипотезу, которую нужно подтвердить с помощью нового теста. Цель состоит не в том, чтобы искать статистическую значимость в старых результатах, а в том, чтобы составить короткий список правдоподобных возможностей для персонализации, используя уже оплаченные вами данные.
Для большинства команд этот список оказывается короче, чем ожидалось. Это может расстраивать, но на самом деле это очень важный сигнал.
Короткий список необязательно означает, что все ваши клиенты хотят одного и того же. Чаще это означает, что собираемые вами в данный момент данные плохо справляются с различением клиентов с разной реакцией. Это указывает на то, куда следует направить следующие инвестиции. Запуск новых тестов с теми же определениями аудитории не решит проблему. Вам нужны более качественные сигналы.
Это может означать объединение данных о поведении, покупках, CRM и других клиентских данных, чтобы вы могли выявить новые характеристики аудитории, которые стоит протестировать. Такие платформы, как Wingify Data Platform, могут помочь сделать эти сигналы пригодными для использования, создавая унифицированные профили клиентов и аудитории, которые можно задействовать в экспериментах. Данные по-прежнему не ответят на вопрос, какие именно клиенты заслуживают другого пользовательского опыта, но они дадут лучшие гипотезы о том, где могут существовать эти различия.
Протестируйте эти гипотезы и найдите случаи, когда выигрышный вариант действительно меняется в зависимости от аудитории. Как только это различие подтверждено, такой инструмент, как Wingify Personalization Suite, может превратить его в целевой пользовательский опыт, который продолжает измеряться с течением времени, а не в очередное разовое правило персонализации, которое запускают и забывают.
Измеряйте программу, а не отдельные победы
Даже если каждый случай персонализации проходит тест на пересечение, есть еще один показатель, который стоит сверить.
Суммирование заявленного прироста от каждого успешного эксперимента скорее всего приведет к завышению реального вклада программы оптимизации. Даже при внедрении только тех вариантов опыта, которые достигли статистически значимых результатов, некоторые из этих победителей все равно будут отражать случайную погрешность. Чем ближе результат к порогу значимости, тем выше этот риск.
Миньон Ли и Милан Шен из Airbnb studied this problem and proposed methods for estimating the cumulative impact of experimentation programs. Одним из самых практичных вариантов было сохранение постоянной контрольной группы.
Идея проста. Небольшая часть подходящего трафика ограждается от изменений, внедряемых программой, после чего долгосрочные показатели сравниваются с трафиком, получающим накопленные выигрышные варианты.
Такое сравнение может выглядеть менее впечатляюще, чем суммирование каждого заявленного выигрыша, но оно дает финансовому отделу кое-что гораздо более полезное: достоверную оценку реального вклада программы.
С чего начать
Данные о клиентах становятся полезными для персонализации, когда вы можете выделить группу, которая реагирует достаточно иначе, чтобы оправдать принятие другого решения, распознать эту группу вовремя для совершения действий и получить дополнительную прибыль, превышающую затраты на создание и поддержание такого опыта.
Это более высокая планка, чем просто наличие доступного для таргетинга сегмента.
Простой отправной точкой является история ваших собственных тестов. Возьмите последние двадцать завершенных экспериментов и найдите случаи, когда выигрышный вариант действительно менялся для заранее определенного сегмента.
Количество обнаруженных подтвержденных различий является более полезным мером потенциала персонализации, чем количество сегментов, хранящихся в вашем CDP. Если один и тот же вариант продолжает побеждать для разных аудиторий, ответ может быть проще: внедряйте победителя и продолжайте искать различия между клиентами, которые действительно влияют на принятие решений.
Часто задаваемые вопросы
Q1. Означает ли это, что персонализация не стоит усилий?
Персонализация по-прежнему имеет смысл, но ее ценность часто сосредоточена в меньшем количестве случаев, чем ожидает команда. В исследовании Wharton оба изыскания обнаружили ценность в персонализации, но одно дало примерно в четыре раза больший прирост, чем другое, при очень похожей отправной точке. Разница заключалась в том, действительно ли аудитории реагировали достаточно по-разному, чтобы оправдать создание отдельного опыта.
Q2. Так как же узнать, является ли пересечение настоящим?
Пересечение более достоверно, когда аудитория определена до теста и генерирует достаточно трафика для получения надежного результата. Рассматривайте все, что вы обнаружили постфактум, как гипотезу до тех пор, пока не сможете подтвердить это в ходе последующего теста.
Q3. Что делать, если у нас недостаточно трафика для тестирования на уровне групп?
Ограниченный трафик означает, что минимальный прирост, необходимый для оправдания тестирования на уровне групп, выше. В таком случае лучшим решением часто является показ самого сильного варианта опыта для всех. Более мелкие программы обычно получают больше пользы от улучшения этого опыта и более глубокого изучения своих клиентов, чем от разделения ограниченного трафика между правилами персонализации, которые они не могут надежно подтвердить.
