Replay Vision — это наш ИИ-слой поверх Session Replay. Он настраивает сканеры на ваши записи сессий, анализирует их и суммирует результаты на основе заданных вами параметров. Посмотрите видео ниже, чтобы узнать больше.

С момента запуска 3 августа пользователи создали 20 097 сканеров в 9 488 организациях. Проценты ниже относятся к сканерам, для которых пользователи написали собственный промпт.

Многие промпты подходят более чем под одну из четырех категорий, поэтому в сумме получается больше 100%. (Для достоверности я не стал исправлять опечатки. Их вводили реальные люди.)

Этот вариант использования — бальзам на душу нашей команде, поскольку объединение данных из нескольких продуктов PostHog дает контекст, который вы больше нигде не найдете. Пользователи замечают что-то в Error Tracking, а затем переходят в Replay Vision, чтобы увидеть, как это происходит с реальным человеком.

Если вы используете Error Tracking, эту связку стоит настроить. Error Tracking сообщает вам, что произошло исключение, как часто и в какой версии. Он не может сказать, что делал пользователь, заметил ли он это или сдался. Сканер, настроенный на ту же ошибку, может это сделать, и он помечает такие сессии, чтобы следующая попала к вам.

Баги отличаются от фрикций, о которых говорится в пункте №3. Фрикция — это «это запутанно», «это медленно» или «из-за этого я сдался». Баги — это сломанные вещи с устранимой причиной.

Некоторые примеры включают:

Продавец на Shopify увидел сбой получения вариантов в Error Tracking, а затем создал соответствующий сканер, помечающий variant_fetch_failed
Неправильное отображение модального окна оплаты на iOS Safari (происходит с пользователями прямо во время платежа)
Искаженный текст из-за ошибки перевода, стоивший им бронирований
Компания, занимающаяся голосовым ИИ, следит за тем, как ИИ перебивает людей, вмешивается в ответы или прерывает учащихся на полуслове

Вот некоторые баги, которые ищут сканеры:

Распространенные промпты для обнаружения багов и ошибок

Здесь используется более техническая формулировка по сравнению с другими категориями, и несколько промптов прямо ссылаются на «баги» (bugs) или «ошибки» (error) по имени, а не на более мягкие формулировки вроде «фрикций»:

«Помоги мне найти баги, проблемы с UX и 404»
«Поймать ошибку при клике на оформление заказа»
«Посмотри пользовательские сессии, где наш ИИ дал сбой и пользователь застрял» (компания, создающая ИИ-продукт, ищет специфические для ИИ сбои)
«Найти случаи, когда пользователь столкнулся с фрикцией, сбоем отправки или ошибкой интерфейса при взаимодействии с вариантом/опытом эксперимента»

Вот сканеры, которые люди используют для поиска багов:

Эта категория в основном сводится к одному вопросу: почему люди не платят?

Сканер может рассказать об ошибках в процессе выставления счетов, например, о неработающей кнопке оформления заказа или о том, как пользователи застревают где-то по пути, еще до того, как дойдут до шага ввода номера кредитной карты.

Он не сможет сказать, что люди считают ваш продукт слишком дорогим, извините — возможно, вместо этого стоит попробовать Surveys?

Однако не все сводится к страницам оплаты. Примеры:

портал покупателя, который люди бросают,
продукт, который организация хочет заставить людей использовать активнее («Я хочу добиться от них большей применимости и использования»),
и настройка/онбординг: где люди сомневаются и где они уходят.

Промпты различаются в зависимости от индустрии:

туристические компании следят за процессами бронирования,
пищевые компании следят за страницами кейтеринга,
сайты по поиску работы следят за тем, куда люди попадают из Google,
финтех-компания следит за тем, заканчивают ли люди оплачивать просроченный счет,
а бизнес на Stripe Connect следит за тем, завершают ли мерчанты регистрацию.

Распространенные промпты для анализа конверсии и оттока

Слова, которые постоянно повторяются, — это «онбординг» (onboarding) и «застрял» (stuck), а также множество вопросов «почему»:

Отток на этапе онбординга/регистрации (самая крупная группа):

«Найти, где пользователи застревают в онбординге» (эта почти идентичная фраза повторяется у множества несвязанных организаций)
«Категоризировать конкретный этап или функцию, на которой пользователи тормозят или отваливаются во время онбординга»
«Найти людей, которые пытаются зарегистрироваться, но не могут»

Сбои при оформлении заказа / оплате:

«почему пользователи бросают оформление заказа»
«Найти сессии, где пользователь не смог заплатить из-за ошибки или проблемы с UX»
«найти сессию, начатую для оплаты с помощью кредитной карты, но пользователь потерялся»

Широкие вопросы в стиле «почему мы не конвертируем», задаваемые скорее как бизнес-задача, а не спецификация интерфейса:

«Я хочу понять, почему мы не конвертируем в платящих пользователей»
«я пытаюсь понять, где клиент застревает и почему продажи не происходят»
«Я хочу отслеживать макет нашей страницы пожертвований и получить как можно больше данных для сбора инсайтов по улучшению конверсии этой страницы»

Формулировки посадочной страницы / вовлечения в контент, привязанные к конверсии:

«Я хочу, чтобы ты посмотрел записи посадочной страницы и сказал мне, где люди отваливаются»
«Найти, где пользователи проводят больше всего времени на странице и каковы общие паттерны для пользователей, которые конвертируются в бронирование»
«Я хочу знать, как далеко прокрутили страницу праздников те пользователи, которые совершили конверсию на мобильном устройстве»

Вот наиболее распространенные сценарии, за которыми следят сканеры конверсий:

Обнаружение UX-фрикций / яростных кликов (rage-click) встречается в 31% промптов. Это один из сканеров по умолчанию, и он отвечает на вопрос: насколько неприятно взаимодействовать с моим продуктом? (По шкале от 1 до 5.)

Это также самый часто используемый повторно шаблон. Клиенты тяготеют к встроенной отправной точке «Оценка разочарования» больше, чем к любой другой.

Они также настраивают пользовательские сканеры, измеряющие похожие метрики, такие как «Сводка по UX и фрикциям сеанса» или «Трудности с аутентификацией при входе», которая измеряет не реагирующие формы, задержки при получении кода подтверждения или многократные попытки ввода учетных данных.

Распространенные промпты для обнаружения UX-фрикций / яростных кликов

Слово «застряли» (stuck) всплывает снова и снова:

«Найти сессии, где пользователи застревают на мобильных устройствах»
«найти сессии, где пользователи застревают на оформлении заказа»
«Найти сессии, где пользователи застревают на странице /offer»

Разочарование / раздражение, названное напрямую:

«Найти проблемы, которые расстраивают пользователей»
«найти сессии, где пользователи разочарованы редактором книг»
«Мне нужно отслеживать раздражающие всплывающие окна, недостатки мобильного интерфейса и т. д.»

Борьба с трудностями, сформулированная как прямой вопрос:

«Понять борьбу пользователей в PostHog»
«найти сессии, где пользователь пытался смоделировать сценарии компании, но испытывал трудности при этом»

Некоторые слова, которые люди используют для описания плохой сессии:

«Использует ли кто-нибудь эту штуку, которую я выпустил?» — главная причина, почему люди используют PostHog.

Большинство пользователей просто спрашивают об использовании, но некоторые идут немного дальше, интересуясь тем, как люди используют функцию, на каких частях страницы они фокусируются, типах взаимодействия, достигают ли люди своих лимитов и т. д.

В целом, это специфичные для продукта вопросы, поэтому совпадений мало. Тем не менее, стоит просмотреть их для поиска идей. «Завершение разговорного онбординга» — это когда кто-то подтверждает, что только что внедренный процесс онбординга делает то, что должен. «Взаимодействие и подтверждение при первом входе пользователя» проходит через пять отдельных шагов приглашения кого-то в рабочее пространство, чтобы посмотреть, куда попадают люди. Вы уловили суть.

Вот типы сканеров, которые люди используют для мониторинга внедрения функций:

Распространенные промпты для отслеживания внедрения/использования функций

«Использует ли кто-нибудь эту штуку?», заданное самыми разными способами:

«Я хочу знать, используется ли функция и/или задерживаются ли в ней надолго»
«Найти вхождения для новых настроек редактирования» (проверка внедрения недавно выпущенной настройки)
«Найти сессии, когда люди использовали все свои видео, а также когда они возвращались» (отслеживание квот / повторных визитов)
"можешь ли ты определить человека, проходящего процесс аутентификации, а затем присвоить ему тег auth-login или auth-signup?"
"можешь рассказать, что обычно пользователи делают в моем приложении?" (самый широкий, максимально открытый вариант из этой категории)

Вот конкретные типы функций, которые люди отслеживают с помощью Replay Vision:

Бонус: действительно ли работает короткий промпт?

Да, в качестве отправной точки. Большинство людей больше никогда не меняют свой промпт — 93% сканеров используют тот, с которого начинали.

Те же, кто возвращается к ним, склонны делать их длиннее: медианная длина увеличивается со 117 до 139 символов. И это приносит результат: отредактированные сканеры с большей вероятностью продолжают работать через месяц (62% против 44%).

Поэтому начинайте с коротких формулировок. Дайте сканеру одно предложение, пусть оно поработает день, и почитайте результаты. Затем доработайте его. Часто проблема кроется в фильтрах, а иногда — в формулировке. Подробнее о создании работающих сканеров читайте в материале о том, что мы узнали из наших первых 400 тыс. сканирований Replay Vision.

Один паттерн бросается в глаза. Онбординг — это крупнейший кластер оттока, и один и тот же промпт о людях, застрявших в нем, появляется в организациях, у которых нет ничего общего, кроме этой проблемы. Около 200 организаций независимо друг от друга решили, что именно эту часть своего продукта они не видят.

Каков ваш аналог? Онбординг, регистрация и оформление заказа — пожалуй, самые простые места для старта и те сценарии, где вы обнаружите самые серьезные трудности. Направьте туда сканер и посмотрите, что произойдет.