Аналитика контакт-центра создавалась для мира, где люди отвечали на каждый звонок. Можете себе представить? Никакого перенаправления и музыки на удержании в исполнении Кенни Джи (я не жаловался, Кенни). Теперь ИИ-агенты берут на себя часть диалогов, а живые операторы — то, что осталось.
Тем не менее, метрики контакт-центра, которые вы отслеживали годами, могут ввести вас в заблуждение в отношении обоих.
Давайте рассмотрим, какие метрики важны, когда ИИ и живые операторы разделяют работу, как ИИ меняет каждую из них и как измерять их с помощью Twilio.
Что такое аналитика контакт-центра?
Аналитика контакт-центра — это практика измерения и анализа клиентских диалогов и активности операторов для понимания качества обслуживания, эффективности и клиентского опыта по голосовым и цифровым каналам.
Традиционно это означало статистику очереди и производительности операторов:
- Сколько времени клиенты ждут
Сколько времени клиенты ждут
- Сколько длятся звонки
Сколько длятся звонки
- Сколько вешают трубку
Сколько вешают трубку
Когда в процесс вмешиваются ИИ-агенты, ваша аналитика колл-центра должна отвечать на некоторые новые вопросы:
- Какие диалоги ИИ-агент разрешил самостоятельно?
Какие диалоги ИИ-агент разрешил самостоятельно?
- Где клиенты отказывались от него?
Где клиенты отказывались от него?
- Стали ли диалоги, доходящие до живого оператора, сложнее, чем раньше?
Стали ли диалоги, доходящие до живого оператора, сложнее, чем раньше?
Почему коэффициент удержания не должен быть вашей приоритетной метрикой
Коэффициент удержания (containment rate) — это доля диалогов, с которыми ИИ-агент или сценарий самообслуживания справляются без участия живого оператора. Это главный показатель для большинства внедрений ИИ-агентов, но он ничего не говорит о том, получил ли клиент то, что ему было нужно.
Проще говоря, этого недостаточно. Он не рассказывает всю историю, а полуправда может быть более запутывающей и вводящей в заблуждение, чем полное отсутствие информации.
Клиент, получивший четкий ответ, считается удержанным. Но точно так же считается клиент, который сдался и бросил трубку, или который попытается снова завтра в другом канале. Если слишком сильно настаивать на удержании, можно добиться его роста, просто сделав живого человека менее доступным.
Это не цель, и это не делает клиентов очень счастливыми.
Именно поэтому приведенные ниже метрики сосредоточены на результатах. Отслеживайте их как для ИИ, так и для живых операторов, и вы поймете, помогает ли ваш ИИ-агент клиентам или просто «отфутболивает» их.
Эти шесть метрик охватывают большую часть того, о чем руководители контакт-центров отчитываются сегодня. Для каждой из них ниже описано, что она измеряет, как ее меняют ИИ-агенты и как отслеживать ее с помощью Twilio.
1. Удовлетворенность клиентов (CSAT)
CSAT измеряет, насколько клиенты довольны взаимодействием, обычно с помощью короткого опроса после диалога. Когда ИИ-агенты обрабатывают часть пути, измеряйте CSAT отдельно для диалогов только с ИИ и диалогов с участием человека, иначе сильная команда операторов может скрыть слабого ИИ-агента.
CSAT — это то, что вы собираете и загружаете. В Twilio Flex вы можете загружать результаты опросов в Flex Insights в качестве пользовательских показателей диалогов (до десяти числовых значений на один диалог).
Руководство Twilio по проведению опросов после завершения задач с помощью Flex Insights описывает весь процесс создания: от опроса в Studio до отчетов по опросам. Предпочитаете готовый вариант? Flex интегрируется с Mindful Feedback для IVR после звонка, а также SMS-, email- и веб-опросов.
Однако большинство клиентов пропускают опросы. Чтобы оценивать степень удовлетворенности в каждом диалоге, напишите пользовательский оператор Conversation Intelligence, который оценивает его на основе стенограммы, и отслеживайте эту оценку наряду с результатами опросов.
2. Тональность (Sentiment)
Тональность показывает, что чувствовали клиенты во время разговора, и она охватывает каждый диалог, включая тех клиентов, которые пропускают опрос. Это важно для ИИ-агентов, так как клиенты, покидающие диалог с ИИ в расстроенных чувствах, редко останавливаются, чтобы оценить его.
В смысле, стали бы вы? Вероятно, нет.
Twilio измеряет тональность нативно. Conversation Intelligence включает созданный Twilio оператор тональности (Sentiment), который классифицирует каждый диалог как позитивный, негативный, нейтральный или смешанный по голосовым и мессенджер-каналам. Conversation Insights (в настоящее время в общедоступной бета-версии) может затем разбивать диалоги по меткам тональности. Для получения тренда, по которому можно вычислить среднее значение, напишите пользовательский оператор, который возвращает числовую оценку тональности, и зарегистрируйте ее как пользовательский показатель.
Во Flex функция Agent Copilot (в настоящее время в общедоступной бета-версии) фиксирует тональность клиента в заметках о завершении разговора для диалогов с участием операторов. Flex Insights (также в общедоступной бета-версии) сообщает метрики Agent Copilot, такие как диалоги с негативной, нейтральной или позитивной тональностью.
Узнайте, как создать это самостоятельно с помощью учебного пособия Twilio по Conversation Intelligence для — оно фиксирует тональность, краткое содержание и соблюдение сценария для каждого звонка и сохраняет результаты в вашей собственной базе данных.
3. Решение проблемы (Resolution)
Решение проблемы измеряет, была ли решена проблема клиента. Это самый надежный тест на то, справляется ли ИИ-агент со своей работой, но его сложно получить только из структурированных данных.
Twilio обрабатывает это двумя способами:
- Во Flex помощник Agent Copilot генерирует коды результатов (disposition codes) в своих заметках по завершении разговора, которые операторы могут просматривать и редактировать, а вы можете передавать свои собственные атрибуты результатов в Flex Insights. Шаблон проекта Flex от Twilio включает функцию результатов (Dispositions), которая записывает код завершения оператора в поле Outcome во Flex Insights.
Во Flex помощник Agent Copilot генерирует коды результатов (disposition codes) в своих заметках по завершении разговора, которые операторы могут просматривать и редактировать, а вы можете передавать свои собственные атрибуты результатов в Flex Insights. Шаблон проекта Flex от Twilio включает функцию результатов (Dispositions), которая записывает код завершения оператора в поле Outcome во Flex Insights.
- С помощью Conversation Intelligence вы можете оценивать решение проблемы с помощью пользовательского языкового оператора. Примеры пользовательских операторов Twilio включают оператор оценки диалога (Conversation Scoring), который оценивает решение проблемы в 35% от общей оценки качества. Для выделенной метрики решения проблемы настройте ваш оператор так, чтобы он возвращал отдельное числовое поле решения проблемы и регистрировал его как пользовательский показатель.
С помощью Conversation Intelligence вы можете оценивать решение проблемы с помощью пользовательского языкового оператора. Примеры пользовательских операторов Twilio включают оператор оценки диалога (Conversation Scoring), который оценивает решение проблемы в 35% от общей оценки качества. Для выделенной метрики решения проблемы настройте ваш оператор так, чтобы он возвращал отдельное числовое поле решения проблемы и регистрировал его как пользовательский показатель.
4. Среднее время обработки (AHT)
AHT измеряет, сколько времени операторы тратят на диалог, включая время разговора, удержания и завершения. ИИ-агенты имеют свойство менять этот показатель. Когда они берут на себя рутинные контакты, диалоги, доходящие до живых операторов, часто оказываются более сложными, поэтому AHT операторов может расти даже на фоне общей эффективности.
Flex отображает AHT нативно. Представление очередей в реальном времени (real-time Queues View) показывает среднее время обработки, время разговора и время завершения за последние 30 минут и за сегодня. Flex Insights добавляет историческое время обработки, которое включает работу по завершению. Для голосовых ИИ-агентов панель мониторинга Conversation Relay Insights показывает, сколько длятся звонки виртуального агента и живого оператора, сгруппированные по интервалам длительности.
5. Отказы и прерывания (Abandonment and drop-off)
Отказы (Abandonment) измеряют количество клиентов, которые уходят до того, как оператор ответит. Прерывания (Drop-off) охватывают клиентов, которые покидают диалог с ИИ или самообслуживанием на полпути.
Оба показателя важны, и их легко перепутать.
Flex отслеживает брошенные очереди нативно, включая заброшенные задачи, процент брошенных вызовов и короткие отказы в представлении очередей (Queues View), а также показатели брошенных диалогов в Flex Insights. Функция шаблона проекта Flex Hang Up By Reporting фиксирует, кто завершил каждый вызов, что обеспечивает точность отчетности по брошенным вызовам.
Для голосовых ИИ-агентов Conversation Relay Insights показывает, кто завершил звонок — клиент или виртуальный агент, а также долю молчаливых звонков, что помогает выявить моменты, когда клиенты сдавались. Полный показатель отказов ИИ определяется вами на основе этих сигналов.
6. Намерение
Аналіз намерения показывает, почему клиенты обращаются к вам, что подсказывает, что автоматизировать в следующем порядке и где ИИ-агенты не справляются.
Conversation Intelligence не содержит встроенного оператора намерений, но пользовательский оператор с выводом классификации может пометить намерение каждого диалога. Conversation Insights может подсчитывать диалоги по этой метке, позволяя увидеть основные причины обращений и то, как они меняются со временем. Те же результаты доступны через вебхук или из API результатов оператора (Operator Results API), если вы предпочитаете анализировать их в собственных инструментах.
Как создать аналитику контакт-центра с помощью Twilio
Большинство команд собирают аналитику из четырех уровней, начиная со встроенных возможностей:
- Встроенные метрики Flex: представление реального времени Queues View охватывает среднее время обработки (AHT), время разговора и постобработки, отказы, уровень обслуживания (SLA) и среднюю скорость ответа. Flex Insights, находящийся в публичной бета-версии, добавляет исторические панели мониторинга, оповещения о пороговых значениях и оценку диалогов для контроля качества.
Встроенные метрики Flex: представление реального времени Queues View охватывает среднее время обработки (AHT), время разговора и постобработки, отказы, уровень обслуживания (SLA) и среднюю скорость ответа. Flex Insights, находящийся в публичной бета-версии, добавляет исторические панели мониторинга, оповещения о пороговых значениях и оценку диалогов для контроля качества.
- Мониторинг голосовых ИИ-агентов: Conversation Relay Insights, общедоступный в рамках платных расширенных функций Voice Insights (Voice Insights Advanced Features), отслеживает время до первого звука, прерывания, ошибки, молчаливые вызовы, количество реплик за вызов и информацию о том, кто положил трубку, предоставляя просмотр отдельного вызова для отладки.
Мониторинг голосовых ИИ-агентов: Conversation Relay Insights, общедоступный в рамках платных расширенных функций Voice Insights (Voice Insights Advanced Features), отслеживает время до первого звука, прерывания, ошибки, молчаливые вызовы, количество реплик за вызов и информацию о том, кто положил трубку, предоставляя просмотр отдельного вызова для отладки.
- Оценка диалогов: Conversation Intelligence выполняет созданные Twilio операторы, такие как тональность (Sentiment) и соблюдение сценария (Script Adherence), а также написанные вами пользовательские операторы для оценки разрешения вопросов, намерений или качества как для голоса, так и для сообщений.
Оценка диалогов: Conversation Intelligence выполняет созданные Twilio операторы, такие как тональность (Sentiment) и соблюдение сценария (Script Adherence), а также написанные вами пользовательские операторы для оценки разрешения вопросов, намерений или качества как для голоса, так и для сообщений.
- Агрегация и сравнение: Conversation Insights (в публичной бета-версии) — это API, который агрегирует данные о диалогах и операторах. Результаты поступают примерно через 15 минут после событий диалога и готовы для использования в ваших собственных дашбордах или BI-инструментах.
Агрегация и сравнение: Conversation Insights (в публичной бета-версии) — это API, который агрегирует данные о диалогах и операторах. Результаты поступают примерно через 15 минут после событий диалога и готовы для использования в ваших собственных дашбордах или BI-инструментах.
Начните со встроенных метрик Flex, добавьте мониторинг ИИ-агентов при развертывании голосового ИИ и внедряйте оценку и агрегацию по мере уточнения ваших требований.
Как сравнить производительность ИИ и человека-оператора
Twilio сравнивает производительность ИИ и операторов-людей с помощью Conversation Insights, который позволяет детализировать данные о диалогах по каналам и по тому, кто участвовал в диалоге: ИИ-агент, оператор-человек или оба вместе. Цель заключается в оценке эффективности вашего персонала (как людей, так и ИИ) по одним и тем же метрикам.
Это сравнение отвечает на вопросы, которые пропускают панели мониторинга для одного агента. Зарегистрируйте числовую оценку, созданную вашим собственным оператором (например, оценку качества или разрешения), в качестве пользовательской метрики. Затем вы сможете усреднить ее по каналам, сравнить ее между ИИ и операторами-людьми или отслеживать ее неделю за неделей. Диалог, переданный от ИИ-агента оператору-человеку, учитывается в обеих категориях, что позволяет сравнить передачи с диалогами, которые каждый из них вел самостоятельно.
Оценивайте свой контакт-центр по тому, что действительно важно
ИИ-агенты не сделали аналитику контакт-центров устаревшей. Вместо этого они сделали старые дашборды неполными. Команды, которые подходят к этому правильно, отслеживают ИИ и операторов-людей по одним и тем же оценкам, измеряют результаты вместо перенаправления и следят за тем, что происходит при передаче вызова.
Twilio предоставляет инструменты для реализации этого подхода:
- Встроенные метрики Flex
Встроенные метрики Flex
- Мониторинг голосовых ИИ-агентов
Мониторинг голосовых ИИ-агентов
- Оценка диалогов, которую можно настроить под ваши критерии
Оценка диалогов, которую можно настроить под ваши критерии
- API для сравнения ИИ и операторов-людей в голосовых каналах и сообщениях
API для сравнения ИИ и операторов-людей в голосовых каналах и сообщениях
Начните бесплатно и оценивайте диалоги с помощью Conversation Intelligence или обратитесь в отдел продаж для обсуждения аналитики для вашего контакт-центра Flex.
Часто задаваемые вопросы
Какие платформы предоставляют панели мониторинга производительности операторов с отображением коэффициента удержания, индекса удовлетворенности (CSAT) и среднего времени обработки вызова?
Twilio Flex нативно сообщает среднее время обработки вызова, а оценки удовлетворенности из опросов загружаются в Flex Insights в качестве пользовательских метрик. Twilio Conversation Intelligence добавляет то, что упускает удержание: метки тональности и оценки разрешения от пользовательских операторов.
Какие инструменты поддерживают аналитику диалогов, включая определение намерений, процент отказов и оценку разрешения?
Twilio Conversation Intelligence классифицирует тональность и поддерживает написанные вами пользовательские операторы для оценки разрешения и намерений. Conversation Relay Insights показывает, кто повесил трубку при голосовых вызовах с ИИ, а Flex отслеживает брошенные очереди.
Является ли коэффициент удержания хорошей метрикой для ИИ-агентов?
Twilio Conversation Intelligence может измерять то, что упускает показатель удержания: была ли решена проблема клиента и что он чувствовал. Само по себе удержание считает успехом даже тех клиентов, которые бросили трубку от разочарования.
Как измерить CSAT для ИИ-агентов?
Twilio Flex загружает результаты опросов после диалога в Flex Insights как пользовательские метрики. Оценивайте разговоры только с ИИ отдельно или рассчитывайте удовлетворенность на основе стенограммы с помощью пользовательского оператора Conversation Intelligence.
Можно ли сравнить производительность ИИ-агентов и операторов-людей?
Twilio Conversation Insights детализирует данные о диалогах по каналам и по тому, кто принимал в них участие: ИИ-агент, оператор-человек или оба вместе. Conversation Relay Insights также разделяет объем голосовых вызовов и время их обработки между виртуальными и живыми операторами.
