5 ноября 2026 г.
Автор:
- Проведите аудит трех аспектов: что агент сохранил о клиенте, откуда взялся каждый факт и что агент использовал для формирования конкретного ответа.
Проведите аудит трех аспектов: что агент сохранил о клиенте, откуда взялся каждый факт и что агент использовал для формирования конкретного ответа.
- Происхождение данных встроено в каждое воспоминание: каждое наблюдение в Conversation Memory записывает свой источник и ID диалогов, на основе которых оно было создано, а история изменений показывает, как оно трансформировалось.
Происхождение данных встроено в каждое воспоминание: каждое наблюдение в Conversation Memory записывает свой источник и ID диалогов, на основе которых оно было создано, а история изменений показывает, как оно трансформировалось.
- Логирование извлечения данных — ваша задача: Agent Connect передает вашему коду воспоминания, извлеченные для каждого сообщения, поэтому вы можете логировать всё, что повлияло на каждый ответ.
Логирование извлечения данных — ваша задача: Agent Connect передает вашему коду воспоминания, извлеченные для каждого сообщения, поэтому вы можете логировать всё, что повлияло на каждый ответ.
- Ведите собственный журнал аудита: экспортируйте логи Memory и результаты Conversation Intelligence в хранилище, которое вы контролируете, и используйте ID диалога для их объединения.
Ведите собственный журнал аудита: экспортируйте логи Memory и результаты Conversation Intelligence в хранилище, которое вы контролируете, и используйте ID диалога для их объединения.
Звонит раздраженный клиент: «Почему ваш помощник постоянно говорит мне, что у меня премиум-план? Я перешел на более дешевый тариф в марте». Ваш оператор проверяет аккаунт. Точно, тариф понижен. Вот незадача. Так почему же ИИ-агент утверждает, что у них премиум?
Оправдание в духе «черного ящика» больше не работает. Вам нужно знать, почему ИИ-агент сказал то или иное. Если вы не можете этого сделать, вы не сможете контролировать (или исправлять) своих агентов.
В конечном счете, память о клиенте — это то, что движет ИИ-агентами. Память позволяет вашим агентам приветствовать вернувшихся клиентов по имени, пропускать уже заданные вопросы и продолжать с того места, где закончился предыдущий разговор. Это также означает, что ваш агент хранит постоянно растущий набор фактов о каждом клиенте, и кто-то должен иметь возможность видеть их, отслеживать и исправлять.
Ваши клиенты тоже этого хотят. Исследование Twilio показало:
- 49% потребителей заявили, что требуют полной прозрачности в отношении того, к каким именно данным может получить доступ ИИ
49% потребителей заявили, что требуют полной прозрачности в отношении того, к каким именно данным может получить доступ ИИ
- 54% потребителей больше доверяют ИИ, когда бренды четко объясняют, как работает логика
54% потребителей больше доверяют ИИ, когда бренды четко объясняют, как работает логика
- 32% компаний заявили, что активно отдают приоритет прозрачности ИИ при проектировании агентов
32% компаний заявили, что активно отдают приоритет прозрачности ИИ при проектировании агентов
Последняя статистика указывает на пробел, который необходимо устранить. Ваши клиенты хотят прозрачности, но для бизнеса это не является приоритетом. Давайте это изменим.
Вот как провести аудит того, что ваш ИИ-агент знает о клиенте, отследить каждый факт до диалога, из которого он был получен, и показать операторам-людям, откуда взялась та или иная рекомендация.
Что такое контрольный след ИИ?
Контрольный след ИИ — это запись того, что знала система ИИ, откуда пришла эта информация и что она использовала для получения каждого результата. Вы храните эту информацию, чтобы помочь людям проверять, объяснять и корректировать поведение системы.
Для ИИ-агентов, работающих с клиентами, эта запись должна отвечать на три вопроса:
- Что агент знает об этом клиенте? Характеристики, наблюдения и сводки диалогов, хранящиеся в их профиле.
Что агент знает об этом клиенте? Характеристики, наблюдения и сводки диалогов, хранящиеся в их профиле.
- Откуда взялся каждый факт? Диалог, система или импорт, которые его создали, и как он менялся с течением времени.
Откуда взялся каждый факт? Диалог, система или импорт, которые его создали, и как он менялся с течением времени.
- Что агент использовал для этого ответа? Воспоминания и знания, извлеченные в момент ответа.
Что агент использовал для этого ответа? Воспоминания и знания, извлеченные в момент ответа.
Для агентов, работающих с клиентами, вам нужно знать, что именно ваш ИИ-агент использует в качестве источника знаний. Если он сообщает клиентам неверную информацию, у вас, скорее всего, несколько проблем: неправильно обученный агент и неверная (или устаревшая) исходная информация.
Мы будем использовать Twilio Conversation Memory, которая хранит то, что ваши агенты узнают о каждом клиенте, вместе с:
- Agent Connect
Agent Connect
- Conversation Intelligence
Conversation Intelligence
- Enterprise Knowledge
Enterprise Knowledge
- Flex
Flex
Первые два шага охватывают то, что сохранено. Следующие два — то, что использовал агент. А последние два — исправление ошибок и ведение записей.
1. Проверьте, что агент сохранил о клиенте
Начните с профиля. В Conversation Memory все, что агент знает о клиенте, находится в его профиле в трех формах:
- Характеристики (Traits): Структурированные поля, такие как имя, номер телефона, тарифный план или предпочтительный канал связи.
Характеристики (Traits): Структурированные поля, такие как имя, номер телефона, тарифный план или предпочтительный канал связи.
- Наблюдения (Observations): Факты, извлеченные из диалогов, например, упоминание клиентом того, что он переезжает в следующем месяце.
Наблюдения (Observations): Факты, извлеченные из диалогов, например, упоминание клиентом того, что он переезжает в следующем месяце.
- Сводки (Summaries): Краткие изложения отдельных диалогов, каждое из которых привязано к одному ID диалога.
Сводки (Summaries): Краткие изложения отдельных диалогов, каждое из которых привязано к одному ID диалога.
Вы можете прочитать все три через Memory API. Вы можете получить список характеристик профиля, список его наблюдений и список сводок диалогов. Если у вас есть только номер телефона или адрес электронной почты, конечная точка поиска профиля сначала найдет соответствующий профиль.
Вы также можете просмотреть их в Twilio Console. Убедитесь сами. Мариус Оберт проводит пошаговый обзор агента на базе Conversations, где в каждом профиле есть вкладки для характеристик, сводок и наблюдений, а каждый ID наблюдения связан с исходным диалогом.
2. Отследите каждое воспоминание до его источника
Каждое наблюдение можно отследить до исходного диалога. В API каждое наблюдение содержит:
- ID диалогов: Диалоги, с которыми связано наблюдение.
ID диалогов: Диалоги, с которыми связано наблюдение.
- Время возникновения: Когда наблюдение произошло изначально.
Время возникновения: Когда наблюдение произошло изначально.
- Временные метки создания и обновления: Когда Memory сохранила его и когда оно было изменено в последний раз.
Временные метки создания и обновления: Когда Memory сохранила его и когда оно было изменено в последний раз.
Вы можете фильтровать наблюдения профиля по источнику, ID диалога или дате создания. Поэтому, если клиент оспаривает факт, вы можете открыть диалог, из которого он был взят, и прочитать, что именно он сказал.
Допустим, ваш агент продолжает предлагать интеграцию с Salesforce клиенту, чья команда никогда не использовала Salesforce. Отфильтруйте его наблюдения за последние 30 дней, найдите то, что касается Salesforce, и откройте диалог, на который оно указывает. Оказывается, клиент упомянул, что его предыдущая компания работала на этой платформе. Одно прочтение — и вы точно знаете, что нужно исправить.
Память также обновляет наблюдения самостоятельно. Когда в ходе нового разговора добавляются детали или возникает противоречие с существующим наблюдением, Memory обновляет его, а при прямом противоречии сохраняет наиболее актуальную версию. В руководстве по концепциям Memory от Twilio приводится пример клиента, который перешел с вегетарианства на веганство. Чтобы увидеть, как изменилось наблюдение, конечная точка для пересмотра наблюдений (observation revisions) возвращает полную историю изменений, начиная с самой новой, с полным состоянием на момент каждого изменения.
3. Регистрируйте, что агент извлек для каждого ответа
То, что хранится — это лишь половина аудита. Вторая половина — это то, что агент извлек в контекст при ответе.
Twilio Agent Connect (SDK с открытым исходным кодом для подключения вашего ИИ-агента к каналам Twilio и Conversation Memory) извлекает профиль клиента, наблюдения, сводки и историю общения из Memory. Ваш обработчик сообщений получает этот ответ из памяти при каждом сообщении, наряду с сообщением клиента и контекстом сессии.
Поскольку ваш код формирует промпт, он может точно регистрировать, какие именно данные из памяти были использованы в каждом вызове LLM. Это работает для любого канала. При телефонных звонках Conversation Relay обрабатывает преобразование речи в текст и текста в речь, а тот же обработчик и логирование охватывают как голосовые, так и текстовые сообщения.
Каждое извлеченное наблюдение возвращается с идентификатором, содержимым, источником, идентификаторами разговоров, метками времени и оценкой релевантности, а каждая сводка возвращается с идентификатором разговора. Сохраняйте эти поля вместе с ответом агента, и вы сможете ответить на вопрос «почему агент сказал это?» для любого этапа диалога. Учебные пособия Twilio по памяти для нескольких вызовов на C# и Node.js показывают, как логировать необработанный ответ Recall для проверки, что является хорошим шаблоном для начала.
Наше руководство по лимитам токенов в длительных диалогах поддержки с ИИ описывает, как определять объем извлекаемых данных.
Twilio ведет логи извлечения данных на своей стороне. Логи наблюдаемости Memory включают события, когда наблюдения и сводки извлекаются, создаются, обновляются или удаляются, и вы можете просматривать и фильтровать их в отладчике Console. Enterprise Knowledge генерирует соответствующее событие для каждого поиска по базе знаний.
Если ваш агент использует операторы Conversation Intelligence, каждый результат записывает свой собственный контекст. Вебхук выполнения правил включает поле разрешенного контекста, показывающее, какой профиль Memory и какие источники Enterprise Knowledge использовало правило, а также триггер, участников и модель, которая выполняла задачу.
4. Покажите операторам-людям, откуда взялась подсказка
Вашим операторам-людям нужны ответы в моменте, пока клиент ждет, но ваша команда по комплаенсу должна знать, откуда взялись эти предложения.
Twilio освещает это в нескольких местах:
- Источники Agent Copilot: В Flex Agent Copilot отвечает на вопросы оператора, используя три наиболее релевантных источника знаний, и отображает источники, использованные для формирования ответа. Операторы могут открыть их с помощью опции «Просмотреть источники» (View sources). Agent Copilot находится в стадии публичного бета-тестирования.
Источники Agent Copilot: В Flex Agent Copilot отвечает на вопросы оператора, используя три наиболее релевантных источника знаний, и отображает источники, использованные для формирования ответа. Операторы могут открыть их с помощью опции «Просмотреть источники» (View sources). Agent Copilot находится в стадии публичного бета-тестирования.
- Обоснованные предложения: Оператор Next Best Response в Conversation Intelligence формирует предложения только на основе вашей Enterprise Knowledge и памяти клиента, и подавляет ответ, если не находит релевантного контекста.
Обоснованные предложения: Оператор Next Best Response в Conversation Intelligence формирует предложения только на основе вашей Enterprise Knowledge и памяти клиента, и подавляет ответ, если не находит релевантного контекста.
- Метаданные цитирования: API Enterprise Knowledge Search возвращает каждый фрагмент с заголовком документа, URL-адресом страницы для веб-источников и номером страницы для PDF-файлов. Вызывайте его напрямую, когда хотите видеть эти цитаты на рабочем столе агента или в своих логах.
Метаданные цитирования: API Enterprise Knowledge Search возвращает каждый фрагмент с заголовком документа, URL-адресом страницы для веб-источников и номером страницы для PDF-файлов. Вызывайте его напрямую, когда хотите видеть эти цитаты на рабочем столе агента или в своих логах.
Подробнее о том, как предоставлять ИИ-подсказки вашей команде, см. в нашем руководстве по agent assist.
5. Исправляйте или удаляйте неверные данные
Генеративный ИИ совершает ошибки. Проверяйте выходные данные Memory и подтверждайте правильность каждого профиля. Если что-то не так, вы можете исправить это на уровне ошибки:
- Исправить одно наблюдение: Обновите его содержимое или удалите его. Удаление необратимо.
Исправить одно наблюдение: Обновите его содержимое или удалите его. Удаление необратимо.
- Исправить характеристику: Обновите ее значение или установите значение null, чтобы удалить ее.
Исправить характеристику: Обновите ее значение или установите значение null, чтобы удалить ее.
- Исправить сводку: Обновите или удалите сводку разговора.
Исправить сводку: Обновите или удалите сводку разговора.
- Удалить клиента: Удалите профиль, что навсегда удалит его идентификаторы и характеристики.
Удалить клиента: Удалите профиль, что навсегда удалит его идентификаторы и характеристики.
Все эти операции выполняются асинхронно, поэтому API сначала принимает изменение, а затем обрабатывает его.
6. Ведите собственный журнал аудита
Twilio предоставляет вам сырые данные, а ваш журнал аудита — это то, что вы строите на их основе.
Вы можете использовать наблюдаемость Memory от Twilio для аудита и отслеживания событий. Она поддерживает экспорт логов в реальном времени через Twilio Event Streams с маскированием персональных данных. Она также описывает идентификаторы трассировки (такие как ID разговора, ID запроса и ID профиля), которые передаются через Conversation Orchestrator, Conversation Intelligence и Conversation Memory. Используйте ID разговора как ключ, который связывает все записи воедино.
Практический журнал аудита состоит из четырех частей:
- События Memory: Экспортируются из Event Streams в ваше хранилище данных или инструмент логирования.
События Memory: Экспортируются из Event Streams в ваше хранилище данных или инструмент логирования.
- Логи извлечения: Воспоминания и знания, которые использовал ваш агент для каждого ответа, логируются из вашего обработчика Agent Connect.
Логи извлечения: Воспоминания и знания, которые использовал ваш агент для каждого ответа, логируются из вашего обработчика Agent Connect.
- Результаты операторов: Результаты Conversation Intelligence из вебхука или API Operator Results. Учебное пособие Twilio по Conversation Intelligence для Node.js показывает, как хранить результаты в вашей собственной базе данных.
Результаты операторов: Результаты Conversation Intelligence из вебхука или API Operator Results. Учебное пособие Twilio по Conversation Intelligence для Node.js показывает, как хранить результаты в вашей собственной базе данных.
- Исправления: Кто изменил или удалил воспоминание, когда и почему. Пересмотры наблюдений показывают, что изменилось, поэтому журнал изменений вашей команды охватывает вопросы «кто» и «почему».
Исправления: Кто изменил или удалил воспоминание, когда и почему. Пересмотры наблюдений показывают, что изменилось, поэтому журнал изменений вашей команды охватывает вопросы «кто» и «почему».
Доверяйте тому, что помнит ваш агент
Благодаря Memory ИИ-агенты создают ощущение, что они знают ваших клиентов, а журнал аудита — это способ доказать, что они знают правильные вещи.
Начните с того, что Twilio уже записывает:
- Что говорит каждое воспоминание
Что говорит каждое воспоминание
- Откуда оно взялось
Откуда оно взялось
- Как оно изменилось
Как оно изменилось
Добавляйте журнал того, что использовал ваш агент для каждого ответа, и храните все это в одной записи, которую вы контролируете. Когда клиент спросит, почему ИИ сказал что-то, у вас будет ответ.
Начните бесплатно и создайте ИИ-агента с помощью Conversation Memory или свяжитесь с отделом продаж, чтобы узнать о принципах управления для вашего клиентского опыта с использованием ИИ.
Часто задаваемые вопросы
Как я могу проверить, откуда ИИ-агент получил информацию о клиенте?
Twilio Conversation Memory записывает источник каждого наблюдения и идентификаторы разговоров, из которых оно было получено. Agent Connect передает извлеченную память вашему коду при каждом сообщении, поэтому вы можете регистрировать то, что агент использовал для каждого ответа.
Как мне проверить, что мой ИИ-агент поддержки сохранил о клиенте, и какой поставщик это поддерживает?
Twilio Conversation Memory позволяет перечислять характеристики, наблюдения и сводки разговоров клиента через API или в консоли, с историей изменений, показывающей, как менялось каждое наблюдение.
Какие платформы предоставляют объяснимые рекомендации ИИ, чтобы агенты поддержки могли видеть, почему было сделано предложение?
Twilio Flex Agent Copilot, находящийся в общедоступной бета-версии, показывает агентам источники знаний, лежащие в основе его ответов. Оператор Next Best Response в Conversation Intelligence опирается только на ваши знания и память о клиентах и остается безмолвным, если у него нет соответствующего контекста.
Что такое контрольный журнал ИИ?
Контрольный журнал ИИ — это запись того, что знала система ИИ, откуда эта информация поступила и что она использовала для каждого вывода. Twilio Conversation Memory поддерживает это с помощью отслеживания происхождения наблюдений, истории изменений и экспортируемых журналов.
Можно ли удалить то, что ИИ-агент помнит о клиенте?
Twilio Conversation Memory позволяет обновлять или удалять отдельные наблюдения, характеристики и сводки через API или удалять профиль клиента с его идентификаторами и характеристиками. Удаление необратимо и выполняется асинхронно.
