Голосовой агент может выдавать правильные слова, но при этом обеспечивать низкое качество обслуживания. Он может оставить пользователя в тишине, перебить его или остановиться на середине ответа. Расшифровка может выглядеть корректно даже тогда, когда услышанный пользователем звук был задержанным, неполным или отличался от текста на экране. Такие проблемы трудно диагностировать только по текстовым трассировкам.
Голосовые беседы также включают в себя нечто большее, чем просто один запрос и ответ. Аудиопотоки, расшифровки, взаимодействия с моделями и вызовы инструментов — всё это вносит свой вклад в каждый диалоговый шаг. Чтобы понять, почему разговор дал сбой, командам необходимо изучать эти сигналы в комплексе и в том порядке, в котором их воспринимал пользователь.
Datadog Agent Observability добавляет аудиоданные в трассировки для поддерживаемых голосовых агентов. Имея эти сигналы в одной трассировке, вы можете прослушать записанное аудио и связать проблему, видимую пользователю, с поведением модели или приложения за ней.
В этой публикации мы покажем, как вы можете:
- Прослушивать записанные голосовые шаги вместе с данными трассировки
Прослушивать записанные голосовые шаги вместе с данными трассировки
- Находить медленные или ресурсоемкие голосовые взаимодействия
Находить медленные или ресурсоемкие голосовые взаимодействия
- Исследовать прерывания и неполные расшифровки
Исследовать прерывания и неполные расшифровки
- Начать трассировку поддерживаемых голосовых агентов
Начать трассировку поддерживаемых голосовых агентов
Прослушивать записанные голосовые шаги вместе с данными трассировки
Расшифровка сообщает вам, какой текст был записан, но не всегда то, что услышал собеседник. Агент мог выбрать правильный ответ, но выдать его после неловкой паузы. Пользователь мог прервать ответ, или сгенерированное аудио могло отличаться от того, что следует из расшифровки. Исследование таких случаев требует наличия аудио и сопутствующей активности агента в одном месте.
Для поддерживаемых приложений, созданных с использованием OpenAI Realtime API, автоматическое инструментирование в Agent Observability фиксирует входное и выходное аудио каждого шага, расшифровки, использование токенов и вызовы инструментов. Datadog преобразует сырые аудиоданные PCM16 и G.711 в WAV, чтобы вы могли воспроизводить их прямо из трассировки. Agent Observability также добавляет поддержку трассировки для приложений, созданных с помощью Amazon Nova 2 Sonic в трассировщиках Python и Node.js.
На проблемном шаге вы можете прослушать обмен репликами, одновременно изучая его расшифровку и вызовы инструментов. Это поможет вам определить, выбрал ли агент неверное действие, вернул ли непредусмотренный контент или был прерван до того, как закончил говорить.
Аудио также сохраняет детали, которые не может передать расшифровка, включая паузы, накладывающуюся речь и момент прерывания ответа. Просмотр этих деталей вместе с остальной частью трассировки позволяет вам исследовать разговор в том виде, в каком его воспринимал пользователь, вместо того чтобы рассматривать каждый ответ модели как изолированное завершение текста.
Находить медленные или ресурсоемкие голосовые взаимодействия
Задержка ответа сразу заметна в разговорной речи. Задержка, которая может быть допустима в текстовом интерфейсе, способна заставить пользователя ждать в тишине. Неравномерная передача аудио также может затруднить восприятие в остальном правильного ответа.
Для приложений OpenAI Realtime автоматическое инструментирование Datadog генерирует метрику распределения ml_obs.trace.time_to_first_agent_audio, которая измеряет, сколько времени пользователь ждет аудиоответа агента. Построение графиков этой метрики с течением времени может показать, являются ли медленные первоначальные ответы единичными или массовыми. Когда для метрики включены агрегации перцентилей, вы также можете сравнивать такие значения, как p50, p95 и p99. Дополнительные сведения см. в документации по метрикам распределения Datadog.
Когда метрика показывает увеличение задержки, используйте фасет «Average time to first agent audio» в Agent Observability, чтобы ограничить список диапазонов шагами с самыми медленными начальными аудиоответами. Затем вы можете открыть проблемную трассировку и изучить сопутствующие шаги и вызовы инструментов, чтобы определить, связана ли задержка с взаимодействием с моделью, нижестоящим действием или другой частью разговора.
Голосовые агенты также могут иметь шаблоны использования, отличные от агентов только с текстом, поскольку провайдеры подсчитывают аудио- и текстовые токены раздельно. Agent Observability фиксирует использование токенов во взаимодействиях OpenAI Realtime, поэтому вы можете просматривать шаги с высоким уровнем использования наряду с задержкой и другими оперативными сигналами. Открытие связанных трассировок помогает определить, связано ли повышенное потребление с более продолжительными разговорами, конкретными рабочими процессами, маршрутизацией агента или внешними вызовами инструментов.
Исследовать прерывания и неполные расшифровки
Прерывания — это часть естественного разговора, но повторяющиеся прерывания также могут указывать на проблему. Агент может давать слишком длинные ответы или начинать их с нерелевантной информации, либо он может полагаться на обнаружение голосовой активности, которое принимает паузу за конец реплики пользователя.
Голосовые трассировки сохраняют последовательность событий вокруг этих взаимодействий. Когда пользователь прерывает ответ OpenAI Realtime, вы можете открыть соответствующий шаг и прослушать, что агент говорил в этот момент. Окружающий контекст помогает отличить нормальную смену реплик от паттерна, требующего дополнительного изучения.
Аудиоконтекст также важен при просмотре расшифровок. Расшифровка входных данных OpenAI Realtime выполняется отдельно от обработки аудио моделью, а выходная расшифровка может быть неполной, когда пользователь прерывает ответ. Сравнение расшифровки с соответствующим аудио помогает предотвратить ситуацию, когда неполная расшифровка воспринимается как полная запись взаимодействия.
В разных трассировках эти сигналы помогают вам выявлять разговоры, требующие более пристального внимания, и определять, возникла ли проблема в ответе модели, выполнении инструментов, поведении при смене реплик или другой части приложения.
Начать трассировку поддерживаемых голосовых агентов
Datadog предоставляет автоматическое мультимодальное инструментирование для поддерживаемых голосовых приложений через SDK Agent Observability. Приложения на Python, использующие OpenAI Realtime API с ddtrace версии 4.13.0 или выше, могут автоматически захватывать входящие и исходящие аудиоданные для каждого шага, расшифровки, использование токенов и вызовы инструментов без ручного создания аудиодиапазонов. Поддержка ElevenLabs Realtime API скоро станет доступна в ddtrace 4.17.0.
Agent Observability также добавляет поддержку трассировки для приложений, созданных с помощью в трассировщиках Python и Node.js. Чтобы настроить Agent Observability, следуйте документации по инструментированию Agent Observability. Сведения о поддерживаемых аудиоформатах, версиях SDK, автоматическом захвате OpenAI Realtime и ограничениях на размер медиафайлов см. в документации по мультимодальному инструментированию.
Приложения, которые уже генерируют диапазоны, соответствующие семантическим соглашениям OpenTelemetry GenAI (версии 1.37 или выше), также могут отправлять поддерживаемые части аудиосообщений в Agent Observability. SDK Datadog обеспечивает автоматическое инструментирование OpenAI Realtime, описанное в этой публикации. Чтобы узнать о пути OpenTelemetry и поддерживаемой им структуре сообщений GenAI, см. документацию по инструментированию OpenTelemetry в Agent Observability.
Добавьте голосовой контекст в свои расследования агентов
Agent Observability связывает аудио, которое слышит пользователь, с моделью, инструментами, задержкой и использованием токенов, стоящими за разговором. Вместо того чтобы восстанавливать диалог по отдельным стенограммам, метрикам и логам, вы можете перейти от сигнала о задержке или сообщенной проблемы к конкретному ходу беседы и трассировке, которые ее породили.
Чтобы начать работу, ознакомьтесь с документацией по Agent Observability и документацией по мультимодальной инструментализации. Если вы впервые используете Datadog, начните с Agent Observability бесплатно. Бесплатный тарифный план включает до 40 000 диапазонов LLM в месяц.
