Представляем трассировку платформы Claude в New Relic AI Monitoring

Источник: New Relic•

Представляем трассировку платформы Claude в New Relic AI Monitoring

Платформа Claude теперь поддерживает нативную передачу трассировок OpenTelemetry (OTel) из Claude Managed Agents, Messages API и SDK Claude в рамках публичного бета-тестирования.

Начиная с сегодняшнего дня, платформа Claude поддерживает нативную передачу трассировок OpenTelemetry (OTel) из Claude Managed Agents, Messages API и SDK Claude в рамках публичного бета-тестирования. New Relic AI Monitoring считывает эти спаны там, где они сохраняются. Архитектура «Normalize on Read» запрашивает их напрямую из таблицы Span, поэтому при приеме данных ничего не дублируется, а когда ваше приложение передает контекст трассировки (SDK Claude делает это автоматически), каждый спан Claude располагается в той же трассировке, что и ваши данные APM.

Эти же спаны могут использоваться в New Relic AI Evaluation, доступном в рамках публичного предварительного просмотра. При включенной функции «Full content» система проверяет активные промпты и ответы Claude на предмет инъекций промптов, утечек PII и токсичности.

До настоящего момента выполнение агента было разделено между консолями. Ваши сервисы запускали пользовательские инструменты, а платформа Claude — модель и, в случае с Claude Managed Agents, цикл работы агента.

Единая трассировка от вашего сервиса до модели

Добавьте New Relic в качестве места назначения в консоли Claude. Затем настройте трассировку в SDK Claude, как показано в руководстве Anthropic по OpenTelemetry, и укажите экспортер OpenTelemetry вашего приложения на New Relic. Когда ваш код вызывает SDK внутри собственных спанов, SDK передает ваш контекст трассировки платформе Claude, благодаря чему спаны платформы вкладываются в ваши.

  • Claude Managed Agents: каждый запрос сессии, ход агента, запрос к модели, использование инструментов и оценка результатов.
  • Messages API: каждый запрос сообщения с соответствующими запросами к модели и операциями сжатия, а также любое использование инструментов сервера или коннекторов MCP.
  • SDK Claude: запросы вашего приложения и пользовательские инструменты для Python, TypeScript, Go, Java, C#, PHP и Ruby.

Спаны соответствуют семантическим соглашениям OTel GenAI, которые уже поддерживаются AI Observability, поэтому нет необходимости поддерживать сопоставление атрибутов.

Отладка агентов в контексте всего вашего стека

Предположим, у агента поддержки уходит 40 секунд на оформление возврата средств. Модель редко является единственной причиной. AI Observability показывает, что модель отвечает быстро, а затем ваш сервис тратит 36 секунд на выполнение инструмента lookup_order. Этот инструмент обратился к вашему API заказов, который ожидал выполнения запроса к базе данных, замедлившегося после вчерашнего развертывания. Поскольку спаны Claude используют общую трассировку с вашими данными APM, вы можете проследить путь за пределами агента, чего не могут сделать инструменты, работающие только с LLM.

От симптома к первопричине в одном представлении

  • Waterfall-диаграмма трассировки агента: запросы к модели и использование инструментов на одной временной шкале внутри спанов вашего сервиса.
  • Агенты как сущности: каждый агент Claude Managed Agents получает собственную сущность с показателями задержки и частоты ошибок, за которыми вы можете следить, как за любым другим сервисом.
  • Воспроизведение диалога: пошаговый просмотр сессии сообщение за сообщением, с отображением промптов и ответов рядом с временными метками при включенной функции «Full content».
  • Оповещения и дашборды: поскольку это данные New Relic, оповещения NRQL и ваши существующие дашборды работают с ними.

Управление использованием инструментов

При включенной функции «Full content» каждый спан инструмента содержит аргументы и результат работы инструмента, что дает командам запись того, к чему обращался каждый агент. Выберите «Full content» для захвата промптов и ответов или «Metadata only» для сохранения только временных меток, имен и идентификаторов. Направьте трафик Claude в New Relic AI Evaluation, и эта запись будет проверяться в режиме реального времени.

Начните наблюдение за вашими агентами Claude уже сегодня

Администратор организации добавляет New Relic в качестве места назначения на странице настроек OpenTelemetry в консоли Claude, выбирает регион New Relic (США, ЕС или Япония), вводит ключ лицензии для приема данных и выбирает рабочие области, которые будут отправлять трассировки. Спаны поступают в течение примерно одной минуты без внесения изменений в код на стороне API.

Трассировка платформы Claude находится в стадии публичного бета-тестирования для собственной платформы Claude. Поддержка Amazon Bedrock и Google Cloud Vertex AI появится в ближайшее время.

Ознакомьтесь с руководством по настройке для подключения ваших агентов Claude или запросите демо-версию, чтобы увидеть трассировки Claude в AI Observability. Анонс Anthropic [ссылка на блог Claude] охватывает их сторону запуска. Вы впервые в New Relic? Зарегистрируйте бесплатную учетную запись.

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →

Ещё от New Relic