Основные выводы
- Выбирайте один из пяти основных маршрутов (от A до E) для потоковой передачи трассировок, метрик и логов в New Relic в зависимости от того, где размещена среда выполнения вашего ИИ-агента и какой уровень контроля вам требуется.
- Используйте стандарты OpenTelemetry (OTel) GenAI для сбора контекста выполнения в агентах, прикладных фреймворках и развертываниях моделей без излишней сложности кода.
- Отслеживайте производительность моделей Microsoft Foundry, использование токенов и выделенные ресурсы с помощью прямых запросов New Relic Query Language (NRQL) и потоковой передачи логов Event Hub, чтобы проактивно избегать ограничений по частоте запросов.
Microsoft Foundry (Foundry) объединяет строительные блоки ИИ Azure в одном месте: развертывания в Foundry Models, ИИ-агенты в Foundry Agent Service и проекты, которые связывают их с инструментами и данными. Когда приложение на базе Foundry отвечает медленно, некорректно или обходится дороже, чем ожидалось, причиной может быть логика агента, вызов инструмента, ограничение пропускной способности развертывания модели или окружающий код. Чтобы найти причину, нужно видеть все эти уровни вместе. Без этого инженерная команда, отлаживающая рабочее приложение Foundry, вынуждена гадать, используя разрозненные инструменты, что замедляет реагирование на инциденты и подрывает доверие к ИИ-системам, на которых строится бизнес.
Foundry, ее агентские фреймворки и связанные службы Microsoft (например, Agent 365) поддерживают семантические соглашения OTel GenAI. New Relic сделала поддержку OTel для своих предложений по мониторингу ИИ общедоступной, поэтому спаны gen_ai.* заполняют AI Monitoring без необходимости установки агента New Relic. Нюанс в том, что Foundry предлагает три способа запуска ИИ-агента, и каждый из них предоставляет разный уровень доступа к среде выполнения.
В этом блоге мы рассмотрим эталонную архитектуру с пятью маршрутами для передачи телеметрии Foundry в New Relic, конфигурацию для каждого из них и способы подтверждения того, что данные поступают.
Имейте в виду: мы используем термин «ИИ-агент» для агентов, которые вы создаете с помощью Foundry, и «агент New Relic» для языковых агентов мониторинга производительности приложений (APM) от New Relic.
Три уровня наблюдаемости Foundry
- Агент: Трассировки каждого вызова invoke_agent, включая вызовы моделей, вызовы инструментов и шаги планирования внутри него.
- Прикладной фреймворк: Клиентские приложения, которые вызывают агентов Foundry, и службы, которые вы запускаете самостоятельно на базе Foundry Models.
- Модель: Метрики Foundry Model, такие как запросы, токены, доступность и выделенные ресурсы, а также логи ресурсов.
Обзор архитектуры
Слева расположены компоненты Foundry, от максимального контроля (службы, которые вы размещаете на Foundry Models) до минимального (промпт-агенты Foundry), а внизу — развертывания Foundry Model.
Каждая цветная линия — это маршрут в New Relic. Значки показывают уровень зрелости: GA (общедоступно), Preview (предварительная версия) или Inferred (выведено), что означает, что каждый шаг задокументирован, но сквозной поток не настроен.
Самостоятельно размещаемые ИИ-агенты и приложения на Foundry Models
A (OTel) или E (агент New Relic), опционально B (Collector)
Один вызов функции или одна установка агента
Агенты, размещенные в Foundry
A через agent.yaml
Три переменные окружения
Промпт-агенты Foundry
A или E в клиентском приложении; D для серверных спанов
Клиентская инструментация
Развертывания Foundry Models
Интеграция Azure Native / Azure Monitor и диагностическая настройка
Перед началом: конечная точка протокола New Relic Open Telemetry (OTLP)
Маршруты A и B ведут в одно и то же место, поэтому стандартные переменные Otel можно задать один раз:
TL;DR: используйте ключ лицензии для приема данных, а не ключ пользователя. New Relic рекомендует использовать HTTP/protobuf через общедоступный интернет, отклоняет полезные нагрузки размером более 1 МБ и обрезает значения атрибутов на 4095 символах, поэтому сжатие и установка такого же лимита в вашем приложении сделают длинные промпты предсказуемыми.
Агенты, размещенные в Foundry: три переменные, ноль кода
Размещенный агент — это ваш код в контейнере, который запускает Foundry Agent Service. Его библиотека протоколов Responses или Invocations уже включает дистрибутив OTel и отправляет трассировки, логи и метрики в Application Insights проекта. Добавьте настройки OTLP, и та же телеметрия будет отправляться в New Relic:
Чтобы ключ лицензии не попал в файл, создайте соединение Custom keys с именем nr-otlp в проекте Foundry с полем otlp_headers, установленным в api-key=<ваш ключ лицензии>. Несколько особенностей, которые стоит знать:
- Создайте соединение до развертывания, иначе заполнитель примет пустое значение.
- service.name жестко привязан к имени агента, а OTEL_SERVICE_NAME игнорируется.
- Переменные окружения неизменяемы для каждой версии, поэтому изменения означают создание новой версии агента.
- Application Insights продолжает получать данные, если вы не отключите мониторинг для проекта.
Самостоятельно размещаемые ИИ-агенты на Foundry Models
Когда вы запускаете ИИ-агент или приложение самостоятельно, выбирайте либо OTel, либо агент New Relic для каждой службы, но не оба сразу, иначе каждый вызов модели будет записан дважды.
Маршрут A: Дистрибутив Microsoft OpenTelemetry
Пакет microsoft-opentelemetry (1.5.0, выпущен 20 октября 2026 г.; Python 3.10 или новее) настраивает экспортеры и инструментацию одним вызовом. При установке указанных выше переменных экспорт OTLP включается автоматически:
Он инструментирует OpenAI, OpenAI Agents SDK, LangChain, Semantic Kernel и Microsoft Agent Framework и может одновременно выполнять экспорт в Microsoft Agent 365. Это другой пакет, отличный от azure-monitor-opentelemetry, который выполняет экспорт только в Application Insights.
Маршрут B: Добавление коллектора для контроля
Коллектор OTel предоставляет единое место для пакетной обработки, редактирования, фильтрации и распределения данных. Укажите на него в OTEL_EXPORTER_OTLP_ENDPOINT, включая данные от размещенных агентов, если коллектор доступен:
Маршрут E: Агент New Relic
Если ваши команды уже используют агенты New Relic, маршрут E добавит данные New Relic AI Monitoring к полному контексту APM. В Python:
New Relic AI Monitoring требует агент Python версии 9.8.0 или новее, но инструментация для инструментов и агентов Microsoft Agent Framework появилась в 14.2.0 (29 октября 2026 г.); конфигурации с несколькими агентами пока не поддерживаются. Агент .NET (10.37.0 или новее) поддерживает OpenAI и Azure.AI.OpenAI 2.0.0 или новее.
Имейте в виду: как только New Relic AI Monitoring включен, агент New Relic по умолчанию записывает промпты и ответы. Установите NEW_RELIC_AI_MONITORING_RECORD_CONTENT_ENABLED=false, чтобы отключить это; тогда для подсчета токенов потребуется обратный вызов (callback). Данные ИИ не собираются, если распределенная трассировка отключена (она включена по умолчанию) или включен режим высокой безопасности.
Промпт-агенты Foundry: инструментация клиента
Foundry полностью управляет промпт-агентами, и их серверные трассировки автоматически отправляются в Application Insights. Вы можете инструментировать клиентское приложение, которое их вызывает, используя клиентскую трассировку Foundry (предварительная версия, azure-ai-projects 2.0.0 или новее):
SDK по умолчанию добавляет контекст трассировки W3C к этим вызовам, поэтому клиентские спаны в New Relic имеют общий ID трассировки с серверными спанами промпт-агента в Application Insights. Если трассировка ничего не дает, убедитесь, что переменная окружения установлена до запуска instrument().
Развертывания Foundry Models
Azure Monitor автоматически собирает метрики Foundry Models. Включите интеграцию New Relic с Azure Monitor, отфильтруйте ее по вашим ресурсам Foundry, и она будет опрашивать их с частотой до одной минуты. Метрики поступают как необработанные размерные метрики, а не как сущности, поэтому запрашивайте их напрямую:
ProvisionedUtilization отлично подходит для первого оповещения: при достижении 100% Azure ограничивает вызовы с помощью HTTP 429. Используйте метод потоковой передачи таймера событий для оповещений по этим метрикам. TimeToResponse существует только для развертываний PTU и PTU-managed, поэтому для стандартных развертываний получайте задержку из трассировок.
Для журналов ресурсов разверните шаблон ARM Event Hub от New Relic, а затем передавайте в него журналы каждого ресурса Foundry:
Трассировки Foundry на стороне сервера через Application Insights
Чтобы передать собственные шаги агента промптов в New Relic, экспортируйте их из рабочей области Log Analytics, расположенной за Application Insights, в тот же Event Hub:
Спаны поступают в виде записей журнала, а не трассировок, Event Hub должен находиться в регионе рабочей области, а обработка данных занимает несколько минут. Если это больше, чем вам нужно, выполните инструментирование клиента и найдите идентификатор трассировки в Application Insights.
Проверка данных
После нескольких тестовых запросов подождите от 2 до 5 минут и выполните:
Если строки не возвращаются, проверьте региональную конечную точку и убедитесь, что вы использовали ключ лицензии на прием данных. Отсутствие представления GenAI Monitoring для спанов означает отсутствие атрибутов GenAI, поэтому обновите инструментирование. New Relic проверяет данные OTLP после их приема, поэтому также проверьте SELECT * FROM NrIntegrationError SINCE 1 hour ago.
Вопросы безопасности и затрат
- Содержимое: OTel и Foundry не захватывают текст промпта, если вы не включите это явно с помощью OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=true; агент New Relic делает это по умолчанию, как только включен мониторинг AI Monitoring.
- Резидентность данных: выберите конечную точку США, ЕС, Японии или FedRAMP в соответствии с вашей учетной записью.
- Объем: выполняйте выборку с помощью OTEL_TRACES_SAMPLER, отключайте захват содержимого, если он не нужен, и выполняйте фильтрацию в Collector.
Пять вопросов, которые помогут выбрать правильный дизайн
Используйте эти пять вопросов, чтобы сопоставить настройки Foundry с правильным маршрутом:
- Кто управляет каждым ИИ-агентом: ваша команда, агенты на хостинге Foundry или агенты промптов Foundry?
- Запускаете ли вы уже агенты New Relic? Если да, то маршрут E подходит для размещенных самостоятельно служб.
- Могут ли промпты и ответы покидать ваш тенант? Это определяет захват содержимого и регион конечной точки.
- Требуется ли вам одна точка исходящего трафика или маскирование перед экспортом? В этом случае добавьте маршрут B.
- Являются ли ваши развертывания выделенными (PTU) или стандартными? Это определяет, какие метрики задержки и использования доступны.
Резюме
Наблюдение за Microsoft Foundry в New Relic сводится к одному вопросу для каждого компонента: кто его запускает? Агентам на хостинге Foundry нужны три переменные среды, размещенным самостоятельно службам — один вызов дистрибутива или агент New Relic, агентам промптов — инструментирование клиента, а моделям Foundry — интеграция с Azure Monitor и параметр диагностики. Поскольку маршруты A и B используют стандартный OpenTelemetry, ваше инструментирование остается переносимым. Начните с маршрута, который подходит для каждого компонента, выполните проверочный запрос и добавьте метрики моделей, чтобы каждый слой был охвачен. После этого ваша команда сможет выпускать функции на базе ИИ с той же уверенностью, что и для любой производственной службы.
Начало работы
Венкат Гандхари — старший инженер по работе с партнерами в New Relic, он создает технические интеграции со стратегическими технологическими партнерами. Он сосредоточен на том, чтобы помочь клиентам получить больше пользы от New Relic на платформах и в экосистемах, которые они уже используют.
Взгляды, выраженные в этом блоге, принадлежат автору и не обязательно отражают точку зрения New Relic. Любые решения, предлагаемые автором, зависят от конкретной среды и не являются частью коммерческих решений или поддержки, предлагаемых New Relic. Пожалуйста, присоединяйтесь к нам исключительно в Explorers Hub (support.newrelic.com) для получения вопросов и поддержки, связанных с этой записью блога. Этот блог может содержать ссылки на контент на сайтах третьих лиц. Предоставляя такие ссылки, New Relic не принимает на себя ответственность, не гарантирует, не одобряет и не поддерживает информацию, взгляды или продукты, доступные на таких сайтах.












