Представляем AI Observability для OpenTelemetry

По мере того как инженерные команды стандартизируют использование OpenTelemetry (OTel) для архитектур генеративного ИИ, структурный разрыв в данных создает пробелы в видимости для руководителей предприятий. Эта фрагментация может порождать неуправляемые приложения и неконтролируемое использование токенов LLM, что незаметно истощает облачные бюджеты, в то время как разрозненные потоки трассировки OTel остаются полностью отрезанными от основных контуров безопасности. Без унифицированного отслеживания работающие в продакшене ИИ-сервисы с открытым исходным кодом остаются уязвимыми для таких потенциальных проблем, как необнаруженные инъекции промптов, утечка PII и угрозы токсичности, что влечет за собой серьезные финансовые риски и риски несоблюдения нормативных требований.

New Relic AI Observability для OTel устраняет эти сложности с помощью мощной архитектуры «нормализации при чтении» (Normalize on Read), которая объединяет телеметрию с открытым исходным кодом и данные нативных агентов APM в единое, целостное представление. Вместо того чтобы принуждать к дорогостоящему дублированию данных или требовать от разработчиков переписывания кода, платформа динамически сопоставляет разрозненные схемы на лету, мгновенно восстанавливая полную наблюдаемость. Автоматически обнаруживая следы ИИ и создавая бессостоятельный (stateless) мост к корпоративным контурам безопасности, руководители платформ могут вернуть себе абсолютный финансовый контроль и операционное управление своими ИИ-инициативами.

Финансовый контроль и кросс-инструментальное тестирование моделей (benchmarking)

Масштабирование генеративного ИИ в корпоративных средах часто приводит к резким скачкам расходов на облачные вычисления, когда инженерным командам не хватает видимости совокупных затрат на токены в разрозненных микросервисах. AI Observability для OTel устраняет эти финансовые слепые зоны, предоставляя унифицированные реестры моделей (Model Inventories) на уровне всей учетной записи, которые объединяют телеметрию с открытым исходным кодом и нативных агентов APM в единые макро-панели мониторинга. Руководители платформ получают мгновенную и всестороннюю видимость глобальных расходов на ИИ, включая такие метрики, как общее потребление токенов, задержка запросов и частота ошибок, для проактивного управления облачными бюджетами.

Чтобы предотвратить перерасход средств на использование токенов, ИИ-менеджеры программ и архитекторы платформ должны постоянно оптимизировать выбор моделей на основе объективных данных об окупаемости инвестиций (ROI). Интерфейс сравнения моделей (Model Comparison) платформы оснащен гибким механизмом разрешения запросов по колонкам, который позволяет проводить настоящее кросс-инструментальное тестирование. Инженеры могут проводить прямое параллельное сравнение производительности и стоимости, сопоставляя устаревший сервис, инструментированный проприетарным агентом APM, непосредственно с модернизированным микросервисом, использующим OpenTelemetry с открытым исходным кодом. Отображая четкие данные о стоимости, задержке и качестве на одном экране, организации могут уверенно определять и развертывать наиболее экономически эффективную конфигурацию LLM, максимизируя свои инвестиции в генеративный ИИ без ущерба для конечных пользователей.

Архитектурная гибкость: «нормализация при чтении» (Normalize on Read) для снижения TCO

Стандартные платформы наблюдаемости обрабатывают OpenTelemetry путем нормализации данных при записи, перехватывая спаны (spans) OTel на шлюзе приема и преобразуя или дублируя их в проприетарные форматы событий для соответствия устаревшим панелям мониторинга. Этот устаревший подход увеличивает плату за хранение, повышает накладные расходы на обработку и раздувает затраты на облачную инфраструктуру. New Relic устраняет это раздувание данных благодаря строгой стратегии Normalize on Read. Телеметрия OTel записывается нативно в стандартные таблицы Span без какого-либо преобразования на этапе приема или фонового дублирования. Во время выполнения поисковый движок интерфейса динамически определяет источник телеметрии и на лету адаптирует свои шаблоны NRQL для прямого запроса к таблице Span, обеспечивая аналогичную видимость без дублирования данных.

Помимо гибкости запросов на стороне фронтенда, платформа использует структурный дизайн семантических соглашений OpenTelemetry GenAI для повышения эффективности бэкенд-конвейера. Традиционные агентские решения вендоров часто отправляют входные промпты и ответы моделей как отдельные события телеметрии, что требует отслеживания состояния (stateful) и внешних уровней кэширования для их последующего объединения. Напротив, один спан OTel изначально упаковывает промпты пользователя (gen_ai.input.messages) и ответы LLM (gen_ai.output.messages) в единую, самодостаточную полезную нагрузку. Специализированный обработчик OtlpEvaluationHandler перехватывает эти спаны трассировки и выполняет обработку без сохранения состояния (stateless), полностью устраняя зависимости от кэширования в Redis или повторной сборки сессий. Сочетание нормализации данных без записи с обработкой без сохранения состояния значительно снижает совокупную стоимость владения (TCO) вашим стеком наблюдаемости. Инженерные команды предприятий сохраняют полное соответствие стандартам открытого исходного кода, избегая при этом платы за дублирование данных, разрастания инфраструктуры и накладных расходов на фоновую обработку.

Устранение «теневого ИИ» (Shadow AI) в микросервисах

В сложных облачных микросервисных архитектурах команды разработчиков часто внедряют библиотеки LLM с открытым исходным кодом для создания автономных возможностей, не уведомляя руководителей платформ или служб безопасности. Такое децентрализованное внедрение порождает «теневой ИИ» (Shadow AI) на предприятии, в результате чего неотслеживаемые и не сопоставленные микросервисы работают в продакшене без операционного надзора, централизованного распределения бюджета или контроля безопасности. Попытки полагаться на то, что разработчики будут вручную регистрировать ИИ-сервисы или поддерживать статические каталоги сервисов, неизбежно приводят к слепым зонам в учете ресурсов, из-за чего команды платформ не знают, где именно развернут генеративный ИИ в их глобальной инфраструктуре.

Чтобы устранить эти операционные сложности, New Relic встраивает автоматическое картирование присутствия ИИ непосредственно в основной поток распределенной трассировки. С помощью специализированного расширения TraceProcessor в конвейере приема платформа в реальном времени проверяет входящие потоки трассировки OpenTelemetry, сканируя полезную нагрузку на наличие семантических атрибутов gen_ai.. В момент обнаружения взаимодействия с LLM с открытым исходным кодом конвейер извлекает GUID сущности и автоматически публикует тег aiEnabledApp:true на глобальной платформе сущностей (Entity Platform), что не требует участия человека или ручной разметки кода.

Этот механизм фонового обнаружения превращает пассивную телеметрию в проактивное управление. В ту же секунду, когда инженер добавляет в код ИИ-библиотеку, инструментированную с помощью OTel, микросервис автоматически регистрирует себя в центральном интерфейсе AI Monitoring. Команды платформ и SRE получают обновленный, готовый к аудиту реестр всех развертываний ИИ с открытым исходным кодом, что открывает возможности мгновенной фильтрации в интерфейсе, макросегментации затрат и автоматических предупреждений о выходе за базовые показатели для предотвращения неконтролируемого расхода токенов и операционных аномалий до того, как они повлияют на конечных пользователей.

Расширение защиты в реальном времени на открытые стеки

Эксплуатация ИИ-приложений с открытым исходным кодом в продакшене без непрерывной оценки подвергает вашу организацию серьезным уязвимостям безопасности и юридической ответственности. Когда потоки трассировки OTel отключены от контуров безопасности, вредоносные атаки с инъекцией промптов, случайные утечки PII и токсичные ответы обходят контроль безопасности незамеченными. Этот пробел вынуждает специалистов по рискам и комплаенсу либо приостанавливать развертывание ИИ с открытым исходным кодом, либо рисковать серьезным ущербом для бренда и несоблюдением нормативных требований.

New Relic AI Observability для OTel замыкает этот контур безопасности, направляя данные ваших трассировок с открытым исходным кодом непосредственно в основной поток оценки. Эта прямая интеграция конвейера обеспечивает проверки безопасности корпоративного уровня для ваших стеков ИИ с открытым исходным кодом, мгновенно снижая бизнес-риски. Благодаря внедрению автоматической маскировки PII, защите от инъекций промптов в реальном времени и проверке на токсичность в «живом» трафике, руководители служб безопасности могут уверенно допускать приложения на базе генеративного ИИ к промышленной эксплуатации. Организация остается под постоянной защитой от утечек данных и репутационного ущерба, не прибегая к сложному промежуточному ПО безопасности и не замедляя скорость развертывания.

Стратегическая ценность для предприятия

AI Observability для OpenTelemetry согласовывает рабочие процессы между командами разработки, эксплуатации платформ и безопасности, позволяя предприятиям быстро масштабировать генеративный ИИ без ущерба для управления или безопасности. Устраняя сложности со структурой данных и обеспечивая паритет собственных функций со стеками с открытым исходным кодом, платформа приносит целевую бизнес-ценность для трех ключевых ролей:

Заинтересованная сторона

Операционные сложности

Решение и результат

Команды DevOps и платформенные инженеры

Фрагментированный мониторинг в гибридных средах; скрытые расходы на токены.

Отслеживание на макроуровне объединяет данные устаревших APM и OTel в единые панели мониторинга для контроля совокупных расходов на LLM и настройки базовых оповещений.

Специалисты по безопасности и комплаенсу

Неотслеживаемый «теневой ИИ» и разрозненные потоки трассировок, обходящие проверки безопасности.

Проактивное управление использует автотегирование aiEnabledApp:true для выявления некартографированных приложений и направляет данные в конвейеры ai_evaluation для проверки PII и токсичности в реальном времени.

Разработчики OTel AI

Вынуждены изменять предпочтительные методы инструментации для получения видимости.

Паритет на уровне сущностей анализирует полезную нагрузку промптов и объемы токенов нативно, без необходимости внесения изменений в кодовую базу.

Ускорьте свою стратегию использования ИИ с открытым исходным кодом уже сегодня

Развертывание AI Observability для OpenTelemetry не требует переписывания кода или привязки к SDK конкретного поставщика. Поскольку платформа нативно принимает стандартные семантические соглашения OpenTelemetry GenAI, ваши инженерные команды могут продолжать использовать предпочитаемые библиотеки и рабочие процессы инструментации с открытым исходным кодом. Просто направьте существующие потоки трассировок OTel в New Relic, и фоновый процессор автоматически отобразит ваш ИИ-ландшафт, заполнит инвентаризацию моделей и предоставит унифицированные показатели производительности и финансовые метрики по всему предприятию.

Не позволяйте несоответствиям схем, скрытым расходам на токены или неконтролируемым рискам комплаенса замедлить ваши инициативы в области GenAI с открытым исходным кодом. Изучите центральную страницу AI Entities, чтобы мгновенно отобразить ваш OTel-ландшафт, настроить автоматизированные барьеры оценки для защиты потоков трассировок в реальном времени или запросите демонстрацию сегодня, чтобы увидеть, как New Relic объединяет телеметрию ИИ с открытым исходным кодом в едином интерфейсе.