Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Datadog llm observability funktsii tsenoobrazovanie i alternativy
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Datadog LLM Observability: функции, ценообразование и альтернативы

Источник: New Relic•20 ноября 2026 г. в 02:17

Datadog LLM Observability: функции, ценообразование и альтернативы

An objective look at Datadog LLM Observability: tracing, evaluations, how pricing works, and how alternatives like New Relic AI Monitoring compare.

Если вы оцениваете Datadog LLM Observability, вам наверняка будет интересно узнать, как продукт вписывается в существующие инструменты мониторинга производительности приложений (APM) и сколько он стоит по мере масштабирования ваших LLM-приложений. Теперь Datadog называет этот продукт Agent Observability, хотя в URL-адресах и документации все еще встречается Datadog LLM Observability. Оба названия относятся к одному и тому же продукту.

В этой статье рассматриваются возможности трассировки, оценки и ценообразования Datadog, а также альтернативы, заслуживающие внимания.

Что такое Datadog LLM Observability?

Datadog Agent Observability — это платформа для мониторинга, устранения неполадок и оптимизации LLM-приложений и ИИ-агентов. Она предоставляет следующие возможности:

  • Сквозная трассировка LLM и агентов: отслеживает вызовы моделей, шаги извлечения данных, вызовы инструментов и решения агентов.
  • Оценка качества и безопасности: фиксирует потенциальные галлюцинации, попытки промпт-инъекций и утечки конфиденциальных данных.
  • Эксперименты и тестирование промптов: позволяет тестировать изменения в промптах, моделях и конфигурациях перед развертыванием.
  • Отслеживание затрат и токенов: измеряет задержки, частоту ошибок, использование токенов и расходы в рамках рабочих процессов LLM.

Продукт Datadog LLM Observability стал общедоступным в июне 2024 года. В DASH 2025 компания Datadog расширила его возможности, добавив AI Agent Monitoring для визуализации решений агентов в виде интерактивного графа, а также представила в режиме предварительного просмотра LLM Experiments и AI Agents Console.

Основные функции Datadog LLM Observability

Datadog LLM Observability предоставляет четыре основные возможности для мониторинга LLM-приложений и ИИ-агентов, охватывающие трассировку запросов, качество вывода, тестирование и затраты.

Сквозная трассировка LLM и агентов

Datadog трассирует запросы по промптам, этапам поиска, вызовам инструментов и решениям агентов, сохраняя вводы, выводы и метаданные в отдельных интервалах (спанах) рабочего процесса. Для ИИ-агентов Datadog Agent Observability отображает пути принятия решений в виде интерактивных графов, помогая разработчикам исследовать некорректные вызовы инструментов, циклические повторения и неудачные запросы на поиск.

Платформа также предоставляет Patterns и Insights для выявления повторяющихся тем и проблем в производственных трассировках.

Оценка качества и безопасности

Datadog выполняет встроенные и пользовательские оценки производственных трассировок, чтобы выявлять потенциальные галлюцинации, дрейф моделей и небезопасные ответы. Проверки безопасности также отслеживают попытки инъекций промптов и утечки конфиденциальных данных.

Инструмент Sensitive Data Scanner обнаруживает и маскирует конфиденциальную информацию в промптах и ответах LLM.

Эксперименты и тестирование промптов

Функция LLM Experiments позволяет разработчикам тестировать промпты, модели и конфигурации агентов на наборах данных перед развертыванием. Оценщики выставляют баллам результаты, помогая командам сравнивать качество ответов для различных конфигураций.

Эксперименты входят в состав продукта и не тарифицируются отдельно.

Отслеживание затрат и токенов

Платформа отслеживает задержки, использование токенов, повторные попытки, ошибки и стоимость в рамках рабочих процессов LLM. Разработчики могут анализировать отдельные вызовы моделей, чтобы выявлять дорогие запросы, избыточное потребление токенов и проблемы с производительностью.

Как работает ценообразование Datadog LLM Observability

Datadog тарифицирует Agent Observability как самостоятельный продукт с оплатой за количество обработанных LLM-спанов. Эти расходы начисляются отдельно от APM, мониторинга инфраструктуры и логов.

По состоянию на ноябрь 2026 года на странице цен Datadog представлены следующие тарифные планы:

Бесплатный

Pro

Месячная стоимость

От $160

Включенные LLM-спаны

40 000 в месяц

100 000 в месяц

Хранение трассировок

15 дней

15 дней

Оценки

Без ограничений

Без ограничений

Дополнительные спаны

Недоступно (требуется переход на Pro)

От $3,50 за 10 000

Стоимость плана Pro зависит от условий оплаты: $160 в месяц при годовой подписке, $200 при ежемесячной оплате или $240 при оплате по факту. Дополнительные спаны стоят $3,50, $4,20 или $5 за 10 000 соответственно.

Что учитывается при выставлении счета?

LLM-спан — это один вызов модели к такому провайдеру, как OpenAI или Anthropic, именно за это выставлет счет Datadog. Спаны инструментов, рабочих процессов, агентов, эмбеддингов и извлечения данных не учитываются, поэтому агент, совершающий пять вызовов модели для ответа на один запрос, расходует пять спанов.

Что входит в тариф?

Оба плана включают в себя:

  • Трассировку, оценки и дашборды
  • Наборы данных, эксперименты и аннотации
  • Интерфейс тестирования (Playground), CLI и доступ по протоколу Model Context Protocol (MCP)
  • Хранение трассировок в течение 15 дней (платные надстройки позволяют продлить хранение трассировок до 30, 60 или 90 дней, а экспериментов — до 6, 9 или 12 месяцев)

При годовой оплате стоимость за каждые 10 000 LLM-спанов увеличивается до $5, $6,50 или $7,50 при сроке хранения 30, 60 или 90 дней соответственно. Ежемесячные тарифы и тарифы по требованию выше.

Вы можете приобрести Agent Observability без необходимости оформлять другие подписки Datadog. Команды, которые уже используют Datadog для APM, инфраструктуры или RUM, получают корреляцию между этими сигналами через общий идентификатор трассировки без дополнительной настройки.

Что следует учесть перед внедрением Datadog LLM Observability

Прежде чем остановить выбор на Datadog Agent Observability, оцените, насколько его ценообразование, инструментирование и интеграция подходят вашему текущему стеку:

  • Отдельное ценообразование: Agent Observability — это самостоятельный продукт, поэтому его можно использовать без других подписок Datadog. Если вы уже платите за APM, инфраструктуру или логи, это добавит еще одну статью расходов, которую придется прогнозировать по мере роста использования LLM.
  • Тарификация на основе спанов: Datadog выставляет счета за вызовы моделей, а не за спаны инструментов или поиска. Сравните этот подход с альтернативами, которые тарифицируют трассировки, наблюдения или оценки.
  • Инструментирование: Datadog поддерживает SDK для Python, Node.js и Java, а также интеграцию с OpenTelemetry и через HTTP API. Проверьте, какие провайдеры и фреймворки поддерживают автоинструментирование. Использование OpenTelemetry также может упростить экспорт телеметрии на другие платформы.

Прежде чем сделать окончательный выбор, решите, требуется ли вам специализированное решение для наблюдаемости ИИ или вы предпочитаете интегрировать мониторинг LLM в уже используемую систему APM.

Альтернативы Datadog LLM Observability

Datadog — не единственный вариант мониторинга LLM-приложений. Эти четыре альтернативы предлагают другие подходы к трассировке и оценкам, а некоторые интеграции работают напрямую с вашим существующим APM. Полный обзор инструментов мониторинга представлен в нашей подборке альтернатив Datadog.

New Relic AI Monitoring

New Relic AI Monitoring расширяет возможности мониторинга производительности приложений (APM) на генеративные ИИ-приложения. Разработчики могут включить ИИ-мониторинг с помощью существующих агентов New Relic APM, объединив LLM-трассировки, производительность моделей и телеметрию приложений в рамках одной платформы.

ИИ-агенты и инструменты также отображаются на карте сущностей и в виде водопада распределенных трассировок, позволяя разработчикам отслеживать запросы от вызова LLM через задействованные сервисы и базы данных.

Основные функции:

  • Интегрированный APM: анализируйте задержки LLM, частоту ошибок и зависимости приложений в рамках одних и тех же распределенных трассировок.
  • Мониторинг ответов ИИ: просматривайте выводы моделей в едином интерфейсе для расследования необычных ответов.
  • Сравнение моделей: сопоставляйте производительность, стоимость и качество ответов моделей для правильного выбора подходящего решения.
  • Наблюдаемость агентов: отслеживайте ИИ-агентов и вызовы инструментов наряду с системными сервисами на карте сущностей и в дереве трассировок.
  • Мониторинг без написания кода: мониторинг на базе AI eBPF обнаруживает вызовы LLM к OpenAI, Anthropic Claude, Google Gemini и Amazon Bedrock без использования SDK или изменения кода.

Особенности:

  • Конфигурация: мониторинг AI на базе eBPF должен быть включен явно. Перехват промптов и ответов является опциональным и по умолчанию отключен. Если агент APM для языков программирования уже передает телеметрию AI, мониторинг eBPF автоматически отключается во избежание дублирования.
  • Ценообразование на основе использования: AI Monitoring использует существующую модель New Relic для приема данных и ценообразования для пользователей, поэтому объем телеметрии влияет на затраты.

Лучше всего подходит для: команд, которые мониторят AI-приложения в продакшене и хотят объединить производительность LLM с APM, распределенными трейсами и телеметрией инфраструктуры.

Langfuse

Langfuse предоставляет возможности трейсинга, оценок и управления промптами для приложений на базе LLM. Его ядро с лицензией MIT может размещаться самостоятельно, также доступны управляемые облачные тарифы. Разработчики также могут связывать версии промптов с продакшн-трейсами, чтобы видеть, как изменения влияют на производительность модели с течением времени.

Ключевые особенности:

  • Самостоятельное размещение: запускайте базовую платформу на собственной инфраструктуре и сохраняйте контроль над данными трейсов.
  • Оценки: оценивайте результаты работы моделей и отслеживайте качество по промптам и версиям.
  • Анализ трейсов: изучайте вызовы LLM, рабочие процессы агентов и потребление токенов.

Особенности:

  • Тарификация на основе использования: облачное использование тарифицируется по трейсам, наблюдениям и оценкам, поэтому рабочие процессы, генерирующие множество наблюдений и оценок, могут потреблять больше тарифицируемых единиц.
  • Лимиты бесплатного тарифа: тариф Hobby включает только два места и 30-дневный доступ к данным.

Лучше всего подходит для: команд, которым требуется мониторинг LLM с возможностью самостоятельного размещения и опцией управляемого облака.

LangSmith

LangSmith, разработанный командой создателей LangChain, помогает разработчикам выполнять трейсинг, тестирование и оценку AI-агентов. Он поддерживает приложения, созданные на LangChain и других фреймворках. Разработчики могут превращать продакшн-трейсы в тестовые наборы данных, что упрощает воспроизведение сбоев и проверку того, улучшают ли изменения поведение агента.

Ключевые особенности:

  • Трейсинг агентов: изучайте отдельные шаги, вызовы инструментов и ответы моделей.
  • Онлайн-оценки: измеряйте качество вывода по заданным критериям.
  • Интеграция с LangChain: объединяйте трейсинг и тестирование с существующими рабочими процессами LangChain.

Особенности:

  • Хранение: базовые трейсы хранятся 14 дней. Расширенное хранение трейсов в течение 180 дней доступно за дополнительную плату.
  • Развертывание и цены: самостоятельное размещение требует тарифа Enterprise, в то время как облачные планы сочетают плату за рабочее место с тарификацией по мере использования.

Лучше всего подходит для: команд, создающих AI-агентов с помощью LangChain или нуждающихся в специализированных процессах оценки.

Arize Phoenix

Arize Phoenix обеспечивает локальный трейсинг, оценку и тестирование промптов для LLM-приложений. Он поддерживает инструментирование OpenTelemetry и может запускаться локально или на самостоятельно управляемой инфраструктуре. Phoenix использует семантические соглашения OpenInference, созданные на базе OpenTelemetry, помогая разработчикам собирать согласованные данные трейсов для поддерживаемых моделей и фреймворков.

Ключевые особенности:

  • Интеграция с OpenTelemetry: сбор трейсов по поддерживаемым моделям и фреймворкам.
  • Оценки: тестирование качества вывода с использованием обратной связи от пользователей и оценок с помощью LLM в роли судьи.
  • Локальное развертывание: хранение трейсов и промптов приложений в собственной среде.

Особенности:

  • Лицензирование: Phoenix использует лицензию Elastic License 2.0, которая доступна с исходным кодом, но не одобрена OSI как открытое ПО.
  • Управляемый хостинг: Arize AX предлагает отдельные тарифные планы SaaS с вариантами развертывания корпоративного уровня на собственной инфраструктуре.

Лучше всего подходит для: команд, для которых приоритетом является локальная разработка, рабочие процессы оценки и контроль над AI-телеметрией.

Наблюдаемость LLM работает лучше всего в составе всего стека

Когда AI-приложение замедляется или возвращает ошибку, модель не всегда виновата. Проблемой может быть:

  • Медленный поисковый запрос к векторной базе данных
  • Тайм-аут API-шлюза до того, как модель ответит
  • Чрезмерное потребление токенов из-за ненужного контекста

Чтобы найти причину, разработчикам необходимо выполнять трейсинг вызова LLM наряду с поддерживающими его службами приложений и инфраструктурой.

New Relic AI Observability добавляет эту видимость в ваш существующий APM, позволяя:

  • Выполнять трейсинг AI-агентов, вызовов моделей и зависимостей приложений в рамках одного запроса.
  • Исследовать задержки, ошибки и использование токенов наряду с производительностью приложения.
  • Мониторить рабочие нагрузки AI по тем же тарифам на прием данных и пользователей, что и остальную часть платформы, без отдельного SKU продукта AI.

Если сравнить New Relic с Datadog, вы увидите, что New Relic включает мониторинг AI в свои существующие возможности APM, в то время как Datadog тарифицирует Agent Observability как отдельный продукт. New Relic также поддерживает консолидацию инструментов, сохраняя телеметрию AI вместе с мониторингом приложений и инфраструктуры.

Запросите демонстрацию New Relic, чтобы увидеть AI-агенты и службы приложений в одном распределенном трейсе, а также обсудить, как New Relic может удовлетворить ваши требования к мониторингу LLM.

Часто задаваемые вопросы о Datadog LLM Observability

Включена ли Datadog LLM Observability в состав Datadog APM?

Нет, Datadog LLM Observability не входит в состав Datadog APM. Agent Observability (ранее LLM Observability) представляет собой отдельный продукт, который тарифицируется отдельно от APM, мониторинга инфраструктуры и логов.

Ценообразование основано на спанах LLM: бесплатный тариф включает 40 000 спанов в месяц, а тариф Pro начинается от $160 в месяц при условии ежегодной оплаты. Команды, использующие Datadog APM, могут соотносить активность AI-агентов со службами приложений и инфраструктурой с помощью общих идентификаторов трейсов (trace ID).

В чем разница между наблюдаемостью LLM и APM?

Разница заключается в том, что наблюдаемость LLM сосредоточена на поведении, специфичном для AI, в то время как APM отслеживает производительность приложений. APM отслеживает пропускную способность, задержки, уровень ошибок и зависимости. Наблюдаемость LLM добавляет видимость промптов, ответов моделей, использования токенов, затрат, рабочих процессов агентов и качества вывода.

Вызов LLM может завершиться успешно, но при этом выдать неточный или небезопасный ответ. Сочетание мониторинга LLM с APM помогает разработчикам исследовать как поведение модели, так и производительность приложения.

Каковы лучшие альтернативы Datadog LLM Observability?

Лучшими альтернативами Datadog LLM Observability являются New Relic AI Monitoring, Langfuse, LangSmith и Arize Phoenix.

New Relic AI Monitoring интегрируется с существующими агентами APM, обеспечивая сквозной трейсинг для AI и служб приложений, а также опциональный мониторинг eBPF без написания кода. Langfuse предлагает наблюдаемость LLM с самостоятельным размещением, LangSmith поддерживает трейсинг агентов и оценки, а Arize Phoenix обеспечивает трейсинг на базе OpenTelemetry и локальное развертывание.

New Relic лучше всего подходит командам, которые хотят исследовать поведение LLM в рамках своих существующих рабочих процессов APM, имея трейсы приложений и данные инфраструктуры на единой платформе.

Джон Бласт (John Blust) — старший менеджер по генерации спроса в New Relic. Он имеет более чем 5-летний опыт создания контента для компаний из индустрии инструментов разработки и ИТ, включая Databand (наблюдаемость данных), dbt Labs (трансформация данных) и теперь New Relic (наблюдаемость программного обеспечения).

Мнения, выраженные в этом блоге, принадлежат автору и не обязательно отражают позицию New Relic. Любые решения, предлагаемые автором, зависят от конкретной среды и не являются частью коммерческих решений или поддержки, предоставляемых New Relic. По вопросам и для получения поддержки, связанной с этой публикацией в блоге, пожалуйста, обращайтесь исключительно на Explorers Hub (support.newrelic.com). Этот блог может содержать ссылки на материалы на сторонних сайтах. Предоставляя такие ссылки, New Relic не принимает, не гарантирует, не одобряет и не поддерживает информацию, мнения или продукты, доступные на этих сайтах.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Две атаки на LiteLLM и контрольная точка, которая нужна вашим пайплайнам
Anaconda

Две атаки на LiteLLM и контрольная точка, которая нужна вашим пайплайнам

8 лучших инструментов для отслеживания ошибок для разработчиков в 2026 году
New Relic

8 лучших инструментов для отслеживания ошибок для разработчиков в 2026 году

За кулисами билбордовой кампании за 400 000 долларов
Posthog

За кулисами билбордовой кампании за 400 000 долларов

Как Кампала превратила ГИС в налоговые поступления и путь к цифровому двойнику
Esri

Как Кампала превратила ГИС в налоговые поступления и путь к цифровому двойнику

Вы просили — мы сделали: представляем Intetics Value90™
Intetics

Вы просили — мы сделали: представляем Intetics Value90™

Что такое инженерия данных как услуга (DEaaS)?
Matillion

Что такое инженерия данных как услуга (DEaaS)?

Ещё от New Relic

8 лучших инструментов для отслеживания ошибок для разработчиков в 2026 году
New Relic

8 лучших инструментов для отслеживания ошибок для разработчиков в 2026 году

Наблюдаемость New Relic для Microsoft Foundry
New Relic

Наблюдаемость New Relic для Microsoft Foundry

Масштабирование OpenTelemetry и автономные операции Kubernetes на KubeCon NA 2026
New Relic

Масштабирование OpenTelemetry и автономные операции Kubernetes на KubeCon NA 2026

Мониторинг кластеров VMware vSphere Kubernetes Service (VKS) с помощью New Relic
New Relic

Мониторинг кластеров VMware vSphere Kubernetes Service (VKS) с помощью New Relic

Управление логами в DevOps: комплексное руководство по оценке
New Relic

Управление логами в DevOps: комплексное руководство по оценке

Управление логами и SIEM: ключевые различия и варианты использования
New Relic

Управление логами и SIEM: ключевые различия и варианты использования