Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Sozdanie konveyerov nablyudaemosti i ustranenie nepoladok s pomoschyu ii agentov
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Создание конвейеров наблюдаемости и устранение неполадок с помощью ИИ-агентов

Источник: Datadog•20 ноября 2026 г. в 16:05

Создание конвейеров наблюдаемости и устранение неполадок с помощью ИИ-агентов

Используйте ИИ-агенты и сервер Datadog MCP для создания и проверки конвейеров, устранения неполадок в их работе и измерения сокращения объема логов.

Управление конвейером телеметрии часто связано с регулярными задачами по исследованию и проверке. Когда вы подключаете новый источник логов, вы выясняете, какие компоненты существуют и какие поля требуются для каждого из них. Когда логи перестают поступать, вы отслеживаете, где теряются события. Перед изменением конвейера вы проверяете новую конфигурацию. После добавления фильтра для сокращения затрат вы измеряете объем удаленных данных и проверяете отсутствие непреднамеренных потерь. ИИ-агент может помочь в каждой из этих задач, если у него есть доступ к конфигурациям и метрикам вашего конвейера.

Инструменты Datadog Observability Pipelines теперь доступны в серверной части Datadog MCP. Конвейеры наблюдаемости (Observability Pipelines) позволяют собирать, преобразовывать и маршрутизировать логи и метрики в вашей собственной среде до того, как они достигнут конечных точек. С помощью нового набора инструментов observability-pipelines ИИ-агенты в таких клиентах, как Claude Code, Cursor, Codex и VS Code, могут изучать ваши существующие конвейеры и помогать в создании чертежей, проверке и создании новых.

В этой статье рассматриваются четыре сценария использования:

  • Создание конвейера на основе запроса

Создание конвейера на основе запроса

  • Проверка работоспособности конвейера

Проверка работоспособности конвейера

  • Проверка изменений конвейера перед их применением

Проверка изменений конвейера перед их применением

  • Проверка сокращения объема данных

Проверка сокращения объема данных

Мы также расскажем о мерах предосторожности, которые помогают вашей команде сохранять контроль над тем, что развертывается.

Создание конвейера на основе запроса

Подключение нового источника логов обычно означает необходимость понимания того, какие типы источников, процессоров и назначений существуют, какие поля требуются для каждого из них и как они соединяются для формирования корректного конвейера. С помощью инструментов Observability Pipelines MCP вы описываете результат, а ваш агент может собрать конфигурацию.

Опишите необходимый конвейер

Например, когда новый источник отправляет логи Splunk HTTP Event Collector (HEC), содержащие платежные данные, вы можете попросить агента:

Создайте конвейер, который собирает логи Splunk HEC, маскирует номера кредитных карт и направляет их в Amazon S3 и Splunk.

Ваш агент выполняет три шага:

  • Обнаружение компонентов: без аргументов get_observability_pipeline_component_schema возвращает доступные типы источников, процессоров и назначений. Когда ваш агент запрашивает конкретные компоненты, такие как источник splunk_hec и назначение amazon_s3, инструмент возвращает их поля, включая обязательные, их типы и допустимые значения.

Обнаружение компонентов: без аргументов get_observability_pipeline_component_schema возвращает доступные типы источников, процессоров и назначений. Когда ваш агент запрашивает конкретные компоненты, такие как источник splunk_hec и назначение amazon_s3, инструмент возвращает их поля, включая обязательные, их типы и допустимые значения.

  • Проверка черновика: validate_observability_pipeline проверяет конфигурацию без создания или развертывания чего-либо. Он возвращает все ошибки валидации сразу, чтобы ваш агент мог исправить конфигурацию и проверить ее снова.

Проверка черновика: validate_observability_pipeline проверяет конфигурацию без создания или развертывания чего-либо. Он возвращает все ошибки валидации сразу, чтобы ваш агент мог исправить конфигурацию и проверить ее снова.

  • Создание конвейера: create_observability_pipeline возвращает ID нового конвейера и ссылку на него в Datadog. Создание конвейера не влияет на существующие конвейеры. Новый конвейер не обрабатывает данные, пока вы не установите для него воркер Observability Pipelines Worker.

Создание конвейера: create_observability_pipeline возвращает ID нового конвейера и ссылку на него в Datadog. Создание конвейера не влияет на существующие конвейеры. Новый конвейер не обрабатывает данные, пока вы не установите для него воркер Observability Pipelines Worker.

Просмотр нового конвейера

В следующем примере агент создает проект и проверяет конфигурацию, а также делает краткую сводку по каждому компоненту.

После того как агент создаст конвейер, вы сможете просмотреть его источник, процессоры и назначения в конструкторе конвейеров.

Создание конвейеров для других сценариев использования

Вы можете использовать тот же подход для других распространенных сценариев. Например, вы можете попросить агента дублировать отправку логов в Datadog и SIEM или архивировать сырые логи в облачное хранилище. Вы также можете настроить отправку логов безопасности и приложений в различные пункты назначения. Поддерживаемые назначения включают Datadog, Splunk, Amazon S3, Google Security Operations и Microsoft Sentinel.

Проверка работоспособности конвейера

Когда дашборд становится пустым или алерт перестает срабатывать, первым делом возникает вопрос, продолжают ли поступать логи. Ваш агент может использовать наборы инструментов observability-pipelines и основные инструменты вместе. С помощью обоих наборов он может сопоставить конфигурацию конвейера с метриками, которые его воркеры Observability Pipelines отправляют в Datadog.

Находясь на дежурстве, вы можете спросить своего агента:

Исправен ли конвейер Prod Agent Logs? Теряются ли какие-либо события до того, как они достигают мест назначения?

Сначала ваш агент находит конвейер с помощью list_observability_pipelines. Затем он сопоставляет источники, процессоры и назначения конвейера с помощью describe_observability_pipeline. Наконец, он запрашивает метрики использования конвейера, помеченные идентификатором pipeline_id конвейера и идентификатором каждого component_id. Эти метрики предоставляют вашему агенту те же сигналы, которые вы видите на вкладках Health и Workers конвейера:

  • События, полученные и отправленные каждым компонентом

События, полученные и отправленные каждым компонентом

  • События, отброшенные намеренно и ненамеренно

События, отброшенные намеренно и ненамеренно

  • Ошибки для каждого назначения и запросы для назначений на базе HTTP

Ошибки для каждого назначения и запросы для назначения на базе HTTP

  • Размер буфера назначения

Размер буфера назначения

  • Использование ЦП и памяти воркером

Использование ЦП и памяти воркером

Ваш агент может обобщить эти результаты простым языком. Он может объяснить, какие назначения возвращают ошибки, заполняются ли буферы и начались ли потери событий после изменения конфигурации. В следующем примере агент сообщает об отсутствии отброшенных событий и ошибок за 24 часа, а также отмечает, что 28 процентов событий за последние четыре часа были перенаправлены в переливной бакет S3.

Проверка изменений конвейера перед их применением

Конвейеры часто нуждаются в обновлении. Например, новое правило комплаенса может потребовать маскирования еще одного поля, или для шумного сервиса может потребоваться фильтр. Неправильно настроенное изменение может нарушить работу дашбордов, алертов и систем обнаружения, зависящих от конвейера. Ваш агент может составить проект и проверить каждое изменение перед тем, как вы его просмотрите и примете.

Опишите изменение

Чтобы отфильтровать шумный сервис и замаскировать новое поле в конвейере Splunk HEC из предыдущего примера, вы можете попросить агента:

Добавьте в конвейер Splunk HEC шаг, который отбрасывает отладочные логи из сервиса оформления заказа и маскирует адреса электронной почты перед архивацией в S3. Покажите, что изменится.

Ваш агент получает текущую конфигурацию с помощью describe_observability_pipeline, объясняет текущий поток и составляет проект обновленной конфигурации с новыми процессорами фильтрации и маскирования. Затем он проверяет проект с помощью validate_observability_pipeline и выдает сводку изменений до и после.

Исходя из этого, вы решаете, как применить изменения. Вы можете просмотреть и развернуть изменения в конструкторе конвейеров, применить их через существующий рабочий процесс Terraform или API либо поручить агенту создать новый конвейер с помощью create_observability_pipeline и протестировать его параллельно перед переключением.

Просмотр предложенного изменения

В следующем примере агент показывает разницу в конфигурации (diff), а также состояние конвейера до и после изменения. Агент добавляет фильтр, который отсекает отладочные логи (debug logs) службы оформления заказа до того, как они поступят в какое-либо из мест назначения. Он также добавляет отдельный маршрут S3 с правилом Sensitive Data Scanner, которое маскирует номера кредитных карт.

Затем агент подтверждает, что предложенная правка проходит валидацию и что развернутый конвейер не претерпел никаких изменений. Он спрашивает, следует ли применить правку в том виде, в каком она показана.

Применение изменения

После того как вы одобряете правку, агент создает обновленную конфигурацию в качестве нового конвейера. В конструкторе конвейеров вы можете посмотреть, что именно ищет каждое правило Sensitive Data Scanner, какую часть события оно сканирует и как оно скрывает обнаруженные данные.

Проверка сокращения объема

Конвейер телеметрии помогает контролировать объем данных, поступающих в ваши самые дорогостоящие хранилища. Распространенные стратегии сокращения объема логов включают удаление малоценных событий, семплирование зашумленных источников и преобразование высокообъемных логов в метрики. Оценить результат сложнее. Вам необходимо показать, насколько каждое изменение сократило объем, и убедиться, что конвейер не отбрасывает события непреднамеренно.

Добавление пакета для сокращения объема логов

Пакеты Observability Pipelines — это предопределенные конфигурации для конкретных источников логов, таких как AWS CloudTrail, Palo Alto Firewall, Zscaler, Cloudflare, Akamai и Fastly. Каждый пакет применяет рекомендуемую Datadog обработку, которая определяет, какие логи следует отбросить, какие сохранить или разобрать, а какие поля удалить. Чтобы уменьшить объем логов, отправляемых в SIEM или озеро данных, добавьте пакет в новый или существующий конвейер. Затем попросите агента измерить, какой объем данных удалил пакет.

Измерение объема, удаленного пакетом

После добавления пакета Fortinet Firewall в конвейер вы можете задать агенту вопрос:

Сравните, сколько событий конвейер Fortinet отправил в Splunk сегодня по сравнению с вчерашним днем. Какую часть удалил пакет и не были ли отброшены какие-либо непреднамеренные события?

Ваш агент запрашивает полученные и отправленные события для каждого component_id, а затем сравнивает два периода. Каждая метрика использования конвейера также содержит тег rc_version, который увеличивается при каждом обновлении конвейера. С помощью этого тега ваш агент может связать сокращение объема с версией конфигурации, которая его вызвала.

Затем агент сообщает, сколько событий удалил каждый фильтр пакета и происходили ли непреднамеренные удаления. В примере выше фильтры пакета удалили 44 процента событий за сегодня без каких-либо непреднамеренных потерь. Вы можете проверить эти цифры на дашборде или в ноутбyке Datadog, построив график по тем же метрикам использования конвейера, которые запрашивал агент.

Контроль над развертываемыми компонентами

Набор инструментов Observability Pipelines позволяет вашему агенту объяснять, составлять проекты, проверять и создавать конвейеры. Ваша команда решает, когда новый конвейер начинает обрабатывать данные. Набор инструментов работает в рамках следующих ограничений:

  • Набор инструментов не изменяет существующие конвейеры: он может читать существующие конвейеры, но не может их обновлять или удалять.

Набор инструментов не изменяет существующие конвейеры: он может читать существующие конвейеры, но не может их обновлять или удалять.

  • Новые конвейеры не обрабатывают данные до тех пор, пока вы не установите Worker: create_observability_pipeline возвращает ссылку на новый конвейер в Datadog, чтобы вы могли просмотреть его перед установкой воркера Observability Pipelines Worker для его запуска.

Новые конвейеры не обрабатывают данные до тех пор, пока вы не установите Worker: create_observability_pipeline возвращает ссылку на новый конвейер в Datadog, чтобы вы могли просмотреть его перед установкой воркера Observability Pipelines Worker для его запуска.

  • Ваш агент может выполнить валидацию перед созданием: ваш агент может проверить конфигурацию с помощью validate_observability_pipeline, ничего не создавая. Если конфигурация не проходит проверку, create_observability_pipeline возвращает ошибки.

Ваш агент может выполнить валидацию перед созданием: ваш агент может проверить конфигурацию с помощью validate_observability_pipeline, ничего не создавая. Если конфигурация не проходит проверку, create_observability_pipeline возвращает ошибки.

  • Действуют ваши разрешения: ваш агент обладает теми же средствами контроля доступа, что и подключивший его пользователь. Для создания конвейера требуется разрешение Observability Pipelines Deploy, а для остальных инструментов — Observability Pipelines Read. Ваша роль также должна иметь разрешение MCP Read для инструментов чтения и MCP Write для создания конвейеров.

Действуют ваши разрешения: ваш агент обладает теми же средствами контроля доступа, что и подключивший его пользователь. Для создания конвейера требуется разрешение Observability Pipelines Deploy, а для остальных инструментов — Observability Pipelines Read. Ваша роль также должна иметь разрешение MCP Read для инструментов чтения и MCP Write для создания конвейеров.

Начало работы с Observability Pipelines на базе сервера Datadog MCP

Инструменты MCP для Observability Pipelines предоставляют вашему ИИ-агенту доступ к конфигурациям и метрикам ваших конвейеров телеметрии. Ваш агент может создавать проекты новых конвейеров и изменений, проверять состояние конвейеров и измерять сокращение объема данных. Чтобы попробовать эти инструменты в деле:

  • Подключите сервер Datadog MCP к своему ИИ-клиенту, следуя инструкциям по настройке для этого клиента.

Подключите сервер Datadog MCP к своему ИИ-клиенту, следуя инструкциям по настройке для этого клиента.

  • Включите наборы инструментов core и observability-pipelines. Для большинства клиентов добавьте ?toolsets=core,observability-pipelines в URL-адрес конечной точки сервера MCP.

Включите наборы инструментов core и observability-pipelines. Для большинства клиентов добавьте ?toolsets=core,observability-pipelines в URL-адрес конечной точки сервера MCP.

  • Попробуйте ввести запрос вроде «Перечислить наши конвейеры, измененные за последнюю неделю» или «Создать конвейер логов, который получает логи от агента Datadog, отбрасывает отладочные логи и отправляет остальные в Datadog».

Попробуйте ввести запрос вроде «Перечислить наши конвейеры, измененные за последнюю неделю» или «Создать конвейер логов, который получает логи от агента Datadog, отбрасывает отладочные логи и отправляет остальные в Datadog».

Полный список инструментов MCP для Observability Pipelines и примеры запросов см. в документации по инструментам сервера Datadog MCP.

Если вы еще не являетесь клиентом Datadog, зарегистрируйтесь для получения бесплатного 14-дневного пробного периода.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Позвольте вашему ИИ-агенту настроить Datadog с помощью Agentic Onboarding
Datadog

Позвольте вашему ИИ-агенту настроить Datadog с помощью Agentic Onboarding

Что промежуточные выборы значат для корпоративного управления ИИ
Alation

Что промежуточные выборы значат для корпоративного управления ИИ

Масштабирование customer success с помощью PostHog
Posthog

Масштабирование customer success с помощью PostHog

Ноябрьская рассылка 2026
ClickHouse

Ноябрьская рассылка 2026

Две атаки на LiteLLM и контрольная точка, которая нужна вашим пайплайнам
Anaconda

Две атаки на LiteLLM и контрольная точка, которая нужна вашим пайплайнам

8 лучших инструментов для отслеживания ошибок для разработчиков в 2026 году
New Relic

8 лучших инструментов для отслеживания ошибок для разработчиков в 2026 году

Ещё от Datadog

Позвольте вашему ИИ-агенту настроить Datadog с помощью Agentic Onboarding
Datadog

Позвольте вашему ИИ-агенту настроить Datadog с помощью Agentic Onboarding

Отслеживание показателей Lighthouse вместе с данными реальных пользователей в Datadog
Datadog

Отслеживание показателей Lighthouse вместе с данными реальных пользователей в Datadog

Как Datadog разрешает развивающуюся семантику OpenTelemetry во время выполнения запроса
Datadog

Как Datadog разрешает развивающуюся семантику OpenTelemetry во время выполнения запроса

Храните больше логов дольше с Flex Logs BYOBucket
Datadog

Храните больше логов дольше с Flex Logs BYOBucket

Как мы дообучили более быструю модель для Patterns на Baseten
Datadog

Как мы дообучили более быструю модель для Patterns на Baseten

Как мы создали агентскую систему поиска уязвимостей в Datadog
Datadog

Как мы создали агентскую систему поиска уязвимостей в Datadog