Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Poluchayte poleznye logi iz lyubogo istochnika s pomoschyu datadog auto processi
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Получайте полезные логи из любого источника с помощью Datadog Auto-Processing

Источник: Datadog•16 ноября 2026 г. в 16:41

Получайте полезные логи из любого источника с помощью Datadog Auto-Processing

Используйте Auto-Processing для структурирования логов с пользовательскими форматами и поддерживайте их в структурированном виде без ручного создания конвейеров или обновления правил парсинга.

Логи часто требуют ручной настройки парсинга, прежде чем команды смогут использовать содержащуюся в них информацию для расследований, создания дашбордов и настройки оповещений. Инженерам приходится писать и отлаживать правила парсинга, сопоставлять стандартные атрибуты и корректировать конвейеры по мере изменения приложений. Когда формат логов меняется, парсинг может перестать работать, что приводит к появлению пробелов в дашбордах или сбоям в работе мониторов, зависящих от извлеченных атрибутов.

Datadog Auto-Processing (общедоступная функция) автоматически структурирует логи, избавляя вас от необходимости создавать и поддерживать конвейеры парсинга. Система определяет форматы логов, требующие обработки, создает и применяет к ним правила парсинга, а также нормализует основные атрибуты. По мере изменения форматов логов Auto-Processing адаптирует парсинг, помогая поддерживать логи в структурированном виде для последующего анализа людьми и агентами.

В этой статье мы покажем, как использовать Auto-Processing для:

  • Автоматизации обнаружения и парсинга неструктурированных логов

Автоматизации обнаружения и парсинга неструктурированных логов

  • Последовательного анализа логов в разных сервисах с помощью нормализованных атрибутов

Последовательного анализа логов в разных сервисах с помощью нормализованных атрибутов

  • Поддержания работоспособности дашбордов и мониторов при изменении форматов логов

Поддержания работоспособности дашбордов и мониторов при изменении форматов логов

Автоматизации обнаружения и парсинга неструктурированных логов

Когда входящие логи поступают из пользовательских источников и для них еще нет подходящего конвейера, Auto-Processing берет на себя создание конвейера от начала до конца. Система определяет логи, требующие обработки, генерирует парсинг, необходимый для их структурирования, и автоматически применяет конвейер. Вам не нужно инициировать создание конвейера, писать правила парсинга или одобрять сгенерированный конвейер перед его вступлением в силу.

Например, представьте, что вы инженер, отвечающий за новый сервис сверки платежей, который генерирует логи следующего вида:

2026-10-29 17:16:02,714 WARN [payments-worker] Charge request d12b5c for user 17275 failed after 3198 ms with HTTP 502 from TidewellPay; scheduling a retry

Лог содержит детали, необходимые для исследования работы сервиса, но эти детали не являются структурированными атрибутами. Как только логи из сервиса начинают поступать в Datadog, Auto-Processing определяет, что они требуют обработки, и автоматически создает правила парсинга.

Auto-Processing применяет конвейер, когда показатели уверенности и риска достигают требуемого порога. Весь процесс обнаружения пробела в обработке, генерации новых правил конвейера и их применения занимает около 1 часа. Когда этот процесс в нашем примере завершается, логи сервиса становятся структурированными.

Фильтрация и агрегация логов с помощью извлеченных атрибутов

Когда Auto-Processing извлекает значения из ваших логов в атрибуты, вы можете запрашивать их напрямую, вместо того чтобы создавать сложные текстовые поисковые запросы или извлекать значения из каждого сообщения во время выполнения запроса. В нашем примере с платежами вы можете фильтровать по провайдеру, находить запросы для конкретного пользователя или изолировать запросы, которые вернули HTTP 502. Извлеченные атрибуты облегчают расследование того, сосредоточены ли сбои на провайдере TidewellPay или затрагивают нескольких провайдеров.

Числовые атрибуты, такие как задержка запроса и длительность транзакции, также становятся доступными для агрегации и построения графиков. Вы можете сравнивать среднюю задержку между провайдерами, отслеживать время отклика с течением времени и создавать мониторы для запросов, превышающих пороговое значение. В нашем примере вы можете исследовать, совпадает ли рост числа неудачных платежей с увеличением задержки.

Последовательный анализ логов в разных сервисах с помощью нормализованных атрибутов

Извлечение значений делает детали в каждом логе доступными для запросов. Чтобы помочь вам последовательно анализировать логи в разных сервисах, Auto-Processing также сопоставляет информацию с основными атрибутами Datadog, включая метку времени, статус, сервис, ID трассировки и ID спана.

В нашем примере с платежами предположим, что вы хотите выяснить, совпадают ли сбои платежей с предупреждениями от отдельного сервиса оформления заказа. Этот сервис также выдает неструктурированные логи, но использует другой формат. Auto-Processing использует серьезность и метку времени, извлеченные из сообщений каждого сервиса, чтобы установить статус логов и время события в Datadog. Затем вы можете исследовать предупреждения по обоим сервисам, используя один и тот же фильтр статуса и временной интервал, независимо от формата логов каждого сервиса.

Нормализация также предоставляет вам согласованные атрибуты для построения дашбордов, даже если исходные логи поступают из разных источников или используют разные форматы. Дашборд может использовать стандартные поля, такие как сервис и статус, во всех этих логах, не требуя обработки, специфичной для источника, во время выполнения запроса.

Поскольку Auto-Processing структурирует логи во время обработки, полученные атрибуты остаются доступными для последующих рабочих процессов и направлений. Вы можете использовать одни и те же структурированные данные в Log Explorer, генерировать на их основе метрики, хранить их в Flex Logs или архивах, а также пересылать обработанные логи в другие места.

Поддержание работоспособности дашбордов и мониторов при изменении форматов логов

Автоматическое создание конвейера решает первоначальную задачу структурирования нового формата логов, но приложения и их логи могут измениться после создания первого конвейера. Auto-Processing адаптирует управляемые им конвейеры по мере изменения этих форматов, помогая сохранять атрибуты, от которых зависят дашборды и мониторы.

Продолжая наш пример, предположим, что Auto-Processing заполнил атрибут статуса для логов из сервиса сверки платежей. Если в результате будущего развертывания формат логов сервиса изменится, Auto-Processing обнаружит это изменение и адаптирует правила парсинга, чтобы помочь дашбордам и мониторам, зависящим от атрибута статуса, продолжать функционировать. В результате инженерам не нужно самостоятельно обнаруживать каждое изменение формата логов и обновлять соответствующие правила.

Начните ускорять расследования с помощью Auto-Processing

Auto-Processing позволяет получать ответы из логов, поступающих из пользовательских источников, без необходимости создавать и постоянно обновлять конвейеры парсинга. Это помогает поддерживать логи структурированными и готовыми к поиску, мониторингу, дашбордам, метрикам и другим рабочим процессам, которые от них зависят. Чтобы начать работу, ознакомьтесь с документацией по Auto-Processing.

Если у вас еще нет учетной записи Datadog, вы можете зарегистрироваться для получения 14-дневной бесплатной пробной версии, чтобы начать обработку и анализ своих логов с помощью Datadog.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Как запустить модель эмбеддингов на «голом железе»
Qdrant

Как запустить модель эмбеддингов на «голом железе»

ИИ в здравоохранении начинается с данных, которым можно доверять
dbt Labs

ИИ в здравоохранении начинается с данных, которым можно доверять

Линейность на базе ИИ для скриптов Python
Collibra

Линейность на базе ИИ для скриптов Python

Получите контроль над вашей экосистемой MCP с помощью AI Command Center
Collibra

Получите контроль над вашей экосистемой MCP с помощью AI Command Center

JSONBench возвращается, и ClickHouse всё ещё лидирует
ClickHouse

JSONBench возвращается, и ClickHouse всё ещё лидирует

Как независимые разработчики ПО открывают европейские рабочие нагрузки в Google Cloud Dedicated
Looker

Как независимые разработчики ПО открывают европейские рабочие нагрузки в Google Cloud Dedicated

Ещё от Datadog

Исследуйте человека, стоящего за риском, с помощью Cloud SIEM
Datadog

Исследуйте человека, стоящего за риском, с помощью Cloud SIEM

Где запускать рабочие нагрузки AWS и как ограничить к ним доступ
Datadog

Где запускать рабочие нагрузки AWS и как ограничить к ним доступ

Мониторинг и устранение неполадок на устройствах сотрудников с помощью Datadog End User Device Monitoring
Datadog

Мониторинг и устранение неполадок на устройствах сотрудников с помощью Datadog End User Device Monitoring

Мониторинг использования и влияния OpenAI Codex с помощью Datadog
Datadog

Мониторинг использования и влияния OpenAI Codex с помощью Datadog

Мониторинг рабочих нагрузок OCI в облаках правительства США с помощью Datadog
Datadog

Мониторинг рабочих нагрузок OCI в облаках правительства США с помощью Datadog

Обнаружение уязвимости PHP2Shell и реагирование на нее с помощью Datadog
Datadog

Обнаружение уязвимости PHP2Shell и реагирование на нее с помощью Datadog