Логи часто требуют ручной настройки парсинга, прежде чем команды смогут использовать содержащуюся в них информацию для расследований, создания дашбордов и настройки оповещений. Инженерам приходится писать и отлаживать правила парсинга, сопоставлять стандартные атрибуты и корректировать конвейеры по мере изменения приложений. Когда формат логов меняется, парсинг может перестать работать, что приводит к появлению пробелов в дашбордах или сбоям в работе мониторов, зависящих от извлеченных атрибутов.
Datadog Auto-Processing (общедоступная функция) автоматически структурирует логи, избавляя вас от необходимости создавать и поддерживать конвейеры парсинга. Система определяет форматы логов, требующие обработки, создает и применяет к ним правила парсинга, а также нормализует основные атрибуты. По мере изменения форматов логов Auto-Processing адаптирует парсинг, помогая поддерживать логи в структурированном виде для последующего анализа людьми и агентами.
В этой статье мы покажем, как использовать Auto-Processing для:
- Автоматизации обнаружения и парсинга неструктурированных логов
Автоматизации обнаружения и парсинга неструктурированных логов
- Последовательного анализа логов в разных сервисах с помощью нормализованных атрибутов
Последовательного анализа логов в разных сервисах с помощью нормализованных атрибутов
- Поддержания работоспособности дашбордов и мониторов при изменении форматов логов
Поддержания работоспособности дашбордов и мониторов при изменении форматов логов
Автоматизации обнаружения и парсинга неструктурированных логов
Когда входящие логи поступают из пользовательских источников и для них еще нет подходящего конвейера, Auto-Processing берет на себя создание конвейера от начала до конца. Система определяет логи, требующие обработки, генерирует парсинг, необходимый для их структурирования, и автоматически применяет конвейер. Вам не нужно инициировать создание конвейера, писать правила парсинга или одобрять сгенерированный конвейер перед его вступлением в силу.
Например, представьте, что вы инженер, отвечающий за новый сервис сверки платежей, который генерирует логи следующего вида:
2026-10-29 17:16:02,714 WARN [payments-worker] Charge request d12b5c for user 17275 failed after 3198 ms with HTTP 502 from TidewellPay; scheduling a retry
Лог содержит детали, необходимые для исследования работы сервиса, но эти детали не являются структурированными атрибутами. Как только логи из сервиса начинают поступать в Datadog, Auto-Processing определяет, что они требуют обработки, и автоматически создает правила парсинга.
Auto-Processing применяет конвейер, когда показатели уверенности и риска достигают требуемого порога. Весь процесс обнаружения пробела в обработке, генерации новых правил конвейера и их применения занимает около 1 часа. Когда этот процесс в нашем примере завершается, логи сервиса становятся структурированными.
Фильтрация и агрегация логов с помощью извлеченных атрибутов
Когда Auto-Processing извлекает значения из ваших логов в атрибуты, вы можете запрашивать их напрямую, вместо того чтобы создавать сложные текстовые поисковые запросы или извлекать значения из каждого сообщения во время выполнения запроса. В нашем примере с платежами вы можете фильтровать по провайдеру, находить запросы для конкретного пользователя или изолировать запросы, которые вернули HTTP 502. Извлеченные атрибуты облегчают расследование того, сосредоточены ли сбои на провайдере TidewellPay или затрагивают нескольких провайдеров.
Числовые атрибуты, такие как задержка запроса и длительность транзакции, также становятся доступными для агрегации и построения графиков. Вы можете сравнивать среднюю задержку между провайдерами, отслеживать время отклика с течением времени и создавать мониторы для запросов, превышающих пороговое значение. В нашем примере вы можете исследовать, совпадает ли рост числа неудачных платежей с увеличением задержки.
Последовательный анализ логов в разных сервисах с помощью нормализованных атрибутов
Извлечение значений делает детали в каждом логе доступными для запросов. Чтобы помочь вам последовательно анализировать логи в разных сервисах, Auto-Processing также сопоставляет информацию с основными атрибутами Datadog, включая метку времени, статус, сервис, ID трассировки и ID спана.
В нашем примере с платежами предположим, что вы хотите выяснить, совпадают ли сбои платежей с предупреждениями от отдельного сервиса оформления заказа. Этот сервис также выдает неструктурированные логи, но использует другой формат. Auto-Processing использует серьезность и метку времени, извлеченные из сообщений каждого сервиса, чтобы установить статус логов и время события в Datadog. Затем вы можете исследовать предупреждения по обоим сервисам, используя один и тот же фильтр статуса и временной интервал, независимо от формата логов каждого сервиса.
Нормализация также предоставляет вам согласованные атрибуты для построения дашбордов, даже если исходные логи поступают из разных источников или используют разные форматы. Дашборд может использовать стандартные поля, такие как сервис и статус, во всех этих логах, не требуя обработки, специфичной для источника, во время выполнения запроса.
Поскольку Auto-Processing структурирует логи во время обработки, полученные атрибуты остаются доступными для последующих рабочих процессов и направлений. Вы можете использовать одни и те же структурированные данные в Log Explorer, генерировать на их основе метрики, хранить их в Flex Logs или архивах, а также пересылать обработанные логи в другие места.
Поддержание работоспособности дашбордов и мониторов при изменении форматов логов
Автоматическое создание конвейера решает первоначальную задачу структурирования нового формата логов, но приложения и их логи могут измениться после создания первого конвейера. Auto-Processing адаптирует управляемые им конвейеры по мере изменения этих форматов, помогая сохранять атрибуты, от которых зависят дашборды и мониторы.
Продолжая наш пример, предположим, что Auto-Processing заполнил атрибут статуса для логов из сервиса сверки платежей. Если в результате будущего развертывания формат логов сервиса изменится, Auto-Processing обнаружит это изменение и адаптирует правила парсинга, чтобы помочь дашбордам и мониторам, зависящим от атрибута статуса, продолжать функционировать. В результате инженерам не нужно самостоятельно обнаруживать каждое изменение формата логов и обновлять соответствующие правила.
Начните ускорять расследования с помощью Auto-Processing
Auto-Processing позволяет получать ответы из логов, поступающих из пользовательских источников, без необходимости создавать и постоянно обновлять конвейеры парсинга. Это помогает поддерживать логи структурированными и готовыми к поиску, мониторингу, дашбордам, метрикам и другим рабочим процессам, которые от них зависят. Чтобы начать работу, ознакомьтесь с документацией по Auto-Processing.
Если у вас еще нет учетной записи Datadog, вы можете зарегистрироваться для получения 14-дневной бесплатной пробной версии, чтобы начать обработку и анализ своих логов с помощью Datadog.












