Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Otpravka gotovyh k zaprosam logov v azure data explorer s pomoschyu datadog obse
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines

Источник: Datadog•17 ноября 2026 г. в 17:08

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines

Используйте Datadog Observability Pipelines для обработки, фильтрации и маршрутизации логов в Azure Data Explorer, контроля расходов на их прием и упрощения миграции логов.

Если ваша организация использует большую часть своей инфраструктуры в Microsoft Azure, ваши команды могут применять Azure Data Explorer (ADX) для исследовательского анализа больших наборов данных. В ADX вы можете писать запросы на Kusto Query Language (KQL) для поиска угроз и объединения логов с бизнес-данными, которые уже хранятся в Azure. Однако полезность ADX напрямую зависит от качества поступающих в него логов. Логи приходят из десятков источников в разных форматах. Вам необходимо анализировать, очищать и сопоставлять логи каждого источника с нужной таблицей, прежде чем вы сможете эффективно выполнять к ним запросы. Эта работа обычно выполняется с помощью пользовательских скриптов приема, которые необходимо поддерживать. «Шумные» или неразобранные логи также могут стоить вам вдвойне: один раз при приеме и хранении, и еще раз каждый раз, когда вы пишете KQL для их очистки. Помимо затрат, нередактированные логи могут раскрыть конфиденциальные данные пользователям, имеющим доступ к таблице ADX.

Datadog Observability Pipelines теперь интегрируется с ADX, поэтому вы можете собирать, обрабатывать и направлять логи в ADX, меньше полагаясь на пользовательские скрипты приема. Благодаря этой интеграции вы централизуете обработку логов в рамках собственной инфраструктуры, редактируете конфиденциальные данные и отправляете в ADX только те логи, которые нужны вашим командам. Чтобы отслеживать, устранять неполадки и получать оповещения по тем же логам в режиме реального времени, добавьте Datadog Log Management в качестве еще одного пункта назначения.

В этой статье мы расскажем, как Observability Pipelines помогает вам:

  • Обрабатывать и направлять логи до того, как они попадут в ADX

Обрабатывать и направлять логи до того, как они попадут в ADX

  • Добавлять ADX наряду с вашей текущей платформой и сохранять архивы с полной точностью

Добавлять ADX наряду с вашей текущей платформой и сохранять архивы с полной точностью

Обрабатывать и направлять логи до того, как они попадут в ADX

С помощью Observability Pipelines вы можете использовать процессоры для анализа, фильтрации и преобразования логов в вашей собственной инфраструктуре перед отправкой их в ADX. Поля Table и Mapping Reference в пункте назначения ADX поддерживают синтаксис шаблонов, поэтому вы можете направлять логи в разные таблицы на основе установленного вами атрибута. Например, добавьте атрибут adx_table: "network_logs" к логам брандмауэра и adx_table: "identity_logs" к логам аутентификации, а затем установите поле таблицы назначения как {{adx_table}}.

Если вы инженер платформы в крупной компании, предоставляющей финансовые услуги, ваша команда безопасности может захотеть видеть логи брандмауэра Palo Alto Networks и Okta в Microsoft Sentinel для обнаружения угроз. Observability Pipelines может обрабатывать оба типа логов в одном конвейере и направлять каждый из них в свое место назначения. Чтобы удовлетворить потребности вашей команды безопасности, начните с анализа каждого типа логов с помощью процессора Grok Parser, который поддерживает библиотечные и пользовательские правила. Затем добавьте процессор Sensitive Data Scanner для редактирования номеров счетов и процессор Filter для удаления проверок работоспособности. Перед развертыванием конвейера используйте Pipeline Simulation, чтобы убедиться, что логи выходят из процессора Edit Fields с ожидаемым значением adx_table. После развертывания запустите Live Capture на том же процессоре, чтобы проверить отправляемые им логи.

При настройке пункта назначения ADX выберите параметры аутентификации и приема, соответствующие вашей среде Azure. Observability Pipelines поддерживает аутентификацию через Microsoft Entra ID, включая управляемые удостоверения и удостоверения рабочих нагрузок для Azure Kubernetes Service (AKS). Для приема выберите потоковый прием, когда вам нужны логи, доступные для быстрого запроса, или прием через очередь для высокопроизводительных пакетов.

Добавляйте ADX наряду с вашей текущей платформой и сохраняйте архивы с полной точностью

ADX редко является единственным местом назначения для логов. Одни и те же логи часто должны поступать в Datadog для мониторинга в реальном времени, в SIEM, такую как Microsoft Sentinel или Splunk, для обнаружения, и в облачное хранилище для долгосрочного хранения. Добавление ADX в этот список обычно означает перенастройку каждого источника, а затем проверку того, что новая платформа получает нужные логи в правильном формате. Observability Pipelines упрощает эту работу. Вы настраиваете свои источники один раз для отправки логов в Observability Pipelines Worker, а Worker направляет их в каждый пункт назначения.

Допустим, ваша команда безопасности хочет добавить ADX для долгосрочного поиска угроз наряду со Splunk. Вы можете настроить Observability Pipelines для дублирования одних и тех же логов на обе платформы, а затем выполнять запросы к обеим, чтобы убедиться, что ADX получает ожидаемые логи с правильными полями и значениями. Когда ваши потребности изменятся, вы обновите пункты назначения конвейера вместо перенастройки каждого источника. Observability Pipelines также поддерживает Datadog, Microsoft Sentinel, Google SecOps, Azure Storage и другие пункты назначения.

Observability Pipelines предоставляет мониторы и панель управления, которые помогают выявлять проблемы с работоспособностью конвейера во время проверки нового пункта назначения. Во время дублирования вы можете включить готовые мониторы для предлагаемых сценариев использования и настроить их для отслеживания потенциальных проблем. Когда монитор сигнализирует о проблеме, откройте панель управления Observability Pipelines Overview и отфильтруйте данные по конвейеру, Worker или компоненту, чтобы сузить область поиска места возникновения проблемы.

Чтобы сохранить нефильтрованные логи, добавьте еще один набор процессоров и пунктов назначения, которые архивируют их в Azure Storage, в то время как конвейер отправляет отфильтрованное подмножество в ADX. Архив сохраняет логи с полной точностью, доступные для будущих расследований, и вы контролируете, что именно попадает на вашу аналитическую платформу. Если эти логи понадобятся вам позже, вы сможете восстановить их в Datadog.

Начало работы с Datadog Observability Pipelines

Datadog Observability Pipelines помогает отправлять готовые к запросам логи в ADX путем фильтрации логов и редактирования конфиденциальных данных в вашей собственной инфраструктуре до того, как логи покинут вашу среду. Тот же конвейер также поддерживает постепенную миграцию и архивирует логи для будущих расследований.

Чтобы начать работу, настройте пункт назначения ADX в новом или существующем конвейере логов и добавьте процессоры, необходимые вашим командам.

Если вы еще не являетесь клиентом Datadog, зарегистрируйтесь для получения бесплатной 14-дневной пробной версии.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Что нового в dbt: ноябрь 2026 г.
dbt Labs

Что нового в dbt: ноябрь 2026 г.

Мы случайно запустили наш новый интерфейс
Posthog

Мы случайно запустили наш новый интерфейс

Быстрее находите нужные строки логов с помощью полнотекстового поиска в Grafana Cloud Logs
Grafana Labs

Быстрее находите нужные строки логов с помощью полнотекстового поиска в Grafana Cloud Logs

Прогнозирование и обнаружение аномалий в ClickHouse с помощью фундаментальных моделей временных рядов
ClickHouse

Прогнозирование и обнаружение аномалий в ClickHouse с помощью фундаментальных моделей временных рядов

Ответ находится на расстоянии трех связей. Вычисляемые атрибуты помещают его туда, где он вам нужен.
Collibra

Ответ находится на расстоянии трех связей. Вычисляемые атрибуты помещают его туда, где он вам нужен.

Collibra признана лидером третий год подряд в отчете Gartner® Magic Quadrant™ для платформ управления данными и аналитикой
Collibra

Collibra признана лидером третий год подряд в отчете Gartner® Magic Quadrant™ для платформ управления данными и аналитикой

Ещё от Datadog

Отслеживайте свой стек Azure AI и получите широкое покрытие Azure с Datadog
Datadog

Отслеживайте свой стек Azure AI и получите широкое покрытие Azure с Datadog

Как мы масштабировали агрегацию метрик, перенеся долговечное состояние в хранилище
Datadog

Как мы масштабировали агрегацию метрик, перенеся долговечное состояние в хранилище

Как проверить, готовы ли ваши рабочие нагрузки EC2 к IMDSv2
Datadog

Как проверить, готовы ли ваши рабочие нагрузки EC2 к IMDSv2

Получайте полезные логи из любого источника с помощью Datadog Auto-Processing
Datadog

Получайте полезные логи из любого источника с помощью Datadog Auto-Processing

Исследуйте человека, стоящего за риском, с помощью Cloud SIEM
Datadog

Исследуйте человека, стоящего за риском, с помощью Cloud SIEM

Где запускать рабочие нагрузки AWS и как ограничить к ним доступ
Datadog

Где запускать рабочие нагрузки AWS и как ограничить к ним доступ