Объединение данных в Datadog BYOC с помощью межкластерных запросов для команд и ИИ-агентов

Источник: Datadog•

Объединение данных в Datadog BYOC с помощью межкластерных запросов для команд и ИИ-агентов

Используйте межкластерные запросы в Datadog BYOC Logs для расследования инцидентов в разных регионах и бизнес-подразделениях без необходимости централизации хранимых логов.

Организациям может потребоваться хранить данные в определенных регионах или инфраструктуре, которую они контролируют, будь то из-за требований к месту хранения данных, внутренних политик или затрат на передачу. Datadog Bring Your Own Cloud (BYOC) расширяет платформу Datadog на эти среды. Каждое развертывание BYOC работает как кластер Kubernetes с собственным объектным хранилищем, сохраняя данные рядом с их источником. Команды продолжают использовать Log Explorer, дашборды, мониторы, Bits AI и MCP Server от Datadog, пользуясь при этом существующими облачными тарифами и скидками.

Границы развертывания обычно усложняют расследования, охватывающие несколько регионов или бизнес-подразделений. Если ошибка возникает во Франкфурте, инженерам может потребоваться определить, затронуты ли также Вирджиния или Мумбаи. Поиск в каждом кластере отдельно означает повторение запросов и фильтров, а затем ручное сравнение результатов.

Межкластерные запросы позволяют командам и ИИ-агентам выполнять поиск по выбранным кластерам BYOC с помощью одного запроса. Datadog выполняет запрос к каждому кластеру и объединяет совпадающие результаты в Log Explorer. Благодаря межкластерным запросам инженеры могут определить, является ли проблема локальной или масштабной, в то время как базовые логи остаются в своих исходных местах.

В этой статье мы покажем, как межкластерные запросы позволяют вам:

  • Отслеживать расследование в нескольких регионах

Отслеживать расследование в нескольких регионах

  • Повысить эффективность использования токенов для ИИ-расследований

Повысить эффективность использования токенов для ИИ-расследований

  • Консолидировать глобальную платформу в единое представление

Консолидировать глобальную платформу в единое представление

Отслеживать расследование в нескольких регионах

Межкластерные запросы поддерживают расследования, в которых соответствующие логи могут быть распределены по регионам, бизнес-подразделениям или сервисам. В Log Explorer вы определяете область межкластерного расследования, выбирая индексы BYOC, по которым хотите выполнить поиск. Вы можете выбрать эти индексы на панели фасетов или указать кластеры напрямую с помощью фильтра индексов, как показано ниже:

Datadog возвращает совпадающие логи в одном списке, и любые изменения, которые вы вносите в фильтры или временной диапазон, применяются ко всем выбранным кластерам. После появления результатов вы можете следовать обычному рабочему процессу Log Explorer, чтобы открыть отдельный лог, изучить его атрибуты и уточнить следующий поиск.

Чтобы сосредоточиться на конкретном наборе данных, используйте полное имя индекса, например byoc--eu-west--application. Указание одного индекса полезно, когда кластер содержит несколько наборов данных, но расследование касается только одного из них. В документации по поиску BYOC Logs объясняется формат именования.

В следующих разделах описаны общие задачи, которые можно выполнять с помощью межкластерных запросов в разных бизнес-подразделениях, регионах и компонентах приложений.

Отслеживание подозрительного IP-адреса в разных бизнес-подразделениях

Когда подозрительный IP-адрес появляется в логах одного приложения, аналитикам необходимо выяснить, встречается ли он где-то еще. Если финансовый и коммерческий отделы хранят логи в разных кластерах, один запрос может проверить оба бизнес-подразделения:

index:(byoc--finance OR byoc--commerce) @network.client.ip:203.0.113.42 service:login

Совпадающие события входа в систему отображаются вместе, поэтому аналитики могут сравнивать активность в обоих подразделениях. Они могут корректировать временной диапазон или добавлять фильтры атрибутов по мере развития расследования, не повторяя каждое изменение для каждого кластера отдельно.

Выяснение того, является ли региональный инцидент глобальным

Для сервиса, развернутого в нескольких регионах, вы можете искать ошибки в его региональных кластерах, чтобы определить масштаб инцидента. Следующий запрос проверяет сервис уведомлений в трех регионах: index:(byoc--us-east OR byoc--eu-west OR byoc--ap-south) service:notification-proxy status:error Эти результаты помогают отличить изолированный сбой развертывания от ошибок, затрагивающих несколько регионов. Когда доказательства указывают на один кластер, сузьте запрос до этого кластера и продолжайте расследование.

Повышение эффективности использования токенов для ИИ-расследований

ИИ-агенту, расследующему сбой сервиса, может потребоваться выполнить поиск по нескольким региональным кластерам, прежде чем решить, на чем сосредоточиться. Запрос к каждому кластеру отдельно означает повторение фильтров и временных диапазонов при вызове инструментов, а затем обработку отдельных ответов. По мере того как агент уточняет поиск, эти накладные расходы могут накапливаться.

Через Datadog MCP Server агенты могут запрашивать логи BYOC с помощью search_datadog_logs, указывая соответствующие индексы, фильтры и временной диапазон. С помощью межкластерных запросов агент, расследующий сбои уведомлений, может одновременно выполнять поиск в развертываниях в Вирджинии, Франкфурте и Мумбаи. Datadog объединяет совпадающие результаты, чтобы агент мог оценить масштаб инцидента без координации отдельных региональных поисков.

Консолидация этих поисков может сократить количество токенов, затрачиваемых на создание повторяющихся вызовов инструментов и обработку метаданных ответов. Агенту все равно нужно обрабатывать совпадающие логи, поэтому общее использование токенов зависит от возвращенных результатов и любых последующих запросов. По мере развития расследования он может уточнить один запрос по выбранным кластерам или сузить поиск до затронутого региона.

Консолидация глобальной платформы в единое представление

Межкластерные запросы также поддерживают постоянный мониторинг с помощью дашбордов и мониторов логов. Рассмотрим платформу бронирования путешествий, работающую в Вирджинии, Франкфурте и Мумбаи, где некоторые платежи обрабатываются за пределами региона, в котором было сделано бронирование. Команде необходимо отслеживать эти сервисы вместе, даже если каждый регион хранит свои собственные логи.

Используя межкластерные запросы, дашборд может отслеживать ошибки бронирования и оплаты во всех трех региональных кластерах. Монитор логов может оценивать сбои оплаты в этих кластерах на основе общего условия оповещения. Когда срабатывает монитор, инженеры могут расследовать затронутые транзакции с помощью того же рабочего процесса межкластерного поиска, вместо того чтобы собирать отдельные региональные поиски.

Начало работы с межкластерными запросами

Межкластерные запросы в Datadog BYOC Logs позволяют расследовать работу сервисов в разных регионах и бизнес-подразделениях, не меняя места хранения их логов. Поиск по нескольким кластерам BYOC с помощью одного запроса позволяет определить масштаб инцидента в разных регионах и бизнес-подразделениях без повторения одного и того же поиска в каждом кластере.

Вы можете использовать одну и ту же область межкластерного запроса в дашбордах, мониторах и Log Explorer для расследования и мониторинга сервисов, охватывающих несколько регионов. Чтобы ознакомиться с синтаксисом запросов и форматом именования индексов, прочитайте документацию по межкластерному поиску.

Свяжитесь с вашей командой по работе с клиентами Datadog, чтобы обсудить доступ для вашего развертывания, и ознакомьтесь с документацией по BYOC Logs для получения руководства по развертыванию и настройке. А если вы новичок в Datadog,

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →

Ещё от Datadog