Перенос логов на новую платформу — это лишь часть миграции. За годы работы ваши команды создали сохраненные поисковые запросы, оповещения и дашборды на языке Search Processing Language (SPL) от Splunk. Эти элементы фиксируют, какие ошибки имеют значение, какие условия вызывают пейджинг-оповещения и какие представления дежурный инженер открывает в первую очередь. Воссоздание этой библиотеки вручную происходит медленно и чревато ошибками: обычно требуется провести инвентаризацию каждого элемента, изучить новый синтаксис запросов, переписать каждый поиск и вручную убедиться, что результаты совпадают. Эта работа может быть сложной и трудоемкой даже для опытных пользователей, и она часто задерживает миграцию или полностью блокирует ее.
Встроенные инструменты миграции от Datadog — Translate и Import — помогают воссоздать ваши запросы, оповещения и дашборды SPL в Datadog без необходимости переписывать их с нуля. В этой статье мы покажем, как вы можете:
- Переводить и проверять отдельные запросы SPL
Переводить и проверять отдельные запросы SPL
- Массово импортировать оповещения и дашборды
Массово импортировать оповещения и дашборды
- Отслеживать ход миграции с течением времени
Отслеживать ход миграции с течением времени
- Упрощать поиск с помощью встроенных функций Datadog
Упрощать поиск с помощью встроенных функций Datadog
Переводить и проверять отдельные запросы SPL
Инструмент Translate от Datadog преобразует отдельные запросы SPL в поисковые запросы по логам Datadog и позволяет проверить результаты на ваших собственных логах. Предположим, вы управляете платформой электронной коммерции и хотите убедиться, что ваши критически важные рабочие процессы и ресурсы наблюдаемости перенесутся в Datadog. Одним из таких ресурсов является карта показателей работоспособности витрины, которая отслеживает количество запросов, показатели ошибок и задержку для различных эндпоинтов. Лежащий в ее основе запрос объединяет поисковые фильтры, условные выражения, агрегации и команды для фильтрации и сортировки результатов:
search service=web-store http.status_code=* NOT http.url_details.path="/_health"
| eval is_5xx=if('http.status_code'>=500, 1, 0),
is_4xx=if('http.status_code'>=400 AND 'http.status_code'<500, 1, 0)
| stats count AS requests,
sum(is_5xx) AS errors_5xx,
sum(is_4xx) AS errors_4xx,
avg(duration) AS avg_ms,
perc95(duration) AS p95_ms,
max(duration) AS max_ms,
dc(host) AS hosts
BY controller, http.url_details.path
| eval error_rate_pct=round((errors_5xx / requests) * 100, 2),
avg_ms=round(avg_ms, 1),
p95_ms=round(p95_ms, 1)
| where requests > 100
| sort - error_rate_pct
| head 10
В Datadog Log Management откройте инструмент Translate и вставьте запрос. Помимо перевода, вы получаете:
- Пошаговое объяснение, сопоставляющее каждую часть конвейера SPL с ее эквивалентом в Datadog, чтобы вы могли осваивать новый синтаксис по ходу дела
Пошаговое объяснение, сопоставляющее каждую часть конвейера SPL с ее эквивалентом в Datadog, чтобы вы могли осваивать новый синтаксис по ходу дела
- Живые результаты по вашим собственным логам, позволяющие убедиться, что вывод совпадает с тем, что вы видели в Splunk
Живые результаты по вашим собственным логам, позволяющие убедиться, что вывод совпадает с тем, что вы видели в Splunk
- Быстрые действия, такие как открытие поиска в Log Explorer или создание монитора на его основе
Быстрые действия, такие как открытие поиска в Log Explorer или создание монитора на его основе
Поскольку результаты получены на основе ваших актуальных данных, вы можете сразу обнаружить проблемы. Например, если имя поля в Datadog отличается от имени в Splunk, результаты покажут это до того, как вы построите что-либо поверх запроса.
Массово импортировать оповещения и дашборды
Хотя вы можете использовать Translate для конвертации и проверки отдельных запросов SPL, инструмент Import позволяет переводить оповещения и дашборды пакетами. Import избавляет вас от необходимости переводить сотни элементов по отдельности и снижает риск упустить из виду что-то важное.
В Log Management откройте инструмент Import и следуйте инструкциям на экране для экспорта сохраненных поисков, оповещений и дашбордов из Splunk. Вам не нужно устанавливать ничего в вашей среде Splunk. Затем перетащите файл экспорта в Datadog.
Datadog преобразует каждый элемент в его эквивалент в Datadog:
- Оповещения Splunk становятся мониторами Datadog с переведенным запросом и исходными условиями срабатывания.
Оповещения Splunk становятся мониторами Datadog с переведенным запросом и исходными условиями срабатывания.
- Дашборды Splunk становятся дашбордами Datadog, переведенными виджет за виджетом.
Дашборды Splunk становятся дашбордами Datadog, переведенными виджет за виджетом.
Datadog сохраняет переведенные мониторы и определения дашбордов в виде черновиков, пока вы не будете готовы опубликовать эти элементы. Вы можете открыть любой переведенный монитор или дашборд, сравнить его с исходным SPL и проверить результаты по своим данным. Проверив перевод, опубликуйте его, чтобы сделать доступным для своей команды. Публикация создает стандартные мониторы и дашборды Datadog, поэтому вы можете управлять ими так же, как и любыми другими, в том числе через API и Terraform.
На этапе раннего доступа один из партнеров по разработке перевел 62 запроса из 62 в пакете за один массовый запуск. Другая команда загрузила более 1500 оповещений одновременно с первой попытки с помощью службы внедрения Datadog Implementation Services.
Отслеживать ход миграции с течением времени
Масштабная миграция происходит волнами: по одной команде, одному приложению Splunk или одному набору критически важных оповещений за раз. Инструмент Import хранит каждую загрузку в едином реестре, поэтому вы можете видеть статус миграции каждого элемента без ведения отдельной электронной таблицы.
Для каждого импорта вы можете видеть, какие элементы были переведены, какие пропущены, а какие вы уже опубликовали. Вы можете выполнять фильтрацию по типу элемента или статусу, чтобы сосредоточиться на том, что еще требует доработки.
Когда Datadog не может надежно перевести элемент, он помечает его как пропущенный, вместо того чтобы публиковать монитор или виджет, которые могут вернуть неверные результаты. Элементы обычно пропускаются по нескольким причинам, например из-за команды SPL, которую инструменты еще не поддерживают, или дашборда, зависящего от специфических для Splunk функций вроде сводных индексов (summary indexes). Вы можете скорректировать SPL и импортировать эти элементы снова, доработать запрос в Translate или попросить Bits AI помочь его переписать.
Упрощать поиск с помощью встроенных функций Datadog
Перевод существующих элементов позволяет вашим командам быстро начать работу в Datadog. Миграция также является подходящим моментом для упрощения поисковых запросов, которые выросли в объеме, масштабе и сложности. Несколько шаблонов SPL имеют более прямые эквиваленты в Datadog:
- Извлечение полей во время поиска с помощью rex: используйте функцию Tap to Parse, чтобы превратить значения, скрытые в сообщении лога, в структурированные поля в один клик, без написания регулярного выражения.
Извлечение полей во время поиска с помощью rex: используйте функцию Tap to Parse, чтобы превратить значения, скрытые в сообщении лога, в структурированные поля в один клик, без написания регулярного выражения.
- Подстановки и вложенные поиски (Lookups и subsearches): используйте подзапросы (subqueries) и соединения с справочными таблицами (Reference Table joins) для фильтрации или обогащения логов связанными событиями или внешними метаданными, в том числе в мониторах логов.
Подстановки и вложенные поиски (Lookups и subsearches): используйте подзапросы (subqueries) и соединения с справочными таблицами (Reference Table joins) для фильтрации или обогащения логов связанными событиями или внешними метаданными, в том числе в мониторах логов.
- Запланированные поиски, отправляющие результаты по электронной почте: используйте запланированные CSV-отчеты для доставки результатов Log Explorer на электронную почту или в Slack по расписанию.
Запланированные поиски, отправляющие результаты по электронной почте: Используйте запланированные отчеты в формате CSV для доставки результатов Log Explorer на электронную почту или в Slack по расписанию.
- Длинные многоэтапные конвейеры: используйте ячейки анализа Notebooks для объединения трансформаций в цепочки или написания SQL, когда одного поиска логов недостаточно.
Длинные многоэтапные конвейеры: используйте ячейки анализа Notebooks для объединения трансформаций в цепочки или написания SQL, когда одного поиска логов недостаточно.
Начните миграцию ваших ресурсов из Splunk в Datadog
Функции Translate и Import общедоступны для клиентов Log Management во всех регионах Datadog, кроме US1-FED, без дополнительной платы. Вы можете проверять запросы на собственных логах, переводить всю библиотеку целиком и публиковать каждый ресурс по отдельности или все сразу, когда будете готовы. Информацию о начале работы см. в документации по миграции Query Translation. Если вы планируете масштабную миграцию, команда вашего аккаунта Datadog может помочь.
Если вы новичок в Datadog, вы можете зарегистрироваться для 14-дневного бесплатного пробного периода, чтобы начать использовать Translate и Import.
