Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Bystree nahodite nuzhnye stroki logov s pomoschyu polnotekstovogo poiska v grafa
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Быстрее находите нужные строки логов с помощью полнотекстового поиска в Grafana Cloud Logs

Источник: Grafana Labs•17 ноября 2026 г. в 17:21

Быстрее находите нужные строки логов с помощью полнотекстового поиска в Grafana Cloud Logs

Благодаря полнотекстовому поиску в Grafana Cloud Logs вы можете за считанные секунды находить конкретные идентификаторы запросов, ID пользователей и строки ошибок в логах за несколько недель.

Поступает тикет в службу поддержки с одной зацепкой: ID транзакции. Ответ где-то в ваших логах, но вы не знаете, какой сервис его записал, какой под обработал или в какой день это произошло. Поэтому вы пишете запрос, который пишете всегда: {service="payments"} |= "txn-123456", расширяете временной диапазон до последних двух недель и ждете. Затем запрос завершается по таймауту.

Loki изначально строился вокруг простой идеи: индексировать метки, а не содержимое логов, и дешево хранить сжатые логи в объектном хранилище. Такая архитектура позволяет снизить затраты на хранение и упростить эксплуатацию, и именно поэтому команды продолжают выбирать Loki и Grafana Cloud Logs — полностью управляемую систему агрегации логов на базе Loki — по мере роста объемов данных. Для большинства запросов эта модель работает очень хорошо. Но когда вы ищете уникальное значение, например ID запроса, ID задания, ID пользователя или ID устройства, метки могут сузить поиск лишь до определенной степени. Loki все равно приходится считывать большой объем необработанных данных логов, чтобы найти несколько совпадающих строк. В масштабах терабайтов и петабайтов этот процесс может быть медленным и дорогостоящим.

Чтобы исправить это, мы создали полнотекстовый поиск для Grafana Cloud Logs — функцию, основанную на технологии Logline, которую Grafana Labs приобрела в апреле 2026 года. Полнотекстовый поиск, теперь общедоступный в Grafana Cloud Logs, добавляет в Loki специализированный вторичный индекс, позволяя находить конкретные строки логов за недели за считанные секунды без полного сканирования. Вы сразу переходите к нужному ID транзакции, ID пользователя или ошибке, сокращая время на решение проблемы.

«Когда я запустил наш первый запрос по недавно добавленным логам после включения Logline, улучшение было очевидным», — сказал Тимо Кирцдорфер, администратор OpenTelemetry и Grafana Cloud в DATEV eG. — «Мы перешли от обработки почти терабайта логов за три минуты к примерно 100 гигабайтам менее чем за три секунды. Это означает сокращение объема просматриваемых логов на 80-90% для новых данных, и мы увидели результаты мгновенно».

В этой статье мы рассмотрим, как полнотекстовый поиск ускоряет расследование инцидентов. Вы также можете узнать больше из доклада на ObservabilityCON 2026 ниже.

Почему одних меток недостаточно

Исторически Loki индексировал только метки, а затем сканировал каждую строку в выбранных потоках. Это быстро, когда селектор и временной диапазон уже узкие. Поиск по широкому селектору за длительный период для одного ID запроса означает чтение всех этих строк. Если вы использовали Loki в масштабе, вы, вероятно, прибегали к одному из этих методов, чтобы избежать сканирования:

  • Добавление полного или частичного ID в метку. Это очевидное решение, но оно создает высокую кардинальность. ID запросов и ID пользователей создают так много уникальных потоков, что производительность приема и выполнения запросов страдает и в конечном итоге достигает настроенных лимитов. Руководство Loki по кардинальности не зря предостерегает от этого.

Добавление полного или частичного ID в метку. Это очевидное решение, но оно создает высокую кардинальность. ID запросов и ID пользователей создают так много уникальных потоков, что производительность приема и выполнения запросов страдает и в конечном итоге достигает настроенных лимитов. Руководство Loki

не зря предостерегает от этого.

  • Сокращение временного диапазона и угадывание. Это работает, если вы уже примерно знаете, когда что-то произошло. Во время инцидента или при получении тикета спустя несколько дней вы обычно этого не знаете.

Сокращение временного диапазона и угадывание. Это работает, если вы уже примерно знаете, когда что-то произошло. Во время инцидента или при получении тикета спустя несколько дней вы обычно этого не знаете.

  • Отправка части логов в отдельный полнотекстовый индекс. Это означает запуск второй системы, оплату индексации каждого поля и необходимость переключения инженеров между инструментами в процессе расследования.

Отправка части логов в отдельный полнотекстовый индекс. Это означает запуск второй системы, оплату индексации каждого поля и необходимость переключения инженеров между инструментами в процессе расследования.

Полнотекстовый поиск устраняет этот компромисс. Вторичный индекс сообщает Loki, какие данные могут содержать литеральную строку, поэтому Loki считывает только эти данные, пропуская остальные. Это существенно влияет на объем сканируемых данных и скорость выполнения запроса.

И это происходит без накладных расходов традиционного инвертированного индекса. Технология Logline, лежащая в его основе, добавляет примерно 10% к вычислительным затратам и 10% к хранилищу в масштабах Grafana Cloud при текущих возможностях. Большая часть этих затрат компенсируется экономией вычислительных ресурсов Loki за счет чтения меньшего объема данных.

Loki также остается системой без жесткой схемы. Вы сохраняете свои метки и конвейеры приема данных, будь то Alloy, OpenTelemetry Collector или другой поддерживаемый клиент, и продолжаете писать на LogQL. Для поддерживаемых запросов поиск, который раньше завершался по таймауту, теперь может выполняться за секунды или быстрее.

Находите ответы быстрее с полнотекстовым поиском

Полнотекстовый поиск ускоряет несколько шаблонов LogQL, используемых для поиска «иголки в стоге сена»:

  • Точное совпадение строк с использованием |=.

Точное совпадение строк с использованием |=.

  • Литеральный поиск по регулярным выражениям с использованием |~, включая поиск с учетом регистра и без учета регистра с помощью (?i).

Литеральный поиск по регулярным выражениям с использованием |~, включая поиск с учетом регистра и без учета регистра с помощью (?i).

  • Выражения фильтрации меток по структурированным метаданным и атрибутам меток, например | transaction_id="12345".

Выражения фильтрации меток по структурированным метаданным и атрибутам меток, например | transaction_id="12345".

  • Литеральные выражения после парсера по извлеченным атрибутам, например | json | transaction_id="12345".

Литеральные выражения после парсера по извлеченным атрибутам, например | json | transaction_id="12345".

Некоторые сложные конструкции регулярных выражений не поддерживаются; подробности см. в документации по полнотекстовому поиску.

Приведенные выше шаблоны помогают в расследованиях: от отслеживания ID транзакции до поиска периодически возникающей ошибки. Вот как более быстрый поиск помогает инженерам и ИИ-агентам следовать по этим следам.

Отслеживание одного ID в логах за несколько недель

Большинство поисков «иголки в стоге сена» начинаются с одного идентификатора: ID клиента из тикета поддержки, сбойная транзакция из оповещения об оплате или ID трассировки, скопированный из медленного спана.

С полнотекстовым поиском фильтр строк, который вы уже используете, становится быстрым путем:

{service="payments"} |= "txn-123456"

Loki больше не нужно считывать каждый чанк в селекторе потока за весь временной диапазон. Индекс направляет его к данным, которые могут содержать txn-123456. Вы можете искать в более широком временном диапазоне с более общим селектором потока и при этом получать результаты достаточно быстро, чтобы не терять фокус.

Любой дежурный инженер может вставить ID, установить большой временной диапазон и получить ответ. Вам больше не нужен эксперт по Loki, чтобы сделать запрос эффективным.

Поиск редких и периодических ошибок

Некоторые из самых сложных для расследования инцидентов никогда не отображаются на дашбордах. Ошибка появляется несколько раз в день на нескольких хостах, и единственным доказательством является конкретная строка, скрытая в логах.

Полнотекстовый поиск ускоряет литеральный поиск и поиск без учета регистра, поэтому вы можете искать редкие ошибки по всем сервисам, не зная заранее, где они появятся:

{service="api"} |~ "(?i)webhook signature mismatch"

Вы также можете комбинировать литералы, чтобы сузить результаты, оставаясь на быстром пути:

{service="api"} |= "txn-123456" |~ "(?i)webhook signature mismatch"

Вы быстрее находите первое проявление плавающей ошибки, что позволяет проще связать её с развёртыванием, зависимостью или конкретным клиентом.

Ускорение расследований с помощью ИИ

Быстрый поиск становится ещё важнее, поскольку ИИ-агенты берут на себя всё большую часть работы по расследованию. Расследования на базе ИИ часто выполняют множество запросов подряд: агент проверяет гипотезу, ищет идентификатор, прослеживает его до другой службы и выполняет поиск снова.

Более быстрые запросы в стиле «иголки в стоге сена» означают, что каждый из этих шагов завершается быстрее, поэтому расследование продолжает продвигаться.

Начало работы

Если вы используете Grafana Cloud Logs, полнотекстовый поиск теперь доступен без дополнительной платы. Вам не нужно менять приём данных, перепроектировать метки или изучать новый язык запросов.

Попробуйте полнотекстовый поиск в своём стеке или создайте бесплатную учётную запись Grafana Cloud, чтобы начать работу уже сегодня.

Чтобы выполнить первый поиск:

  • Откройте Explore в своём стеке Grafana Cloud и выберите источник данных Grafana Cloud Logs.

Откройте Explore в своём стеке Grafana Cloud и выберите источник данных Grafana Cloud Logs.

  • Выберите селектор потока и добавьте фильтр строк для значения, которое вы обычно ищете, например, идентификатор запроса, идентификатор клиента или строку ошибки.

Выберите селектор потока и добавьте фильтр строк для значения, которое вы обычно ищете, например, идентификатор запроса, идентификатор клиента или строку ошибки.

  • Установите более широкий диапазон времени, чем тот, которым вы обычно готовы рисковать, например, последние несколько дней или недель, и выполните запрос.

Установите более широкий диапазон времени, чем тот, которым вы обычно готовы рисковать, например, последние несколько дней или недель, и выполните запрос.

Информацию о поддерживаемых шаблонах запросов и лучших практиках см. в документации по полнотекстовому поиску.

Ускоренный поиск — это один из способов, с помощью которого мы помогаем командам извлекать больше пользы из своих логов. На ObservabilityCON 2026 мы также анонсировали обновления Adaptive Logs, чтобы предоставить вам больше контроля над затратами на хранение. Чтобы узнать больше, посмотрите это выступление по запросу с мероприятия.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Ориентированная на ценность модернизация мейнфреймов в телекоммуникационной отрасли: агентный подход
Amdocs

Ориентированная на ценность модернизация мейнфреймов в телекоммуникационной отрасли: агентный подход

Ускорение принятия решений по продукту с помощью моделирования Ansys в Creo
Ansys

Ускорение принятия решений по продукту с помощью моделирования Ansys в Creo

Кейтеринг в 50 000+ городах, запуск за 8 недель
Medusajs

Кейтеринг в 50 000+ городах, запуск за 8 недель

Предоставление запланированным рабочим процессам необходимого доступа с помощью сервисных пользователей
Retool

Предоставление запланированным рабочим процессам необходимого доступа с помощью сервисных пользователей

Новые обновления Klaviyo для BFCM: Composer, Customer Agent и многое другое
Klaviyo

Новые обновления Klaviyo для BFCM: Composer, Customer Agent и многое другое

Ray Train: диагностика простоя GPU при обучении моделей с помощью инструментов наблюдаемости за загрузкой данных
Anyscale

Ray Train: диагностика простоя GPU при обучении моделей с помощью инструментов наблюдаемости за загрузкой данных

Ещё от Grafana Labs

Что нового в Pyroscope: профилирование дополнительных рабочих процессов, поиск и устранение неисправностей с помощью ИИ-агентов и многое другое
Grafana Labs

Что нового в Pyroscope: профилирование дополнительных рабочих процессов, поиск и устранение неисправностей с помощью ИИ-агентов и многое другое

Первый взгляд на обновление пользовательского интерфейса Grafana: создание более понятного и удобного взаимодействия
Grafana Labs

Первый взгляд на обновление пользовательского интерфейса Grafana: создание более понятного и удобного взаимодействия

Запуск экономичных постоянно работающих агентов для мониторинга вашей среды: техническая сторона Watchers
Grafana Labs

Запуск экономичных постоянно работающих агентов для мониторинга вашей среды: техническая сторона Watchers

Любой агент где угодно: Как использовать Grafana Cloud с Claude, Cursor и любыми другими ИИ-агентами
Grafana Labs

Любой агент где угодно: Как использовать Grafana Cloud с Claude, Cursor и любыми другими ИИ-агентами

Что нового в переменных Grafana: меньше беспорядка, проще повторное использование на дашбордах и многое другое
Grafana Labs

Что нового в переменных Grafana: меньше беспорядка, проще повторное использование на дашбордах и многое другое

Связывание трассировок: соединяем точки между трассировками вашего приложения и запросами к базе данных
Grafana Labs

Связывание трассировок: соединяем точки между трассировками вашего приложения и запросами к базе данных