Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Reliz tempo 31 novye funktsii dlya kafka obnovleniya metrik traceql udalenie dan
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Релиз Tempo 3.1: новые функции для Kafka, обновления метрик TraceQL, удаление данных из трассировок и многое другое

Источник: Grafana Labs•1 октября 2026 г. в 20:22

Релиз Tempo 3.1: новые функции для Kafka, обновления метрик TraceQL, удаление данных из трассировок и многое другое

В Tempo 3.1 добавлены улучшения Kafka-клиента, новые возможности метрик TraceQL и другие обновления, которые упрощают эксплуатацию Tempo и получение аналитики из данных трассировки.

В Tempo 3.1 добавлено несколько улучшений, предложенных сообществом для приема данных на основе Kafka, включая новые опции для защиты соединений, снижения затрат на передачу данных и поддержки большего количества бэкендов, совместимых с Kafka.

TLS и дополнительные механизмы SASL

В Tempo 3.0 прием данных в режиме микросервисов был перенесен на Kafka, и поставляемый с ним клиент мог выполнять аутентификацию, но только с использованием SASL PLAIN и только через незашифрованное соединение. В нем не было настроек TLS, поэтому брокер, требующий TLS, отклонял соединение. Tempo 3.1 добавляет поддержку TLS и еще четырех механизмов: SCRAM-SHA-256, SCRAM-SHA-512, OAUTHBEARER и AWS_MSK_IAM.

Используйте -config.expand-env=true для раскрытия переменных окружения.

Спасибо @heytrav за этот вклад. Чтобы узнать больше, см. PR и документацию по настройке аутентификации и TLS.

Получение данных с учетом стойки (Rack-aware fetching)

Tempo всегда получал данные от лидера раздела, где бы он ни находился. Когда лидер находится в другой зоне доступности, каждая прочитанная вами трассировка пересекает границу зоны, и ваш облачный провайдер выставляет счет за передачу.

Новая опция client_rack помогает снизить эти расходы, включая получение данных с учетом стойки (KIP-392), благодаря чему потребители могут считывать данные из реплики в своей собственной зоне:

Это настройка на стороне чтения, поэтому она применяется к сборщикам блоков (block-builders), хранилищам (live-stores) и генераторам метрик (metrics-generators), а не к дистрибьютору, записывающему записи в Kafka. Для того чтобы это заработало, на ваших брокерах должны быть настроены идентификаторы стоек (rack IDs).

Спасибо @KyriosGN0 за этот вклад. Чтобы узнать больше, см. PR и документацию по настройке приема данных.

Настраиваемое сжатие на стороне производителя

Дистрибьютор Tempo сжимает каждый пакет, который он записывает в Kafka, и до версии 3.1 кодек нельзя было настроить. Это нормально, если ваш бэкенд принимает только один кодек: например, Azure Event Hubs поддерживает протокол Kafka, но принимает только gzip, что исключало его использование в качестве бэкенда для Tempo.

Новая опция producer_compression позволяет выбрать один из вариантов: none, gzip, snappy, lz4 или zstd:

Вместе с поддержкой TLS, упомянутой выше, эта опция делает Event Hubs пригодным бэкендом Kafka для Tempo. Если оставить producer_compression не заданным, клиент Kafka по умолчанию использует snappy. Если ваш бэкенд не поддерживает snappy, установите producer_compression на поддерживаемый алгоритм или на none, чтобы отключить сжатие.

Спасибо @fleighton за этот вклад. Чтобы узнать больше, см. PR и документацию по настройке приема данных.

Защита конфиденциальных данных: удаление данных из трассировок с помощью запроса TraceQL

В Tempo 3.0 мы добавили функцию удаления данных из трассировок (trace redaction), позволяющую навсегда удалить конфиденциальные данные, такие как адрес электронной почты, токен авторизации или номер счета, попавшие в атрибут спана, из ваших данных трассировки, не дожидаясь истечения срока хранения. Однако команда tempo-cli redact принимала только идентификаторы трассировок, поэтому вам приходилось перечислять каждую затронутую трассировку. Конфиденциальные данные обычно попадают в любой трафик, проходящий через определенный путь кода, что может затрагивать больше трассировок, чем можно практически перечислить. Любая пропущенная трассировка — это данные, которые остаются в объектном хранилище и потенциально доступны для запросов.

Теперь, в Tempo 3.1, вы можете выполнять удаление с помощью запроса TraceQL:

Начните с --dry-run, как показано выше. Tempo оценит запрос и подсчитает, что именно будет удалено, не изменяя блоки. Команда выведет ID пакета и количество созданных заданий. Количество заданий и количество сопоставленных или удаленных трассировок — это метрики для каждого арендатора (tenant), которые можно увидеть в строке Redaction на панели мониторинга Backend Work, поставляемой с миксином мониторинга Tempo. Как только количество совпадет с ожидаемым, выполните ту же команду без --dry-run, чтобы перезаписать блоки. Это действие нельзя отменить.

Поскольку неверный запрос навсегда удаляет данные, которые вы не собирались удалять, мы намеренно ограничиваем поддерживаемый синтаксис: это один фильтр spanset со сравнением на равенство атрибутов resource.* и span.*, объединенных с помощью && и ||. Все, что выходит за рамки этого, отклоняется при отправке задания. Мы продолжаем улучшать эту функциональность.

Если вы знаете временной диапазон, в котором данные должны быть удалены, вы можете использовать его для более быстрого и эффективного выполнения задания. Это важно при установках с большим объемом данных, так как Tempo приостанавливает уплотнение (compaction) для арендатора во время выполнения удаления. Используйте --start и --end, которые принимают значение now, относительное смещение, например now-7d, или временную метку RFC3339. Уплотнение догоняет процесс между запусками.

Примечание: Используйте --start и --end только тогда, когда каждый планировщик и рабочий процесс в вашей ячейке запущен как минимум на версии Tempo 3.1. Более старый рабочий процесс проигнорирует окно и удалит все совпадения по запросу в каждом блоке, который ему передан, независимо от временной метки, без ошибки и без возможности восстановления данных.

Чтобы узнать больше, см. селектор запросов PR, временной диапазон PR и документацию Redact traces для получения полной информации о синтаксисе запросов и ограничениях.

Запрос метрик трассировки с большей точностью, гибкостью и скоростью: обновления метрик TraceQL

В Tempo 3.0 метрики TraceQL стали общедоступными, позволяя запрашивать специальные (ad-hoc) метрики непосредственно из данных трассировки. Это упрощает ответы на вопросы о производительности, частоте ошибок и поведении сервисов в распределенных системах.

В релизе 3.1 мы выпускаем несколько обновлений, которые делают метрики TraceQL более гибкими и эффективными, а также более точными при работе с выборочными (sampled) данными трассировки.

Метрические запросы с учетом выборки

Допустим, вы делаете выборку 50% ваших трассировок до того, как они попадут в Tempo. Если вы выполните запрос rate() для сервиса, вы получите половину трафика, который он фактически обслужил, потому что Tempo учитывает только те спаны, которые прошли через выборку.

Это особенно полезно при использовании Adaptive Traces и других настроек хвостовой выборки (tail sampling), где коэффициенты выборки могут варьироваться в зависимости от сервиса. Благодаря запросам с учетом выборки метрики TraceQL могут учитывать эти различия и более точно отражать реальный трафик.

В Tempo 3.1 вы можете скорректировать выборку во время выполнения запроса с помощью новой экспериментальной подсказки with(extrapolate=true):

Тот же запрос на 50%-выборке трассировок: без подсказки слева и с ней справа. Графики имеют одинаковую форму, но ось Y заканчивается на 4 слева и на 8 справа.

Семплеры, реализующие спецификацию вероятностной выборки OpenTelemetry, которая все еще находится в разработке и пока поддерживается не во всех языках, помечают коэффициент выборки на спане в поле tracestate. Подсказка считывает этот коэффициент и соответствующим образом масштабирует спан. При 50% выборке каждый сохраненный спан считается за два, поэтому запрос, который находит 1000 спанов, сообщает о 2000. Спаны, которые приходят без записанного коэффициента выборки, считаются за один, что означает безопасность частичного внедрения: если только два ваших сервиса используют выборку, показатели других сервисов не изменятся.

В ваши блоки ничего нового не записывается. tracestate уже сохраняется с каждым спаном, и запросы, которые не используют подсказку, не считывают его. Если вы уже корректируете выборку в генераторе метрик, установив enable_tracestate_span_multiplier, что мы added в Tempo 3.0, путь запроса считывает коэффициент таким же образом, поэтому специальный запрос и ваши предварительно агрегированные ряды tempo_spanmetrics_* будут совпадать.

Экстраполяция применяется к rate, count_over_time, sum_over_time, avg_over_time, histogram_over_time, quantile_over_time и compare. Она не применяется к min_over_time или max_over_time, поскольку выборка не меняет минимальное или максимальное значение, которое вы фактически наблюдали.

Примечание: эта подсказка является экспериментальной и требует использования блоков vParquet4 или более поздних версий.

Чтобы узнать больше, см. PR и документацию по метрическим функциям TraceQL.

Объединение метрических запросов с помощью арифметических операций

Многие метрики, которые вы хотите получить из трассировок, требуют объединения двух метрических запросов, а не выполнения только одного. Распространенным примером является частота ошибок. Раньше TraceQL мог измерять ошибки и общий трафик отдельно, но не мог делить одно на другое, поэтому вам приходилось выполнять два запроса и делить их с помощью математического выражения в Grafana.

В Tempo 3.1 вы можете записать деление непосредственно в TraceQL. Операторы +, -, * и / работают между двумя метрическими запросами, поэтому частота ошибок — это один запрос:

То же деление с by (resource.service.name) с обеих сторон, чтобы каждый сервис получал свою собственную частоту ошибок. Напротив, при запросе ({status=error} | rate() by (resource.service.name)) / ({} | rate()) только числитель группируется по сервису, в то время как знаменатель рассчитывается по всем данным.

Если вы группируете свои запросы, две серии объединяются только тогда, когда их наборы меток точно совпадают, а сторона без меток транслируется по каждой серии на другой стороне.

Вы можете комбинировать with(extrapolate=true) и арифметику. Одна подсказка в конце выражения применяется к обоим подзапросам:

Подсказка должна стоять в конце. Размещение with(...) внутри подзапроса является синтаксической ошибкой.

Чтобы узнать больше, см. документацию по арифметике PR, скалярам PR, арифметическим выражениям и июльский звонок сообщества.

Более быстрые метрические запросы по умолчанию

Метрические запросы также стали быстрее: мы заметили, что простые запросы выполняются почти в два раза быстрее. Путь выборки только span-ов, который мы представили как экспериментальный в Tempo 3.0, теперь включен по умолчанию для блоков vParquet5, которые записывает Tempo 3.1.

Запросы, которым не нужна полная структура трассировки, теперь обрабатывают отдельные span-ы вместо целых трассировок, что снижает задержку и использование памяти. В одном из прогретых тестов { } | rate() с включенной выборкой только span-ов завершился чуть более чем за половину времени, которое потребовалось с отключенной выборкой. Вам не нужно менять свои запросы, чтобы использовать это, и вы можете отказаться от этого для каждого арендатора или для каждого запроса, если это необходимо.

Чтобы узнать больше, см. PR и документацию по более быстрому пути чтения.

Улучшения в metrics-generator

Metrics-generator — это дополнительный компонент Tempo, который извлекает метрики из принятых span-ов, предоставляя вам как RED-метрики (Rate/Error/Duration), так и графы сервисов, которые показывают взаимосвязи между вашими сервисами. Здесь мы рассмотрим некоторые из улучшений metrics-generator, включенных в Tempo 3.1, но, пожалуйста, обратитесь к changelog и примечаниям к выпуску для получения полного списка.

Узнайте, почему на вашей карте сервисов отсутствуют ребра

Tempo строит ребро графа сервисов путем сопоставления клиентских и серверных span-ов для соединения. Когда одна сторона никогда не приходит, срок действия ребра истекает, оставляя дыру на вашей карте, и вы не можете отличить несуществующее соединение от того, которое Tempo не смогла сопоставить.

В Tempo 3.1 мы добавили метку unmatched_span_kind к счетчику истекших ребер, чтобы вы могли видеть, какая сторона пропала. Например, множество истекших ребер с меткой SPAN_KIND_SERVER указывают на инструментарий «сервер-сервер», который никогда не разрешится в узел.

Чтобы узнать больше, см. PR, документацию по графам сервисов и документацию по устранению неполадок с истекшими ребрами.

Распознавание db.system.name из обновленных семантических соглашений OTel

OpenTelemetry семантические соглашения v1.30.0 переименовали атрибут db.system в db.system.name. Инструментарий, который выдает только новое имя, перестал распознаваться как вызов базы данных, поэтому эти узлы исчезли с вашей карты сервисов после обновления SDK, без каких-либо ошибок.

Tempo 3.1 принимает оба атрибута для идентификации запросов к базе данных и для именования виртуальных узлов. Когда span содержит оба, db.system имеет приоритет, поэтому обновление ваших SDK не переименует узлы, на которые уже указывают ваши панели мониторинга и оповещения.

Спасибо @iamrajiv за этот вклад. Чтобы узнать больше, см. PR и документацию по атрибутам имен баз данных.

Сокращение затрат на metrics-generator для каждого span-а

Генератор обрабатывает каждый принятый вами span, поэтому работа с каждым span-ом определяет минимальную стоимость запуска. Создание наборов меток составляло значительную часть этой работы.

Процессоры span-metrics и service-graphs теперь заимствуют пулы буферов меток из реестра вместо того, чтобы каждый раз выделять новые, и наши тесты производительности service-graphs в установившемся режиме показывают нулевое выделение памяти на операцию. Имена метрик, метки и значения остались прежними, поэтому вы не увидите разницы на своих панелях мониторинга, только процессорное время и память генератора, которые вам больше не нужно выделять.

Чтобы узнать больше, см. PR по метрикам span-ов и PR по графам сервисов.

Упрощение чтения больших трассировок с помощью обрезки span-ов

Один запрос пользователя может создать множество span-ов. Если ваше приложение выполняет 100 почти идентичных запросов к базе данных в рамках этого запроса, каждый из них становится отдельным span-ом, и в итоге вы получаете 1 корневой span и 100 span-ов базы данных, которые выглядят одинаково. Такую трассировку сложнее читать, и чем больше запросов делает запрос, тем хуже становится ситуация.

В Tempo 3.1 конечная точка trace-by-ID v2 сворачивает каждую группу похожих листовых span-ов в один сводный span, который содержит aggregation.span_count, а также минимальную, максимальную, среднюю и общую длительность span-ов, которые он заменил. В приведенном выше примере вы получаете 2 span-а вместо 101 в соответствующем меньшем ответе. Span-ы группируются только тогда, когда их имя, тип, статус и имя родителя совпадают, поэтому ошибка никогда не объединяется с успешными операциями. Это происходит во время чтения, поэтому ничего не покидает хранилище.

Запросите это для каждого запроса:

Установите span_pruning_enabled_by_default в значение true в вашей конфигурации Tempo, и вам не нужно будет передавать span_pruning в каждом запросе:

Это также относится к пользовательскому интерфейсу Grafana и инструменту get-trace сервера Tempo MCP, ни один из которых пока не отправляет этот параметр. Явный span_pruning в запросе по-прежнему имеет приоритет, поэтому вызывающая сторона, которой нужна полная трассировка, всегда может ее запросить. Вы также можете установить это значение по умолчанию для каждого арендатора.

Мы также добавили поддержку фильтров TraceQL в конечную точку trace-by-ID v2. Она принимает один фильтр spanset в параметре q, поэтому вы можете получить одну трассировку и вернуть только те span-ы, которые соответствуют критериям, а не все. По умолчанию эти span-ы возвращаются сами по себе; добавьте keep_hierarchy=true, и вы также получите путь предков каждого совпадения до корня.

CLI gcx обновляется, чтобы предоставить оба параметра в gcx traces get: --prune для обрезки и --filter для запроса.

Примечание: обрезка span-ов является экспериментальной. Параметры span_pruning, их поведение и формат ответа могут измениться в будущих выпусках.

Чтобы узнать больше, см. обрезку трассировок PR, фильтр PR, документацию по API Query V2 для параметров запроса, документацию по конфигурации query-frontend и августовский звонок сообщества.

Сделайте сравнение трассировок быстрее и эффективнее для ИИ

Иногда нужно сравнить две трассировки: эндпоинт стал медленнее после деплоя, и у вас есть одна трассировка до и одна после, либо один и тот же запрос успешно выполняется для одного вызывающего и завершается ошибкой для другого. В любом случае ручное сравнение означает прокрутку двух трассировок в поисках span, который изменился, появился или исчез.

В Tempo 3.1 можно использовать traces diff, чтобы отправить два идентификатора трассировок в query-frontend и получить изменения, вместо того чтобы извлекать обе трассировки и сравнивать их самостоятельно. Это также создаёт гораздо меньшее контекстное окно для LLM, что делает расследования с использованием ИИ быстрее и дешевле:

По умолчанию вы получаете патч на уровне span, в котором перечислены все span, которые были добавлены, удалены или изменены. Частичные трассировки отклоняются, поскольку отсутствующие в неполной трассировке span будут выглядеть как удалённые span.

Также можно запросить сводку вместо патча. Она сообщает, выросли или снизились задержка трассировки, количество ошибок и число span, изменилась ли структура и какие сервисы были задействованы, с дельтой в миллисекундах для тех, которые изменились. Она показывает направление изменения каждой метрики, но не является ли это регрессией. Трассировка, которая стала быстрее, может просто завершаться ошибкой раньше.

Сводка также выявляет дрейф, который фильтрует патч. Если каждый span в сервисе стал немного медленнее, ни один отдельный span не превышает допустимое отклонение для каждого span, но суммарная длительность span сервиса превышает его, поэтому сервис по-прежнему отображается как изменённый.

Существует несколько инструментов, которые можно использовать для получения traces diff. gcx CLI оборачивает API в экспериментальную команду gcx traces diff, поэтому вы можете сравнить два идентификатора из терминала, не извлекая ни одну из трассировок самостоятельно:

Команда tempo-cli experimental traces-diff сравнивает два локальных файла трассировок в формате JSON, что удобно, если вы уже их экспортировали. По умолчанию она выводит патч, а сводку можно получить с помощью --format. Сервер Tempo MCP, добавленный в 2.9, теперь включает инструмент traces-diff, который сначала возвращает сводку, поэтому ИИ-ассистент, подключённый к Tempo, получает полезный ответ, не всегда извлекая большой патч.

Примечание: этот эндпоинт является экспериментальным. Форматы запросов и ответов могут измениться в будущих выпусках.

Чтобы узнать больше, см. PR для API, PR для CLI, PR для MCP, документацию по API traces diff, документацию по экспериментальной команде traces diff в Tempo CLI, справочник gcx traces diff и документацию Compare traces для Tempo MCP.

Улучшенная производительность запросов и меньшее потребление памяти: vParquet5 теперь является форматом блоков по умолчанию

Tempo хранит трассировки в столбчатом формате блоков Apache Parquet и продолжает совершенствовать структуру для лучшей производительности и эффективности. Мы представили vParquet5 как опциональный формат в Tempo 2.10, а в 3.1 он становится форматом по умолчанию.

Ускоренный путь чтения метрик, о котором шла речь ранее в этой статье, — одно из преимуществ нового формата по умолчанию. Он реализован только для vParquet5, а для блоков в более старых форматах Tempo использует стандартный путь, поэтому запросы метрик становятся быстрее по мере накопления новых блоков. Ещё одно преимущество — то, что новые блоки поддерживают встроенное свойство span:childCount. Мы добавили его в 2.10, но поддерживает его только vParquet5, поэтому ранее для его использования нужно было включать vParquet5.

vParquet5 также предоставляет больше возможностей для настройки конфигурации столбцов Parquet. Теперь можно иметь вдвое больше выделенных столбцов для строк, поддержку целых чисел и очень длинных или высококардинальных строк (известных как "blobs") на каждом из уровней resource, span и event. Лучший способ воспользоваться этим — использовать новую команду tempo-cli suggest columns. Она проанализирует ваши данные и подскажет оптимальную структуру, а также позволит легко скопировать и вставить вывод в конфигурацию Tempo.

Чтобы узнать больше о возможностях, которые приносит vParquet5, см. документацию по выделенным столбцам и раздел vParquet5 в блоге о выпуске Tempo 2.10. Также можно посмотреть PR и документацию по формату блоков Apache Parquet.

Как узнать больше

Чтобы увидеть полный список улучшений, исправлений ошибок и несовместимых изменений в Tempo 3.1, обратитесь к заметкам о выпуске и . Перед обновлением ознакомьтесь с разделом «Обновление установки Tempo» для изменений, требующих действий.

Если вы хотите узнать больше о новостях Tempo, присоединяйтесь к нам в канале #tempo в Slack Grafana Labs Community, задайте вопрос в наших форумах сообщества или присоединяйтесь к ежемесячному созвону сообщества Tempo. До встречи там!

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Инженерия хаоса в эпоху ИИ
HCLTech

Инженерия хаоса в эпоху ИИ

Инфраструктура для оценки ИИ в здравоохранении
Athenahealth

Инфраструктура для оценки ИИ в здравоохранении

Лучшая PMS для отелей в Таиланде [2027]: Пхукет, Бангкок и Чиангмай
Hotelogix

Лучшая PMS для отелей в Таиланде [2027]: Пхукет, Бангкок и Чиангмай

Email-маркетинг для креаторов: 5 автоцепочек, необходимых любому бизнесу по продаже курсов
Teachable

Email-маркетинг для креаторов: 5 автоцепочек, необходимых любому бизнесу по продаже курсов

Трансформация без даты окончания
DataArt

Трансформация без даты окончания

Что такое поп-ап магазины (pop-up shops)? Значение, виды, преимущества, советы и идеи
Lightspeed

Что такое поп-ап магазины (pop-up shops)? Значение, виды, преимущества, советы и идеи

Ещё от Grafana Labs

Что нового в Pyroscope: профилирование дополнительных рабочих процессов, поиск и устранение неисправностей с помощью ИИ-агентов и многое другое
Grafana Labs

Что нового в Pyroscope: профилирование дополнительных рабочих процессов, поиск и устранение неисправностей с помощью ИИ-агентов и многое другое

Первый взгляд на обновление пользовательского интерфейса Grafana: создание более понятного и удобного взаимодействия
Grafana Labs

Первый взгляд на обновление пользовательского интерфейса Grafana: создание более понятного и удобного взаимодействия

Запуск экономичных постоянно работающих агентов для мониторинга вашей среды: техническая сторона Watchers
Grafana Labs

Запуск экономичных постоянно работающих агентов для мониторинга вашей среды: техническая сторона Watchers

Любой агент где угодно: Как использовать Grafana Cloud с Claude, Cursor и любыми другими ИИ-агентами
Grafana Labs

Любой агент где угодно: Как использовать Grafana Cloud с Claude, Cursor и любыми другими ИИ-агентами

Что нового в переменных Grafana: меньше беспорядка, проще повторное использование на дашбордах и многое другое
Grafana Labs

Что нового в переменных Grafana: меньше беспорядка, проще повторное использование на дашбордах и многое другое

Связывание трассировок: соединяем точки между трассировками вашего приложения и запросами к базе данных
Grafana Labs

Связывание трассировок: соединяем точки между трассировками вашего приложения и запросами к базе данных