/)
В эпоху ИИ, когда телеметрия генерируется каждым вызовом модели, вызовом инструмента и шагом агента, организациям как никогда нужна помощь в управлении экономикой наблюдаемости.
Для многих команд ответом по умолчанию становится «диета данных»: сокращение сроков хранения, исключение сервисов или сред из процесса сбора, либо базовая выборка, которая больше похожа на гадание, чем на стратегию. В любом случае вы сокращаете данные, чтобы контролировать расходы, и рискуете потерять именно ту информацию, которая понадобится во время инцидента.
Ваши расходы не должны масштабироваться вместе с объемом потребляемых данных. Напротив, они должны зависеть от ценности, которую вы из них извлекаете, чтобы вы платили только за хранение тех данных, которые оправдывают свое место.
Именно для этого создана Adaptive Telemetry, и такие организации, как Rapid7, уже видят результаты.
«Переход на Grafana Cloud и использование Adaptive Telemetry сократили наши расходы на метрики настолько, что этого хватило и на логи, и на трассировки», — говорит Карл Истман, главный инженер-программист Rapid7. «Наша видимость выросла, а расходы снизились, при этом дашборды и запросы стали работать быстрее и содержать меньше шума».
Вы уже можете использовать Adaptive Telemetry для всех своих сигналов наблюдаемости, и мы продолжаем развивать этот фундамент, чтобы вы могли еще точнее определять, какие трассировки сохранять, улучшать экономику логов и получать больше от Adaptive Metrics с меньшими усилиями. Вот как это выглядит на практике.
Сохраняйте только важные трассировки и сокращайте объем на 90%
Трассировки — это то, где «диета данных» бьет больнее всего. Многие команды используют выборку с фиксированным процентом, что приравнивает медленный запрос к оформлению заказа к обычному запросу проверки работоспособности. Уменьшите процент — и счет снизится, но вместе с ним упадет и вероятность того, что нужная трассировка окажется под рукой, когда что-то сломается.
Adaptive Traces уже берет на себя сложную часть (выборку по хвостам), избавляя вас от необходимости настраивать конвейер. Три новые возможности делают хранение еще более точным.
Автоматически сохраняйте самые ценные трассировки без рутинной настройки политик
Объемная выборка (volumetric sampling) дает более ценную выборку, чем вероятностная. Она справедливо распределяет бюджет выборки между сервисами и типами запросов, поэтому низконагруженные сервисы не вытесняются, а настройки адаптируются по мере изменения трафика. Вы задаете одно число (процент выборки), не создавая сложных политик и не настраивая их вручную. В ходе тестирования Grafana Labs это обеспечило примерно на 25% более высокую информационную плотность, чем вероятностная выборка при том же объеме.
Сохраняйте хотя бы одну трассировку для каждого сценария, чтобы всегда было на что сослаться
Выборка по разнообразию (diversity sampling) гарантирует, что у вас всегда будет что проанализировать. Каждые 15 минут она сохраняет уникальную комбинацию атрибутов, таких как сервис, маршрут и коды состояния. Когда ваша среда меняется, вам не нужно писать и обновлять пользовательскую логику выборки, чтобы отследить новый сервис или путь кода.
Выполняйте агрессивную выборку и при этом получайте именно ту трассировку, которая вам нужна
Возможность запрашивать трассировки, отброшенные Adaptive Traces, — это ваша страховка. Adaptive Traces сохраняет каждую отброшенную трассировку доступной для поиска по ID в течение 24 часов после поступления. Если у вас есть ID трассировки из строки лога, тикета поддержки или фреймворка тестирования, вы можете получить эту конкретную трассировку, даже если Adaptive Traces ее отбросила. Отброшенные трассировки не появляются в результатах поиска или агрегациях, поэтому это инструмент поиска, а не замена выборке тех трассировок, которые вы хотите искать постоянно. Именно это позволяет вам уверенно проводить агрессивную выборку.
В совокупности эти функции позволяют значительно сократить объем трассировок, не опасаясь, что вы удалили что-то необходимое.
Объемная выборка и выборка по разнообразию, наряду с возможностью поиска отброшенных трассировок, теперь общедоступны.
Улучшайте экономику логов, не отказываясь от данных, которые могут понадобиться
Логи быстро накапливаются, и большую часть того, что вы храните, никто никогда не просматривает. Adaptive Logs уже находит шаблоны логов, которые никто не запрашивает, и отсекает их на входе. Теперь две новые возможности помогут вам сокращать объемы раньше и с большей уверенностью.
Отбрасывайте ненужные логи на источнике и сокращайте расходы на исходящий трафик и сеть
Управляемые через Fleet Management Adaptive Logs используют те же правила отсева и исключения, которые вы уже применяете, и применяют их непосредственно к коллекторам, которые вы уже используете. Соответствующие логи фильтруются до того, как покинут вашу среду, поэтому вы экономите на исходящем трафике и сетевых накладных расходах в дополнение к экономии на хранении.
Adaptive Logs автоматически синхронизирует конвейеры коллекторов, поэтому вам не нужно ничего дополнительно писать или поддерживать. Рекомендации на основе шаблонов по-прежнему работают в Grafana Cloud для всего, что осталось.
Сохраняйте то, что может понадобиться, в недорогом хранилище
Команды обоснованно осторожны в отношении удаления логов. В конце концов, удаленную строку нельзя восстановить, поэтому понятно, почему команды медлят. Функции Archive и Replay меняют ситуацию.
Archive перенаправляет логи в ваше собственное недорогое объектное хранилище вместо их удаления. Replay возвращает их по требованию, когда они нужны для расследования, аудита или запроса на соответствие требованиям. Вы сохраняете экономию от отсутствия индексации малоценных логов, не теряя навсегда данные, которые могут понадобиться позже.
В этом и заключается сдвиг: снижение затрат с возможностью вернуться к данным, которые могут вам понадобиться.
Управляемые через Fleet Management Adaptive Logs находятся в публичном превью. Archive находится в публичном превью, а Replay появится в ближайшее время.
Получайте больше от Adaptive Metrics с меньшими усилиями
Adaptive Metrics уже отлично справляется с поиском потерь. Она анализирует, как ваши метрики на самом деле используются в дашбордах, алертах, правилах записи и запросах, и рекомендует агрегировать те, которые никому не нужны в полной детализации, в версии с меньшей кардинальностью. Сложность в том, что кто-то должен просматривать каждую рекомендацию, и для платформенных команд этот процесс быстро становится рутиной. Истман из Rapid7 знаком с этим чувством:
«Раньше поиск неэффективности означал, что кто-то вручную копался в кардинальности метрик и объеме логов, и эта работа никогда не заканчивалась, потому что новые сервисы постоянно добавляли новые данные», — сказал Истман. «Adaptive Metrics и Adaptive Logs теперь делают этот анализ за нас... Наши инженеры тратят свое время на те немногие правила, которые требуют человеческого суждения... а не на весь длинный хвост».
Применяйте экономию автоматически, не просматривая каждую рекомендацию
Auto-Apply берет проверку на себя. Включите эту функцию для сегмента, и новые рекомендации будут применяться автоматически по мере их генерации, без участия человека.
Вы выбираете, где это работает, и можете исключить метрики, которые никогда не хотите затрагивать. Используйте режим «сначала покрытие» (coverage-first), чтобы автоматически идти в ногу с использованием, или режим «сначала стоимость» (cost-first), если хотите гарантировать, что количество ваших рядов никогда не увеличится.
Auto-Apply общедоступна. Полное руководство можно найти в нашем недавнем посте в блоге на эту тему.
Готовы к следующей волне телеметрии
ИИ принесет больше телеметрии, но это не обязательно должно означать больше затрат и больше шума. Отсекайте то, что никто не использует, сохраняйте важные сигналы и будьте уверены, что данные, которые могут вам понадобиться, не потеряны навсегда. Вам не нужно сокращать сроки хранения, исключать сервисы из сбора или делать выборку наугад.
Это важно не только с точки зрения счета. Когда ваши расходы соответствуют ценности ваших данных, вы можете реинвестировать сэкономленные средства в более широкое покрытие и более глубокую аналитику, вместо того чтобы ограничивать себя в данных. Rapid7 — хороший тому пример. Вот как они это описывают:
«Мы реинвестируем сэкономленные средства в покрытие наблюдаемости, а не просто откладываем их, — сказал Истман. — Каждый сигнал должен оправдывать свое место, и экономия позволяет оплачивать те сигналы, которые это делают».
Будь то метрики, логи, трассировки или профили, Adaptive Telemetry помогает вам сохранять ценные данные по мере их роста.
Adaptive Telemetry доступна в Grafana Cloud. Попробуйте ее сегодня и ознакомьтесь с нашей документацией, чтобы узнать больше!
/)
/)
/)
/)
/)
/)