/)
Если вы построили свои конвейеры телеметрии на базе OpenTelemetry Collectors, вы уже вложили средства в дистрибутив коллектора, YAML-конфигурацию и модель развертывания, которая подходит вашей инфраструктуре. По мере роста такого развертывания его поддержка требует поддержания согласованности общей конфигурации, учета различных рабочих нагрузок и контроля работоспособности коллекторов.
Fleet Management в Grafana Cloud объединяет эти задачи в едином интерфейсе. Благодаря поддержке протокола Open Agent Management Protocol (OpAMP), которая теперь стала общедоступной, вы можете подключать поддерживаемые дистрибутивы OpenTelemetry Collector к Fleet Management, продолжая использовать привычные вам язык конфигурации и компоненты OTel.
Мы начали с Grafana Alloy — дистрибутива OpenTelemetry Collector от Grafana. Поддержка OpAMP расширяет этот рабочий процесс управления на организации, использующие стандартные дистрибутивы OTel Collector, позволяя вам внедрить централизованное управление без предварительной миграции на Alloy.
Сохраняйте конфигурацию OTel и управляйте ею во всем своем парке коллекторов
Для платформенной команды, поддерживающей несколько сервисов или сред, конфигурация коллекторов часто включает как общие политики, так и требования конкретных рабочих нагрузок. Вы можете применять общие правила обработки для всего парка и одновременно активировать дополнительные конвейеры сбора только для определенных команд, сервисов или сред.
Fleet Management позволяет описывать такие конвейеры в формате OTel YAML и сопоставлять их с коллекторами, которые должны их выполнять. Вы можете обновить общий конвейер централизованно и применить его к соответствующим коллекторам, снизив трудозатраты на раздельное обслуживание конфигурации для каждого развертывания.
Для команд, использующих подход «инфраструктура как код», поддержка Terraform интегрирует этот рабочий процесс в ваши существующие процессы. Вы можете создавать конвейеры с помощью YAML-конфигурации и регистрировать активные коллекторы в Fleet Management, превращая настройку и подключение в повторяемый процесс с контролем версий.
Вы также получаете обзор коллекторов, выполняющих эти конвейеры. При регистрации OTel Collector Fleet Management автоматически настраивает его на отправку метрик самомониторинга, логов и трейсов в Grafana Cloud независимо от его операционной системы или режима развертывания. Для коллекторов, запущенных вне Kubernetes, мы также подключаем конвейер мониторинга хоста, чтобы вы могли исследовать базовую инфраструктуру вместе с коллектором.
Эти конвейеры мониторинга остаются под вашим контролем. Как и любой другой конвейер, вы можете изменять их, отключать или отправлять их данные в другой бэкенд.
Обеспечение работы конфигурации OTel в нескольких конвейерах
Централизованное управление OTel Collectors требует большего, чем просто прием YAML. Коллектор может получать несколько конвейеров от Fleet Management в дополнение к своей локальной конфигурации, и эти части должны работать вместе как единая эффективная конфигурация.
Это отличается от того, как Alloy обрабатывает конфигурацию. Компоненты Alloy определяются в блоках и связываются ссылками на их экспорты. OTel Collectors определяют компоненты на верхнем уровне конфигурации и ссылаются на них из одного или нескольких конвейеров телеметрии.
Кроме того, Alloy хранит локальную и удаленную конфигурации раздельно. OTel Collectors объединяют локальную и удаленную конфигурации в одну эффективную. Когда несколько источников определяют компонент с одинаковым именем, одно определение может перезаписывать другое, изменяя поведение результирующих конвейеров.
Это создает практическую сложность для повторного использования конфигурации. Два независимо написанных конвейера могут использовать одно и то же имя компонента, даже если каждый из них ожидает от этого компонента разного поведения. Командам не должно требоваться согласовывать каждое имя компонента во всех своих конвейерах Fleet Management, чтобы использовать их вместе.
Для решения этой проблемы Fleet Management выполняет пост-обработку удаленной конфигурации с помощью алгоритма слияния. Она добавляет имя конвейера Fleet Management к идентификаторам конвейеров и компонентов OTel и соответствующим образом обновляет ссылки на них. Когда несколько источников определяют компоненты с одинаковым типом и конфигурацией, система дедуплицирует их.
Это позволяет вам управлять удаленными конвейерами как отдельными повторно используемыми частями, в то время как Fleet Management берет на себя их объединение для коллектора. Вы можете организовывать конфигурацию в соответствии с тем, что делает каждый конвейер и куда он относится, без необходимости вручную собирать отдельный файл конфигурации для каждой комбинации конвейеров.
Используйте шаблон развертывания, который подходит вашей инфраструктуре
Конфигурация — это лишь часть управления развертыванием OTel. Место запуска коллекторов и пути передачи телеметрии также влияют на применение общей обработки и поддержку парка.
Fleet Management работает с различными шаблонами развертывания коллекторов. Для организаций, управляющих большим или смешанным парком, одним из вариантов, заслуживающих рассмотрения, является шаблон шлюза.
Отделите локальный сбор от общей обработки
Шаблон шлюза разделяет сбор на два уровня. Периферийные коллекторы (edge collectors) собирают телеметрию от сервисов, подов и нод, а затем отправляют ее на коллекторы-шлюзы. Шлюзы применяют общую обработку перед пересылкой телеметрии в бэкенд.
Например, вы можете добавлять теги команд к метрикам, выполнять хвостовую выборку (tail-sampling) трейсов или фильтровать логи на шлюзе. Сохранение этих политик на уровне шлюза означает, что вы можете управлять общей обработкой, не внедряя одинаковую логику в каждый периферийный коллектор.
Fleet Management позволяет нацеливать конфигурацию на роль каждого коллектора: конвейеры сбора для периферии и конвейеры общей обработки для шлюзов. Это дает возможность централизованно управлять обоими уровнями, сохраняя разделение их ответственности.
Внедрение шлюзов OTel в смешанный парк
Ваши периферийные агенты и шлюзы не обязательно должны использовать одно и то же ПО. Если вы уже используете такие решения, как Fluent Bit или Telegraf, вы можете оставить эти агенты на периферии и отправлять телеметрию на шлюзы OTel, используя совместимые протоколы.
Затем вы можете использовать Fleet Management для управления поддерживаемыми шлюзами OTel и их конфигурацией общей обработки. Это обеспечивает путь внедрения для команд, которые хотят использовать OpenTelemetry без одновременной замены каждого существующего агента.
Шаблон шлюза не является обязательным для Fleet Management. Независимо от того, отправляют ли ваши коллекторы данные напрямую в бэкенд или обрабатывают телеметрию через уровень шлюза, поддержка OpAMP позволяет объединить поддерживаемые OTel Collectors в единый рабочий процесс управления.
Переведите свой парк OTel в Fleet Management
Вы можете внедрить централизованное управление коллекторами, сохранив привычные дистрибутивы OTel, YAML-конвейеры и модель развертывания. Fleet Management добавляет целевую настройку конфигурации и мониторинг работоспособности коллекторов в Grafana Cloud, а поддержка Terraform предназначена для команд, которые хотят управлять этим рабочим процессом как кодом.
Для начала зарегистрируйте OTel Collector, назначьте ему YAML-конвейер и просмотрите его состояние здоровья. После этого вы сможете масштабировать этот рабочий процесс на другие коллекторы и среды, которые вы уже эксплуатируете.
Grafana Assistant — это самый простой способ начать работу с метриками, логами, трейсами, дашбордами и многим другим в Grafana Cloud. У нас есть щедрый бесплатный тарифный уровень (forever-free tier) и планы для любых сценариев использования. Зарегистрируйтесь бесплатно прямо сейчас!
Теги
/)
/)
/)