Ваши приложения, вероятно, генерируют больше телеметрии, чем когда-либо. Большее количество сервисов, контейнеров и распределенных рабочих нагрузок означает больше журналов, метрик и трассировок для сбора. Как часто вы задавали себе вопрос: успевает ли мой конвейер наблюдаемости?
Когда объемы телеметрии растут, проблемы выходят за рамки простого сбора. Доставка нужных данных в нужные системы в нужный момент времени становится все более сложной задачей. Иногда первым признаком того, что что-то нужно менять, является не явный сбой. Вместо этого возникает серия мелких проблем, которые постепенно становится все труднее игнорировать.
Когда больше телеметрии не означает лучшую видимость
Представьте себе инцидент в рабочей среде.
Всплеск трафика. Приложения начинают генерировать дополнительные логи и трассировки. Вашей команде нужно понять, что происходит, но бэкенд наблюдаемости с трудом справляется с входящим потоком данных.
Некоторые события приходят с опозданием, другие отбрасываются. Тем временем инженеры просеивают возрастающие объемы телеметрии в поисках действительно важной информации. Система, созданная для обеспечения видимости, теперь усугубляет проблему.
Команды, работающие в во все более распределенных средах, сталкиваются с потенциальной архитектурной проблемой: генерация телеметрии может опережать системы, которые ее обрабатывают. Как понять, что это происходит, и что это значит?
Четыре признака того, что вашему конвейеру наблюдаемости может потребоваться внимание
Не каждая среда наблюдаемости нуждается в новой архитектуре. Но определенные паттерны могут указывать на то, что ваш текущий подход достигает своих пределов.
Всплески трафика создают пробелы в видимости
Ваш конвейер хорошо работает в нормальных условиях, но развертывания, сбои или внезапное увеличение трафика создают непредвиденную нагрузку на нисходящие системы. Когда эти системы не справляются, телеметрия может задерживаться или теряться именно в тот момент, когда она больше всего нужна инженерам.
Вы собираете больше данных, но получаете меньше пользы
По мере роста объемов телеметрии могут увеличиваться и затраты на ее прием. Далеко не каждый отладочный лог, проверка работоспособности или рутинное событие имеют ценность для работы. Если ваша команда платит за прием больших объемов данных, которые редко используются при устранении неполадок или настройке оповещений, возможно, пришло время пересмотреть ресурсы фильтрации и обработки.
Каждое новое назначение добавляет сложности
Данные наблюдаемости обычно имеют несколько назначений. Та же телеметрия может потребоваться для мониторинга, анализа безопасности, устранения неполадок и долгосрочного хранения. Но в зависимости от вашей архитектуры данных подключение дополнительных адресатов может означать необходимость поддержки большего количества интеграций, дублирования потоков данных или появления новых операционных зависимостей.
Ваши инженеры тратят слишком много времени на обслуживание конвейера
Пользовательские скрипты. Точечные интеграции. Обходные пути для поддержания движения данных между системами. По отдельности эти решения могут казаться управляемыми. Вместе они могут создать все более сложную архитектуру, требующую все большего внимания со стороны инженеров.
В какой-то момент конвейер наблюдаемости перестает быть инструментом для поддержки вашей важной работы и сам по себе превращается в серьезное бремя.
Пора ли переосмыслить то, как перемещается телеметрия?
Если эти четыре признака кажутся вам знакомыми, вам есть над чем задуматься. Что, если улучшение наблюдаемости сводится не просто к сбору большего количества телеметрии или выбору другой платформы мониторинга?
Что, если лучшая наблюдаемость означает изменение того, как операционные данные перемещаются, обрабатываются и становятся доступными для нисходящих систем?
Для некоторых сред внедрение уровня потоковой передачи между сбором телеметрии и конечными пунктами назначения может стать выгодным архитектурным решением.
Добавление инфраструктуры не является автоматически правильным ответом, поскольку оно влечет за собой новые операционные обязанности и издержки. Важный вопрос заключается в том, чтобы понимать, когда преимущества оправдывают дополнительную сложность.
Изучите архитектуру масштабируемой наблюдаемости
Если ваша команда сталкивается с некоторыми из этих проблем, следующим шагом будет понимание того, какие архитектурные возможности наиболее важны и как их оценивать.
В нашем руководстве «Взрыв наблюдаемости: проектирование конвейеров наблюдаемости с помощью потоковой передачи данных» рассматриваются следующие вопросы:
- Когда конвейер наблюдаемости может получить выгоду от уровня потоковой передачи
Когда конвейер наблюдаемости может получить выгоду от уровня потоковой передачи
- Какие технические требования следует оценить перед его внедрением
Какие технические требования следует оценить перед его внедрением
- Как меняется архитектура при внедрении потоковой передачи
Как меняется архитектура при внедрении потоковой передачи
- Где платформа IBM Confluent Data Streaming Platform может вписаться в этот подход.
Где платформа IBM Confluent Data Streaming Platform может вписаться в этот подход.
Загрузить руководство
Узнайте, как оценить ваш конвейер наблюдаемости и определить, имеет ли смысл потоковая архитектура для вашей среды.












