Наблюдаемость Google Cloud теперь общедоступна в Dynatrace Clouds. С этим выпуском Dynatrace расширяет возможности Cloud Observability на Google Cloud, объединяя конфигурацию ресурсов, метрики и журналы в едином контексте исследования. Вы можете анализировать этот контекст с помощью Dynatrace Query Language (DQL) и использовать существующие облачные метки для маршрутизации оповещений владельцам ресурсов. Чтобы показать, как это выглядит на практике, в остальной части этой статьи рассматривается типичный инцидент, в котором неудачные сообщения Pub/Sub незаметно приближаются к предельному сроку хранения. Попутно вы узнаете, как объединить конфигурацию и метрики в одном DQL-запросе, проследить связь от одного ресурса к другому и превратить результат в оповещение, охватывающее каждый подключенный проект.
Рассмотрим следующий гипотетический сценарий: интернет-магазин модной одежды каждую пятницу утром запускает задание по расчетам, которое одобряет все проверенные возвраты одной партией. Партия прошлой пятницы, первые возвраты после сезонной распродажи, была в три раза больше обычной, и в течение получаса служба, выплачивающая возврат средств, отклоняла запросы.
Разбор инцидента во вторник завершился тремя словами: «потери данных нет» и тикетом. Pub/Sub переместил каждое недоставленное сообщение в отдельную подписку для недоставленных сообщений (dead-letter subscription), где сообщения оставались доступными в течение семи дней. Поскольку команда могла повторить их позже, эту работу запланировали на следующий спринт.
Очередь недоставленных сообщений предотвратила немедленную потерю данных, пока потребитель восстанавливался, но перенесла риск на срок хранения. Сообщения могли истечь до запланированного повтора, что сделало возраст сообщения относительно настроенного окна хранения критическим сигналом для отслеживания. В остальной части этой статьи показано, как увидеть этот крайний срок до его наступления, начиная с того, почему сообщения в очереди недоставленных сообщений так легко упустить из виду.
Следите за инцидентом ниже для полного расследования. Для шаблона запроса начните с раздела «Как сравнить возраст сообщения Pub/Sub с конфигурацией хранения с помощью DQL». Чтобы проверить другие проекты, перейдите к разделу «Поиск других подписок Pub/Sub, находящихся под угрозой, в подключенных проектах». Для повтора и оповещения перейдите к разделу «Что делать до истечения срока хранения».
Почему сообщения Pub/Sub в очереди недоставленных сообщений легко упустить из виду
Задание по расчетам публикует каждый одобренный возврат в тему Pub/Sub (refund-events). Push-подписка (refunds-push) доставляет его в refund-worker, службу Cloud Run, которая выплачивает средства через платежного провайдера. Год назад кто-то предусмотрительный добавил для refunds-push политику недоставленных сообщений: после пяти неудачных попыток доставки сообщение перемещается в тему refund-events-dlq, а оттуда — в подписку refund-events-dlq-sub.
Важны два свойства этой настройки:
- Хранение: Google Cloud Pub/Sub хранит неподтвержденное сообщение в течение срока хранения подписки, по умолчанию семь дней, после чего, согласно документации, оно «может отбросить сообщение независимо от состояния подтверждения». Ни одна метрика Pub/Sub не подсчитывает эти отброшенные сообщения. Руководство Google по мониторингу классифицирует самое старое сообщение, которое «превышает длительность хранения сообщений подписки», как «Постоянная потеря данных» и рекомендует настроить оповещение до этого момента (Monitor Pub/Sub). Совет дельный, но есть подвох. Эти конкретные оповещения будут охватывать только те подписки, о существовании которых знает команда.
- Что делает полный воркер: Push-эндпоинт подтверждает получение кодом успеха (например, 200), а «любой другой код состояния» отправляет сообщение обратно для повторной доставки. При достижении лимита экземпляров Cloud Run отвечает кодом 429, и его метрика запросов не учитывает их.
Шаблон начинается здесь: защитный механизм убирает сбой из числа, за которым вы наблюдаете.
Как Dynatrace обнаруживает насыщение Cloud Run
В 10:21 в пятницу задание по расчетам опубликовало свою партию, и в течение нескольких секунд refund-worker достиг своего лимита в 20 экземпляров и начал отвечать 429. Dynatrace открыл проблему, датированную 10:26: «Ревизия Cloud Run при максимальном количестве экземпляров, в refund-worker».
Эта команда создала специальное оповещение для этого в Dynatrace. Метрика запросов не может показать отклонения, поэтому оповещение следит за другой стороной: один DQL-запрос объединяет метрику времени экземпляра ревизии с лимитом экземпляров из его конфигурации в Smartscape, модели топологии Dynatrace в реальном времени. Поскольку метрики Google Cloud поступают каждые несколько минут, он нацелен на устойчивое насыщение, а не на одиночные всплески, и открылся через пять минут после первого 429 в этом сценарии. Получив запрос на объяснение проблемы, Dynatrace Intelligence считывает ту же топологию, метрики и журналы из Grail, озера данных Dynatrace.
Как предполагает объяснение на скриншоте выше, журналы предупреждений Cloud Run предоставляют дополнительную информацию и подтверждают, что запросы были прерваны из-за недоступности экземпляров. Поскольку журналы Google Cloud при приеме связываются с ревизией, Dynatrace может анализировать их непосредственно в контексте ревизии Cloud Run (например, в приложении Clouds):
Исправление было быстрым и правильным. Лимит был увеличен с 20 до 60 в 10:43, и последний 429 был в 10:54. Это оставило вопрос, которым заканчивается каждый инцидент с очередью: потеряли ли мы что-нибудь?
Как сравнить возраст сообщения Pub/Sub с конфигурацией хранения с помощью DQL
Как только бэклог был идентифицирован, важным вопросом стало то, сколько времени осталось до того, как сообщения станут подлежать удалению. Сравните возраст самого старого неподтвержденного сообщения каждой подписки с ее хранением, как предлагает руководство Google.
Благодаря Cloud Platform Monitoring для Google Cloud в Dynatrace конфигурация подписки доступна вместе с данными мониторинга в Smartscape. Хранение не является метрикой, но DQL может объединить настроенный период хранения с возрастом самого старого неподтвержденного сообщения, чтобы рассчитать, какая часть этого окна уже была использована:
Поскольку метрика связана с подпиской, один DQL-запрос может разделить возраст самого старого сообщения на срок хранения этой подписки:
В refunds-push коэффициент достиг пика 0,0016, около шестнадцати минут против семи дней. Бэклог не старел, потому что сообщения, которые не могли быть доставлены, повторялись, а затем пересылались в refund-events-dlq. Счетчик dead_letter_message_count в Pub/Sub показал около 2000 сообщений, пересланных между 10:30 и 10:55.
Во вторник в отчете написали: потери данных нет. 1932 возврата попали в очередь недоставленных сообщений, хранятся семь дней. Повтор запланирован на следующий спринт, P3. Это было разумное решение. Семь дней казались достаточным сроком, и ничего не горело.
Вывод обзора, что потери данных нет, был верным прочтением правильных доказательств. Пересылка — это причина, по которой бэклог не старел: «После пересылки недоставляемого сообщения служба Pub/Sub удаляет сообщение из подписки».
Вывод обзора, что потери данных нет, был верным прочтением правильных доказательств. Пересылка — это причина, по которой бэклог не старел: «После пересылки недоставляемого сообщения служба Pub/Sub удаляет сообщение из подписки».
Политика обработки недоставленных сообщений (dead-letter policy) перехватывала ошибки, но она выводила их из единственной подписки, за которой кто-либо следил. В очереди исходной подписки больше не учитывались перенаправленные сообщения, точно так же, как request_count не учитывал запросы, отклоненные Cloud Run: сбой был исключен из общего числа.
Так куда же они делись? Сообщения топика для недоставленных сообщений (dead-letter topic) хранятся в любой подписке, привязанной к нему. Выберите топик для недоставленных сообщений без подписки, и консоль предложит создать её. Именно так появилась refund-events-dlq-sub со всеми свойствами по умолчанию: семь дней хранения, отсутствие потребителя и отсутствие оповещений.
Оповещение о глубине очереди не изменило бы ситуацию во вторник. num_undelivered_messages > 0 сообщило бы то, что уже было известно из проверки. Глубина говорит о том, что что-то ожидает обработки, но не говорит, до какого момента, а именно этот момент был единственной ошибкой в проверке. Требовалась дата, а эта дата требует наличия метрики и конфигурационного поля рядом. В Dynatrace они находятся на одной сущности и хранятся вместе в Grail.
Для расчета крайнего срока требуются три конфигурационных поля и две метрики, начиная с поля, которое никто не планировал отслеживать. Политика deadLetterPolicy исходной подписки доступна для запросов, потому что соединение сохраняет полную полезную нагрузку Asset Inventory, а не отобранное подмножество:
Первое из этих сообщений станет доступным для удаления в пятницу утром, ровно через неделю после того, как оно было перенаправлено. Спринт по тикету на повторную обработку начинается в следующий понедельник. Это условие, которое руководство Google классифицирует как «Постоянная потеря данных». Никто вне команды не заметит этого первым, так как в подтверждениях возврата средств указано время ожидания от пяти до десяти рабочих дней, поэтому первый вопрос «где мои деньги?» возникнет примерно тогда, когда Pub/Sub может удалить запись.
Политика dead-letter сработала согласно документации, и проверка правильно интерпретировала доказательства, но через три дня самые старые сообщения станут доступными для удаления. И этот финал еще можно изменить: повторно обработайте refund-events-dlq-sub в refund-worker до пятницы, а затем добавьте оповещение, которого у него никогда не было.
Поиск других подписок Pub/Sub, находящихся в зоне риска, в подключенных проектах
Ничего в запросе по возрасту сообщений не является специфичным для refunds-push. Уберите фильтр и отсортируйте по коэффициенту, и это превратится в проверку всего окружения:
Альтернативно, спросите Dynatrace Intelligence: «Какие подписки Pub/Sub ближе всего к пределу хранения сообщений?» Затем спросите: «Какие из них являются подписками для недоставленных сообщений?» Dynatrace Intelligence может анализировать те же поддерживаемые метрики Pub/Sub, конфигурацию и связи ресурсов, которые используются в запросе DQL.
Подписки для недоставленных сообщений появляются в этом списке без дополнительной настройки. refund-events-dlq-sub не требовала индивидуального подключения. Модель инвентаризации делает подписку доступной для исследования наряду с другими поддерживаемыми ресурсами в подключенных проектах.
Та же конфигурация отвечает на второй вопрос без использования метрик: какие топики для недоставленных сообщений не имеют привязанной подписки? Справочник API Google дает четкий ответ: «сообщения, опубликованные в топике без подписок, теряются» (Pub/Sub API reference, DeadLetterPolicy). Если не включено хранение в топике, нет окна для их восстановления.
Один join находит их: каждая непривязанная «страховочная сеть», перечисленная до того, как она понадобится.
Что делать до истечения срока хранения
До истечения срока: повторная обработка. Повторно обработайте refund-events-dlq-sub в refund-worker, но для возврата средств сначала убедитесь, что воркер идемпотентен по ID возврата. Здесь это безопасно: каждая неудачная попытка в этом сценарии была ошибкой 429, возвращенной до достижения контейнера, без признаков частичной обработки. Затем перезапускайте запрос крайнего срока, пока очередь недоставленных сообщений не станет равна нулю. Если повторная обработка не может быть выполнена вовремя, выиграйте время: увеличение срока хранения до 31 дня является безопасным, но после 24 часов это стоит дополнительных денег. Эта стоимость и есть суть: хранение очереди недоставленных сообщений должно быть осознанным решением.
После восстановления: создайте одно правило для каждой подписки для недоставленных сообщений. Настройте оповещение по доле использованного срока хранения, а не по глубине очереди. Фиксированный порог возраста в Cloud Monitoring работает, пока все подписки имеют одинаковый срок хранения; при смешанных сроках требуется один порог на каждое значение, поддерживаемое вручную. В Dynatrace правило считывает срок хранения каждой подписки из её конфигурации: это тот самый запрос крайнего срока, сохраненный как оповещение, охватывающий каждую подписку, на которую указывает политика dead-letter, поэтому он также покрывает те, о которых никто не вспомнил. Метка владельца на каждой подписке направляет проблему команде, которая ею владеет. Если установить порог на половине срока хранения, проблема была бы обнаружена в понедельник вечером, за ночь до проверки.
Что не предотвратит риск истечения срока хранения?
- Увеличение maxDeliveryAttempts: это просто отправит те же сообщения в то же место позже.
- Исправление только потребителя: это не решит проблему с сообщениями, уже находящимися в подписке для недоставленных сообщений.
- Более пристальное наблюдение за исходной подпиской: перенаправленные сообщения уже переместились в другое место.
- Создание тикета без крайнего срока: таймер хранения продолжает идти.
Почему конфигурация и телеметрия важны в одном исследовании
Исследование возможно, потому что Cloud Platform Monitoring для Google Cloud объединяет конфигурацию и телеметрию в одном контексте Dynatrace.
Конфигурация сущности предоставила три звена исследования: deadLetterPolicy определила пункт назначения, join выявил топики для недоставленных сообщений без привязанной подписки, а срок хранения предоставил как делитель для коэффициента возраста, так и крайний срок удаления. Google рекомендует сравнивать самое старое сообщение подписки с её сроком хранения. Здесь это сравнение выполняется как один запрос по каждому подключенному проекту, поэтому не нужно настраивать или запоминать каждую подписку заранее.
Запрашивайте конфигурацию и метрики с помощью DQL. Поскольку конфигурация и метрики вместе находятся в Grail, DQL предоставляет единый язык запросов для отслеживания связей недоставленных сообщений, сравнения возраста сообщений со сроком хранения и расчета крайнего срока удаления.
Одно правило, направленное нужному владельцу. Запрос крайнего срока может стать единым оповещением для всех подписок для недоставленных сообщений, в то время как существующие метки владельца Google Cloud направляют каждую проблему соответствующей команде.
Без ключей и без агентов там, где это важно. Использование сервисных аккаунтов означает отсутствие файлов ключей, которые нужно хранить или ротировать. Метрики и топология собираются через API Google Cloud без развертывания компонентов Dynatrace в ваших проектах. Исключение составляют логи: они используют Log Router sink в Pub/Sub с заданием Dataflow, обогащенным OpenPipeline при приеме.
Начало работы
Cloud Platform Monitoring для Google Cloud теперь общедоступен. Подключите организацию Google Cloud, откройте приложение Clouds и начните изучать подключенные ресурсы, конфигурацию, метрики, логи и топологию в вашей среде Google Cloud.
Впервые в Dynatrace? Начните бесплатную пробную версию.












