Поскольку разработка с помощью ИИ помогает командам создавать и выпускать больше кода, инженерам необходимо проверять растущий объем изменений в реальных условиях продакшена. Даже код, прошедший тестирование, может приводить к ошибкам или замедлениям в продакшене, поэтому раннее обнаружение критически важно для защиты пользователей.
Автоматизация этих проверок работоспособности помогает командам идти в ногу со временем, сокращая время, которое инженеры тратят на просмотр дашбордов. Оценивая работоспособность приложений и инфраструктуры по мере поступления изменений в продакшен, команды могут вовремя выявлять проблемы и принимать решения о том, безопасно ли продолжать развертывание.
Datadog Deployment Gates, ставшее общедоступным решение, переносит автоматические проверки работоспособности в ваши существующие рабочие процессы развертывания, помогая командам вовремя выявлять проблемы в продакшене и приостанавливать развертывания для минимизации влияния на пользователей. Оно объединяет широкий спектр мониторов приложений и инфраструктуры Datadog с функцией автоматического обнаружения непредвиденных ошибок.
В этой статье мы покажем, как вы можете:
- Сократить количество инцидентов в продакшене с помощью автоматических проверок развертывания
Сократить количество инцидентов в продакшене с помощью автоматических проверок развертывания
- Тратить меньше времени инженеров на мониторинг развертываний
Тратить меньше времени инженеров на мониторинг развертываний
Сократить количество инцидентов в продакшене с помощью автоматических проверок развертывания
Развертывание может завершиться успешно даже тогда, когда новая версия содержит ошибки или замедления. Проверка ее работоспособности в условиях продакшен-трафика помогает командам вовремя выявлять проблемы и решать, стоит ли продолжать процедуру, до того как пострадает еще больше пользователей.
Deployment Gates помогает принять это решение перед более масштабным развертыванием. Шлюз развертывания (deployment gate) действует как автоматическая контрольная точка после развертывания или между его этапами, оценивая работоспособность в продакшене перед тем, как рабочий процесс продолжится. Например, вы можете развернуть новую версию приложения на небольшом подмножестве своей инфраструктуры и оценить ее работоспособность перед расширением. Если обязательная проверка не пройдена, рабочий процесс может приостановить развертывание, пока новая версия все еще ограничена этим начальным этапом.
Deployment Gates объединяет правила мониторинга, которые проверяют заданные вашей командой условия работоспособности, с функцией Watchdog™ Faulty Deployment Detection (обнаружение проблемных развертываний Watchdog). Это возможность системы мониторинга производительности приложений (APM) от Datadog, которая выявляет ошибки, для отслеживания которых ваши мониторы не настроены. Вместе эти проверки помогают командам находить как проблемы, покрытые настроенными мониторами, так и ошибки, которые они могли не предвидеть.
Повторное использование мониторов Datadog для проверки работоспособности развертывания
Если вы уже используете мониторы Datadog для отслеживания частоты ошибок, задержки запросов или использования ресурсов инфраструктуры, Deployment Gates может использовать те же мониторы для принятия решения о продолжении развертывания.
Правила мониторинга оценивают выбранные мониторы Datadog за определенный период. Например, если во время развертывания резко возрастает количество ошибок приложения или замедляется производительность, и выбранный монитор фиксирует это изменение, правило может заблокировать шлюз до продолжения развертывания. Поскольку правила опираются на мониторы, которые ваши команды уже поддерживают, вы можете настраивать проверки работоспособности под каждый сервис и рабочий процесс развертывания.
Обнаружение непредвиденных ошибок с помощью Watchdog Faulty Deployment Detection
Некоторые ошибки приложений выходят за рамки условий, для проверки которых ваша команда настроила мониторы. Изменение кода может привести к появлению совершенно нового типа ошибки или увеличить количество ошибок в эндпоинте, который ранее работал ожидаемым образом. Проверки развертывания, основанные только на предопределенных мониторах, могут пропустить такие проблемы.
Watchdog Faulty Deployment Detection использует механизм искусственного интеллекта Datadog для анализа данных наблюдаемости по всей платформе с целью поиска ошибок приложений, которые ваша команда могла не предусмотреть. Для сервисов, инструментированных с помощью APM, Watchdog сравнивает развернутую версию с предыдущими версиями того же сервиса для выявления новых типов ошибок и значительного роста частоты ошибок в отдельных эндпоинтах.
Представьте себе сервис оформления заказа, который успешно прошел тестирование, но в процессе канареечного развертывания привносит ошибку нового типа. Сравнивая версии сервиса, Watchdog может обнаружить новую ошибку без специализированного монитора и активировать правило Watchdog Faulty Deployment Detection для блокировки шлюза. Затем рабочий процесс приостанавливает развертывание, пока новая версия ограничена канареечным этапом, что дает инженерам время на проведение расследования перед более масштабным релизом.
Сочетая проверки мониторинга с автоматическим обнаружением непредвиденных ошибок приложений, Deployment Gates помогает командам выявлять более широкий спектр проблем в продакшене во время развертываний и ограничивать их влияние на клиентов.
Тратьте меньше времени инженеров на мониторинг развертываний
Ручная проверка работоспособности развертывания отвлекает инженеров от разработки, поскольку им приходится просматривать дашборды, оценивать состояние приложений и инфраструктуры и вмешиваться при появлении проблем. Deployment Gates автоматизирует эти проверки, чтобы инженеры тратили меньше времени на контроль каждого развертывания.
Deployment Gates задействует проверки работоспособности в вашем текущем рабочем процессе: активные шлюзы позволяют процессу продолжаться при успешном прохождении всех обязательных проверок и приостанавливают его в случае сбоя хотя бы одной. После этого инженеры могут сосредоточиться на расследовании проблем, обнаруженных шлюзами, будучи уверенными, что обязательные проверки работоспособности выполняются как часть процесса развертывания.
Вы можете добавить эти проверки в свои текущие инструменты и рабочие процессы развертывания с помощью GitHub Actions, Argo Rollouts, командной строки datadog-ci или API Datadog. Повторно используйте общие правила в разных командах или адаптируйте их под каждый сервис в соответствии с уже используемым вами процессом развертывания.
Тестирование Deployment Gates без прерывания развертываний
Режим пробного запуска (dry-run mode) позволяет опробовать Deployment Gates в вашем текущем рабочем процессе и увидеть, какие развертывания были бы приостановлены и по какой причине, в то время как сами релизы продолжаются в обычном режиме.
Datadog проверяет сигналы реальных приложений и инфраструктуры из развернутой версии и записывает результат каждой проверки, включая причину любого сбоя. Анализ этих результатов помогает понять, какие именно проблемы в продакшене улавливают ваши шлюзы, и скорректировать проверки для каждого сервиса перед включением автоматических пауз. Как только вы будете готовы, переключитесь в активный режим, чтобы ваш рабочий процесс приостанавливался при сбое обязательной проверки, помогая минимизировать влияние на клиентов.
Быстрое расследование проблем и непрерывность развертываний
При сбое шлюза Datadog объединяет информацию о развернутой версии, неудачной проверке и причине сбоя, предоставляя доступ к связанному монитору или находке APM. Инженеры могут проследить по связанным трассировкам, где именно запросы завершаются с ошибкой или замедляются.
Команды могут продолжить расследование с помощью Bits Chat, обращаясь к нему на естественном языке с просьбой объяснить задействованные сервисы, изучить вероятные причины и порекомендовать дальнейшие действия. Имея производственные данные и рекомендации в одном месте, инженеры могут быстрее принять решение о том, как реагировать.
Информация о таких сбоях сохраняется в истории оценок (evaluation history), где команды могут просматривать недавно завершенные оценки шлюзов и причины их сбоев. Выявляя часто дающие сбои шлюзы и правила, анализируя общие паттерны сбоев и отслеживая тенденции оценок с течением времени, команды могут расставить приоритеты для исправлений, которые сократят количество повторяющихся прерываний при развертывании.
Начало работы с Deployment Gates
Шлюзы развертывания Datadog (Deployment Gates) объединяют мониторинг приложений и инфраструктуры с автоматическим обнаружением непредвиденных ошибок, помогая командам сокращать количество инцидентов в продакшене при выполнении развертываний. Приостанавливая развертывание в случае сбоя необходимых проверок работоспособности и передавая подробную информацию об ошибках в Datadog, это решение помогает командам минимизировать влияние на клиентов, быстрее расследовать проблемы и уверенно возвращаться к созданию новых функций.
Чтобы начать работу, ознакомьтесь с документацией по настройке шлюзов развертывания (Deployment Gates), чтобы узнать, как добавлять проверки работоспособности в свои рабочие процессы развертывания. Вы также можете изучить предварительно настроенные параметры шлюзов и результаты оценки шлюзов развертывания, чтобы ознакомиться с доступными проверками и деталями расследования.
Если вы еще не являетесь клиентом Datadog, зарегистрируйтесь для бесплатного 14-дневного пробного периода.
