/)
Вы расследуете ошибки оформления заказа, когда кто-то спрашивает, кто координирует инцидент. Поддержке требуется обновление статуса, а другой дежурный ищет инструкцию (runbook). Вы бросаете дела, чтобы направить всех в нужное русло.
Все эти просьбы вполне разумны, но каждая из них отвлекает вас от понимания сути проблемы. Да, у вашей команды есть процесс обработки инцидентов, но его выполнение ложится дополнительной нагрузкой на человека, который и так занят.
Grafana Workflows, доступная в рамках публичной предварительной версии, превращает процессы вашей команды в автоматизированные шаги в Grafana Cloud и других ваших инструментах. Вы даже можете задействовать Grafana Assistant на этих этапах для расследования проблемы, суммирования выводов или подготовки черновика отчета. Например, воркфлоу может создать канал инцидента, вызвать службу поддержки в соответствии с правилами вашей команды и попросить Assistant подготовить сводку на основе доступных данных.
Тот же подход работает и с вашей повседневной операционной деятельностью. Один раз настроив воркфлоу, вы можете позволить Grafana Cloud подготовить передачу смены для следующего инженера или собрать выводы для еженедельного обзора сервиса. Вы сами решаете, что должно происходить автоматически и где ИИ может помочь разобраться в меняющейся информации.
Ускорьте реагирование на инциденты
Чтобы проиллюстрировать, какую пользу воркфлоу могут принести вашей команде, давайте разберем типичный процесс реагирования на серьезный инцидент.
Для начала вашей команде нужно место для совместной работы и кто-то, кто будет координировать действия. Инструкция помогает, но кто-то все равно должен найти дежурного командира, открыть канал и поделиться нужными ссылками.
Воркфлоу включают в себя чертежи (blueprints) — готовые шаблоны, которые можно адаптировать под процессы вашей команды. Для задач такого типа вы можете начать с чертежа запуска процесса серьезного инцидента, который может автоматически реагировать на критический инцидент в Grafana Cloud IRM, включая те, уровень которых только что был повышен до критического.
Он создает связанный канал в Slack, проверяет график дежурного командира и назначает его ответственным. Он также публикует инструкции по реагированию, добавляет в закладки инструкцию и страницу инцидента, а также фиксирует момент начала на временной шкале. Если никто не дежурит, воркфлоу оставляет заметку, чтобы команда знала о необходимости назначить командира.
Теперь у дежурных под рукой есть карточка инцидента и инструкция, а командир может приступить к координации расследования. Настройка полностью соответствует сконфигурированному вами процессу.
В дальнейшем вы можете развивать эту основу. Допустим, по регламенту вы должны привлекать поддержку к каждому критическому инциденту. Просто добавьте шаг, который вызывает команду поддержки в IRM, и другой шаг, который отправляет ссылку на инцидент в их канал Slack. Поддержка сможет подключиться к работе, пока инженеры ведут расследование, не дожидаясь, пока кто-то вспомнит о необходимости еще одной передачи информации.
Примечание: Воркфлоу в настоящее время доступны в разделе «More apps» в меню навигации Grafana Cloud.
Примечание: Воркфлоу в настоящее время доступны в разделе «More apps» в меню навигации Grafana Cloud.
Размещайте выводы ИИ там, где они нужны людям
Собрать всех вместе — это только начало. Следующему участнику потребуется узнать, что происходит, что вы уже проверили и где искать проблему дальше.
Дополните воркфлоу запуска шагом обращения к Assistant. Передайте Workflows ссылку на инцидент, затронутый сервис и конкретную задачу:
Изучите этот инцидент, а также доступные сигналы об ошибках и задержках около времени его начала. Обобщите наблюдаемые симптомы, дайте ссылки на доказательства и предложите следующие проверки. Отделите факты от гипотез и укажите на недостающую информацию.
Изучите этот инцидент, а также доступные сигналы об ошибках и задержках около времени его начала. Обобщите наблюдаемые симптомы, дайте ссылки на доказательства и предложите следующие проверки. Отделите факты от гипотез и укажите на недостающую информацию.
Assistant проводит расследование на основе доступного контекста наблюдаемости и возвращает сводку. Последующие шаги воркфлоу публикуют эту сводку в канале инцидента и добавляют ее на временную шкалу инцидента. Команда может следить за ходом расследования по фактам и задавать более точные вопросы, а те, кто подключится позже, получат готовую отправную точку, чтобы быстро войти в курс дела.
В то же время у поддержки совершенно другие задачи. Им необходимо перевести технические выводы в понятные для клиентов обновления. Обновление статуса инцидента может инициировать воркфлоу, который попросит Assistant составить черновик такого объяснения на основе подтвержденных фактов. Шаг публикации сообщения в канал Slack отправляет черновик во внутренний канал поддержки, где команда проверяет и редактирует его перед внешней публикацией.
Именно здесь сочетание правил и ИИ становится по-настоящему полезным. Вы определяете триггер, задачу и получателя. Assistant интерпретирует предоставленный контекст и выдает результат, который может использовать следующий шаг. Инженеру больше не нужно копировать ответ из чата и вручную вставлять его в нужное место.
Вы также можете использовать ИИ для ответа на конкретный вопрос, который определяет следующий шаг в вашем плане реагирования. Например, при срабатывании алерта воркфлоу может запросить у Assistant оценку того, затронуты ли клиенты, и примерную оценку их количества. Если результат превышает заданный вами порог, воркфлоу может объявить об инциденте и вызвать дежурного SRE. Эта целенаправленная оценка может выполняться параллельно с более широким расследованием первопричины.
Дайте следующему дежурному инженеру фору
Вскоре после этого происходит смена дежурств, и заступающий инженер спрашивает: «Есть ли что-то, о чем мне следует знать?»
Исчерпывающий ответ на этот вопрос может потребовать усилий. Вы помните об открытом инциденте, который все еще свеж в вашей памяти, но заступающему инженеру также нужно знать, какие алерты заслуживают повторного внимания. Сбор этого контекста становится еще одной задачей, которую нужно решить перед сдачей смены.
Чертеж отчета о передаче дежурства делает подготовку этого контекста частью процесса смены дежурных. Он отслеживает выбранное вами расписание в IRM и просит Assistant проанализировать недавние инциденты и группы алертов команды. По умолчанию он анализирует данные за прошедшую неделю, а затем публикует в Slack сводку со ссылками на соответствующие записи.
Промпт просит Assistant начать с того, что требует внимания прямо сейчас: активных инцидентов, повторяющихся алертов и последующих задач. Вы можете настроить временной интервал и фокус отчета в соответствии с вашим графиком дежурств.
Уходящий инженер может добавить все то, что еще не попало в отчеты. Приходящий инженер получает готовую сводку, которую может изучать и дополнять по мере принятия дел. Это упрощает передачу смены для обоих участников, особенно после напряженного дежурства.
Приходите на обзор сервиса с готовыми выводами
Инцидент теперь устранен, но на этом работа не заканчивается. Регулярные обзоры сервисов связаны со своей собственной рутиной по подготовке. Например, вы можете захотеть обсудить, не растет ли задержка или не требуют ли внимания бюджеты ошибок. Сначала кому-то нужно открыть дашборды, сравнить показатели и подготовить отчет для всех остальных.
Чертеж еженедельной сводки о состоянии сервиса может подготовить эту предварительную оценку прямо в Slack. Настройте его запуск перед встречей для сервисов, за которые отвечает ваша команда.
Ассистент анализирует статус SLO за предыдущую неделю, использование бюджета ошибок, а также тенденции ошибок и задержек вместе с соответствующими инцидентами и оповещениями. Он формирует оценку работоспособности для каждого сервиса и указывает на риски на предстоящую неделю. На следующем шаге рабочего процесса сводка публикуется в Slack.
Ваша команда приходит на разбор с готовой оценкой для обсуждения, поэтому вы можете потратить время на принятие решений о том, чему именно нужно уделить внимание.
Начните с одного процесса, который ваша команда уже повторяет
Готовы начать работу с Workflows? Выберите ту часть вашей недели, которая постоянно требует от кого-то сбора контекста или координации следующего шага. Выберите отправную точку из библиотеки шаблонов или опишите свой процесс Grafana Assistant и попросите его создать для вас рабочий процесс.
Рабочий процесс открывается в отключенном состоянии, поэтому вы можете просмотреть и протестировать его, прежде чем включать. Визуальный редактор показывает, как шаги связаны между собой. История запусков позволяет изучать их входные данные, выходные данные и ошибки, помогая проверять как предпринятые действия, так и информацию, передаваемую между ними.
Например, нажмите кнопку ниже, чтобы создать свой первый рабочий процесс с помощью промпта Ассистента для формирования ежедневной сводки по инцидентам и активным оповещениям.
Grafana Workflows теперь доступна в публичной предварительной версии. Воспользуйтесь руководством по началу работы, чтобы опробовать свой первый шаблон и узнать больше об этой новой функции в Grafana Cloud. Начните с настройки инцидентов, которую вы постоянно повторяете, с передачи смены, которая всегда занимает слишком много времени, или с обзора сервиса, на подготовку которого у вас вечно не хватает времени. Сделайте этот единственный процесс проще, а затем развивайте успех дальше.
/)
/)
/)
/)
/)