От оповещения до пост-инцидентного анализа с Grafana Cloud IRM и ИИ

У вас есть 10 минут до следующей встречи, когда начинает звонить телефон. Вас вызывают, потому что во фронтенде возникают ошибки из-за сбоев API-запросов.

Вы открываете один инструмент, чтобы увидеть, что сработало, затем другой, чтобы понять, что происходит. Вы пишете коллеге в Slack, чтобы узнать, замечает ли он то же самое.

Это требует постоянного переключения контекста, и именно так сегодня работает реагирование на инциденты во многих командах. Открытие нового инструмента и введение кого-либо в курс дела отнимает время. Детали могут потеряться, когда вы вручную копируете контекст из одного места в другое.

Этого можно избежать. С Grafana Cloud IRM вы получаете поддержку дежурств, управление инцидентами, ChatOps в Slack или Microsoft Teams, инструменты для расследования и мобильное приложение Grafana — всё это объединено через запись об инциденте. Давайте проследим за фронтенд-инцидентом от первого оповещения до реагирования и пост-инцидентного анализа, чтобы показать, как ваша команда может начать улучшать свои процессы уже сегодня.

Оповещение уже содержит контекст

Когда вас вызывают, вам нужно понять, насколько серьезна проблема и что проверить в первую очередь. С IRM вы начинаете не просто с названия оповещения.

Когда вы открываете группу оповещений, она показывает затронутый сервис, панель дашборда, связанную с оповещением, его историю и то, сколько отдельных оповещений было объединено в этот вызов.

Представьте разницу между «фронтенд выдает ошибки API» и «фронтенд выдает HTTP 500 ошибки от adService, проблема уже повторялась дважды за 24 часа, и три связанных оповещения срабатывают в той же группе».

Выяснение того, что еще затронуто

Далее вам нужно понять, являются ли ошибки фронтенда изолированными или это часть чего-то большего, и вызывают ли платформенную команду тоже.

Многие команды делают это, переключаясь между дашбордами, картами сервисов, данными наблюдаемости и Slack или Teams.

В ветке Slack вы спрашиваете Grafana Assistant: «Что еще срабатывает и как это связано?»

Он использует тот же контекст оповещения, который вы видите, и публикует ответ в той же ветке.

Нажмите «Investigate this alert» (Расследовать это оповещение) в сообщении Slack, чтобы получить краткую сводку того, что срабатывает, и рекомендации, что проверить дальше.

Все участники ветки могут видеть то, что нашел Assistant, включая коллег, которые присоединились к реагированию позже. Если у кого-то есть уточняющий вопрос, они могут спросить @Grafana в той же ветке.

Вы можете попросить его помочь написать запрос для проверки частоты ошибок фронтенда или найти нужный дашборд. Вы также можете предоставить Assistant специфический для сервиса плейбук через Skills.

Объявление инцидента

Как только становится ясно, что требуется скоординированное реагирование, вы объявляете инцидент в IRM.

Как только вы это делаете, IRM берет на себя ряд автоматизированных действий, избавляя вас от необходимости создавать всё вручную каждый раз. У вас сразу появляется выделенный канал в Slack, Zoom-звонок и ИИ-расследование, которое начинает искать первопричину.

Вам не нужно беспокоиться о том, чтобы команда не забыла создать эти компоненты. Система делает это за вас.

Сохранение важного в хаосе

Много полезной информации появляется в Slack еще до того, как кто-то поймет, имеет ли она значение.

Коллега вспоминает о развертывании, которое было ранее, и предполагает, что оно может объяснять ошибки фронтенда. У кого-то еще есть гипотеза о зависимости. Кто-то другой замечает что-то странное на дашборде.

Обычно часть этого попадает в запись об инциденте, а остальное теряется в истории Slack.

В IRM коллега может отреагировать на сообщение в Slack эмодзи робота, и оно попадет на временную шкалу инцидента. Исходное сообщение, автор и временная метка сохраняются вместе с ним.

Это не обязательно должна быть доказанная теория. Суть в том, чтобы сохранить потенциально полезный контекст, пока все еще пытаются разобраться в ситуации.

Управление инцидентом из Slack

Как только реагирование началось, командир инцидента жонглирует ролями, задачами, коммуникациями, другими командами и самим расследованием.

Это может происходить в канале инцидента, не покидая Slack. Вы можете назначать роли, создавать задачи с помощью быстрых действий и синхронизировать их с Jira или GitHub, чтобы они оставались доступными после закрытия инцидента.

Если нужно привлечь другую команду, вы можете вызвать их из того же места, вместо того чтобы искать их график дежурств. Еще лучше: введите "@Grafana assistant - who is on call?"

Владельцы инцидента публикуют обновления статуса, которые распространяются в Slack и отправляются в мобильное приложение, чтобы заинтересованные стороны могли следить за ходом событий.

Расследование, которое можно проверить

ИИ-расследование запускается автоматически, когда вы объявляете инцидент.

Он берет уже имеющийся контекст (данные оповещений, связанные панели дашбордов, временную шкалу и всё, что добавили люди из Slack), объединяет его с вашими реальными данными и начинает формировать гипотезы о том, что вызвало проблему.

Функция Assistant Workspace предоставляет среду для совместной работы, где вы можете работать вместе с агентом и отслеживать, что он делает, находит и «думает».

Вы можете добавить гипотезу, повторно открыть отклоненную, пометить что-то как опровергнутое или задать расследованию вопрос. Вы также можете увидеть источники, на которых основаны его выводы.

Предположение о первопричине гораздо полезнее, когда вы видите доказательства, а не просто должны решить, доверять ли «черному ящику». Расследование указывает на ошибки от ad service, достигающие фронтенда как ответы 500. Расследование также может сопоставлять информацию из-за пределов Grafana через MCP-интеграции. Например, оно проверяет гипотезу о более раннем развертывании, обращаясь напрямую к GitHub, и не находит доказательств, связывающих его с ошибками.

Неважно, что всё началось со случайного сообщения в Slack. Как только это попадает в контекст инцидента, оно оценивается вместе со всем остальным.

Превращение первопричины в запись об инциденте

Как только вы просмотрели доказательства для основной гипотезы, результаты добавляются на временную шкалу инцидента, публикуются в Slack и отправляются в мобильное приложение. Это избавляет от обычной работы по очистке данных, когда нужно брать то, что выяснили инженеры, и переписывать это где-то еще, чтобы люди вне инцидента могли быть в курсе.

Разрешение инцидента: мобильное приложение рулит!

Вы нашли первопричину с помощью ИИ-расследования и применили исправление, чтобы устранить проблему. Вы знаете, что вам еще нужно написать пост-инцидентный отчет (PIR), но об этом легко забыть, когда все возвращаются к своей обычной работе.

К счастью, с мобильным приложением Grafana вы можете продолжать работать со своего телефона, будь то реагирование на инцидент или планирование следующей смены дежурства.

Поэтому, даже если вы не можете сразу приступить к PIR и некоторые детали стираются из памяти, запись об инциденте, временная шкала, расследование, гипотезы и источники — всё это доступно в мобильном приложении.

Просто откройте расследование на телефоне и попросите Assistant создать пост-инцидентный отчет и отправить его в Confluence. Отчет генерируется на основе той же истории и доказательств, которые команда уже использовала во время реагирования. Вам не нужно восстанавливать хронологию по памяти.

Пока вы там, вы даже можете проверить, когда начинается ваша следующая смена дежурства.

А если вы хотите увидеть весь мобильный рабочий процесс целиком, посмотрите видео ниже, где представлены все подробности.

Почему это важно

Ваша команда по-прежнему работает в Slack, присоединяется к звонкам и пишет отчеты в тех инструментах, которые уже использует. Запись об инциденте позволяет поддерживать связь между этими рабочими процессами. Ознакомьтесь с Grafana Cloud IRM сегодня, чтобы увидеть, как это выглядит применительно к вашим собственным оповещениям.

Grafana Assistant — это самый простой способ начать работу с метриками, логами, трассировками, дашбордами и многим другим в Grafana Cloud. У нас есть щедрый бесплатный тарифный план, действующий бессрочно, а также планы для любых сценариев использования.