Использование Grok Bot для обнаружения инцидентов и реагирования на них

Когда происходит инцидент с продуктом, очередь поддержки может стать одним из первых мест, где это проявляется. Клиенты начинают сообщать об одной и той же проблеме, иногда еще до того, как срабатывают инженерные оповещения или кто-либо объявляет об инциденте.

Эти сообщения продолжают поступать по мере развития инцидента. Поначалу служба поддержки может не знать, в чем проблема, или не иметь ответа, который можно уверенно предоставить. К моменту устранения проблемы сотни или тысячи клиентов могут ожидать ответа. Службе поддержки приходится отслеживать этих клиентов на протяжении всего инцидента, а затем убедиться, что каждый из них получил правильный ответ после его разрешения.

Мы используем Grok Bot для выполнения обеих частей этой работы. Он предоставляет нам ИИ-коллег, которые берут на себя операционные задачи, особенно повторяющиеся рабочие процессы, которые в противном случае зависают между людьми и системами. Как мы рассказывали в недавнем блоге, команда поддержки клиентов SpaceXSI использует Support Bot в составе Grok Bot для общения с клиентами.

Теперь мы добавили еще двух ИИ-коллег, которых мы привлекаем специально для инцидентов. Первый, IncidentWatch, отслеживает очередь поддержки на предмет всплесков похожих заявок и оповещает нашу команду, когда обнаруживает такой всплеск. Второй, IncidentSweep, берет на себя обратную сторону процесса: выявляет затронутые заявки и закрывает их утвержденными пакетами.

Во время одного из инцидентов 18 сентября наш бот IncidentSweep обработал 204 заявки примерно за 10 минут, при этом инженер поддержки проверял и одобрял пакет. Раньше нам пришлось бы отвечать на эти заявки по одной в течение нескольких часов или использовать массовый макрос, который давал гораздо меньше контроля над тем, кто получит сообщение.

Обнаружение инцидентов через отчеты клиентов

Клиенты часто замечают проблемы раньше, чем срабатывают наши внутренние оповещения. Когда несколько клиентов сообщают об одной и той же проблеме одновременно, эти заявки могут стать ранним сигналом об инциденте.

IncidentWatch — это коллега из Grok Bot, которого мы создали для обнаружения этого сигнала. Каждые пять минут он просматривает заявки за предыдущие 15 минут на предмет всплесков, связанных с одной и той же проблемой. Если шаблон не совпадает с известным инцидентом, IncidentWatch оповещает дежурного инженера поддержки о предполагаемой проблеме, количестве совпадающих заявок и примерах для расследования.

Инженер поддержки решает, указывают ли отчеты на инцидент, и работает с инженерным отделом для расследования. Тем временем IncidentWatch удерживает заявки, которые явно соответствуют проблеме.

Как только команда подтверждает инцидент, мы публикуем его на нашей публичной странице статуса. Support Bot, наш основной бот для общения с клиентами, возвращается к удерживаемым заявкам, сверяет их с инцидентом и отвечает клиентам, чьи отчеты совпадают. По мере развития инцидента он может возвращаться с обновлениями.

Очистка бэклога инцидента

После того как инцидент разрешен, в очереди все еще могут оставаться сотни связанных заявок, и на каждую нужно дать окончательный ответ. Традиционно у команд поддержки было два способа очистить их, и у обоих есть недостатки. Они могут отвечать на каждую заявку индивидуально, что может занять часы, или использовать массовое действие, которое выполняется быстро, но оставляет мало возможностей заметить заявку, которая не должна получать сообщение.

Мы создали IncidentSweep, чтобы объединить контроль первого подхода со скоростью второго.

Инженер поддержки начинает с того, что указывает IncidentSweep, какие заявки рассматривать, какие исключить и какое именно сообщение отправить. IncidentSweep находит совпадающие заявки, проверяет каждую из них и откладывает те, которые не может уверенно связать с инцидентом.

Перед отправкой чего-либо IncidentSweep показывает инженеру предлагаемый пакет, включенные в него заявки и точное сообщение, которое они получат. Инженер может выборочно проверить заявки и внести изменения перед одобрением отправки.

Затем IncidentSweep отправляет утвержденное сообщение небольшими пакетами и записывает каждое действие. Он никогда не добавляет заявки после утверждения, и если что-то идет не так, он останавливается и сообщает о случившемся.

Давайте ботам работу, а не задачи

Grok Bot представляет другой способ работы с ИИ. Вместо того чтобы обращаться к ИИ-инструменту за помощью с отдельными задачами, команды могут создавать ИИ-коллег, которые берут на себя работу и доводят целые рабочие процессы до результата.

Поддержка клиентов стала естественным местом для применения этой модели. IncidentWatch и IncidentSweep берут на себя работу, которая раньше требовала от кого-то из команды отслеживать, сортировать и обрабатывать сотни отдельных заявок. В SpaceXSI мы ищем новые рабочие процессы, где ИИ-коллеги могут взять на себя такой же уровень ответственности.