Инженерные команды годами сталкиваются с одной и той же проблемой во время инцидентов: системы, генерирующие оповещения, становятся все сложнее, но последующее расследование по-прежнему носит в основном ручной характер. Мониторы отлично справляются с задачей информирования о том, что что-то пошло не так. Более сложный вопрос — почему это произошло.
Когда срабатывает оповещение, инженеру все еще приходится самостоятельно выяснять, где искать проблему, какие сигналы имеют значение, какую гипотезу проверить и как связать между собой данные из логов и метрик. Эта работа необходива, но она также рутинна, отнимает много времени и сильно зависит от того, кто именно находится на дежурстве.
Агент поиска первопричин меняет эту отправную точку, привнося агентный подход в расследование инцидентов. Вместо того чтобы заставлять инженеров самостоятельно проводить расследование, агент собирает релевантную телеметрию, формирует гипотезы, отслеживает сигнал по логам и метрикам и выдает подкрепленную доказательствами оценку наиболее вероятной причины инцидента.
Расследование как узкое место
Представьте себе службу оформления заказа с растущей задержкой. Монитор срабатывает, инженер получает оповещение, и начинается расследование. Оповещение служит важной отправной точке, но оно не определяет причину. Инженеру может потребоваться переключаться между дашбордами и поисковыми запросами, сопоставлять сигналы в разных службах, проверять, что стало причиной — всплеск трафика, проблема с зависимостями, релиз или изменение конфигурации, — а также решать, какие данные имеют значение.
Этот процесс трудно стандартизировать, поскольку он во многом зависит от личного опыта. Старший инженер может сразу распознать закономерность. Кто-то менее опытный в работе с данной службой может потратить гораздо больше времени на поиск отправной точки или в конечном итоге будет вынужден эскалировать проблему. И во время активного инцидента ответ полезен только тогда, когда инженер может его понять и проверить.
Агент поиска первопричин меняет отправную точку
Агент поиска первопричин разработан для того, чтобы взять на себя этот первый этап расследования. Когда оповещение соответствует настроенному для команды триггеру расследования, агент может автоматически начать проверку. Он собирает релевантную телеметрию, формирует гипотезы, отслеживает сигнал в логах и метриках и возвращает структурированный результат. Команды также могут запускать расследования по требованию, а агент может исследовать оповещения, поступающие из систем вне Sumo Logic.
Результат представляет собой не стену текста, сгенерированного ИИ. Он дает инженеру четкий вердикт, выводы, приведшие к нему, доказательства, лежащие в основе этих выводов, и рекомендуемые дальнейшие действия. Каждое открытие включает в себя точный запрос, с помощью которого оно было получено, и один клик переносит инженера в поисковую систему с уже выполненным запросом. Агент поиска первопричин не требует от инженера слепо доверять ответу ИИ. Он предоставляет расследование, которое можно изучить и проверить.
От телеметрии Sumo Logic к контексту вокруг инцидента
Расследование не обязательно должно ограничиваться телеметрией, имеющейся в Sumo Logic. Агент поиска первопричин может подключаться к внешним источникам контекста и телеметрии, получая доступ к системам, где могут содержаться решающие доказательства: подскочившая метрика, выполненный деплоймент, измененный флаг функции или другой контекст, объясняющий произошедшее. Он также может расследовать оповещения, поступающие извне Sumo Logic.
Расследование также может быть интегрировано в рабочие процессы, которые инженеры уже используют. С помощью Slack команды могут запрашивать расследование и просматривать результаты, не переключаясь обратно в продукт, в то время как Mobot предоставляет способ задавать дополнительные вопросы на естественном языке и продолжать расследование.
По мере того как агент становится частью операционного рабочего процесса организации, команды могут управлять его знаниями, пользовательскими инструкциями, подключенными системами и триггерами расследований. Средства управления доступом и правами обеспечивают необходимые полномочия и область видимости для работы агента в масштабах всей организации.
Создано для того, чтобы инженеры могли проверять, принимать решения и действовать
Ценность заключается не просто в более быстром доступе к большему объему телеметрии. Речь идет о сокращении ручного расследования и создании более единообразной отправной точки для каждого специалиста реагирования. Вместо того чтобы тратить начало инцидента на сбор данных и сопоставление сигналов, инженеры могут начать с ознакомления с оценкой агента и собранными доказательствами, проверки запросов, лежащих в основе выводов, оспаривания выводов при необходимости, уточняющих вопросов и принятия решения о дальнейших действиях.
Структурированное расследование дает начинающим инженерам более надежную отправную точку, избавляя их от необходимости знать каждый уголок службы, и в то же время снижает объем рутинного сбора и сопоставления данных, с которым опытные инженеры сталкиваются при каждом инциденте. А поскольку агент показывает доказательства, лежащие в основе его выводов, и знает, когда он не может прийти к обоснованному выводу, инженеры могут действовать быстро, не воспринимая ИИ как «черный ящик». В результате меняется то, как расходуется рабочее время инженеров: меньше времени уходит на выяснение того, где искать, и больше — на понимание проблемы, принятие решения и ликвидацию инцидента.
Убедитесь в этом сами
Агент поиска первопричин доступен в режиме предварительного просмотра для клиентов Sumo Logic Log Analytics. Чтобы начать работу, свяжитесь с вашей командой по работе с клиентами.
Эти функции находятся в разработке. Доступность, сроки и функциональность могут быть изменены, и до момента общего доступа данную информацию следует рассматривать как ориентировочную.
