Создание SOC на базе автономных агентов в потоковом режиме

Современные центры мониторинга информационной безопасности (SOC) переходят к архитектурам на базе автономных агентов. Традиционно SOC полагались на жесткую автоматизацию на основе правил и значительные человеческие усилия. Мы создали SOC на базе агентов с искусственным интеллектом, которые не просто следуют жестким жестко закодированным правилам, но и самостоятельно расследуют, анализируют и действуют подобно человеческим аналитикам.

На практике обнаружение никогда не было нашим узким местом, но огромные объемы низкокачественных потоков алертов требуют колоссальных ручных усилий, а значит, им по умолчанию уделяется меньше всего внимания. Это создает именно ту слепую зону, в которой так любят прятаться терпеливые злоумышленники. Чтобы предотвратить это, мы создали не простой инструмент классификации, а автоматизированный инструмент расследования. Эта архитектура объединяет центрального координатора триажа, специализированных агентов по сбору доказательств, состязательный оценщик и самообучающуюся базу знаний.

За 30-дневный период наш стек обнаружения сгенерировал примерно 4 700 алертов. Маршрутизация на основе приоритетов отправила около 3% из них дежурным специалистам. Напротив, автоматизированный конвейер проанализировал каждый алерт, эскалировав примерно 5% и выявив более 250 истинных срабатываний для проверки аналитиками.

Проблема знаменателя

Непрерывно собирая сигналы безопасности и аномалии облачного аудита, наш стек обнаружения делал именно то, для чего был создан. Основным узким местом остаются возможности человека, поскольку пропускная способность расследований остается фиксированной, в то время как объем алертов неуклонно растет. Каждая команда безопасности справляется с этой реальностью одинаково: они сортируют алерты по степени серьезности, отрабатывают очередь и отбрасывают элементы с наименьшим приоритетом.

Алерты системы предотвращения утечки данных (DLP) часто попадают в неизученный бэклог. Поскольку эти алерты многочисленны и в основном доброкачественные, их ручной просмотр редко бывает практичным, что предоставляет злоумышленникам удобное место для укрытия. По мере того как корпоративные интеграции или рост организации увеличивают количество алертов, оставление этих сигналов с низким приоритетом без внимания становится неустойчивым риском безопасности.

Выход за рамки простой классификации

Каждый руководитель отдела безопасности взвешивал стандартные варианты: нанять больше аналитиков, поднять пороги срабатывания алертов или внедрить автоматизацию. Мы выбрали автоматизацию, но не путем простого предложения модели ИИ угадать, является ли алерт вредоносным. Алерт никогда не содержит собственного вердикта. Например, изолированный сигнал, такой как подозрительный запуск процесса, требует глубокого контекста для разрешения. Вам нужно знать, что еще запускалось на этом хосте, каково нормальное поведение пользователя и документировал ли аналитик этот паттерн ранее как доброкачественный.

Этот контекст разбросан по различным инструментам безопасности и коллективной памяти команды. Следовательно, целью не может быть только классификация, это должно быть полноценное расследование, которое формирует гипотезу и запрашивает у систем доказательства. Такая глубина занимает несколько минут на алерт, а не секунд, но она обеспечивает критическое обоснование, необходимое за каждым решением.

Более умная архитектура агентов

Интуитивный подход заключается в создании специфического агента ИИ для каждого источника обнаружения. Хотя это быстро настраивается, это создает кошмар при обслуживании. Каждый новый источник требует нового агента, становясь перманентным налогом для вашей инженерной команды. Вместо этого мы специализировали наших агентов по доменам доказательств и относились к специфическим особенностям источников как к данным, а не как к коду.

Основные навыки сбора доказательств стабильны, и их стоит вручную закладывать в специализированных агентах. И наоборот, повседневный контекст постоянно меняется и должен находиться в динамичной базе знаний, которая обновляется сама. Теперь подключение нового источника обнаружения требует простого файла конфигурации. Всего за несколько алертов база знаний автоматически изучает уникальные особенности источника, со временем естественным образом повышая точность системы.

Изнутри процесса расследования

Наш процесс расследования структурирован так, чтобы быть эффективным и тщательным. До запуска каких-либо моделей ИИ мы отсеиваем дубликаты алертов для экономии ресурсов. Затем оставшиеся алерты обогащаются существующими институциональными знаниями команды.

Центральный координатор триажа просматривает эту информацию, чтобы решить, можно ли разрешить алерт немедленно. Если требуется дальнейшее расследование, координатор отправляет специализированных агентов. Эти специалисты сосредоточены на конкретных областях доказательств, таких как форензика конечных точек или журналы облачного аудита, что позволяет им преуспевать в своих специфических задачах. Они выполняют глубокие запросы и возвращают координатору компактные, четкие выводы. Затем отдельный агент-оценщик изучает полученные результаты, чтобы активно искать непроверенные гипотезы или неподтвержденные выводы. Если обнаруживаются пробелы, дело отправляется обратно координатору для дальнейшего рассмотрения.

Наконец, система записывает то, чему она научилась, в базу знаний. Выводы внедряются и извлекаются с помощью гибридного поиска по векторам и ключевым словам, поэтому прошлые расследования всплывают по смыслу, а не по точной формулировке. И поскольку неверная память хуже полного ее отсутствия, записи проходят полуавтоматическую курацию, прежде чем они смогут определять будущие вердикты.

Сила состязательного анализа

Самый большой скачок в качестве наших автоматизированных вердиктов произошел не благодаря лучшей модели или большему количеству инструментов. Он произошел из-за внедрения вторичного агента, единственной задачей которого является поиск пробелов в работе первого агента. Агенты расследований на базе ИИ часто делают поспешные выводы, которые лишь частично подтверждаются доказательствами. Хотя эти выводы читаются хорошо, они рассыпаются, когда от них требуют доказать непроверенные гипотезы. Заставляя наших агентов проходить эту автоматизированную экспертную оценку, мы превратили базовые мнения в строгие и надежные расследования.

Люди остаются у руля

Автоматизация, которая молча закрывает критические алерты, представляет собой огромный риск безопасности. Из-за этого мы разработали автоматизированную систему со строгими границами. Ей разрешено автоматически закрывать только алерты низкой и средней степени тяжести, которые она оценивает как полностью доброкачественные. Она не может глушить ничего с высокой степенью тяжести, даже если ИИ на 100% уверен, что критический алерт является ложноположительным, дело остается открытым и требует одобрения человека. Когда человек вмешивается, ему передается полностью сформированный тикет с уже завершенным расследованием, что значительно экономиит время при сохранении человеческого контроля.

Отношение к алертам как к непрерывному потоку

Сначала мы относились к нашему ИИ-агенту как к стандартному приложению, читающему из очереди. Однако предупреждения безопасности на самом деле представляют собой непредсказуемый, непрерывный поток событий. Такие проблемы, как задержка критических алертов из-за низкоприоритетных, по сути являются проблемами потоковой передачи данных.

Перенеся наш конвейер в потоковую архитектуру, мы эффективно навели порядок в хаосе. Мы создали приоритетные полосы, чтобы критические алерты обходили очередь, гарантируя, что объем низкоприоритетных алертов никогда не монополизирует системные ресурсы. Высокопроизводительная детерминированная маршрутизация построена поверх Confluent Cloud for Apache Flink®, в то время как сложная и дорогая работа по принятию решений зарезервирована за агентами ИИ.

Замкнуть цикл

Конвейер работает в обоих направлениях. Телеметрия агентов (задержка на оповещение и на модель, расход токенов и стоимость, вердикты, использование инструментов, количество циклов оценки) передается обратно в Confluent Cloud в виде отдельных тем Apache Kafka®. Real-Time Context Engine, полностью управляемая функция Confluent Intelligence, предоставляет этот оперативный контекст непосредственно AI-агентам, поэтому мы можем задавать вопросы о текущем состоянии SOC и получать ответы, основанные на событиях, произошедших несколько секунд назад, а не на данных вчерашней панели мониторинга. Скачки задержки, регрессии стоимости и снижение качества выявляются тогда, когда их еще легко исправить.

Результаты

Успех этой системы сводится к охвату. Теперь каждое оповещение проходит полное расследование, прежде чем принимается решение о его эскалации. За определенный 30-дневный период конвейер выявил более 250 истинно положительных результатов при уровне эскалации примерно в 5%, что превышает общее количество тикетов для дежурных специалистов за этот период. Это полностью изменило наш подход к обработке потоков данных, которые ранее считались неуправляемыми.

Численность нашего персонала не изменилась. Вместо этого мы изменили распределение времени нашей команды: теперь аналитики тратят свои часы на критически важные расследования, которые действительно требуют человеческого суждения, в то время как огромный массив низкоприоритетных оповещений больше не остается без внимания. ИИ не заменил наших аналитиков, он расширил их возможности, превратив перегруженную очередь в четкий набор приоритетных задач.