Поскольку искусственный интеллект ускоряет обнаружение уязвимостей, подразделение Cisco IT сократило время обновления операционных систем (ОС) всего парка устройств с месяцев до дней, уменьшив окно возможностей для злоумышленников по использованию известных уязвимостей без ущерба для бесперебойности работы.
Интегрируя решения об обновлении в наш достоверный источник сетевых инвентарных данных и задействуя наши реализации Catalyst Center, Nexus Dashboard и Meraki dashboard для выполнения этих решений, мы теперь можем применять защищенные релизы более чем к 95% устройств под управлением Cisco IT в рамках нашего целевого уровня обслуживания (SLO), составляющего 7 дней с момента их доступности.
Наша задача: бюллетени безопасности опережают устранение уязвимостей
Пограничные модели ИИ обнаруживают уязвимости быстрее, чем традиционная модель раскрытия информации и выпуска патчей успевает их отрабатывать, и разрыв между раскрытием и эксплуатацией сокращается с недель до минут. Группа реагирования на инциденты информационной безопасности продуктов Cisco (PSIRT) регулярно каждый месяц выпускает релизы для повышения уровня безопасности, предоставляя семидневное предварительное уведомление об этих запланированных выпусках. В блоге Русса Смоака (вице-президент по информационной безопасности) «Укрепление фундамента» освещаются подробности. Создание этих испправлений по-прежнему требует квалифицированных человеческих суждений, как описывает Джонатан Фелтен (вице-президент по инженерным разработкам) в своем блоге «Криптография редко дает сбой из-за математики». Здесь мы рассматриваем финальный этап: их развертывание.
Cisco IT использует то же аппаратное и программное обеспечение, что и наши клиенты, и наш старый рабочий процесс рассматривал каждое предупреждение как изолированное расследование. Мы тратили драгоценное время на анализ достоверных источников инвентарных данных, резервных копий конфигураций и текущих состояний устройств только для того, чтобы ответить на один вопрос: уязвимы ли мы?
При наших масштабах этот подход не работал:
- Объем и разнообразие: Имея более 60 000 устройств, включая IOS-XE, IOS-XR, NX-OS, Application Centric Infrastructure (ACI) и другие, каждый тип ОС требовал собственного подхода к оценке.
- Размах версий: Бюллетени безопасности поступали быстрее, чем мы успевали устранять уязвимости в рамках наших целевых уровней обслуживания (SLO), которые для критических проблем могут составлять от трех до семи дней. Каждый тип ОС фрагментировался на множество версий.
- Ручное выполнение: Скрипты для каждого устройства и создаваемые вручную запросы на изменение привязывали скорость устранения уязвимостей к доступности инженеров, а не к доступности патчей.
Как уязвимости, обнаруженные с помощью ИИ, меняют ситуацию
Защищенные релизы включают множество исправлений и не детализируют каждый баг, но все равно подлежат развертыванию. Вопрос больше не в том, «уязвимы ли мы?», а скорее в том, «как быстро мы можем безопасно обновиться?». Руководители взвесили компромисс: краткий запланированный сбой для обновления против незапланированного инцидента безопасности, который может обойтись гораздо дороже. Руководство по безопасности и сетям сошлось во мнении, что второй риск оказывает больший эффект, и обязалось проводить обновления по умолчанию. Задача тогда свелась к доставке.
Наш подход: оптимизация управления образами ОС
Наш подход охватывает четыре уровня: источник достоверных данных используется для принятия решений, контроллеры Cisco выполняют операции и выполняют проверку, логи процесса записываются в Splunk Cloud Platform, а агенты ИИ заполняют пробелы.
После того как человек задает эталонный образ (golden image), автоматизация выполняет обновление:
- Проверки обслуживания и соответствия требованиям
- Создание записи об изменении, разрешение конфликтов и утверждения
- Распределение образов
- Предварительные проверки
- Обновление устройства
Если любой из этих шагов завершается неудачей, обновление устройства не продолжится.
Человеческое суждение остается там, где это важнее всего: контроль процесса и решение возникающих проблем. Меньшее количество инженеров, контролирующих каждый из наших компонентов, теперь может эффективно масштабироваться для надзора за тысячами изменений, происходящих в течение нескольких дней или даже часов.
Ключевые требования, позволившие нам реализовать эту стратегию:
- Точный источник достоверных данных: Мы должны работать на основе надежного, известного состояния для принятия правильных решений. В случае Cisco IT мы задействовали нашу базу данных управления конфигурациями (CMDB), поскольку она содержит нашу инвентаризацию с дополнительными атрибутами устройств и может использоваться для определения того, что именно обновляется, когда и в каком порядке.
- Управление изменениями: Обновления продолжают соответствовать нашим устоявшимся стандартам управления изменениями, включая отслеживание каждого изменения и выявление зависимостей и конфликтов. Автоматизация не заменяет утверждения. Она помогает обновлениям проходить через наш существующий процесс изменений более последовательно. Изменения, отвечающие нашим задокументированным критериям стандартного изменения (низкий риск, минимальное влияние и повторяемость), следуют по предварительно одобренному пути, определенному в нашей политике управления изменениями, поэтому они не требуют рассмотрения в каждом отдельном случае.
- Возможности обеспечения надежности: Поскольку этот процесс управляется автоматизацией, мы должны быть уверены в отчетности о состоянии сети и ходе обновлений. Автоматизация может принимать решения на основе топологии (как определено в едином источнике достоверных данных) для планирования обновлений во избежание сбоев. Ход обновления регистрируется в Splunk Cloud Platform, где мы используем эти данные для создания панелей мониторинга, которые выявляют проблемы соответствия, блокирующие обновление устройств. Это позволяет нашей команде быстро устранять блокирующие факторы и давать ход обновлениям.
- Упрощение критериев успеха: Нам пришлось изменить свое мышление относительно того, как мы измеряем успех обновлений. Успех в большей степени оценивается по тому, успешно ли обновилось устройство, а не по операционным проблемам, которые могут возникнуть. Если мы сталкиваемся с операционной проблемой, она решается посредством отдельных инцидентов и при необходимости эскалируется, вместо того чтобы рассматриваться как сбой обновления.
После принятия этих решений выполнение становится возможностью продукта, а не пользовательским проектом. Управление программными образами (SWIM), доступное клиентам в Catalyst Center, распространяет и активирует образы на тысячах устройств со встроенными предварительными проверками, последующими проверками и откатом. Nexus Dashboard и Meraki dashboard обладают аналогичными возможностями в своих доменах.
Там, где устройство еще не управляется контроллером, автоматизация и агентские операции восполняют этот пробел. Например, команда Cisco Network IT задействовала ИИ-операционного агента для обновления 200 устройств, не управляемых через Catalyst Center, в течение трех дней после появления пакета обновлений. Этот ИИ-операционный агент также ускорил развертывание обновлений для Identity Services Engine (ISE) и помогает в повседневных сетевых операциях.
Соответствие скорости масштабу последствий
Подход везде одинаков — скорость нашего движения зависит от известных последствий.
На периферии мы действуем быстро. Вывод из работы одного коммутатора, точки доступа или даже половины здания является приемлемым, особенно в нерабочее время. Правила топологии оставляют в сети другую половину. Там, где критически важные для бизнеса команды работают круглосуточно, мы координируем с ними окна изменений напрямую. Во всех остальных случаях обновления выполняются автономно. Использование этой стратегии позволило нам обновить более 30 000 устройств в рамках их целевых уровней обслуживания.
В центре обработки данных мы работаем быстро, но не спешим. Каждое изменение в фабрике Application Centric Infrastructure (ACI) затрагивает гораздо больше рабочих нагрузок, поэтому мы придерживаемся более осторожного, но при этом активного подхода. Раньше обновление 1200 коммутаторов фабрики ACI занимало шесть месяцев. Теперь это занимает пять недель — сокращение в пять раз. Разницу обеспечили три изменения:
- Более высокое качество кода: высококачественные релизы от инженеров Cisco позволяют нам уверенно проводить обновления в рабочее время.
- Более быстрое согласование: запросы на изменения теперь лучше учитывают операции, не влияющие на элементы конфигурации сети, что устраняет большинство задержек при согласовании.
- Автоматизация: Application Policy Infrastructure Controller (APIC) обновляет коммутаторы поэтапно группами, чтобы резервные пары никогда не отключались. Внутренняя валидация заменяет ручные проверки, сравнивая конечные точки, соседние протоколы и интерфейсы с базовым уровнем до обновления перед запуском следующей группы. Пакеты теперь достигают 34 коммутаторов за раз.
Результаты и извлеченные уроки
Самый важный показатель — это «последняя миля»: как долго устройство остается уязвимым после появления исправления. Наше среднее время устранения (MTTR) сократилось с месяцев до дней, а усиленные релизы, за исключением NX-OS, применяются в рамках наших целевых показателей уровня обслуживания. Быть «клиентом номер один» (customer zero) — это часть нашей культуры в Cisco: мы развертываем и эксплуатируем продукты Cisco в глобальном масштабе. Успех этого развертывания в качестве «клиента номер один» означает, что обновления не просто тестируются в лаборатории, они развертываются на более чем 60 000 устройств, включая:
- Устройства IOS-XE, включая облачные коммутаторы
- Устройства IOS-XR
- Устройства NX-OS (включая фабрики ACI и автономные устройства)
- Точки доступа: Catalyst и облачные решения Meraki
- Комплекты Meraki Hybrid Worker
- Межсетевые экраны Adaptive Security Appliance (ASA) и Firepower Threat Defense (FTD)
- Множественные глобальные кластеры Identity Services Engine (ISE)
- Контроллеры Nexus Dashboard
- Компоненты управления SD-WAN
- Устройства Webex
Это было достигнуто с минимальным операционным воздействием, вызванным обновлениями усиленных релизов.
Большая часть успеха пришла за счет оптимизации процессов управления изменениями и сокращения времени ожидания. Кроме того, контроллеры Cisco масштабируют реализацию, развертывая обновления параллельно, а не по одному устройству. Инженеры теперь могут уделять больше времени исключительным ситуациям. Каждое изменение отслеживается в Splunk Cloud Platform, а меньшее количество уникальных вариантов ОС означает, что следующий релиз внедряется еще быстрее.
Если вы столкнулись с таким же давлением, вот что сработало для нас:
- Сначала согласуйте приоритеты: относитесь к усиленным релизам как к обязательной работе.
- Приведите в порядок CMDB: создание точной инвентаризации является обязательным условием, затем наложите на нее стандарты ОС, правила изменений и правила топологии.
- Используйте возможности продукта, которые у вас уже есть: начните с SWIM в Catalyst Center, прежде чем писать собственную автоматизацию.
- Предварительно одобряйте то, что повторяется: переводите хорошо понятные обновления с низким уровнем риска в разряд стандартных изменений, чтобы разрешить автоматическое согласование. Используйте агентов ИИ для операций с контролем со стороны человека для обработки процессов, которые еще не автоматизированы.
- Соизмеряйте скорость с радиусом поражения: двигайтесь быстро там, где сбой локализован. Там, где это не так, двигайтесь быстро, но не спешите.
- Используйте семидневное уведомление: предварительно подготавливайте пакеты обновлений на контроллерах и устройствах, проводите лабораторную валидацию и автоматизируйте согласования, когда PSIRT публикует список технологий.
Что дальше
Рекомендации Cisco PSIRT по «усиленным релизам» выпускаются по графику, а эксплойты — нет. ИТ-команды и команды безопасности Cisco теперь работают вместе над более сложной задачей: известной серьезной уязвимостью, которая не может ждать обновления неделями. Наша цель — смягчить последствия и устранить проблему в течение нескольких часов или дней.
- Найти и локализовать: наша программа и платформа управления поверхностью атаки будут быстро выявлять критические уязвимости. Пока патч не готов, мы будем локализовать каждую угрозу с помощью наиболее точного контроля для этого актива, такого как Cisco Live Protect на сетевых устройствах, обнаружение и реагирование на конечных точках (EDR) на хостах или целевая сетевая политика, вместо использования грубых инструментов, таких как сетевая изоляция.
- Освободите место для патчей: мы устраняем препятствия для окон изменений и устанавливаем постоянные окна, в течение которых команды могут обновлять или исправлять системы. Рутинные обновления переходят к модели «информирования», где инфраструктурные и прикладные команды получают видимость того, что меняется, вместо того чтобы одобрять каждое изменение, когда воздействие не ожидается.
- Проектируйте с учетом исправлений: у каждого приложения разные потребности в устойчивости. Мы определяем проверенные ИТ-отделом Cisco эталонные проекты, соответствующие каждому уровню критичности. Команды, внедряющие эти проекты, знают, что их приложения выдержат рутинное исправление.
ИИ сократил время между обнаружением и эксплуатацией. Развивающиеся практики ИТ-отдела Cisco разработаны так, чтобы идти в ногу со временем, минимизируя препятствия для изменений, автоматизируя обновления через бизнес-процессы на контроллерах Cisco и интегрируя управляемых человеком ИИ-агентов в наши инженерные рабочие процессы. Это и есть цифровая устойчивость на практике — исправление почти со скоростью обнаружения, пока бизнес продолжает работать с минимальными сбоями.
Такое быстрое движение выявит новые трения, прежде чем устранит старые. Мы планируем делиться тем, что узнаем по мере продвижения.












