По мере того как ИИ-агенты берут на себя все больше задач, организации сталкиваются с новой проблемой: как предоставить агентам доступ, необходимый для их эффективной работы, не теряя при этом контроля над тем, что они могут делать? Эта проблема только усугубляется по мере масштабирования ИИ-инфраструктуры от отдельных серверов до стоечных систем и общих сред искусственного интеллекта. Организациям необходимо знать, с кем агент может связаться, какие действия он может предпринять и куда могут направляться данные.

На конференции NVIDIA GTC Berlin компания Cisco расскажет о том, как безопасность на уровне инфраструктуры может помочь в решении этой задачи. Недавно Cisco объявила о расширении платформы Cisco Secure AI Factory с поддержкой технологии NVIDIA до масштаба стоек благодаря партнерству с Supermicro.

Это предоставляет клиентам возможность развертывать ИИ-инфраструктуру нового поколения со встроенными в архитектуру сетевыми технологиями, средствами безопасности и средствами наблюдаемости от Cisco. Решение включает в себя эталонную архитектуру, совместимую с программой NVIDIA Cloud Partner (NCP), для неооблаков и суверенных облаков, а также расширенные корпоративные эталонные архитектуры (ERA) для новейшей ИИ-инфраструктуры на базе решений Cisco и NVIDIA. Эталонная архитектура NVIDIA OpenShell дополняет эту работу, уделяя особое внимание тому, как создавать, запускать и контролировать автономных агентов, а также обеспечивать безопасное поведение в корпоративных системах и на периферии.

Поскольку специализированные процессоры, такие как NVIDIA Vera, позволяют организациям запускать все более сложные агентные рабочие нагрузки в больших масштабах, потребность в защите этих рабочих нагрузок возрастает. Клиентам нужна уверенность в том, что агенты могут получить доступ к инструментам и данным, необходимым для выполнения их задач, не создавая при этом новых угроз безопасности. Для ИТ-команд это означает внедрение средств контроля безопасности, которые функционируют независимо от защищаемых ими приложений и агентов, обеспечивая дополнительный уровень защиты по мере развертывания систем искусственного интеллекта.

Эталонная архитектура NVIDIA OpenShell для безопасных ИИ-агентов представляет собой полностековую открытую архитектуру промышленного масштаба для создания, изоляции, мониторинга и обеспечения безопасности ИИ-агентов — от заводов искусственного интеллекта до корпоративной инфраструктуры и периферии.

NVIDIA Sentry — это унифицированный программный фреймворк безопасности, созданный на базе NVIDIA DOCA и работающий на DPU NVIDIA BlueField-4 для защиты ИИ-агентов во время выполнения. Такая прозрачность на уровне инфраструктуры может дополнить средства контроля на уровне приложений и защитные механизмы Cisco AI Defense, демонстрируя, как вопросы безопасности могут решаться на нескольких уровнях развертывания агентов.

DefenseClaw ориентирован на разработчиков: он изолирует агентов в песочницах рабочих станций, а также делает их действия видимыми и отслеживаемыми. На уровне инфраструктуры наша задача заключается в отслеживании рабочих нагрузок агентов по мере их развертывания и выполнения в распределенных сетях, а также в применении политик в непосредственной близости от сетевого трафика с помощью DPU BlueField. Программируемый SDK платформы Cisco, находящийся в настоящее время в разработке, призван обеспечить работу этих распределенных служб принудительного применения политик.

Эта платформа создается для NVIDIA BlueField и включает в себя программируемые службы безопасности и API, которые предоставляют разработчикам общую основу для создания защитных сервисов в непосредственной близости от трафика агентов.Наша цель — предоставить предприятиям и облачным провайдерам точку контроля вблизи трафика, генерируемого агентами, чтобы они могли применять разрешения и управлять доступом, действиями и перемещением данных по мере роста использования ИИ. Для ИТ-команд это добавляет точку контроля на уровне инфраструктуры, разработанную для работы независимо от отдельных приложений и сред выполнения агентов, дополняя защиту на уровне приложений по мере масштабирования рабочих нагрузок агентов в сети.

Безопасность, масштабируемая вместе с ИИ-инфраструктурой

Для предприятий и создателей инфраструктуры ИИ ценность принудительного применения политик на базе DPU NVIDIA BlueField заключается в возможности поддерживать контроль безопасности независимо от защищаемых ими рабочих нагрузок. Разделение управления DPU и хоста рабочей нагрузки помогает сохранить критически важные средства защиты даже в случае компрометации безопасности на стороне хоста, при условии, что плоскость управления защищена, а трафик не может обойти систему контроля. Изоляция также должна предотвращать использование агентами утвержденных служб (например, репозиториев пакетов) в качестве ретрансляторов для неавторизованных мест назначения.

Развертывание этого уровня рядом с каждым сервером позволяет масштабировать безопасность вместе с вычислительными мощностями. Cisco также планирует выпуск общего аппаратного модуля для серверов без встроенных DPU, что расширяет возможности применения этого подхода к существующей инфраструктуре.

Основа для служб безопасности

Обеспечение стабильной безопасности в усложняющихся средах искусственного интеллекта требует единой основы для применения политик, инспектирования трафика и понимания того, что происходит в рамках рабочих нагрузок. Именно над созданием этого мы и работаем.

Мы определяем и разрабатываем повторно используемые и отказоустойчивые службы на базе DPU, объединяющие обработку программных пакетов, применение политик и аппаратное ускорение. Общие API призваны снизить объем работы разработчиков по интеграции и поддержать сервисы от Cisco и совместимых контроллеров.

Vector Packet Processing (VPP) предоставляет высокопроизводительную модульную программную плоскость данных, работающую на ядрах DPU для этих служб. Ее графовая архитектура позволяет расширять обработку пакетов такими функциями, как классификация, маршрутизация трафика, телеметрия, фильтрация и применение политик. Библиотеки NVIDIA DOCA обеспечивают аппаратное ускорение BlueField для соответствующих операций, сочетая гибкую программную обработку с ускоренной обработкой там, где это приносит пользу.

Мы поддерживаем инспекцию с отслеживанием состояния (stateful) на уровне Layer 4, применение политик и телеметрию. Эти возможности обеспечивают микросегментацию, которая позволяет рабочим нагрузкам обмениваться данными по утвержденным путям и помогает ограничивать латеральное перемещение. Предложения вендоров, такие как NVIDIA Sentry, могут обеспечить ускоренное завершение TLS-соединений на DPU, расширяя возможности мониторинга запросов приложений и поддерживая службы уровня Layer 7.

Изоляция доступа и активности агентов

Тот же принцип применим и к агентам: предоставление полномочий, необходимых для выполнения задачи, с последующим ограничением доступа в рамках этих полномочий на основе непрерывного рабочего процесса «планирование — наблюдение — принудительное исполнение».

Планирование: определение разрешенной области действия каждого агента и предоставление необходимых учетных данных через шлюз на базе DPU, который подменяет учетные данные, не раскрывая агенту базовые секреты.
Наблюдение: сбор высокоточной телеметрии о шаблонах доступа и инспектирование трафика по мере его перемещения между рабочими нагрузками, инструментами и данными.
Применение политик: применение правил разрешения или блокировки на уровне DPU с использованием наблюдаемой активности для поддержания соответствия этих политик разрешенной области действия агента.

Этот подход может помочь гарантировать, что агент получает только тот доступ, который требуется для его задачи. Например, агент техподдержки может получать информацию о выставлении счетов и создавать тикеты, в то время как политика будет блокировать массовый экспорт или удаление учетных записей. Действия и решения политик могут регистрироваться в журнале, чтобы помочь операторам понять, к чему агент получил доступ и почему.

Безопасное масштабирование ИИ-инференса

Опираясь на эти возможности Layer 4, мы выделяем пять сценариев использования безопасности для общей инфраструктуры инференса в неооблаках, среди провайдеров GPU как услуги (GPU-as-a-service) и в корпоративных облаках ИИ.

Для провайдеров совместного инференса открывается возможность обслуживать больше клиентов на общей инфраструктуре, сохраняя при этом границы арендаторов и операционную прозрачность. Вот как элементы управления на базе DPU могут в этом помочь:

Ограничение латерального перемещения между рабочими нагрузками: скомпрометированная рабочая нагрузка может создать риск для соседних серверов, систем хранения и служб управления. Обеспечение безопасности на базе DPU с сохранением состояния позволяет использовать только разрешенные пути связи между рабочими нагрузками, помогая локализовать компрометацию и ограничить ее распространение, когда средства контроля периметра не охватывают внутренний трафик.
Защита сред инференса на «голом железе»: клиентам, использующим инференс на «голом железе», может потребоваться корневой доступ, в то время как поставщикам по-прежнему необходимы независимые средства контроля безопасности. Политики межсетевого экрана, принудительно применяемые на уровне DPU и управляемые отдельно от хостов рабочих нагрузок, могут сохранить контроль поставщика даже при отключении агентских компонентов на хосте, одновременно снижая нагрузку на процессор хоста по обработке вопросов безопасности.
Согласование политик с рабочими нагрузками Kubernetes: в средах Kubernetes поды и службы часто меняются, поэтому статические правила на основе IP-адресов могут терять привязку к идентичности рабочей нагрузки. Доверенная идентичность Kubernetes и контекст политик могут управлять принудительным применением правил на DPU по мере изменения рабочих нагрузок, помогая поддерживать соответствие сетевых элементов контроля тем службам, которые они призваны защищать.
Упрощение расследования и аудита AI-трафика: группам эксплуатации и соблюдения нормативных требований необходимо связывать сетевую активность с рабочими нагрузками и арендаторами, которые ее сгенерировали. Служба сбора данных о потоках может записывать метки времени, идентификаторы рабочих нагрузок и арендаторов, пункты назначения, а также информацию о том, разрешала ли политика соединение или блокировала его. Этот контекст может помочь командам расследовать инциденты, проверять соблюдение политик и готовить материалы для аудита.

Архитектура, согласованная с экосистемой

Наше внимание сосредоточено на разработке служб безопасности на базе плоскости данных под управлением NVIDIA BlueField DPU, с применением политик в непосредственной близости от трафика рабочих нагрузок. Независимый от хоста мониторинг NVIDIA Sentry может обеспечивать контекст времени выполнения рабочих нагрузок, в то время как его планируемый встроенный прокси-сервер L7, возможности анализа больших форм и хуки политик дополнят наши службы безопасности на уровне приложений. По мере развития путей интеграции мы видим возможности для объединения этих возможностей, чтобы помочь предприятиям наблюдать за поведением агентов и применять политики на разных уровнях.

Безопасность агентов требует скоординированных средств контроля на уровнях сред выполнения, инфраструктуры и путей к инструментам и данным. Наша платформа NVIDIA BlueField DPU и службы безопасности находятся в стадии разработки; мы изучаем, как применение политик, инспекция трафика и телеметрия могут обеспечить безопасность этих путей наряду с защитой среды выполнения и независимым от хоста мониторингом. Общие интерфейсы призваны обеспечить интеграцию с контроллерами безопасности и развивающимися архитектурами агентов.

Cisco Secure AI Factory with NVIDIA помогает создавать ИИ и управлять им быстро, просто и безопасно — от корпоративных и многосайтовых развертываний до архитектур стоечного масштаба.

Цель — это практический путь к продакшену: начните с определенной агентской задачи, поймите, как она себя ведет, и целенаправленно расширяйте доступ. Мы работаем над инфраструктурой, которая помогает предприятиям масштабировать ИИ, сохраняя при этом разрешения агентов понятными, настраиваемыми и соответствующими делегированным полномочиям.