NVIDIA DGX Station for Windows предоставляет конкретное готовое для корпоративного использования решение для локального ИИ, объединяя мощное аппаратное обеспечение с приложениями и рабочими процессами, которые люди уже используют, и позволяя отдельным сотрудникам или целым командам задействовать ИИ локально. Это создает определенную операционную сложность: понимание того, какие агенты используют систему, как ведут себя их запросы и как применять политику безопасности к их действиям.

Локальный ИИ переходит от чатов к реальным действиям. Агентские рабочие процессы требуют непрерывного высокопроизводительного инференса, обеспечиваемого с соблюдением безопасности данных и предсказуемости затрат. Платформы локального ИИ, такие как NVIDIA DGX Station, размещают эти вычислительные мощности прямо на вашем рабочем столе и построены на той же архитектуре ускоренных вычислений, которая используется в решении Cisco Secure AI Factory с NVIDIA.

NVIDIA OpenShell — это защищенная среда выполнения, которая регулирует то, как выполняются агенты, к каким ресурсам и данным они могут получить доступ и куда направляется инференс. Она позволяет организациям запускать автономные агенты в контролируемых ими границах. Она обеспечивает детерминированное управление, гибкость развертывания в облачной, гибридной, локальной, периферийной инфраструктуре и инфраструктуре с воздушным зазором, а также единый уровень политик для каждой модели, инструмента и среды. Организации получают единый унифицированный уровень политик для определения и мониторинга работы автономных систем.

Cisco Cloud Control предоставляет комплексное решение, обеспечивающее устойчивость всех ИИ-нагрузок на этих мощных машинах к потенциальным рискам, применяя специализированную для конкретных сценариев использования структуру политик, а также обеспечивая необходимую наблюдаемость и представление токеномики всей активности ИИ — от локального ИИ на рабочих станциях до фабрики ИИ, работающей на серверах по всей организации.

Решение Cisco согласуется с эталонной архитектурой NVIDIA OpenShell для безопасных агентов с развертыванием DefenseClaw на базе NVIDIA DGX Station for Windows для обеспечения механизмов обнаружения, телеметрии и принудительного применения для локальных агентов.

Splunk Agent Observability (доступная локально или как SaaS) собирает события активности ИИ и трассировки по всем ИИ-нагрузкам на предприятии и обеспечивает необходимые требования к наблюдаемости, обнаруживая нежелательные отклонения поведения, вредоносные действия или риски безопасности, которые устраняются с помощью политик Cisco AI Defense. И все это при обеспечении беспрепятственного взаимодействия для управления всем парком ИИ через Cisco Cloud Control.

Доверенные агенты на DGX Station for Windows

Такая компоновка объединяет рабочий стол Windows, агентов, средства контроля конечных точек и GPU-инференс в рамках одной рабочей станции. Агент может вызывать локальную конечную точку обслуживания моделей, одновременно получая доступ к локальным/внешним инструментам, инспекции AI Defense, а для экспорта телеметрии используются их встроенные механизмы. Пользователь работает непосредственно на NVIDIA DGX Station, а операционные команды управляют ее активностью через Cloud Control.

Общие пути обеспечения безопасности и телеметрии агентов

Группа Agents делает видимым уровень приложений: OpenAI Codex и пользовательские агенты выполняют задачи посредством вызовов моделей, инструментов и рабочих процессов. Агенты с поддерживаемыми коннекторами DefenseClaw передают события-хуки и получают настроенные решения. Codex использует выбранный им провайдер моделей; маршрут NVIDIA DGX Station требует совместимой конечной точки, модели и конфигурации агента. В документации по пользовательским провайдерам OpenAI описывается, как провайдер определяет конечную точку API, аутентификацию и протокол.

Архитектура имеет три операционных пути:

Инференс: агент отправляет запрос модели к настроенной конечной точке обслуживания моделей — либо на той же рабочей станции, либо по сети. Приложение владеет рабочим процессом и любыми последующими вызовами инструментов.
Безопасность: поддерживаемые хуки агентов отправляют события в DefenseClaw. В задокументированном управляемом профиле Secure Client компания DefenseClaw использует идентификатор устройства Secure Client для аутентификации запросов на инспекцию в Cisco AI Defense. Возвращаемое решение регулирует поддерживаемое действие через коннектор. Принудительное применение зависит от настроенного режима и возможностей коннектора. В управляемом развертывании Secure Client описывается эта взаимосвязь.
Телеметрия: инструментированные приложения и DefenseClaw передают данные об активности агентов, времени выполнения и доказательства принятых решений. Поддерживаемые коллекторы хостов и GPU предоставляют метрики инфраструктуры. Сбор OpenTelemetry и настроенные экспортеры доставляют выбранные сигналы в пункты назначения наблюдаемости.

OpenTelemetry соединяет свидетельства

Коллектор OpenTelemetry принимает, обрабатывает и экспортирует всю активность ИИ. Это помогает связать активность приложений с обслуживающей их инфраструктурой. Идентификаторы агентов, устройств, моделей и трассировок обеспечивают контекст, необходимый для корреляции данных в различных службах.

Для Codex настроенный экспорт OpenTelemetry добавляет доступные события агентов к этим свидетельствам. Хуки DefenseClaw экспортируют решения, а телеметрия среды выполнения предоставляет операторам взаимодополняющие представления о том, что пытался сделать агент, как вел себя рабочий процесс, сколько токенов было потрачено локально по сравнению с использованием через API.

Политики сбора и экспорта определяют, какие промпты, ответы, аргументы инструментов и идентификаторы покидают конечную точку. Настроенное усечение (редакция) относится к этой границе. Метрики GPU также зависят от экспортеров, доступных для выбранной среды Windows и NVIDIA.

Cloud Control связывает операционный рабочий процесс

Cisco Cloud Control организует эти вопросы в центральную плоскость управления. Функция Fleet предоставляет контекст устройств, сайтов и доступной инфраструктуры. Токеномика помогает операторам оценивать использование ИИ и предполагаемые затраты. Поведение агентов и управление ими переносят инструментированную активность и состояние настроенных политик в рамки расследования. Мониторинг гибридного инференса и сетевая безопасность добавляют контекст о путях рабочих нагрузок и подключении конечных точек.

Рассмотрим команду, расследующую инцидент с вредоносным агентом, обнаруженным на NVIDIA DGX Station. В Cloud Control оператор начинает с контекста агента и хоста инференса (независимо от того, делят ли они одну рабочую станцию или работают на разных устройствах), а затем изучает доступные трассировки агента. Эти трассировки помогают выявить несанкционированное поведение, не соответствующее политикам доверия организации. Расследующая команда получает всю необходимую информацию для определения того, какая модель используется, какие инструменты вызываются и какие действия предпринимает агент.

Что еще более важно, команда может создать пользовательскую политику для этого агента и мгновенно разослать ее на все устройства, тем самым немедленно снизив риск не только для этого агента, но и для аналогичных инцидентов во всем своем парке ИИ.

Cloud Control предоставляет интерфейс для такого расследования. Среда выполнения инференса выполняет модель, в то время как подключенные службы наблюдаемости и безопасности предоставляют свидетельства и элементы управления, доступные оператору.

Пример: один скомпрометированный агент, исправленный везде

Вот как команда справляется с несанкционированным агентом на NVIDIA DGX Station.

Начните с контекста. Оператор видит событие срабатывания защитного механизма для локального агента в Cloud Control.
Следуйте по цепочке трассировок. Они показывают, какую модель использовал агент, какие инструменты он вызывал и что он делал до отклонения запроса.
Найдите причину. Трассировка показывает, почему агент попытался нарушить политику доверия организации.
Усильте защиту везде. Команда обновляет политику для этого сценария и применяет ее на каждой станции.

Исправление охватывает такое же поведение в любой точке вашей инфраструктуры. Когда агенту требуется нечто большее, чем просто отказ, Cloud Control может использовать сеть Cisco для карантина его станции на время расследования команды.

Проверенная технология Cisco, обеспечивающая устойчивость ИИ

Четыре взаимодополняющие возможности поддерживают эту операционную модель:

Splunk Agent Observability может отслеживать и оценивать инструментированные рабочие процессы агентов при вызовах моделей, инструментов и извлечения данных, помогая командам исследовать задержки, ошибки, сигналы качества, использование токенов и предполагаемую стоимость.
Cisco AI Defense помогает обнаруживать активы ИИ, оценивать риски моделей и приложений, а также применять настроенные защитные механизмы безопасности, конфиденциальности и безопасности к поддерживаемому трафику приложений ИИ и агентов.
DefenseClaw связывает поддерживаемые перехватчики агентов с управлением, проверкой, принудительным исполнением и аудиторскими доказательствами на конечной точке агента.
Cisco Secure Client поддерживает безопасное подключение и доступ на основе политик с помощью развернутых модулей и служб, а также предоставляет машинную идентификацию в управляемом профиле DefenseClaw, описанном выше.

В совокупности эти возможности позволяют оператору отслеживать задачу от приложения ИИ, запущенного на станции NVIDIA DGX Station, понимать поведение и намерение агента, применять необходимые политики доверия и изучать доказательства, лежащие в основе решения по безопасности. Cisco Cloud Control предоставляет общий интерфейс для этого расследования.

Некоторые из описанных здесь продуктов и функций находятся на разных стадиях разработки и будут предлагаться на условиях «при наличии».