В IBM мы сначала сами выступаем в роли собственных клиентов. Мы внедряем ИИ в нашей организации и стремимся использовать его преимущества, одновременно обеспечивая безопасность, защищенность и контроль затрат. Опираясь на многолетние исследования и инновации в области безопасности ИИ, мы разрабатываем и внедряем решения для этих задач, а также помогаем нашим клиентам и партнерам достигать тех же целей. В рамках этого подхода проект с открытым исходным кодом Praxis, представляющий собой прокси-сервер для ИИ и облачных сред, предоставляет нам общую основу для разработки, тестирования и внесения вклада в эти средства контроля.
Совместно с Red Hat компания IBM передала Praxis Policy Engine (PPE) в Praxis. Praxis встраивает PPE в качестве фильтра политик для обычного трафика и трафика ИИ. Аффилированные с IBM разработчики занимают роли мейнтейнеров в этой работе, и проект Praxis был включен в песочницу Cloud Native Computing Foundation (CNCF). PPE рассматривает инструменты, промпты, ресурсы, вызовы моделей и других агентов как явные цели политик. Его единый формат данных и конвейер принудительного применения объединяют идентификацию, делегирование, контроль контента и аудит в эталонном мониторе, который использует проверенное состояние вне контроля модели.
Команды могут задавать жесткие правила доступа, более мягкие политики поведения и средства контроля для конкретных доменов в рамках одной спецификации политики с несколькими вариантами развертывания: на шлюзе, рядом с агентом или внутри фреймворка. Каждое место размещения защищает операции, которые через него проходят.
Почему это важно для IBM Research
ИИ-шлюзы формируют следующий слой архитектуры ИИ-платформ поверх стеков обслуживания инференса, таких как llm-d, который является основным слоем обслуживания моделей, обрабатывающим промпты и ответы. Эти шлюзы также обеспечивают контроль доступа, вызов инструментов, части цикла агента, учет и измерение использования токенов отдельными пользователями или командами. Praxis предоставляет эффективную основу для ИИ-шлюза, а PPE обеспечивает соблюдение организационных политик безопасности и защиты.
PPE поддерживает принудительное применение политик на уровне приложений, в том числе в Rosso Cortex для сборки политик на ноутбуках. PPE также имеет интеграции с ContextForge и Mellea.
Направления будущих исследований
Praxis и PPE предоставляют платформу для прототипирования новых стандартов и разработки эталонных реализаций с минимальными изменениями в защищаемых ими приложениях. Мы работаем с CoSAI над стандартом Open Delegation and Identity Standard (ODIS) для идентификации агентов, ограниченного делегирования и авторизации. Мы также внесли расширения в Open Cybersecurity Schema Framework (OCSF) — проект Linux Foundation, определяющий нейтральную по отношению к вендорам схему телеметрии безопасности, поддерживаемую облачными провайдерами и SIEM-платформами. PPE может выдавать аудиторскую запись OCSF для каждого решения по политике с дополнительными подписями и хеш-цепями, которые позволяют проверяющим обнаруживать последующие изменения.
Мы развиваем эту работу, исследуя, как изоляция хоста и принудительное применение политик на шлюзе могут работать совместно. Изоляция хоста ограничивает доступ агента к локальным файлам, а также команды и подпроцессы, которые он может запускать. Когда агенты обращаются к конфиденциальным данным и сервисам по сети, соблюдение политик должно охватывать и эти взаимодействия. Шлюз Praxis может управлять тем, кто может вызывать агента, к каким инструментам и сервисам он может получить доступ по сети и какие данные могут пересекать его границу. Политика будет связывать эти решения с проверенными удостоверениями, ограниченными разрешениями, требованиями об утверждении и записями аудита. PPE уже использует проверенную идентичность агента для делегированной авторизации и авторизации от имени пользователя, опираясь на вклад нашей команды в SPIFFE/SPIRE и расширяя нашу работу по обеспечению безопасности рабочих нагрузок с нулевым доверием (zero-trust) до авторизации агентов.
Мы планируем протестировать, каким образом агенты и их инструменты могут обходить эти средства контроля, и оценить, какие комбинации изоляции хоста и мониторинга сети могут противостоять обходу, оставаясь при этом удобными в использовании и переносимыми. Для сред с высокими требованиями к надежности мы также хотим определить, какие доказательства эти средства контроля могут предоставить в подтверждение того, что агенты остаются в рамках предоставленных им полномочий при вызове инструментов или делегировании работы через вычислительные и организационные границы.
