ИИ-агенты действуют на основе бизнес-данных и корпоративных систем с помощью вызываемых ими инструментов, и эти инструменты могут нести в себе риски безопасности. За два месяца решение Enkrypt AI от Anaconda просканировало более 268 000 инструментов на 25 000 серверах Model Context Protocol (MCP), обнаружив более 143 000 уязвимостей, затрагивающих 73% этих серверов. Руководители предприятий просят свои команды добиваться большей эффективности с помощью агентов, поэтому практический вопрос заключается в том, как масштабировать ценность, сохраняя при этом контроль.
Сегодня компания Anaconda присоединилась к Open Secure AI Alliance, чтобы помочь ответить на этот вопрос. Более десяти лет Anaconda обеспечивает безопасность и управление цепочкой поставок программного обеспечения с открытым исходным кодом для корпоративной науки о данных, машинного обучения и ИИ. Мы привносим этот опыт, а также наши наработки в области разработки на основе агентов и безопасности ИИ в совместные усилия отрасли.
Открытый подход к обеспечению безопасности ИИ
Основанный компанией NVIDIA и возглавляемый Linux Foundation, альянс Open Secure AI Alliance объединяет технологические компании, исследователей и правительственных партнеров для разработки и совместного использования открытых инструментов, стандартов и методов обеспечения безопасности ИИ. В число участников входят партнеры Anaconda — NVIDIA, Microsoft и AWS, а также Cloudflare, Red Hat и другие компании из сферы корпоративных технологий и кибербезопасности.
Подход альянса сосредоточен на предоставлении организациям защитных возможностей, которые они могут проверять, адаптировать и запускать на контролируемой ими инфраструктуре. Его область охватывает весь стек агентов, включая модели, программное обеспечение, позволяющее агентам действовать, а также политики и средства контроля, которые ими управляют.
ИИ охватывает множество провайдеров. Корпоративные команды сочетают открытые и проприетарные модели, инструменты разработки, платформы данных и инфраструктуру. Общие подходы к безопасности могут помочь организациям оценивать и защищать эти системы, сохраняя при этом возможность выбора правильной технологии для бизнеса.
Безопасность должна охватывать систему вокруг модели
Оценка модели оценивает саму модель. Но корпоративным командам также необходимо понимать систему вокруг нее: пакеты, от которых она зависит, инструменты, к которым она может обращаться, данные, к которым она имеет доступ, и действия, которые она может предпринимать.
Рассмотрим агента, который извлекает документ, меняет свой план на основе прочитанного, а затем обновляет бизнес-запись. Каждый шаг сам по себе может выглядеть разумным. Тем не менее, вся последовательность в целом может вывести агента за рамки, одобренные бизнесом.
Именно поэтому безопасность должна охватывать как разработку, так и производство, с предоставлением доказательств работоспособности средств контроля по мере изменения агентов, моделей и подключений.
Anaconda планирует сотрудничать с другими участниками альянса по трем приоритетным направлениям:
- Тестирование агентов по всей цепочке их решений. Совершенствование методов оценки и имитации кибератак (red-тестирования) для выявления сбоев, развивающихся в несколько этапов.
- Обеспечение безопасности инструментов и MCP-серверов, к которым подключаются агенты. Развитие общих подходов к сканированию, проверке и контролю доступа в цепочке поставок ПО для ИИ.
- Превращение политики ИИ в доказательства. Улучшение способов регистрации решений агентов и отчетов об инцидентах, чтобы команды безопасности и комплаенса могли проверять, какие средства контроля выполнялись и что они разрешили или заблокировали.
Единая платформа для создания, защиты и эксплуатации ИИ
Командам, создающим ИИ-агенты и приложения, одновременно требуются скорость и контроль. Охват разработки, безопасности и эксплуатации с помощью разрозненных инструментов приводит к несогласованности политик по мере того, как ИИ переходит между командами и стадиями жизненного цикла. Платформа Anaconda Platform предоставляет командам четыре возможности для этой работы.
Создание с помощью рабочих пространств ИИ. Разработчики используют агентские инструменты в Kilo by Anaconda с возможностью выбора моделей, проверенных пакетов и моделей, а также прозрачным отслеживанием использования и затрат. Kilo Enterprise добавляет средства контроля моделей и провайдеров, единый вход (SSO) и журналы аудита для поддержки внедрения в различных командах.
Обеспечение безопасности с помощью средств ИИ-безопасности и систем защиты (guardrails). С помощью Enkrypt AI от Anaconda команды могут проводить red-тестирование агентов перед релизом, применять защитные механизмы к вызовам инструментов агентами в рабочей среде и сохранять готовые к аудиту доказательства для непрерывного соблюдения нормативных требований.
Эксплуатация с помощью оркестрации ИИ. Команды запускают воспроизводимые, отслеживаемые рабочие процессы в различных средах по мере перехода ИИ-разработок в производство.
Доверие с помощью ИИ-артефактов. Разработчики начинают с проверенных пакетов Python, отобранных моделей и надежных MCP-серверов с возможностью отслеживания происхождения и уязвимостей.
Эти возможности работают в комплексе для обеспечения корпоративной безопасности. Проверенные артефакты дают разработчикам надежную отправную точку, результаты тестирования безопасности передаются в средства защиты во время выполнения, а воспроизводимые рабочие процессы позволяют командам отслеживать изменения от экспериментов до производства. Команды могут начать с той возможности, которая решает их самую большую проблему, и добавлять остальные по мере изменения потребностей.
Повышение планки вместе
Безопасность ИИ-агентов улучшается, когда те, кто создает, защищает и запускает их, делятся своим опытом. Anaconda работает в сообществе открытого исходного кода уже более десяти лет, и мы вступаем в альянс именно с этим настроем. Мы поддерживаем открытые стандарты для тестирования агентов, проверки MCP-серверов и регистрации решений агентов, а также планируем делиться своими наработками, чтобы все сообщество могло повысить планку безопасности и доверия.
Наша цель — дать организациям возможность масштабировать ИИ на собственных условиях, обеспечивая свободу разработчиков и корпоративный контроль с помощью открытых инструментов и стандартов, которые сообщество может проверять и развивать.
Запросите демоверсию или начните обсуждение вопросов безопасности ИИ с нашей командой.
