Kubernetes, система с открытым исходным кодом, управляющая работой приложений на тысячах фабрик ИИ, стала фундаментом для искусственного интеллекта, и требования к ней только растут.
Чтобы помочь удовлетворить их, NVIDIA углубляет свою приверженность открытому исходному коду на KubeCon + CloudNativeCon, главной конференции для сообществ Kubernetes и облачных технологий.
NVIDIA передает NVIDIA OpenShell, среду выполнения с открытым исходным кодом для обеспечения безопасности и управления автономными агентами, в Cloud Native Computing Foundation (CNCF) — некоммерческую организацию, входящую в состав Linux Foundation и являющуюся организатором KubeCon. Будучи проектом CNCF Sandbox, OpenShell будет управляться организациями, внедряющими его в свои продукты, и усиливаться за счет опыта экспертов по безопасности со всего мира.
NVIDIA также вносит свой вклад в Agent Substrate, разработанную Google платформу с открытым исходным кодом для запуска долгоживущих агентских рабочих нагрузок в масштабе Kubernetes, которая была принята в CNCF Sandbox.
Кроме того, NVIDIA анонсировала новые компоненты платформы NVIDIA DSX AI Factory Platform: NVIDIA Kubernetes Engine, NVIDIA Kubernetes Recipes и NVIDIA Snapshot. Эти инструменты помогают командам развертывать, управлять и масштабировать инфраструктуру GPU на базе Kubernetes для фабрик ИИ.
В совокупности эти достижения знаменуют собой шаг вперед в превращении Kubernetes в ведущий фундамент для рабочих нагрузок ИИ в масштабе, позволяя разработчикам создавать более безопасную и эффективную инфраструктуру ИИ для будущего.
Обеспечение безопасности ИИ-агентов в открытой среде
Передача NVIDIA проекта OpenShell в CNCF передает инфраструктуру безопасности для автономных агентов в руки сообщества для создания, проверки и улучшения, что ускоряет разработку и укрепляет механизмы защиты.
«У облачного сообщества появилась новая инфраструктурная задача: предоставление агентам безопасных сред для работы», — сказал Джим Землин, генеральный директор Linux Foundation. — «Передача NVIDIA проекта OpenShell в CNCF дает разработчикам общую основу для создания решений и возможность влиять на развитие безопасности агентов. Включение этой работы в сообщество способствует более широкому сотрудничеству в области инфраструктуры, которая станет критически важной для следующего поколения облачных приложений».
OpenShell дает организациям контроль над тем, что могут делать ИИ-агенты. Он применяет детерминированные элементы управления к действиям агентов, поэтому команды могут применять политики по мере того, как агенты используют инструменты, обращаются к службам вывода и выполняют рабочие нагрузки. Его расширяемая архитектура позволяет командам подключать свои собственные вычислительные мощности, провайдеров вывода, хранилища учетных данных и инструменты мониторинга. Это позволяет организациям применять управление в различных средах развертывания, интегрируя OpenShell с существующими корпоративными системами.
Сотни организаций уже начали использовать OpenShell, и проект получил десятки тысяч вкладов менее чем за год с момента запуска.
Масштабирование выполнения агентов на Kubernetes
Управление агентами — это лишь часть задачи. Организациям также необходимо развертывать их в масштабе. NVIDIA вносит вклад в Agent Substrate, проект, созданный Google в рамках CNCF Sandbox, и обеспечивает его работу с NVIDIA Dynamo для вывода моделей и KAI Scheduler для распределения общих ресурсов кластера. Эти усилия объединяют выполнение агентов, обслуживание вывода и планирование ресурсов в Kubernetes.
Agent Substrate сохраняет среды агентов между задачами, освобождая вычислительные мощности, когда агенты простаивают. Приостанавливая и возобновляя работу этих сред в общем пуле агентов, это позволяет командам масштабировать рабочие нагрузки агентов, не поддерживая выделенные вычислительные ресурсы для каждой сессии.
NVIDIA и Google также сотрудничают в интеграции OpenShell и Agent Substrate, чтобы предприятия могли обеспечивать безопасность и управление агентами в облаках и локальных системах.
Создание открытого фундамента для фабрик ИИ
Фабрики ИИ должны предлагать клиентам управляемые сервисы Kubernetes, сохраняя при этом контроль над своей инфраструктурой, программным обеспечением и качеством обслуживания клиентов. Три новых проекта с открытым исходным кодом расширяют платформу DSX AI Factory, упрощая запуск Kubernetes и ускоряя масштабирование вывода.
NVIDIA Kubernetes Engine (NVKE) и NVIDIA Kubernetes Recipes (NVKR) — теперь доступные в публичной предварительной версии — предоставляют строительные блоки с открытым исходным кодом для предоставления управляемых сервисов Kubernetes на инфраструктуре GPU. Они автоматизируют управление жизненным циклом кластера и предоставляют подписанные образы с фиксированными версиями.
NVKE и NVKR запускаются при поддержке экосистемы, которая расширяет их охват на платформы инфраструктуры ИИ и облачные сервисы. Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud и vCluster, а также Firmus и SK Telecom, согласовали с NVIDIA планы интеграции, чтобы внедрить возможности NVKE и NVKR в свои предложения.
NVIDIA Snapshot решает проблему быстрого подключения дополнительных мощностей для вывода. Загрузка моделей и прогрев рабочих нагрузок могут замедлить масштабирование и восстановление. Этот модульный компонент с открытым исходным кодом восстанавливает контрольные точки реплик за секунды, без перезагрузки или прогрева модели, поддерживая более быстрый запуск, восстановление и эластичность для вывода и агентских рабочих нагрузок в Kubernetes.
Партнеры по проектированию Crusoe и Saturn Cloud оценили Snapshot на своих собственных рабочих нагрузках с использованием NVIDIA HGX B300 systems. Компания Crusoe, участник разработки Snapshot, протестировала GLM-5.3 в Crusoe Cloud и сократила время готовности рабочей нагрузки примерно с восьми минут до 31 секунды. Saturn Cloud, платформа для токенизированных фабрик, провела бенчмаркинг Snapshot для масштабирования вывода с нуля и сократила время запуска vLLM с 2–8,5 минут до 6–34 секунд.
Узнайте больше, присоединившись к NVIDIA на KubeCon.
