Стек PARK (PyTorch, AI models, Ray и Kubernetes) становится стандартом с открытым исходным кодом де-факто для промышленного ИИ. В рамках этого стека KubeRay стал мостом, соединяющим масштабируемые ИИ-приложения на базе Ray с оркестрацией вычислений в Kubernetes.
Почти каждый ключевой элемент стека PARK уже находится под эгидой Linux Foundation: PyTorch и Ray — через PyTorch Foundation, а Kubernetes — через Cloud Native Computing Foundation (CNCF). KubeRay был недостающей частью.
Сегодня мы объявляем, что KubeRay присоединяется к CNCF, переводя весь стек PARK под управление Linux Foundation и давая командам полную уверенность в его нейтральности и открытости.
LinkМасштабирование кластеров Ray в Kubernetes
KubeRay — это мощный инструментарий с открытым исходным кодом и оператор Kubernetes, предназначенный для бесшовного запуска распределенных рабочих нагрузок ИИ, машинного обучения и Python на базе Ray в облачной инфраструктуре. По мере того как распределенные рабочие нагрузки ИИ становятся базовой облачной сущностью, KubeRay устраняет разрыв между Python-ориентированными ИИ-фреймворками и нативной инфраструктурой Kubernetes.
KubeRay предоставляет три пользовательских определения ресурсов (CRD) Kubernetes для масштабирования и эксплуатации рабочих нагрузок Ray в рабочей среде:
- RayCluster: Базовый строительный блок для запуска Ray в Kubernetes. RayCluster управляет полным жизненным циклом кластера Ray, автоматизируя выделение подов head и worker, проверки работоспособности, отказоустойчивость Global Control Service (GCS) и динамическое автомасштабирование во взаимодействии с Ray Autoscaler.
RayCluster: Базовый строительный блок для запуска Ray в Kubernetes. RayCluster управляет полным жизненным циклом кластера Ray, автоматизируя выделение подов head и worker, проверки работоспособности, отказоустойчивость Global Control Service (GCS) и динамическое автомасштабирование во взаимодействии с Ray Autoscaler.
- RayJob: Создан специально для пакетной обработки, распределенного обучения и задач обучения с подкреплением (RL). `RayJob` автоматически подготавливает эфемерный RayCluster, отправляет задачу Ray после готовности кластера и удаляет кластер по завершении, чтобы максимизировать утилизацию вычислительных ресурсов и ускорителей.
RayJob: Создан специально для пакетной обработки, распределенного обучения и задач обучения с подкреплением (RL). `RayJob` автоматически подготавливает эфемерный RayCluster, отправляет задачу Ray после готовности кластера и удаляет кластер по завершении, чтобы максимизировать утилизацию вычислительных ресурсов и ускорителей.
- RayService: Разработан для долговременного высокодоступного онлайн-инференса с использованием Ray Serve. RayService управляет как лежащим в основе RayCluster, так и графом развертывания Ray Serve, обеспечивая последовательные обновления без простоя, автоматическое переключение при сбоях и бесшовную маршрутизацию трафика для рабочих ИИ-сервисов.
RayService: Разработан для долговременного высокодоступного онлайн-инференса с использованием Ray Serve. RayService управляет как лежащим в основе RayCluster, так и графом развертывания Ray Serve, обеспечивая последовательные обновления без простоя, автоматическое переключение при сбоях и бесшовную маршрутизацию трафика для рабочих ИИ-сервисов.
В совокупности эти пользовательские ресурсы обеспечивают основу для создания предприятиями современных платформ машинного обучения поверх Ray и Kubernetes. Например, такие конечные пользователи, как Hark, используют KubeRay для масштабирования своих рабочих процессов ИИ-агентов.
«Для запуска мультимодальных рабочих нагрузок ИИ в масштабе требуется платформа с тесной интеграцией между Python-ориентированным ИИ и Kubernetes. KubeRay — это тот самый мост, помогающий нам надежно масштабироваться и управлять сложными агентными процессами. В Hark мы используем его именно поэтому, и поэтому я вношу свой вклад: я хочу помочь большему числу разработчиков уверенно масштабировать промышленный ИИ». Кай-Сюнь Чэнь (Kai-Hsun Chen), руководитель направления инфраструктуры ИИ, Hark
«Для запуска мультимодальных рабочих нагрузок ИИ в масштабе требуется платформа с тесной интеграцией между Python-ориентированным ИИ и Kubernetes. KubeRay — это тот самый мост, помогающий нам надежно масштабироваться и управлять сложными агентными процессами. В Hark мы используем его именно поэтому, и поэтому я вношу свой вклад: я хочу помочь большему числу разработчиков уверенно масштабировать промышленный ИИ».
Кай-Сюнь Чэнь (Kai-Hsun Chen), руководитель направления инфраструктуры ИИ, Hark
LinkРазвитие экосистемы KubeRay
Помимо базового управления жизненным циклом кластера, KubeRay получил широкое распространение благодаря глубокой интеграции с другими проектами CNCF и более широкой экосистемой cloud native. Вместо того чтобы изобретать инфраструктурные примитивы заново, KubeRay напрямую подключается к инструментам, на которые команды платформы уже полагаются:
- Наблюдаемость с помощью OpenTelemetry, Prometheus и Fluent Bit: Ray использует OpenTelemetry в своем конвейере метрик и экспортирует метрики в формате Prometheus, позволяя платформам, использующим KubeRay, отслеживать утилизацию кластера, выполнение задач и задержку Ray Serve наряду с существующей инфраструктурой Kubernetes. В сочетании с Fluent Bit для легковесного сбора и пересылки логов операторы могут легко агрегировать распределенные логи воркеров и задач как в эфемерных, так и в долгоживущих кластерах Ray.
Наблюдаемость с помощью OpenTelemetry, Prometheus и Fluent Bit: Ray использует OpenTelemetry в своем конвейере метрик и экспортирует метрики в формате Prometheus, позволяя платформам, использующим KubeRay, отслеживать утилизацию кластера, выполнение задач и задержку Ray Serve наряду с существующей инфраструктурой Kubernetes. В сочетании с Fluent Bit для легковесного сбора и пересылки логов операторы могут легко агрегировать распределенные логи воркеров и задач как в эфемерных, так и в долгоживущих кластерах Ray.
- Пакетное планирование и управление квотами с помощью Kueue, Volcano и KAI: По мере того как организации масштабируют распределенное обучение в условиях дефицита ресурсов GPU и TPU, KubeRay нативно интегрируется с различными планировщиками, предоставляя нативную очередь задач Kubernetes для RayJob и RayCluster. Это обеспечивает совместное планирование групп подов (gang scheduling, «всё или ничего»), мультитенантные квоты ресурсов, вытеснение по приоритету и планирование с учетом топологии.
Пакетное планирование и управление квотами с помощью Kueue, Volcano и KAI: По мере того как организации масштабируют распределенное обучение в условиях дефицита ресурсов GPU и TPU, KubeRay нативно интегрируется с различными планировщиками, предоставляя нативную очередь задач Kubernetes для RayJob и RayCluster. Это обеспечивает совместное планирование групп подов (gang scheduling, «всё или ничего»), мультитенантные квоты ресурсов, вытеснение по приоритету и планирование с учетом топологии.
- Безопасность и изоляция рабочих нагрузок: По мере масштабирования нагрузок ИИ надежная безопасность и мультитенантность становятся критически важными. KubeRay закладывает основу для защиты кластеров Ray с использованием автоматического mTLS и сетевых политик Kubernetes.
Безопасность и изоляция рабочих нагрузок: По мере масштабирования нагрузок ИИ надежная безопасность и мультитенантность становятся критически важными. KubeRay закладывает основу для защиты кластеров Ray с использованием автоматического mTLS и сетевых политик Kubernetes.
LinkЧто дальше?
Успех KubeRay на сегодняшний день стал возможен благодаря быстрорастущему сообществу участников — мы хотим поблагодарить каждого, кто внес свой вклад в развитие KubeRay.
Получение статуса проекта CNCF Sandbox — это только начало новой главы KubeRay под открытым, вендор-нейтральным управлением, и мы будем рады видеть вас частью этого пути.
Если вы будете на KubeCon NA 2026, приходите пообщаться с мейнтейнерами KubeRay на нашей сессии Birds of a Feather (BoF), чтобы обсудить роадмап, поделиться примерами использования в продакшене и помочь сформировать будущее Ray на Kubernetes. Кроме того, Hark выступит с докладом о том, как они используют KubeRay для мультимодальных сценариев ИИ.
Вы также можете связаться с сообществом в канале #kuberay в рабочих пространствах Slack CNCF или Ray и посещать наши регулярные встречи сообщества, проходящие раз в две недели.
