Стек PARK (PyTorch, модели ИИ, Ray и Kubernetes) становится де-факто открытым стандартом для продакшн-систем ИИ. В рамках этого стека KubeRay стал мостом, соединяющим масштабируемые приложения ИИ на базе Ray с оркестрацией вычислений Kubernetes.
Практически каждый ключевой элемент стека PARK уже находится под управлением Linux Foundation: PyTorch и Ray — через PyTorch Foundation, а Kubernetes — через Cloud Native Computing Foundation (CNCF). KubeRay был недостающим элементом.
Сегодня мы объявляем о том, что KubeRay присоединяется к CNCF, переводя весь стек PARK под управление Linux Foundation и давая командам полную уверенность в его нейтральности и открытости.
LinkМасштабирование кластеров Ray на Kubernetes
KubeRay — это мощный инструмент с открытым исходным исходным кодом и оператор Kubernetes, предназначенный для бесшовного запуска распределенных нагрузок ИИ, машинного обучения и Python на базе Ray в облачно-нативной инфраструктуре. Поскольку распределенные нагрузки ИИ становятся ключевой облачно-нативной концепцией, KubeRay стирает грань между ориентированными на Python фреймворками ИИ и нативной для Kubernetes инфраструктурой.
KubeRay предоставляет три пользовательских ресурсных определения Kubernetes (CRD) для масштабирования и управления рабочими нагрузками Ray в продакшне:
- RayCluster: Базовый строительный блок для запуска Ray на Kubernetes. RayCluster управляет полным жизненным циклом кластера Ray, автоматизируя подготовку головных и рабочих подов, проверки работоспособности, отказоустойчивость глобальной службы управления (GCS) и динамическое автомасштабирование во взаимодействии с автоскалером Ray.
RayCluster: Базовый строительный блок для запуска Ray на Kubernetes. RayCluster управляет полным жизненным циклом кластера Ray, автоматизируя подготовку головных и рабочих подов, проверки работоспособности, отказоустойчивость глобальной службы управления (GCS) и динамическое автомасштабирование во взаимодействии с автоскалером Ray.
- RayJob: Создан специально для пакетной обработки, распределенного обучения и нагрузок с подкрепленным обучением (RL). `RayJob` автоматически подготавливает временный RayCluster, отправляет задачу Ray, как только кластер готов, и удаляет кластер после завершения, чтобы максимизировать использование вычислений и ускорителей.
RayJob: Создан специально для пакетной обработки, распределенного обучения и нагрузок с подкрепленным обучением (RL). `RayJob` автоматически подготавливает временный RayCluster, отправляет задачу Ray, как только кластер готов, и удаляет кластер после завершения, чтобы максимизировать использование вычислений и ускорителей.
- RayService: Предназначен для долгоживущего онлайн-инференса высокой доступности с использованием Ray Serve. RayService управляет как лежащим в основе RayCluster, так и графом развертывания Ray Serve, обеспечивая плавающие обновления без простоев, автоматическое переключение при сбоях и бесшовную маршрутизацию трафика для продакшн-сервисов ИИ.
RayService: Предназначен для долгоживущего онлайн-инференса высокой доступности с использованием Ray Serve. RayService управляет как лежащим в основе RayCluster, так и графом развертывания Ray Serve, обеспечивая плавающие обновления без простоев, автоматическое переключение при сбоях и бесшовную маршрутизацию трафика для продакшн-сервисов ИИ.
В совокупности эти пользовательские ресурсы обеспечивают основу для создания предприятиями современных платформ машинного обучения поверх Ray и Kubernetes. Например, такие конечные пользователи, как Spotify, используют KubeRay для масштабирования своей внутренней платформы машинного обучения Hendrix, которая применяется для обучения и тонкой настройки моделей машинного обучения Spotify с помощью Ray на GKE.
«Запуск мультимодальных нагрузок ИИ в больших масштабах требует платформы с тесной интеграцией между ориентированным на Python ИИ и Kubernetes. KubeRay — это тот самый мост, который помогает нам надежно масштабироваться и управлять сложными агентными рабочими процессами. В Hark именно поэтому мы используем его и почему я вношу свой вклад: я хочу помочь большему числу разработчиков уверенно масштабировать продакшн-системы ИИ». Кай-Хсун Чен, руководитель отдела инфраструктуры ИИ, Hark
«Запуск мультимодальных нагрузок ИИ в больших масштабах требует платформы с тесной интеграцией между ориентированным на Python ИИ и Kubernetes. KubeRay — это тот самый мост, который помогает нам надежно масштабироваться и управлять сложными агентными рабочими процессами».
Кай-Хсун Чен, руководитель отдела инфраструктуры ИИ, Hark
LinkРазвитие экосистемы KubeRay
Помимо управления жизненным циклом базовых кластеров, KubeRay получил широкое распространение благодаря глубокой интеграции с другими проектами CNCF и более широкой облачно-нативной экосистемой. Вместо изобретения инфраструктурных примитивов заново, KubeRay подключается напрямую к инструментам, на которые уже полагаются команды платформ:
- Наблюдаемость с помощью OpenTelemetry, Prometheus и Fluent Bit: Ray использует OpenTelemetry в своем конвейере метрик и экспортирует метрики в формате Prometheus, позволяя платформам команд под управлением KubeRay контролировать использование кластера, выполнение задач и задержку Ray Serve наряду с существующей инфраструктурой Kubernetes. В паре с Fluent Bit для легкого сбора и пересылки логов операторы могут легко агрегировать распределенные логи воркеров и заданий как во временных, так и в долгоживущих кластерах Ray.
Наблюдаемость с помощью OpenTelemetry, Prometheus и Fluent Bit: Ray использует OpenTelemetry в своем конвейере метрик и экспортирует метрики в формате Prometheus, позволяя платформам команд под управлением KubeRay контролировать использование кластера, выполнение задач и задержку Ray Serve наряду с существующей инфраструктурой Kubernetes. В паре с Fluent Bit для легкого сбора и пересылки логов операторы могут легко агрегировать распределенные логи воркеров и заданий как во временных, так и в долгоживущих кластерах Ray.
- Пакетное планирование и управление квотами с помощью Kueue, Volcano и KAI: По мере того как организации масштабируют распределенное обучение на дефицитных ресурсах GPU и TPU, KubeRay интегрируется напрямую с различными планировщиками, чтобы перенести нативную для Kubernetes очередь задач в RayJob и RayCluster. Это обеспечивает пакетное планирование (размещение подов по принципу «все или ничего»), многоарендные квоты ресурсов, вытеснение по приоритету и планирование с учетом топологии.
Пакетное планирование и управление квотами с помощью Kueue, Volcano и KAI: По мере того как организации масштабируют распределенное обучение на дефицитных ресурсах GPU и TPU, KubeRay интегрируется напрямую с различными планировщиками, чтобы перенести нативную для Kubernetes очередь задач в RayJob и RayCluster. Это обеспечивает пакетное планирование (размещение подов по принципу «все или ничего»), многоарендные квоты ресурсов, вытеснение по приоритету и планирование с учетом топологии.
- Безопасность и изоляция рабочих нагрузок: По мере масштабирования нагрузок ИИ надежная безопасность и многоарендность имеют решающее значение. KubeRay предоставляет основу для защиты кластеров Ray с помощью автоматического mTLS и сетевых политик Kubernetes.
Безопасность и изоляция рабочих нагрузок: По мере масштабирования нагрузок ИИ надежная безопасность и многоарендность имеют решающее значение. KubeRay предоставляет основу для защиты кластеров Ray с помощью автоматического mTLS и сетевых политик Kubernetes.
LinkЧто дальше?
Успех KubeRay до настоящего момента был достигнут благодаря быстро растущему сообществу участников — мы хотим выразить благодарность всем, кто внес свой вклад в KubeRay.
Статус песочницы CNCF — это только начало следующей главы KubeRay под открытым, независимым от вендоров управлением, и мы будем рады, если вы станете ее частью.
Если вы будете на конференции KubeCon NA 2026, приходите на встречу с мейнтейнерами KubeRay в рамках нашей сессии Birds of a Feather (BoF), чтобы обсудить дорожную карту, поделиться опытом использования в продакшене и помочь сформировать будущее Ray на Kubernetes. Кроме того, Харк выступит с докладом о том, как они используют KubeRay для мультимодальных задач искусственного интеллекта.
Вы также можете пообщаться с сообществом в канале #kuberay в CNCF или в рабочем пространстве Ray в Slack и посещать наши еженедельные встречи сообщества.
