Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak my obespechivaem bezopasnost 100 klasterov v 20 oblakah
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как мы обеспечиваем безопасность 100+ кластеров в 20+ облаках

Источник: Baseten•20 ноября 2026 г. в 17:39

Как мы обеспечиваем безопасность 100+ кластеров в 20+ облаках

Мы проектируем кластеры так, чтобы они были безопасными по умолчанию, и применяем средства контроля, которые поддерживают этот уровень безопасности в каждом используемом нами кластере.

Безопасность

Мы проектируем кластеры так, чтобы они были безопасными по умолчанию, и применяем средства контроля, которые поддерживают этот уровень безопасности в каждом используемом нами кластере.

Авторы

Поскольку мы рассматриваем вычислительные мощности как взаимозаменяемые ресурсы у множества GPU-провайдеров, нам приходится принимать меры для обеспечения соблюдения наших стандартов безопасности в каждом кластере, который мы запускаем. В этой статье рассказывается, как мы это делаем, а в конце приведен контрольный список, который вы можете применить к собственному парку серверов или при оценке стандартов безопасности провайдера.

Запуск инференса для других компаний требует высокого уровня доверия, и мы должны постоянно подтверждать это доверие, когда речь идет об обслуживании моделей наших клиентов, обработке их данных и предложении продуктов, на которых они строят свои решения. Мы гордимся партнерством с такими командами, как Cognition, Coinbase, Cursor, Datadog, HubSpot, Ramp и многими другими, и мы внедряем средства контроля для защиты их моделей и данных, где бы они ни запускались.

В этой статье рассказывается о том, как мы поддерживаем наш стандарт безопасности во всем нашем парке — 20+ облаков и 100+ кластеров, — включая более десятка нео-облаков, которые помогают нам достичь глобального масштаба (и запускать рабочие нагрузки в режиме active-active) для надежного удовлетворения любого уровня спроса клиентов. Чтобы ознакомиться с этой серией публикаций о безопасности и узнать, как мы адаптировали нашу защиту к атакам на скорости агентов, прочитайте наш обзорный блог здесь.

Почему каждый кластер нуждается в собственной защите

Управление мощностями в мультиоблачной среде (MCM) позволяет нам рассматривать GPU как полностью взаимозаменяемые ресурсы, независимо от кластера или облачного провайдера, от которого они получены — будь то гиперскейлеры или нео-облака.

Когда вы работаете с гиперскейлерами, такими как AWS или GCP, они предоставляют управляемые кластеры с годами отлаженными настройками безопасности по умолчанию. Нео-облака часто менее защищены (и менее единообразны): некоторые сдают в аренду «голые» машины, некоторые запускают Kubernetes за вас, а некоторые работают через партнера, который управляет плоскостью управления (control plane). Часто они имеют публичные адреса и открытые порты.

Поскольку мы можем запускать рабочие нагрузки у любого из 20+ провайдеров, каждый кластер должен быть оценен, чтобы мы могли при необходимости добавить поверх него нужные средства контроля. В частности, для нео-облаков это часто означает выстраивание нашей системы безопасности поверх них, чтобы каждый кластер был защищен перед тем, как начнет обслуживать трафик.

Наша модель угроз: четыре границы доверия

Чтобы обеспечить одинаковые средства контроля для каждого кластера, мы начинаем с модели угроз, включающей четыре границы доверия: уровень инфраструктуры, операционные партнеры, рабочие нагрузки и внутренний доступ.

Уровень инфраструктуры

Уровень инфраструктуры является фундаментальной границей доверия и следует жизненному циклу кластера. Мы контролируем доступность кластера с момента передачи в эксплуатацию до вывода из нее.

При передаче в эксплуатацию мы закрываем все публичные порты, кроме тех, что обслуживают трафик. Мы помещаем API Kubernetes за список разрешенных IP-адресов (allowlist) и настраиваем SSH только для доступа по ключам с их регулярной ротацией. Доступ по SSH предоставляется по запросу с использованием многофакторной аутентификации (MFA), одобрения несколькими сторонами и без долгоживущих учетных данных. Затем базовое сканирование проверяет кластер перед тем, как он присоединяется к парку.

В процессе эксплуатации трафик к каждому кластеру и от него проходит через защищенные каналы, поэтому кластер принимает трафик только от доверенной инфраструктуры Baseten. Присоединение узлов защищено и спроектировано так, чтобы машина не могла добавить себя в кластер самостоятельно. Хосты и Kubernetes обновляются по установленному графику.

При выводе из эксплуатации мы удаляем данные клиентов перед тем, как машины возвращаются провайдеру.

Операционные партнеры

Некоторые уровни стека управляются кем-то другим: провайдер управляет оборудованием и своей консолью, а в некоторых кластерах партнер управляет плоскостью управления Kubernetes.

Любой, кто управляет уровнем, получает минимально необходимые права доступа. Партнеры уведомляют нас об изменениях в плоскости управления, поэтому изменения в кластере не происходят неожиданно. Консоли провайдеров требуют MFA. А поскольку учетные данные, которые кластер использует для сторонних поставщиков, являются уникальными для каждого кластера и предназначены только для записи, украденный ключ не позволит прочитать то, что отправили другие кластеры.

Рабочие нагрузки

Поскольку мы считаем весь код конечных пользователей ненадежным, мы изолируем его при сборке, во время выполнения, в сети и от секретов других клиентов.

Для обеспечения изоляции рабочих нагрузок мы предпринимаем следующие шаги:

  • Сборки клиентов запускаются в microVM: каждая сборка запускает произвольный код клиента с широкими правами, поэтому каждая из них получает собственное ядро.

Сборки клиентов запускаются в microVM: каждая сборка запускает произвольный код клиента с широкими правами, поэтому каждая из них получает собственное ядро.

  • Каждый образ проходит через нашу платформу сборки: образы клиентов и платформы хранятся в отдельных реестрах, поэтому они остаются разделенными.

Каждый образ проходит через нашу платформу сборки: образы клиентов и платформы хранятся в отдельных реестрах, поэтому они остаются разделенными.

  • Арендаторы изолированы в сети: сетевая политика разделяет арендаторов, а межкластерный трафик использует mTLS для аутентификации и шифрования при передаче.

Арендаторы изолированы в сети: сетевая политика разделяет арендаторов, а межкластерный трафик использует mTLS для аутентификации и шифрования при передаче.

  • RDMA проходит через агент узла: прямая передача памяти между узлами проходит через агент, который авторизует каждую такую операцию.

RDMA проходит через агент узла: прямая передача памяти между узлами проходит через агент, который авторизует каждую такую операцию.

  • Секреты клиентов зашифрованы в нашей плоскости управления: они разделены по организациям, никогда не встраиваются в образы или код и доступны только для развертываний конкретного клиента.

Секреты клиентов зашифрованы в нашей плоскости управления: они разделены по организациям, никогда не встраиваются в образы или код и доступны только для развертываний конкретного клиента.

  • Детектирование во время выполнения работает на каждом узле: оно отслеживает попытки выхода за пределы изолированной среды, включая попытки через среду выполнения GPU.

Детектирование во время выполнения работает на каждом узле: оно отслеживает попытки выхода за пределы изолированной среды, включая попытки через среду выполнения GPU.

Внутренний доступ

Последняя граница — это граница вокруг нас (или любого, кто управляет парком); никто в Baseten не имеет постоянного административного доступа к производственным кластерам. Каждый путь доступа протоколируется, и эти журналы покидают кластер, поэтому человек с доступом к кластеру не может стереть запись о том, как он его использовал.

Ограничение радиуса поражения при нарушении границы

Мы исходим из того, что любая из этих границ может быть нарушена, поэтому мы ограничиваем учетные данные максимум одним кластером. Даже полностью скомпрометированный кластер не содержит учетных данных, которые могли бы дать доступ к другому кластеру или плоскости управления за пределами ограниченной области. Внутри кластера сетевая политика и границы узлов не позволяют скомпрометированной рабочей нагрузке или узлу получить доступ к остальной части кластера.

Мы также готовимся к худшему сценарию: злоумышленник, который контролирует весь кластер. В этом случае крайне важно, чтобы ущерб был локализован в пределах этого кластера; для этого мы ограничиваем ключи по принципу наименьших привилегий:

  • Ключи развертывания ограничены максимум одним кластером и являются доступными только для чтения: ключ, который кластер использует для получения своей конфигурации, не может изменить то, что запускает любой другой кластер.

Ключи развертывания ограничены максимум одним кластером и являются доступными только для чтения: ключ, который кластер использует для получения своей конфигурации, не может изменить то, что запускает любой другой кластер.

  • Каждый кластер имеет собственный центр сертификации: токен, подписанный в одном кластере, недействителен в другом.

Каждый кластер имеет собственный центр сертификации: токен, подписанный в одном кластере, недействителен в другом.

  • Учетные данные для дистрибуции обновляются в течение часа: ротация ограничивает время, в течение которого можно использовать украденные учетные данные.

Учетные данные для дистрибуции обновляются в течение часа: ротация ограничивает время, в течение которого можно использовать украденные учетные данные.

Мы избегаем использования любых учетных данных, ключей или корней доверия, которые охватывают весь парк серверов. Мы ограничиваем каждую учетную запись минимально возможной областью действия, максимум одним кластером. Благодаря строгим разрешениям, даже если кто-то получит контроль над кластером, у него не будет учетных данных для доступа к другому кластеру или плоскости управления. Любые учетные данные, обеспечивающие связь кластера с плоскостью управления или другим кластером, ограничены минимально необходимым объемом прав.

Обеспечение безопасности цепочки поставок

Эти четыре границы определяют, кто может получить доступ к кластеру, но кластеры также должны быть защищены от любого возможного входящего контента: конфигураций, образов, весов и программного обеспечения.

Для обеспечения безопасности всей цепочки поставок каждый входящий элемент имеет собственный контроль:

  • Конфигурация кластера: каждый кластер получает свою конфигурацию с помощью собственного ключа развертывания с правами только на чтение, поэтому скомпрометированный кластер не может изменить то, что запускается в любом другом кластере.

Конфигурация кластера: каждый кластер получает свою конфигурацию с помощью собственного ключа развертывания с правами только на чтение, поэтому скомпрометированный кластер не может изменить то, что запускается в любом другом кластере.

  • Образы: каждый образ проходит через нашу платформу сборки, а образы клиентов и образы платформы хранятся в отдельных реестрах.

Образы: каждый образ проходит через нашу платформу сборки, а образы клиентов и образы платформы хранятся в отдельных реестрах.

  • Веса моделей: веса поступают по нашему пути распространения данных. Этот путь имеет полные журналы аудита, и мы помечаем действия, которые не соответствуют ожидаемому потоку данных.

Веса моделей: веса поступают по нашему пути распространения данных. Этот путь имеет полные журналы аудита, и мы помечаем действия, которые не соответствуют ожидаемому потоку данных.

  • ПО хоста: хосты и Kubernetes регулярно обновляются.

ПО хоста: хосты и Kubernetes регулярно обновляются.

Верификация: мониторинг каждого кластера изнутри и снаружи

Мы проверяем средства контроля изнутри и снаружи каждого кластера, чтобы убедиться, что стандарты соблюдаются и не происходит их отклонения.

Изнутри: журналы аудита Kubernetes, хоста, DNS и SSH из каждого кластера поступают в единую систему мониторинга с оповещениями, которые вызывают дежурного специалиста. Путь распространения данных полностью протоколируется, и мы помечаем действия, не соответствующие ожидаемому потоку данных.

Снаружи: ежедневное сканирование проверяет внешний периметр каждого кластера, и мы регулярно проверяем состояние безопасности каждого провайдера.

В совокупности эти проверки означают, что рабочая нагрузка получает одинаковую защиту в любом кластере, где MCM может ее разместить.

Контрольный список

Используйте этот контрольный список для аудита собственного парка серверов или для оценки провайдера инфраструктуры. Каждый пункт должен выполняться для каждого кластера.

Область действия учетных данных

  • Учетные данные для всего парка: ни один ключ, учетная запись или корень доверия не охватывают более одного кластера. В идеале учетные данные должны иметь минимально необходимые привилегии.

Учетные данные для всего парка: ни один ключ, учетная запись или корень доверия не охватывают более одного кластера. В идеале учетные данные должны иметь минимально необходимые привилегии.

  • Ключи развертывания: каждый кластер получает свою конфигурацию с помощью собственного ключа с правами только на чтение.

Ключи развертывания: каждый кластер получает свою конфигурацию с помощью собственного ключа с правами только на чтение.

  • Центр сертификации: каждый кластер имеет собственный CA.

Центр сертификации: каждый кластер имеет собственный CA.

  • Ротация учетных данных: учетные данные для дистрибуции данных обновляются в течение часа.

Ротация учетных данных: учетные данные для дистрибуции данных обновляются в течение часа.

Уровень инфраструктуры

  • Публичные порты: все публичные порты закрыты, за исключением тех, которые обслуживают трафик.

Публичные порты: все публичные порты закрыты, за исключением тех, которые обслуживают трафик.

  • API Kubernetes: API находится за списком разрешенных адресов.

API Kubernetes: API находится за списком разрешенных адресов.

  • SSH: доступ только по ключам, ключи регулярно обновляются.

SSH: доступ только по ключам, ключи регулярно обновляются.

  • Базовое сканирование: сканирование должно быть пройдено до того, как кластер присоединится к парку.

Базовое сканирование: сканирование должно быть пройдено до того, как кластер присоединится к парку.

  • Путь трафика: трафик к каждому кластеру и от него передается по защищенным каналам.

Путь трафика: трафик к каждому кластеру и от него передается по защищенным каналам.

  • Присоединение узлов: процесс присоединения защищен, поэтому машина не может добавить себя в кластер самостоятельно.

Присоединение узлов: процесс присоединения защищен, поэтому машина не может добавить себя в кластер самостоятельно.

  • Исправление уязвимостей: хосты и Kubernetes обновляются по установленному графику.

Исправление уязвимостей: хосты и Kubernetes обновляются по установленному графику.

  • Вывод из эксплуатации: данные клиентов удаляются перед возвратом машин провайдеру.

Вывод из эксплуатации: данные клиентов удаляются перед возвратом машин провайдеру.

Операционные партнеры

  • Минимальный доступ: каждый партнер имеет доступ только к тому уровню, который ему необходим.

Минимальный доступ: каждый партнер имеет доступ только к тому уровню, который ему необходим.

  • Уведомление об изменениях: партнеры уведомляют вас перед внесением изменений в плоскость управления.

Уведомление об изменениях: партнеры уведомляют вас перед внесением изменений в плоскость управления.

  • MFA: консоль каждого провайдера требует многофакторной аутентификации.

MFA: консоль каждого провайдера требует многофакторной аутентификации.

  • Учетные данные поставщиков: учетные данные для внешних поставщиков создаются для каждого кластера и имеют права только на запись.

Учетные данные поставщиков: учетные данные для внешних поставщиков создаются для каждого кластера и имеют права только на запись.

Рабочие нагрузки

  • Сборки: сборки клиентов выполняются в микро-ВМ (microVMs).

Сборки: сборки клиентов выполняются в микро-ВМ (microVMs).

  • Источник образов: каждый образ поступает с вашей платформы сборки.

Источник образов: каждый образ поступает с вашей платформы сборки.

  • Реестры: образы клиентов и платформы хранятся в отдельных реестрах.

Реестры: образы клиентов и платформы хранятся в отдельных реестрах.

  • Веса моделей: веса поступают по аудируемому пути распространения.

Веса моделей: веса поступают по аудируемому пути распространения.

  • Изоляция GPU: рабочие нагрузки GPU выполняются с усиленной изоляцией.

Изоляция GPU: рабочие нагрузки GPU выполняются с усиленной изоляцией.

  • Сетевая изоляция арендаторов: арендаторы изолированы на сетевом уровне.

Сетевая изоляция арендаторов: арендаторы изолированы на сетевом уровне.

  • Межкластерный трафик: трафик между кластерами взаимно аутентифицируется.

Межкластерный трафик: трафик между кластерами взаимно аутентифицируется.

  • RDMA: передача данных осуществляется через контролируемый вами агент, который авторизует каждую операцию.

RDMA: передача данных осуществляется через контролируемый вами агент, который авторизует каждую операцию.

  • Хранение секретов: секреты хранятся в зашифрованном хранилище под вашим контролем, а не в образах или коде.

Хранение секретов: секреты хранятся в зашифрованном хранилище под вашим контролем, а не в образах или коде.

  • Доставка секретов: секреты поступают только к тем рабочим нагрузкам, которым они необходимы.

Доставка секретов: секреты поступают только к тем рабочим нагрузкам, которым они необходимы.

  • Детектирование в рантайме: обнаружение угроз работает на каждом узле, включая попытки выхода за пределы среды выполнения GPU.

Детектирование в рантайме: обнаружение угроз работает на каждом узле, включая попытки выхода за пределы среды выполнения GPU.

Внутренний доступ

  • Постоянный доступ: никто не имеет постоянного административного доступа к производственным кластерам.

Постоянный доступ: никто не имеет постоянного административного доступа к производственным кластерам.

  • Журналы доступа: каждый путь доступа протоколируется, а журналы выгружаются из кластера.

Журналы доступа: каждый путь доступа протоколируется, а журналы выгружаются из кластера.

Верификация

  • Централизованные журналы: журналы аудита Kubernetes, хоста, DNS и SSH из каждого кластера поступают в единую систему с оповещениями, которые вызывают дежурного специалиста.

Централизованные логи: журналы аудита Kubernetes, хостов, DNS и SSH из каждого кластера поступают в единую систему с оповещениями, которые вызывают дежурного специалиста.

  • Потоки данных: потоки, не соответствующие ожидаемому шаблону, помечаются флагом.

Потоки данных: потоки, не соответствующие ожидаемому шаблону, помечаются флагом.

  • Сканирование периметра: внешний периметр каждого кластера сканируется с регулярной частотой.

Сканирование периметра: внешний периметр каждого кластера сканируется с регулярной частотой.

  • Проверка провайдеров: уровень безопасности каждого провайдера проверяется.

Проверка провайдеров: уровень безопасности каждого провайдера проверяется.

Устранение уязвимостей

  • Ответственность: у каждой выявленной проблемы есть ответственный и дедлайн.

Ответственность: у каждой выявленной проблемы есть ответственный и дедлайн.

  • Устранение пробелов: пробелы отслеживаются до их устранения с помощью внедрения функций, элементов контроля или изменения процессов.

Устранение пробелов: пробелы отслеживаются до их устранения с помощью внедрения функций, элементов контроля или изменения процессов.

  • Ответственность провайдеров: проблемы на стороне провайдера доводятся до их сведения и отслеживаются до полного устранения.

Ответственность провайдеров: проблемы на стороне провайдера доводятся до их сведения и отслеживаются до полного устранения.

Хотя обеспечение безопасности более чем 20 облаков требует десятков методов обеспечения безопасности, гораздо больше усилий уходит на то, чтобы сделать инференс, обучение и песочницы безопасными для всех наших клиентов на всей нашей платформе.

Это первая статья из серии публикаций, в которых мы более подробно расскажем о том, как мы это делаем. Следите за обновлениями, которые будут выходить каждую неделю в разделе безопасности нашего блога. Если вы хотите узнать больше о нашем общем подходе к безопасности, вы можете прочитать этот блог. И если вы хотите подробнее обсудить любой из наших элементов контроля с кем-то из наших инженеров, свяжитесь с нами.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Как масштабировать маркетинговую экспертизу с помощью ИИ-агентов
Jasper

Как масштабировать маркетинговую экспертизу с помощью ИИ-агентов

Улучшенные средства контроля для новой эры кибератак
Baseten

Улучшенные средства контроля для новой эры кибератак

Qwen3 TTS теперь доступна на Together AI
Together AI

Qwen3 TTS теперь доступна на Together AI

Представляем варианты видеорекламы и локализацию в Ads Engine
ElevenLabs

Представляем варианты видеорекламы и локализацию в Ads Engine

WRITER AI Studio теперь называется Control Center
Writer

WRITER AI Studio теперь называется Control Center

RoCE и NVIDIA Quantum InfiniBand, а также их количественная оценка компромиссов
Lambda

RoCE и NVIDIA Quantum InfiniBand, а также их количественная оценка компромиссов

Ещё от Baseten

Улучшенные средства контроля для новой эры кибератак
Baseten

Улучшенные средства контроля для новой эры кибератак

Отложенная загрузка инструментов: сделайте своего агента на 62,5% дешевле без смены модели или обвязки
Baseten

Отложенная загрузка инструментов: сделайте своего агента на 62,5% дешевле без смены модели или обвязки

Baseten теперь доступен в Microsoft Foundry
Baseten

Baseten теперь доступен в Microsoft Foundry

Представляем Baseten Voice Agent Stack: полный контроль и оптимизация голосовых агентов
Baseten

Представляем Baseten Voice Agent Stack: полный контроль и оптимизация голосовых агентов

Как Baseten и Genspark обучили модель для глубоких исследований, превзошедшую Opus 5.5
Baseten

Как Baseten и Genspark обучили модель для глубоких исследований, превзошедшую Opus 5.5

Самая быстрая в мире синхронизация дельт весов
Baseten

Самая быстрая в мире синхронизация дельт весов