Безопасность
Мы проектируем кластеры так, чтобы они были безопасными по умолчанию, и применяем меры контроля, благодаря которым каждый используемый нами кластер соответствует этому принципу.
Авторы
Последнее обновление
Первоначально опубликовано
TLDR
Поскольку мы рассматриваем вычислительные ресурсы как взаимозаменяемые у разных поставщиков GPU, мы должны предпринимать шаги, чтобы наш стандарт безопасности соблюдался в каждом используемом кластере. В этой статье рассказывается, как мы это делаем, а в конце приведен контрольный список, который вы можете применить к собственному парку или при оценке стандартов безопасности провайдера.
Запуск инференса для других компаний требует высокого уровня доверия, и мы должны постоянно оправдывать это доверие, когда речь идет об обслуживании моделей наших клиентов, обработке их данных и предоставлении продуктов, созданных на их основе. Мы гордимся тем, что сотрудничаем с такими командами, как Cognition, Coinbase, Cursor, Datadog, HubSpot, Ramp и многими другими, и внедряем меры контроля для защиты их моделей и данных, где бы они ни исполнялись.
В этой статье описывается, как мы поддерживаем наш стандарт безопасности во всем парке — 20+ облаках и 100+ кластерах — включая более десятка неооблаков (neoclouds), которые помогают нам выходить на глобальный масштаб (и запускать рабочие нагрузки в режиме active-active) для надежного удовлетворения любого уровня клиентского спроса. Вводную информацию к этой серии статей по безопасности и обзор того, как мы адаптировали нашу защиту к атакам со скоростью агентов, читайте в нашей обзорной статье здесь.
Почему каждому кластеру требуется собственное усиление защиты (hardening)
Управление емкостью в мультиоблачной среде (Multi-cloud Capacity Management, MCM) позволяет нам рассматривать GPU как полностью взаимозаменяемые ресурсы независимо от кластера или облачного провайдера, от которого они получены — будь то гиперскейлеры или неооблака.
Когда вы работаете с гиперскейлерами вроде AWS или GCP, они предоставляют управляемые кластеры с защищенными настройками по умолчанию, проверенными годами. Неооблака часто менее защищены (и менее однородны): некоторые сдают в аренду физические машины без операционной системы (bare metal), некоторые запускают Kubernetes за вас, а некоторые работают через партнера, управляющего control plane. Часто они имеют публичные адреса и открытые порты.
Поскольку мы можем запускать рабочие нагрузки у любого из 20+ провайдеров, каждый кластер необходимо оценивать, чтобы при необходимости добавлять поверх него требуемые меры контроля. Для неооблаков в частности это часто означает создание собственной системы безопасности поверх их инфраструктуры, чтобы каждый кластер проходил процедуру усиления защиты (hardening) перед обслуживанием трафика.
Наша модель угроз: четыре границы доверия
Чтобы применить одинаковые меры контроля к каждому кластеру, мы исходим из модели угроз с четырьмя границами доверия: инфраструктурный слой, операционные партнеры, рабочие нагрузки и внутренний доступ.
Инфраструктурный слой
Инфраструктурный слой является базовой границей доверия и сопутствует жизненному циклу кластера. Мы контролируем доступность и уязвимость кластера от момента передачи в эксплуатацию через период работы и вплоть до вывода из эксплуатации.
При передаче кластера мы закрываем все публичные порты, за исключением тех, которые обслуживают трафик. Мы помещаем Kubernetes API за разрешительный список (allowlist) и настраиваем доступ по SSH только по ключам с их регулярной ротацией. Доступ по SSH предоставляется по запросу с использованием многофакторной аутентификации (MFA) и без использования долгоживущих учетных данных. Затем перед подключением кластера к парку выполняется базовое сканирование безопасности.
В процессе работы трафик к кластеру и от него передается по защищенным каналам, поэтому кластер принимает трафик только от доверенной инфраструктуры Baseten. Процесс присоединения узлов защищен и спроектирован так, чтобы машина не могла самостоятельно добавиться в кластер. Обновления безопасности для хостов и Kubernetes устанавливаются с заданной регулярностью.
При выводе из эксплуатации мы полностью стираем данные клиентов перед возвратом машин провайдеру.
Операционные партнеры
Некоторые слои стека управляются сторонними организациями: провайдер отвечает за оборудование и его консоль, а в некоторых кластерах партнер управляет control plane Kubernetes.
Каждый, кто управляет определенным слоем, получает минимально необходимый доступ. Партнеры уведомляют нас об изменениях в control plane, поэтому изменения в кластере не происходят внезапно, а для доступа к консолям провайдеров требуется аппаратная многофакторная аутентификация (MFA).
Рабочие нагрузки
Поскольку мы рассматриваем весь код конечных пользователей как ненадёжный, мы изолируем его на этапе сборки, во время выполнения (runtime), в сети и от секретов других клиентов.
Для обеспечения изоляции рабочих нагрузок мы предпринимаем следующие шаги:
- Сборки клиентов запускаются в microVM: каждая сборка выполняет произвольный код клиента с широкими полномочиями, поэтому каждая из них получает собственное ядро.
Сборки клиентов запускаются в microVM: каждая сборка выполняет произвольный код клиента с широкими полномочиями, поэтому каждая из них получает собственное ядро.
- Каждый образ проходит через нашу платформу сборки: пользовательские и платформенные образы хранятся в разных реестрах, что обеспечивает их разделение.
Каждый образ проходит через нашу платформу сборки: пользовательские и платформенные образы хранятся в разных реестрах, что обеспечивает их разделение.
- Изоляция арендаторов (tenants) на сетевом уровне: сетевые политики разделяют арендаторов, а для межкластерного трафика используется mTLS для аутентификации и шифрования при передаче.
Изоляция арендаторов (tenants) на сетевом уровне: сетевые политики разделяют арендаторов, а для межкластерного трафика используется mTLS для аутентификации и шифрования при передаче.
- RDMA проходит через агент узла: прямые передачи памяти между узлами проходят через агент, который авторизует каждую из них.
RDMA проходит через агент узла: прямые передачи памяти между узлами проходят через агент, который авторизует каждую из них.
- Секреты клиентов зашифрованы в нашей control plane: они изолированы по организациям, никогда не встраиваются в образы или код и поступают только в собственные развертывания этого клиента.
Секреты клиентов зашифрованы в нашей control plane: они изолированы по организациям, никогда не встраиваются в образы или код и поступают только в собственные развертывания этого клиента.
- Обнаружение угроз во время выполнения (Runtime detection) работает на каждом узле: оно отслеживает попытки выхода за пределы контейнера (breakout), в том числе через среду исполнения GPU.
Обнаружение угроз во время выполнения (Runtime detection) работает на каждом узле: оно отслеживает попытки выхода за пределы контейнера (breakout), в том числе через среду исполнения GPU.
Внутренний доступ
Последняя граница — это граница вокруг нас (или любого, кто управляет парком кластеров). Доступ ограничен, полностью логируется, отслеживается и подлежит аудиту. Эти логи также отправляются за пределы кластера, поэтому человек с доступом к кластеру не может удалить запись о том, как он его использовал.
Ограничение радиуса поражения при нарушении границы
Мы исходим из предположения, что любая из этих границ может быть нарушена, поэтому ограничение сферы действия учетных данных распространяется максимум на один кластер. Даже полностью скомпрометированный кластер не содержит учетных данных, позволяющих получить доступ к другому кластеру или control plane за пределами ограниченной области. Внутри кластера сетевые политики и границы узлов не позволяют скомпрометированной рабочей нагрузке или узлу получить доступ к остальной части кластера.
Мы также рассчитываем на худший сценарий: злоумышленник захватил контроль над всем кластером. В этом случае крайне важно локализовать ущерб внутри этого кластера; для этого мы разграничиваем ключи по принципу наименьших привилегий:
- Ключи развертывания (Deploy keys) действуют максимум в пределах одного кластера и предназначены только для чтения: ключ, используемый кластером для получения своей конфигурации, не может изменить то, что запускается в каком-либо кластере.
Ключи развертывания (Deploy keys) действуют максимум в пределах одного кластера и предназначены только для чтения: ключ, используемый кластером для получения своей конфигурации, не может изменить то, что запускается в каком-либо кластере.
- У каждого кластера есть собственный центр сертификации (Certificate Authority): токен, подписанный в одном кластере, недействителен в другом.
У каждого кластера есть собственный центр сертификации (Certificate Authority): токен, подписанный в одном кластере, недействителен в другом.
- Учетные данные дистрибуции ротируются в течение часа: ротация ограничивает время, в течение которого похищенные учетные данные могут быть использованы не по назначению.
Учетные данные дистрибуции ротируются в течение часа: ротация ограничивает время, в течение которого похищенные учетные данные могут быть использованы не по назначению.
Мы избегаем использования учетных данных, ключей или корневых сертификатов доверия, охватывающих весь парк систем. Мы ограничиваем каждую учетную запись минимально возможной областью действия и не более чем одним кластером. При наличии строгих прав доступа даже злоумышленник, захвативший кластер, не получит учетных данных, открывающих доступ к другому кластеру или плоскости управления. Любые учетные данные, связывающие кластер с плоскостью управления или другим кластером, имеют строго минимально необходимую область действия.
Обеспечение безопасности цепочки поставок
Эти четыре рубежа определяют, кто может получить доступ к кластеру, однако кластеры также необходимо защитить от любых возможных входящих данных: конфигураций, образов, весов и ПО.
Для защиты всей цепочки поставок каждый тип входящих данных контролируется отдельно:
- Конфигурация кластера: каждый кластер загружает свою конфигурацию с помощью собственного ключа развертывания с правами только на чтение, поэтому скомпрометированный кластер не может изменить конфигурацию других кластеров.
Конфигурация кластера: каждый кластер загружает свою конфигурацию с помощью собственного ключа развертывания с правами только на чтение, поэтому скомпрометированный кластер не может изменить конфигурацию других кластеров.
- Образы: каждый образ проходит через нашу платформу сборки, при этом образы клиентов и образы платформы хранятся в раздельных реестрах.
Образы: каждый образ проходит через нашу платформу сборки, при этом образы клиентов и образы платформы хранятся в раздельных реестрах.
- Веса моделей: веса поступают по нашему каналу распространения данных. Канал полностью снабжен аудиторскими логами, и мы помечаем любые действия, которые не соответствуют ожидаемому потоку данных.
Веса моделей: веса поступают по нашему каналу распространения данных. Канал полностью снабжен аудиторскими логами, и мы помечаем любые действия, которые не соответствуют ожидаемому потоку данных.
- ПО хостов: на хостах и в Kubernetes устанавливаются патчи для устранения известных и потенциальных рисков.
ПО хостов: на хостах и в Kubernetes устанавливаются патчи для устранения известных и потенциальных рисков.
Проверка: мониторинг каждого кластера изнутри и снаружи
Мы проверяем средства контроля изнутри и снаружи каждого кластера, чтобы убедиться в соблюдении стандартов и отсутствии отклонений.
Изнутри: журналы аудита Kubernetes, хостов, DNS и SSH из каждого кластера поступают в единую систему мониторинга с отправкой оповещений дежурному инженеру. Канал распространения данных полностью логируется в целях аудита, и мы фиксируем действия, не соответствующие ожидаемому потоку данных.
Снаружи: ежедневное сканирование проверяет внешний периметр каждого кластера, и мы регулярно проверяем уровень безопасности каждого провайдера.
В совокупности эти проверки гарантируют, что рабочая нагрузка получает одинаковый уровень защиты на любом кластере, куда ее может направить MCM.
Контрольный список
Используйте этот контрольный список для аудита собственного парка систем или оценки инфраструктурного провайдера. Каждый пункт должен выполняться для каждого кластера.
Область действия учетных данных
- Учетные данные для всего парка: ни одна учетная запись, ключ или корень доверия не охватывают более одного кластера. В идеале учетные данные должны иметь минимальные привилегии.
Учетные данные для всего парка: ни одна учетная запись, ключ или корень доверия не охватывают более одного кластера. В идеале учетные данные должны иметь минимальные привилегии.
- Ключи развертывания: каждый кластер загружает свою конфигурацию с помощью собственного ключа только для чтения.
Ключи развертывания: каждый кластер загружает свою конфигурацию с помощью собственного ключа только для чтения.
- Центр сертификации: у каждого кластера есть свой собственный ЦС.
Центр сертификации: у каждого кластера есть свой собственный ЦС.
- Ротация учетных данных: учетные данные для распространения данных ротируются в течение часа.
Ротация учетных данных: учетные данные для распространения данных ротируются в течение часа.
Инфраструктурный уровень
- Публичные порты: все публичные порты закрыты, за исключением тех, которые обслуживают трафик.
Публичные порты: все публичные порты закрыты, за исключением тех, которые обслуживают трафик.
- API Kubernetes: API защищен списком разрешенных IP-адресов.
API Kubernetes: API защищен списком разрешенных IP-адресов.
- SSH: доступ осуществляется только по ключам, и ключи периодически ротируются.
SSH: доступ осуществляется только по ключам, и ключи периодически ротируются.
- Базовое сканирование: кластер должен успешно пройти сканирование перед добавлением в парк.
Базовое сканирование: кластер должен успешно пройти сканирование перед добавлением в парк.
- Путь трафика: трафик в каждый кластер и из него передается по защищенным каналам.
Путь трафика: трафик в каждый кластер и из него передается по защищенным каналам.
- Присоединение узлов: процедура присоединения защищена, поэтому машина не может добавить себя в кластер самостоятельно.
Присоединение узлов: процедура присоединения защищена, поэтому машина не может добавить себя в кластер самостоятельно.
- Установка патчей: хосты и Kubernetes обновляются по установленному графику.
Установка патчей: хосты и Kubernetes обновляются по установленному графику.
- Вывод из эксплуатации: данные клиентов стираются до того, как машины возвращаются провайдеру.
Вывод из эксплуатации: данные клиентов стираются до того, как машины возвращаются провайдеру.
Партнеры по эксплуатации
- Минимальный доступ: у каждого партнера есть доступ только к тому уровю, который необходим для его работы.
Минимальный доступ: у каждого партнера есть доступ только к тому уровю, который необходим для его работы.
- Уведомление об изменениях: партнеры заблаговременно уведомляют об изменениях в плоскости управления.
Уведомление об изменениях: партнеры заблаговременно уведомляют об изменениях в плоскости управления.
- Многофакторная аутентификация: требуется для каждой консоли провайдера.
Многофакторная аутентификация: требуется для каждой консоли провайдера.
- Учетные данные вендоров: учетные данные для сторонних поставщиков создаются отдельно для каждого кластера и имеют права только на запись.
Учетные данные вендоров: учетные данные для сторонних поставщиков создаются отдельно для каждого кластера и имеют права только на запись.
Рабочие нагрузки
- Сборки: пользовательские сборки запускаются в микроВМ.
Сборки: пользовательские сборки запускаются в микроВМ.
- Источник образов: каждый образ поступает из вашей платформы сборки.
Источник образов: каждый образ поступает из вашей платформы сборки.
- Реестры: образы клиентов и платформы хранятся в раздельных реестрах.
Реестры: образы клиентов и платформы хранятся в раздельных реестрах.
- Веса моделей: веса поступают по каналу распространения, прошедшему аудит.
Веса моделей: веса поступают по каналу распространения, прошедшему аудит.
- Изоляция GPU: рабочие нагрузки GPU выполняются с использованием усиленной изоляции.
Изоляция GPU: рабочие нагрузки GPU выполняются с использованием усиленной изоляции.
- Сети тенантов: тенанты изолированы на сетевом уровне.
Сети тенантов: тенанты изолированы на сетевом уровне.
- Межкластерный трафик: трафик между кластерами защищен взаимной аутентификацией.
Межкластерный трафик: трафик между кластерами защищен взаимной аутентификацией.
- RDMA: передача данных осуществляется через управляемый вами агент, который авторизует каждое действие.
RDMA: передача данных осуществляется через управляемый вами агент, который авторизует каждое действие.
- Хранилище секретов: секреты хранятся в зашифрованном хранилище под вашим управлением, но никогда не помещаются в образы или код.
Хранилище секретов: секреты хранятся в зашифрованном хранилище под вашим управлением, но никогда не помещаются в образы или код.
- Доставка секретов: секреты доставляются только тем рабочим нагрузкам, которым они необходимы.
Доставка секретов: секреты доставляются только тем рабочим нагрузкам, которым они необходимы.
- Обнаружение на этапе выполнения: обнаружение работает на каждом узле, в том числе для выявления побегов из контейнеров через среду выполнения GPU.
Обнаружение на этапе выполнения: обнаружение работает на каждом узле, в том числе для выявления побегов из контейнеров через среду выполнения GPU.
Внутренний доступ
- Постоянный доступ: в идеале ни у кого нет постоянного административного доступа к производственным кластерам.
Постоянный доступ: в идеале ни у кого нет постоянного административного доступа к производственным кластерам.
- Журналы доступа: каждый путь доступа фиксируется в логах, и эти логи выгружаются из кластера.
Журналы доступа: каждый путь доступа фиксируется в логах, и эти логи выгружаются из кластера.
Верификация
- Централизованные логи: журналы аудита Kubernetes, хостов, DNS и SSH из каждого кластера поступают в единую систему с отправкой оповещений дежурному инженеру.
Централизованные логи: журналы аудита Kubernetes, хостов, DNS и SSH из каждого кластера поступают в единую систему с отправкой оповещений дежурному инженеру.
- Потоки данных: потоки, не соответствующие ожидаемому шаблону, помечаются как подозрительные.
Потоки данных: потоки, не соответствующие ожидаемому шаблону, помечаются флагом.
- Сканирование периметра: внешний периметр каждого кластера сканируется с регулярной периодичностью.
Сканирование периметра: внешний периметр каждого кластера сканируется с регулярной периодичностью.
- Проверка провайдеров: состояние безопасности каждого провайдера проверяется.
Проверка провайдеров: состояние безопасности каждого провайдера проверяется.
Устранение уязвимостей
- Ответственность: у каждого обнаруженного несоответствия есть владелец и дедлайн.
Ответственность: у каждого обнаруженного несоответствия есть владелец и дедлайн.
- Устранение пробелов: пробелы отслеживаются до их устранения с помощью внедрения функции, средства контроля или изменения процесса.
Устранение пробелов: пробелы отслеживаются до их устранения с помощью внедрения функции, средства контроля или изменения процесса.
- Ответственность провайдера: вопросы по поводу пробелов на стороне провайдера поднимаются перед ним и сопровождаются до полного устранения.
Ответственность провайдера: вопросы по поводу пробелов на стороне провайдера поднимаются перед ним и сопровождаются до полного устранения.
Хотя обеспечение безопасности более чем 20 облаков требует десятков методов обеспечения безопасности, гораздо больше усилий уходит на то, чтобы сделать инференс, обучение и песочницы безопасными для всех наших клиентов на всей нашей платформе.
Это первый выпуск в серии блог-постов, в которых мы более подробно расскажем о том, как мы это делаем. Следите за обновлениями, которые будут выходить каждую неделю в разделе безопасности нашего блога. Если вы хотите узнать больше о нашем общем подходе к безопасности, вы можете прочитать этот блог. А если вы хотите детально обсудить любой из наших средств контроля с кем-то из наших инженеров, свяжитесь с нами.












