Кратко
Мы хотели выяснить, насколько хорошо самоуправляемый реестр контейнеров работает на Hetzner Cloud и каковы его пределы производительности. Чтобы протестировать это, мы развернули программное обеспечение с открытым исходным кодом Harbor на различных серверах Hetzner Cloud и симулировали работу нескольких клиентов, выгружающих и скачивающих образы контейнеров разного размера и с разным количеством слоев. Наши тесты показали, что основным узким местом является размер сервера. Более мелкие облачные серверы были ограничены в первую очередь производительностью ЦП, в то время как более крупные серверы при постоянной нагрузке достигали пределов скорости записи томов Hetzner Cloud Volumes на уровне около 200 МБ/с. Образы с большим количеством слоев или маленькие образы также сильнее нагружали ЦП, в то время как использование оперативной памяти оставалось относительно низким. В целом, наши результаты подтверждают, что серверы Hetzner Cloud отлично подходят для хостинга реестра контейнеров на базе Harbor, особенно для небольших и средних команд и проектов.
Контейнеры — это широко распространенный метод абстракции и изоляции работы программных компонентов. Современная облачная инфраструктура особенно сильно зависит от контейнеризации, например, за счет распределения контейнеризированных рабочих нагрузок с помощью Kubernetes. Вы можете использовать реестр контейнеров в качестве централизованного хранилища для распространения образов контейнеров, созданных локально или в средах CI/CD, по многим системам.
В следующих разделах мы рассмотрим, чего можно ожидать от автономного реестра на одном сервере Hetzner Cloud и какова его производительность.
Создание реестра
Прежде чем тестировать реестр, его нужно создать. Существуют реализации с открытым исходным кодом для хранения образов в соответствии со спецификацией OCI Image Format Specification и их распространения через спецификацию OCI Distribution Specification. Например, вы можете использовать программное обеспечение Harbor. Установка Harbor на такой сервер Hetzner Cloud, как CPX42, с операционной системой Debian не вызывает трудностей, если следовать его инструкции по установке.
Для дальнейшего тестирования мы настроили Harbor 2.15.1 на CPX42 (8 вЦП; 16 ГБ ОЗУ) и Debian 13, а для хранения образов использовали том Hetzner Cloud Volume объемом 500 ГБ. Для тестов мы отключили в Harbor дополнительные функции, такие как сканирование уязвимостей. Позже мы планируем протестировать и другие типы серверов.
Стратегия тестирования
Поскольку существует множество способов тестирования программных компонентов, было важно заранее определить цели тестов. Нашей целью было найти простой и быстрый способ определения производительности выгрузки (push) и скачивания (pull) образов контейнеров в реестр при различных конфигурациях оборудования и программного обеспечения.
Для достижения этой цели мы хотели:
- собирать статистику об использовании вычислительных ресурсов (таких как ЦП, ОЗУ);
- собирать статистику о производительности выгрузки и скачивания (такую как продолжительность, пропускная способность);
- обеспечить время выполнения тестов в пределах нескольких минут;
- иметь простую тестовую установку, не требующую сложной инфраструктуры.
Наша общая стратегия тестирования заключалась в использовании единого инструмента, управляющего двумя основными компонентами: во-первых, генератором нагрузки, создающим нагрузку на реестр через его API дистрибутива, и во-вторых, сборщиком статистики, который собирал показатели производительности с сервера Hetzner Cloud, на котором работал реестр.
Хотя эта установка была довольно простой и давала результаты быстро, ни генератор нагрузки, ни сам реестр не были распределены по нескольким хостам. Колебания производительности соседних серверов Hetzner Cloud могли поэтому немного исказить результаты тестов.
Кроме того, машина, генерирующая нагрузку, всегда должна была превосходить по производительности вычислений и соответствовать сетевой пропускной способности реестра, чтобы не стать узким местом. В тестах, которые мы анализируем ниже, мы использовали CPX62 (16 вЦП; 32 ГБ ОЗУ) в том же дата-центре.
Создание инструмента для нагрузочного тестирования
Разработав стратегию тестирования, мы создали инструмент командной строки на базе Go, который выполнял тест. Горутины Golang с поддержкой параллелизма идеально подходят для этого сценария.
Сначала инструмент подготавливал реестр к предстоящему тесту. Он создавал все статические во время самого теста ресурсы, такие как пользователи и проекты (организационные единицы в Harbor).
После подготовки реестра инструмент запускал различные сценарии, имитирующие клиентов, взаимодействующих с реестром. Мы определили каждый сценарий в файле конфигурации, в котором указаны вероятность выгрузки и скачивания образов, а также размеры образов и количество слоев. Инструмент позволяет указать количество параллельных клиентов, которых мы хотели имитировать, и мы задали продолжительность выполнения. Каждый клиент запускал собственную горутину и сообщал о своих действиях и результатах основной координирующей горутине.
Другая горутина регулярно запрашивала статистику вычислений с хоста реестра через SSH.
По истечении заданного времени выполнения и завершении всех операций выгрузки или скачивания инструмент выдавал сводку и записывал подробные диагностические данные в несколько файлов. Это позволило в дальнейшем сравнивать разные запуски и конфигурации.
Все образы генерировались случайным образом, чтобы логика дедупликации Harbor не влияла на результаты тестов. Слои передавались из памяти напрямую в сетевой интерфейс.
Определение сценариев
Для наших тестов мы использовали четыре различных сценария.
Сценарий 1 «Push and Pull» был разработан для имитации реального использования реестра. Каждый симулированный клиент независимо выполнял скачивание или выгрузку образа с вероятностью 75% для скачивания и 25% для выгрузки. Размер и количество слоев различались для каждого образа, но в среднем составляли около 250 МБ и 25 слоев.
Сценарий 2 «Push Large» выполнял только операции выгрузки очень больших образов размером около 10 ГБ и с 25 слоями. Этот сценарий был нацелен на очень высокую и стабильную нагрузку.
Сценарий 3 «Push Many Layers» (250 МБ / 90 слоев) и сценарий 4 «Push Small» (10 МБ / 25 слоев) симулировали различные типы образов для выявления особенностей поведения, связанных с размером или количеством слоев.
Результаты тестов
В каждом тестовом запуске через пять минут новые действия больше не запускались; мы ждали завершения оставшихся выгрузок и скачиваний.
Сравнение разного количества клиентов
Сценарий 1 (Push and Pull) используется здесь для достижения наиболее реалистичной рабочей нагрузки на реестр.
Сценарий 1: Push and Pull
Сравнение сценария с 5 и 25 параллельными клиентами показало лишь незначительно более высокое среднее использование ЦП и памяти на CPX42. Аналогичная картина наблюдалась для средних скоростей приема и передачи данных по сети, которые также коррелировали со скоростью чтения и записи на диск. Это говорит о том, что реестр был уже насыщен при 5 клиентах.
Сценарий 1: Push and Pull
Поскольку тесты проводились на обычных виртуальных серверах Hetzner Cloud, ожидалось, что производительность будет колебаться из-за влияния других серверов на хост-машине или помех в стеке сетевых протоколов. Кроме того, самому Harbor требовалось некоторое время и ресурсы для обработки входящих запросов и данных.
В среднем выгрузка образа занимала 10 секунд при 25 одновременных клиентах и 3 секунды при 5 клиентах. Таким образом, при большем общем количестве одновременных клиентов выгрузка происходила быстрее. Что касается скачивания образов, производительность прямо пропорционально зависела от количества клиентов.
Сценарий 1: Отправка и получение (Push and Pull)
Та же закономерность проявилась при анализе пропускной способности клиентских данных изображений. Пропускная способность при получении и отправке для каждого клиента снижалась по мере увеличения числа одновременных клиентов. Тот факт, что в целом удавалось передать больше данных за то же время при большем числе одновременных клиентов, вероятно, был связан с более сбалансированным использованием вычислительных ресурсов и сети. Нагрузку удавалось лучше распределить между ядрами ЦП, а периоды простоя других соединений можно было задействовать в работе. Тесты показали увеличение пропускной способности до 60% при 25 клиентах.
Сценарий 1: Отправка и получение (Push and Pull)
Сравнение различных сценариев
Анализ достигнутых пиковых значений записи на диск показывает, что мы смогли полностью задействовать потенциал Hetzner Cloud Volumes, обеспечив скорость записи около 300 МБ/с в различных сценариях (ограничения Hetzner Cloud Volume). Только в сценарии «Push small», где наши смоделированные клиенты загружали образы размером около 10 МБ с примерно 25 слоями, накладные расходы на обработку возрастали настолько, что не позволяли достичь максимальной скорости Cloud Volume.
Сравнение всех сценариев
Сравнение средней нагрузки на ЦП в тех же 4 различных сценариях показало, что особенно малые образы или образы с большим количеством слоев создают высокую нагрузку на ЦП. Вероятно, это было обусловлено увеличением накладных расходов на обработку больших объемов метаданных для таких типов образов.
Сравнение всех сценариев
Сравнение различного оборудования
Сравнение различных типов Hetzner Cloud Server в сценарии отправки и получения показало, что ЦП являлся узким местом для CPX12 (1 вЦП; 2 ГБ ОЗУ) и CPX22 (2 вЦП; 4 ГБ ОЗУ). В то время как CPX32 (4 вЦП; 8 ГБ ОЗУ) и CPX42 (8 вЦП; 16 ГБ ОЗУ) достигали максимальной загрузки ЦП во время коротких всплесков, в среднем их загрузка оставалась намного ниже. Это говорит о том, что для этих более крупных серверов узким местом фактически являлась скорость записи Hetzner Cloud Volume, поскольку приведенная выше диаграмма скорости записи подтвердила достижение ожидаемого максимума в данном случае.
Что касается потребления памяти, все типы серверов находились в диапазоне от 1 до 2 ГБ. Увеличенный объем памяти у более крупных типов не оказал заметного влияния на производительность.
Сценарий 1: Отправка и получение (Push and Pull)
Давайте рассмотрим один тестовый запуск на CPX42 со сценарием 2 (push large) для создания стабильно высокой нагрузки на реестр. Размер диска рос стабильно, без резких пиков, что свидетельствует о нашей способности беспрепятственно принимать данные образов и записывать их на диск. Через некоторое время скорость записи на диск упала с примерно 300 МБ/с до 200 МБ/с, что соответствовало ожидаемым пиковым и постоянным скоростям записи. Реестр использовал диск на полную мощность. Хотя скорость сети колебалась значительно сильнее, в целом она также повторяла характер изменения скорости диска. Это говорит о том, что сеть не была узким местом в данном тестовом запуске.
Сценарий 2: Отправка больших объемов (Push Large)
Тот же сценарий, запущенный на CPX12, показал совершенно иную картину. Скорость записи на диск и скорость сети также совпадали. Этого и следовало ожидать, поскольку мы могли записывать на диски только те данные, которые предварительно получили. Обе величины сильно колебались в ходе теста, в то время как загрузка ЦП стабильно держалась на отметке 100%. Это указывает на то, что узким местом здесь был ЦП.
Сценарий 2: Отправка больших объемов (Push Large)
Заключение
Собранные данные по различным конфигурациям, а также результаты отдельных тестовых запускв демонстрируют устойчивую закономерность для скорости записи, где Hetzner Cloud Volumes являются наиболее очевидным узким местом созданной нами конфигурации реестра. Для небольших машин с числом ядер менее 4 узким местом также выступал ЦП. При работе с меньшими по размеру образами или образами с большим количеством слоев ЦП нагружался сильнее и быстрее становился ограничивающим фактором. В наших тестах мы наблюдаем увеличение использования ЦП примерно на 20 процентных пунктов для таких сценариев. Потребление памяти, судя по всему, не имело большого значения и существенно не возрастало при высокой нагрузке.
Настройка реестра оказалась весьма эффективной для обработки множества одновременных клиентов, выполняющих отправку и получение образов; вычислительные ресурсы распределялись между открытыми соединениями. В наших тестах не было обнаружено существенной разницы в использовании вычислительных ресурсов между 5 и 25 одновременными клиентами. Однако увеличение числа клиентов приводило к росту общей пропускной способности.
Данная серия тестов подтверждает, что Hetzner Cloud Servers отлично подходят для размещения контейнерного реестра на базе Harbor. На более крупных серверах по меньшей мере с 4 ядрами первым ограничением, с которым сталкиваются пользователи, является скорость записи Hetzner Cloud Volumes, которая стабилизируется на уровне около 200 МБ/с при постоянной нагрузке.
Мы полагаем, что предложенная конфигурация достаточна для команд и проектов малого и среднего размера. Особенно учитывая широкий диапазон размеров Hetzner Cloud Volumes, потенциальные пользователи могут легко создать решение, подходящее для самых разных сценариев использования.
Использование серверов Hetzner Cloud Servers более мощных, чем CPX42, может оказаться полезным при включении таких функций Harbor, как сканирование уязвимостей. Пользователи также могут выйти за рамки ограничений Hetzner Cloud Volume, используя локальные диски на серверах Hetzner Cloud Servers или интерфейс S3 в Harbor.
Инженерия
Alexander Ebhart
Старший разработчик программного обеспечения, Разработка сетевого ПО












