«Путь в тысячу ли начинается с первого шага». — Лао-цзы, «Дао дэ цзин», глава 64
В прошлом месяце мы представили CAS — новое S3-хранилище для таблиц ClickHouse MergeTree. С тех пор мы работали над улучшениями и выпустили три обновления. Клиенты Altinity также тестируют CAS на реальных данных. В этой статье мы проведем прямое сравнение производительности CAS и обычного MergeTree на базе S3 в нескольких типичных сценариях. Мы покажем, что CAS — это готовая замена хранилища для S3-backed MergeTree, которая значительно снижает затраты на хранение.
Подготовка к тестированию
Для этого теста мы развернем кластер из двух реплик в AWS на узлах c8g.2xlarge и настроим диски S3 и CAS. В таблице ниже представлены обе конфигурации для сравнения. Конфигурации практически идентичны, единственное различие — теги metadata_type и cas_server_root_id, необходимые для включения CAS.
<s3_cache> <type>cache</type> <disk>s3</disk> <path>s3_cache/</path> <max_size>50Gi</max_size> </s3_cache> </disks> </storage_configuration></clickhouse>
Мы можем проверить system.disks и system.storage_policies, чтобы убедиться, что диски и политики настроены:
Как видите, настройка диска CAS так же проста, как и обычного диска S3.
После настройки дисков мы можем приступить к тестированию загрузки данных и производительности запросов. Для этого мы будем использовать две сборки Antalya:
- 26.6.8.20002.altinityantalya — последняя доступная публичная сборка на момент написания статьи
- 26.8.34.20001.altinityantalya — версия для разработки, которая должна выйти через две недели
Одноуровневая вставка данных
Сначала мы создадим таблицы, которые полностью хранятся в объектном хранилище с использованием настроек ClickHouse по умолчанию. Это экстремальный случай. Основной сценарий использования S3-backed MergeTree (как для обычной, так и для CAS-реализации) — это уровень, на который данные перемещаются с помощью заданий TTL. Но этот экстремальный тест позволяет нам выделить различные характеристики подходов, которые в противном случае могли бы остаться незамеченными.
Например, мы создаем таблицы и загружаем данные из публичного набора данных «ontime» следующим образом:
Аналогично для таблицы CAS:
Вот результаты, показывающие время в секундах для различных сценариев загрузки:
Как видите, CAS значительно медленнее при вставке данных. Мы объясним это при анализе нагрузки на S3 ниже.
Размер данных, сообщаемый ClickHouse, идентичен, с очень небольшим преимуществом в пользу CAS:
Однако ситуация кардинально меняется, если заглянуть в бакет S3:
- clickhouse/cas-demo2 (обычный S3): 29,8 ГБ и 108 140 объектов
- cas/cas-demo2 (CAS): 14,9 ГБ и 52 768 объектов.
Таким образом, CAS хранит одну копию данных и также сокращает количество хранимых объектов!
Многоуровневая вставка данных
Текущий основной сценарий использования S3-backed MergeTree (как для CAS, так и для обычного S3) — это многоуровневая конфигурация, где «горячие» данные вставляются в локальное хранилище, а затем перемещаются на «холодный» уровень с помощью заданий TTL. Поэтому давайте сначала создадим дополнительные политики хранения:
Обратите внимание, что мы отключили perform_ttl_move_on_insert. Мы хотим убедиться, что данные сначала попадают на локальный том хранения по умолчанию, даже если соответствующий раздел подлежит TTL.
Теперь мы создадим новый набор таблиц с использованием многоуровневого хранения для S3 и CAS. Вот пример для CAS, для S3 он идентичен:
Вставка будет направлена на диск по умолчанию, но поскольку данные старше одного года, они начнут перемещаться на диск S3 или CAS в фоновом режиме. Так что этот тест также является своего рода экстремальным случаем; в реальных приложениях фоновые перемещения будут запускаться гораздо позже.
Вот время вставки для всех трех проведенных тестов:
Как видите, вставка в гибридную таблицу происходит намного быстрее. Здесь CAS набирает обороты, но все еще медленнее. В последней сборке он почти достигает паритета с обычным S3.
Причина более низкой производительности при вставке в многоуровневую таблицу заключается в глобальной блокировке метаданных при перемещении частей в фоновом режиме, что также влияет на вставки на диски, не являющиеся CAS. В сборке 26.6.8 показатель PartsLockWaitMicroseconds составил 150 секунд для CAS! В версии 26.8 он был сокращен до 7 секунд, что и объясняет улучшение. Существует отчет об ошибке #2772, поэтому мы ожидаем, что производительность можно будет улучшить еще больше.
Нагрузка на S3
Чтобы понять, почему диск CAS медленнее при вставках, давайте извлечем соответствующие статистические данные из журнала запросов. Мы использовали специальные маркеры log_comment в запросах, что упрощает их поиск:
CAS записывает данные немного быстрее (S3WriteMicroseconds) и генерирует меньшее количество объектов (S3PutObject) за счет объединения небольших файлов в манифесты. Это также снижает затраты, поскольку запросы PUT являются наиболее дорогими.
Однако CAS также выполняет множество операций GET (S3GetObject) и HEAD (S3HeadObject), которые значительно замедляют вставку.
Мы уже работаем над улучшениями, которые должны сократить количество операций S3. Ожидается, что CAS будет медленнее при записи, поскольку он хранит и синхронизирует состояние в бакете S3, а не в Keeper, но разница не будет значительной.
Производительность запросов
Поскольку базовой реализацией во всех случаях является MergeTree, производительность запросов практически одинакова для «горячих» данных, когда они кэшируются на локальном диске. Диски S3 и CAS показывают почти идентичные цифры и соответствуют MergeTree на локальном диске. Основное различие заключается в производительности при работе с «холодными» данными. Мы протестировали запросы, используя различные подходы, включая популярный ClickBench. Вот сводка результатов ClickBench, показывающая общее время выполнения для «холодных» и «теплых» запусков:
В двух словах, вы можете ожидать той же производительности запросов и применять те же методы кэширования к таблицам на базе CAS, что и к обычным таблицам S3. CAS может иметь небольшое преимущество при «холодном» запуске из-за упаковки нескольких небольших файлов вместе в манифест. Однако в версии 26.8 появился новый тип хранения частей «Packed», который может нивелировать эту разницу. Мы еще не тестировали его.
Большое улучшение придет с распределенным кэшем, используемым репликами. Это есть в дорожной карте разработки CAS на 2027 год.
Итог
В этой статье мы сравнили производительность обычного S3 и CAS в типичных сценариях конечных пользователей — от настройки до загрузки данных и выполнения запросов. CAS — это готовая замена для обычных дисков S3 в ClickHouse. В прямой записи CAS еще многое предстоит улучшить. Однако в многоуровневом хранилище производительность в последних сборках Antalya почти на одном уровне с обычным S3, поскольку файлы объединяются на «горячем» уровне перед загрузкой в S3. Производительность запросов также идентична обычным таблицам ClickHouse S3.
Главное преимущество CAS — стоимость. Поскольку он хранит одну копию данных, он в 2-3 раза дешевле обычного S3 для типичных инсталляций ClickHouse. Кроме того, в нем нет проблемы «осиротевших» объектов, оставшихся в бакетах S3, которые значительно увеличивают стоимость эксплуатации производственных кластеров ClickHouse с обычным объектным хранилищем S3.
Важно отметить, что миграция с локального хранилища или обычного S3 на хранилище CAS абсолютно прозрачна. Она требует только изменения политики и команд ALTER. Мы обсудим это отдельно.
В следующей статье мы планируем более подробно поговорить о стоимости. Следите за обновлениями!
Присоединяйтесь к нашему Slack
ClickHouse является зарегистрированным товарным знаком ClickHouse, Inc.; Altinity не связана и не аффилирована с ClickHouse, Inc.
Получайте последние новости о ClickHouse прямо в свой почтовый ящик каждый месяц.












