JSON — это лингва франка для работы с слабоструктурированными и неструктурированными данными в современных системах, обеспечивающая всё: от логирования и наблюдаемости до потоковой передачи данных в реальном времени, хранения данных мобильных приложений и пайплайнов машинного обучения.
Документные базы данных, такие как MongoDB, позволяют легко начать работу с JSON. Как только сервер запущен, вы можете вставлять документы без предварительного объявления их полей или типов. Документы не обязаны иметь одинаковую структуру. Начало работы кажется очень простым.
ClickHouse тоже так умеет. Создайте таблицу с единственной колонкой типа JSON, и вы сможете вставлять документы по мере их поступления, независимо от их структуры, без предварительного определения полей внутри них.
Первые документы — это просто. Теперь давайте выполним агрегацию по миллиарду документов в MongoDB и ClickHouse.
Запрос ниже взят из JSONBench, нашего открытого бенчмарка для аналитики над JSON.
Для этого теста мы используем реальные события Bluesky с их исходной вложенной JSON-структурой, а не упрощенные посты выше. Каждый документ представляет собой событие, такое как пост, лайк или репост. Мы посчитаем, какие типы событий встречаются чаще всего.
Соответствующий запрос для MongoDB:
Запрос для ClickHouse:
Результат — это список типов событий и их количества, отсортированный от наиболее частых к наименее частым.
ClickHouse возвращает результат за 661 мс при холодном запуске. MongoDB требуется 32 минуты и 26 секунд. Оба теста выполняются на одном и том же типе оборудования с использованием опубликованных конфигураций бенчмарка. Горячие запуски показаны рядом с ними.
ClickHouse применяет к JSON свое нативное колоночное хранилище, сжатие и параллельный движок выполнения запросов. Документы сохраняют свою гибкость, в то время как запросы выигрывают от чтения и обработки только тех полей, которые им необходимы.
Мы представили JSONBench в январе 2025 года с пятью системами: ClickHouse, MongoDB, Elasticsearch, DuckDB и PostgreSQL. Каждая из них тестировалась на одних и тех же данных Bluesky с пятью аналитическими запросами.
В первоначальном сравнении ClickHouse стабильно превосходил все остальные протестированные хранилища JSON по производительности запросов и эффективности хранения. Ускорение аналитических запросов достигало тысяч раз, а сохраненный JSON занимал даже меньше места, чем сжатые исходные файлы.
На графиках используется комбинированная оценка JSONBench, которая объединяет время выполнения горячих и холодных запросов, время загрузки и размер хранилища. Чем ниже показатель, тем лучше. Исторический график применяет сегодняшний расчет к первоначальным измерениям, опуская время загрузки, поскольку тогда оно не фиксировалось.
У конкурентов было почти два года, чтобы догнать. Алексей Миловидов, создатель ClickHouse, возродил JSONBench, объединил вклад сообщества и добавил новые системы. Первоначальные пять систем были протестированы заново с новыми версиями и обновленными конфигурациями. ClickHouse по-прежнему лидирует в их сравнении на миллиарде документов.
Список участников вырос с пяти до 27 database engines, включая OpenSearch, Apache Doris, Databend, SingleStore, SQLite и Umbra. На следующем графике показаны 14 выбранных участников с оценками на миллиарде документов на том же типе оборудования. ClickHouse лидирует и в этом более широком сравнении.
Текущие графики показывают комбинированные оценки относительно ClickHouse, принятого за 1.0. Чем ниже, тем лучше. Это баллы бенчмарка, а не множители времени запроса; неуспешные запросы и неполные загрузки получают штрафы.
Со времени выхода первоначального JSONBench мы выпустили 178 changes для нативного типа JSON в ClickHouse, включая улучшения производительности, новые функции и исправления.
Сюда входят более быстрое чтение и меньшее потребление памяти, новые индексы по именам полей JSON и values, прямая поддержка JSON в Parquet и возможность добавлять подсказки типов без перезаписи исторических данных.
На графике ниже желтым цветом показаны пулл-реквесты для JSON, а серым — работа над вспомогательным типом Dynamic. Dynamic сохраняет исходные типы, когда поле JSON содержит различные типы значений в разных документах.
И это еще не всё. Зонтичная задача по JSON отслеживает текущую работу и принимает запросы на новые функции.
JSONBench теперь также является частью нашего бенчмарка версий (Versions Benchmark), где вы можете отслеживать производительность запросов JSON от релиза к релизу.
JSONBench — это открытый бенчмарк с публичными данными, запросами, конфигурациями и результатами. Вы можете воспроизвести измерения, проверить, как тестируется каждая система, и внести свои улучшения.
Если вы знаете, что система может показать лучший результат, предложите улучшенную конфигурацию или запрос. Если вашей базы данных нет в списке, добавьте её. Мы рады вендорам и участникам сообщества.
JSON — это лингва франка для логов, событий, приложений и пайплайнов машинного обучения. ClickHouse сочетает в себе гибкость сохранения документов по мере их поступления с быстрой аналитикой и эффективным хранением в любых масштабах. Это дает людям и агентам единый аналитический движок для создаваемых ими приложений, наблюдаемых систем и расследуемых событий безопасности.












