Когда мы только приступили к разработке CDC-коннектора для MongoDB, это казалось идеальным решением: полуструктурированная природа документов отлично подходила для нативного типа данных JSON в ClickHouse, колонковая архитектура ClickHouse обеспечивала до 100 раз более быстрые аналитические запросы, а непрерывная репликация с помощью ClickPipes означала, что теперь вы можете получать аналитику по операционным данным из MongoDB за секунды, а не часы.
Но новый CDC-коннектор никогда не бывает безупречным с самого начала. Кто-то обязательно выполнит решардинг своего кластера MongoDB в рабочее время. Кто-то массово удалит пару миллиардов документов во исполнение политики хранения данных. Кто-то поклянется, что поле никогда не будет равно null. Перенеся более 1,5 ПБ данных для сотен производственных клиентов и столкнувшись со всевозможными граничными случаями, мы рады объявить, что MongoDB CDC коннектор теперь официально доступен всем (Generally Available)!
Мы заменили наш пакетный конвейер на базе Fivetran на MongoDB ClickPipes, выполняя стриминг 250 коллекций из нескольких кластеров MongoDB напрямую в ClickHouse Cloud. Рефакторинг нашей платформы аналитики данных с использованием ClickPipes и ClickHouse Cloud позволил сократить задержку данных более чем на 90%. Это дает Cue — нашей ИИ-платформе для массового найма персонала — свежие данные, помогающие клиентам принимать решения о найме и управлении рабочей силой за считанные минуты. — Нейт Полек (Nate Polek), ведущий инженер по обработке данных, Fountain
Мы заменили наш пакетный конвейер на базе Fivetran на MongoDB ClickPipes, стримя 250 коллекций из нескольких кластеров MongoDB напрямую в ClickHouse Cloud. Рефакторинг нашей платформы аналитики данных для использования ClickPipes и ClickHouse Cloud сократил задержку данных более чем на 90%. Это дает Cue, нашей ИИ-платформе для массового найма, свежие данные, чтобы помогать клиентам принимать решения о найме и персонале за считанные минуты — Нейт Полек, ведущий инженер по обработке данных, Fountain
Коннектор использует нативный интерфейс Change Streams от MongoDB для захвата всех изменений документов с минимальной задержкой, обеспечивая синхронизацию практически в реальном времени между MongoDB и ClickHouse Cloud. Эта комбинация создает мощную архитектуру для современных приложений, которым требуются как операционная гибкость, так и аналитическая производительность, и позволяет держать кластеры MongoDB сфокусированными на обслуживании критически важных операционных нагрузок, пока ClickHouse Cloud обрабатывает сложные аналитические запросы, отчеты и задачи бизнес-аналитики.
Создание снимков (snapshotting) — критически важная операция для обеспечения согласованности данных в CDC-конвейерах, но она часто связана с обработкой и загрузкой сотен гигабайт документов из производственного кластера. Вы хотите, чтобы этот процесс был быстрым, позволяя вам оперативно запуститься и восстановиться после сбоев, но при этом оказывал минимальное влияние на исходную систему.
До сих пор MongoDB CDC коннектор создавал снимки каждой коллекции в один поток, из-за чего начальная загрузка больших коллекций могла длиться мучительно долго. Теперь это в прошлом: ClickPipes автоматически разбивает каждую коллекцию на диапазоны на основе идентификатора документа (_id) и распределяет работу, чтобы создание снимков по умолчанию происходило быстро.
И поскольку реальные коллекции редко растут равномерно во времени, ClickPipes выполняет выборку (сэмплирование) каждой коллекции для подбора сбалансированных границ разделов, поэтому вы получаете такое же ускорение даже при поступлении данных всплесками или в виде большой исторической загрузки.
Документо-ориентированная модель MongoDB создает сложные вложенные данные, с которыми традиционным ETL-инструментам часто сложно разобраться. По умолчанию MongoDB CDC ClickPipes реплицируют документы в нативный тип данных JSON в ClickHouse, сохраняя их исходную структуру и одновременно обеспечивая высокопроизводительные аналитические запросы, эффективное сжатие и полную гибкость по мере эволюции схем. Это здорово, если вам нужна гибкость в ущерб удобству, но всю работу по уплощению (flattening) схем и извлечению полей приходится выполнять вам.
В версии GA у вас появилась возможность переложить эту работу на ClickPipes. Структурированная загрузка выполняет выборку данных из вашей коллекции, выводит схему и отображает поля верхнего уровня документа в типизированные столбцы ClickHouse в момент загрузки. В результате получается обычная таблица со строгой типизацией, которую можно запрашивать без приведения типов или извлечения полей, с дополнительной магией для обработки документов, не вписывающихся в выведенную схему.
Поля, не вошедшие в исходную схему, реплицируются в JSON-колонок _peerdb_malformed_data с ключом по имени поля и флагом "unexpected_field": true, что позволяет получить доступ к значениям до добавления нового столбца в целевую таблицу без перезагрузки исторических данных.
Значения, не соответствующие выведенному типу, не отбрасываются. Вместо этого они сохраняются в JSON-колонке _peerdb_malformed_data с ключом по имени поля и флагом "type_mismatch": true, так что вы все равно можете запрашивать их и исправить данные в источнике.
В будущем мы добавим поддержку более сложного уплощения (т. е. выходящего за рамки полей верхнего уровня) по мере дальнейшего развития MongoDB CDC коннектора.
Поскольку MongoDB является бессхемной, это породило специфические трудности при поддержке некоторых функций, которые уже есть в других наших CDC-коннекторах. Чтобы приблизить набор функций MongoDB CDC коннектора к уровню Postgres и MySQL CDC, этот релиз GA включает:
- Настройка целевой таблицы: благодаря структурированной загрузке коллекции MongoDB попадают в обычные, хорошо типизированные таблицы ClickHouse вместо единого столбца JSON. Это означает, что процесс создания ClickPipe теперь предлагает такие же детализированные настройки таблиц для MongoDB, как и для других CDC-источников: исключайте ненужные поля, разделяйте (партиционируйте) целевую таблицу для удобства эксплуатации и выбирайте ключи сортировки, соответствующие вашим паттернам запросов.
Настройка целевой таблицы: со структурированным вводом данных коллекции MongoDB попадают в виде обычных, хорошо типизированных таблиц ClickHouse, а не одного столбца JSON. Это означает, что процесс создания ClickPipe теперь предлагает такую же детальную настройку таблиц для MongoDB, как и для других источников CDC: исключайте ненужные поля, партиционируйте целевую таблицу для упрощения работы и выбирайте ключи сортировки, соответствующие вашим шаблонам запросов.
- Обработка удалений: при удалении документа MongoDB по умолчанию отправляет только его _id, поэтому удаления не могут быть сопоставлены со строками в таблицах, которые партиционированы или отсортированы по полям, отличным от первичного ключа. Чтобы предотвратить это, теперь вы можете включить для каждой коллекции параметр включения полных значений документов в события удаления. Если вы регулярно очищаете данные из MongoDB для соблюдения политик хранения, теперь вы также можете отфильтровывать удаления на стороне источника и сохранять всю историю в ClickHouse.
Обработка удалений: когда документ удаляется, MongoDB по умолчанию отправляет только _id документа, поэтому удаления не могут быть сопоставлены со строками в таблицах, которые секционированы или отсортированы по полям, отличным от первичного ключа. Чтобы предотвратить это, теперь вы можете включить для каждой коллекции, чтобы включать полные значения документов в события удаления. Если вы регулярно очищаете данные из MongoDB для обеспечения соблюдения сроков хранения, теперь вы также можете отфильтровывать удаления на уровне источника и сохранять всю историю в ClickHouse.
Хотя этот коннектор с самого начала был полностью интегрирован в ClickHouse Cloud, CDC ClickPipes страдал от недостатка средств наблюдаемости: отладка медленного CDC-пайплайна раньше требовала определенных догадок или подачи запроса в службу поддержки, чтобы выяснить, где именно находится узкое место — на стороне источника в MongoDB, на стороне назначения в ClickHouse или где-то посередине.
К моменту релиза GA мы расширили встроенные метрики и мониторинг, добавив в них отчеты об использовании ресурсов и задержках. Следующие метрики теперь доступны в пользовательском интерфейсе ClickPipes и в конечной точке Prometheus в ClickHouse Cloud:
Теперь вы можете самостоятельно расследовать сценарии, в которых может потребоваться масштабирование CDC ClickPipes (например, во время создания снимков (snapshotting) или всплесков трафика), исключать исчерпание ресурсов в качестве первопричины задержки репликации и выполнять другие базовые операции по устранению неполадок.
- Использование CPU: количество задействованных ядер по отношению к выделенным для всех CDC ClickPipes в сервисе, или объем вычислительных ресурсов, которые процессы извлечения (pull) и отправки (push) используют в данный момент.
- Использование памяти: объем потребляемой памяти по отношению к выделенной для всех CDC ClickPipes в сервисе, или сколько ОЗУ процессы извлечения и отправки занимают в данный момент.
- Пропускная способность входящего сетевого трафика: входящая пропускная способность пайплайна, или объем данных, извлекаемых из источника в секунду.
Теперь также проще понять актуальность ваших данных и определить, где возникают задержки репликации: на стороне источника, на стороне ClickHouse или между ними.
- Задержка источника: насколько процесс извлечения отстает от API Change Streams в MongoDB, или время между изменением в MongoDB и его извлечением ClickPipes.
- Задержка назначения: сколько времени требуется извлеченным изменениям для записи в ClickHouse, или время между извлечением изменения и моментом, когда оно становится доступным для запросов в месте назначения.
- Сквозная задержка (end-to-end): сумма обеих метрик выше, или общее время от момента изменения в MongoDB до его появления в ClickHouse.
ClickOps (т. е. нажатие кнопок в пользовательском интерфейсе) полезен для быстрого знакомства с системой, однако командам, занимающимся продакшн-развертываниями, требуются стандартные инструменты вроде Terraform для безопасного, детерминированного и контролируемого версиями создания и управления ресурсами. Как и другие типы ClickPipes, MongoDB CDC ClickPipes можно настраивать с помощью Open API и Terraform (v3.14.0+). Если вы хотите перенести свои существующие ClickPipes под контроль исходного кода, следуйте инструкциям в этом блоге, чтобы импортировать эти ресурсы в ваше состояние Terraform.
Внесение финальных штрихов в коннектор MongoDB CDC для подготовки его к релизу GA потребовало больше работы по разработке, чем мы можем уместить в одной статье блога (не обошлось и без внешнего вклада; выражаем благодарность Абхашу Соланки (Abhash Solanki) за его работу над репликацией предсостояний (pre-image) для операций удаления 🫡). Если вы хотите углубиться в детали, рекомендуем изучить репозиторий PeerDB для получения полного обзора изменений.
В рамках этого перехода тарификация для MongoDB CDC ClickPipes активна с 4 ноября 2026 года и будет отражена в следующем расчетном периоде для вашей учетной записи ClickHouse Cloud. Для коннектора предусмотрена предсказуемая модель ценообразования на основе объема данных с фиксированной стоимостью вычислений за сервис, которая распределяется между всеми CDC ClickPipes любого типа. Коннектор MongoDB CDC обходится в 5–10 раз дешевле сторонних ETL-инструментов, что отражает наше стремление сделать ClickPipes удобным и доступным средством связи между ClickHouse Cloud и вашими различными источниками данных. Дополнительные сведения см. в документации по тарификации ClickPipes.
Коннектор MongoDB CDC доступен как новым, так и существующим клиентам ClickHouse Cloud во всех тарифных планах. Чтобы начать работу, перейдите на вкладку «Источники данных» в консоли ClickHouse Cloud, настройте параметры подключения для вашего кластера MongoDB — и всё готово!
Пошаговые инструкции, ответы на часто задаваемые вопросы и возможные подводные камни вы найдете в документации по MongoDB ClickPipes.
