На прошлой неделе несколько сотрудников HouseCats посетили конференцию Postgres Summit US 2026 в Нью-Йорке, спонсором которой выступила ClickHouse. Мне понравилась дорога: всего 20-30 минут на метро каждый день. Мои коллеги Зои, Амог и Джош прилетели, чтобы работать на нашем стенде и общаться с сообществом. Мы отлично поужинали вместе в The Tyger и Raku, мероприятие было организовано Зои. Было очень весело!
В первый день, в среду, я сразу же влился в естественную атмосферу конференции. Многие участники подходили к нашему стенду не только ради наших желтых слонов и крутых стикеров или возможности выиграть Pikachu мягкую игрушку в Totoro рюкзаке, но и чтобы узнать, как именно мы интегрируем Postgres и ClickHouse.
К счастью, я вел раннюю сессию как раз на эту тему — Postgres в ClickHouse. Мы пригласили всех желающих, и пришло очень много людей. Выступление началось с небольшой предыстории о ClickHouse, открытой аналитической базе данных, платформе ClickHouse Cloud и о том, как наш новейший продукт ClickHouse Managed Postgres вписывается в наше видение стека данных по умолчанию. Спойлеры: бесшовно используйте Postgres для OLTP нагрузок и ClickHouse для OLAP нагрузок.
Как именно бесшовно? Я продемонстрировал четыре наши технологии, которые упрощают интеграцию Postgres и ClickHouse:
- pg_stat_ch записывает метрики каждого запроса Postgres в аналитический стек ClickHouse для глубокого анализа запросов. Спасибо Амогу за то, что помог восполнить пробелы в моих знаниях и ответить на некоторые вопросы об этом.
- pg_clickhouse, мое детище, позволяет выполнять запросы к таблицам ClickHouse из Postgres с помощью нативного SQL Postgres. В настоящее время эта технология переносит 16 из 22 запросов TPC-H в ClickHouse, поддерживая почти все типы данных Postgres и агрегатные функции.
- Модуль chdb_hook обеспечивает эффективный и гибкий импорт и экспорт файлов озера данных путем передачи URL-адреса в команду Postgres. Он поддерживает все форматы данных ClickHouse и облачные хранилища объектов, превосходя аналогичные расширения.
- WalShadow обеспечивает физическую репликацию из Postgres в ClickHouse для обеспечения видимости данных вашими аналитическими запросами менее чем за секунду.
Демонстрация функций и результаты бенчмарков доставили мне особое удовольствие, так как многие кивали головами, делая мысленные или буквальные пометки для дальнейшего изучения. И они действительно продолжили общение. На стенде было много вопросов о продуктах и интеграции, а несколько человек останавливали меня в кулуарах, чтобы узнать больше.
Позади остался стресс от выступления, и я смог расслабиться, посещая по несколько сессий в день, которые вели как старые, так и новые друзья. Вот несколько ярких моментов.
Коммиттер Postgres Роберт Хаас представил pg_plan_advice — функцию, добавленную им в грядущий релиз Postgres 19, и рассказал о некоторых лежащих в ее основе технических проблемах и принятых решениях. Я ценю преданность коммиттеров Postgres идее не добавлять «подсказки» (hints) в синтаксис SQL; тем не менее, эта функция кажется отличным инструментом, дающим пользователям возможность влиять на планировщик без изменения их SQL-запросов.
Коммиттер Питер Геогхеган выступил с докладом «Обзор префетчинга индексов», который он надеется подготовить к выходу Postgres 20. Это нововведение обеспечивает значительное ускорение за счет параллелизма Asynchronous I/O для обычных сканирований индексов (в отличие от битовых сканирований, которым требуется сортировка данных после чтения). Оно обещает наибольший прирост для некэшированных данных, где производительность параллельного чтения соответствует битовому сканированию индексов. Как отметила организатор конференции Челси Доул, Питер часто создает функции, не требующие усилий: когда префетчинг индексов появится в релизе, для его использования не потребуется никаких дополнительных действий! Каждый, кто обновится до Postgres 20, просто получит более высокую производительность сканирования индексов.
Коммиттер Амит Капала сделал обзор спектра открытых CDC-плагинов. Каждый из них служит определенному сценарию использования: встроенная логическая репликация для физических резервных копий, Debeezium для потоковой передачи событий и наш собственный PeerDB для хранилищ данных. Я восхищаюсь преданностью Амита делу постоянного совершенствования логической репликации. Интересно, что он думает о WalShadow? Надо было спросить.
Гэри Эванс из Fujitsu выступил с занимательным докладом о долгой истории технологий, которые обещали «убить» SQL и PostgreSQL. Он показал довольно обширное кладбище технологий, включая NoSQL, масштабирование («web scale») и векторный поиск — все они появлялись в специализированных серверах баз данных, а затем были вытеснены новыми функциями или расширениями Postgres (JSON/JSONB, Citus, pgVector).
Клэр Джордано из Microsoft представила увлекательную презентацию об основах репликации в Postgres. Ее секретное декодирующее кольцо многому научило меня, дилетанта в вопросах репликации.
Евангелист сообщества Бенедикт Кофи Амофа рассказал нам о стремительно развивающихся организациях Postgres в Африке, начав с Мадагаскара, Кении, Ганы, Камеруна и Того, причем на подходе новые. Естественно, эти стихийные группы пользователей зеркально повторяют ранний опыт организаторов сообщества в Южной Америке, а еще раньше — в Северной Америке и Европе. Скоро весь мир будет работать на Postgres!
Габриэле Феди из EnterpriseDB covered рассказал об истории и текущем статусе упаковки расширений для CloudNativePG. Для меня это было забавно, так как я помог добавить функцию extension_control_path в Postgres, которая позволяет CloudNativePG загружать файлы расширений из доступного только для чтения OCI-образа в Kubernetes. В знак признания этого я потратил немного времени на выходных, чтобы добавить OCI-образ расширения CloudNativePG в pg_clickhouse.
Меня очень заинтересовал The Pager is the Product: PostgreSQL in Cloud Environments доклад Стивена Брендона из Apple. Увы, мне пришлось уйти через десять минут, потому что меня вызвали! 🤣 (Не волнуйтесь, все было в порядке).
Я также встретился и пообщался с множеством людей в кулуарах. Я пообщался с моим бывшим коллегой Кристофом Петтусом из PGX по поводу продолжающегося проекта по добавлению Mac Mini на сборочную ферму Postgres; с Домиником Прейссом из VillageSQL — об экосистеме расширений Postgres; и с Дэйвом Крамером из AWS — о проблемах поддержки расширений с открытым исходным кодом и других инструментов экосистемы у разных вендоров и провайдеров.
Я предложил Дэйву посетить сессию Postgres Ecosystem Foundation PGConf.EU в ноябре, где мы будем разрабатывать стратегии для решения именно этих проблем. Я соорганизую эту полудневную сессию вместе с коллегами из Percona, EDB и PgEdge. Дэйв не сможет прийти в этот день, но вам обязательно стоит побывать!
К слову об расширениях, я также пообщался с Соумавой Гош и Кори Хуинкер из Apple, Дивьей Бхаргов из Microsoft и Лукасом Фиттлом из pganalyze по поводу различных вопросов, включая обновление расширений, обновление мажорных версий Postgres, отладку проблем расширений (и ядра Postgres!). Тарус Балог из Percona увлеченно рассказывал об использующих Postgres расширениях ClickHouse и инструментах, затронутых в моем докладе.
— это небольшая, но растущая конференция. Тем не менее, я пообщался с таким количеством людей! Мне было приятно встретиться и пообщаться с Джо Конуэем (AWS), Робертом Тритом (AWS), Стейси Хейслер (PGX), Челси Доул (Citadel), Габриэле Бартолини (EDB), Питером Геогеганом (AWS), Кори Хьюинкером (Apple), Йелте Феннема-Нио (MotherDuck), Клэр Джордано (Microsoft), Брюсом Момджяном (EDB), Яном Виком (сам по себе), Джонатаном Кацем (Databricks), а также инженерами из Supabase, Aiven, Apple, Pinecone и как минимум 8 других компаний, названия которых я сейчас не вспомню.
После этого я проспал почти все выходные.
В календаре событий PostgreSQL ежегодно перечисляются десятки глобальных, региональных и локальных конференций сообщества Postgres. Может быть, сотни? Не знаю, их очень много. Это был первый опыт спонсорства ClickHouse на конференции по Postgres, но только начало. На мой взгляд, отличное начало. Далее мы будем спонсировать в Валенсии в ноябре. Я буду там, чтобы рассказать о вышеупомянутом проекте Postgres Ecosystem Foundation, а также о том, как внести свой вклад в документацию PostgreSQL. Увидимся в Валенсии!
