Подключайте Power BI к ClickHouse напрямую через Arrow Flight SQL.
ClickHouse хранит данные в столбцах. Power BI хранит данные в столбцах. До сих пор передача данных между ними означала преобразование в строки и обратно.
Сегодня мы анонсируем коннектор ClickHouse Arrow Flight для Power BI, который перешел в стадию публичного тестирования. Он соединяет Power BI напрямую с ClickHouse через Arrow Flight SQL — открытый стандарт, к которому стремится вся экосистема данных, — и позволяет сохранять колоночный формат данных на всем пути.
На практике это означает три вещи: обновление данных происходит непосредственно из службы Power BI без необходимости развертывания промежуточных компонентов, загрузка больших объемов данных выполняется быстрее, а ClickHouse тратит значительно меньше ресурсов на их обработку.
Существующий коннектор ClickHouse для Power BI основан на ODBC. Он отлично зарекомендовал себя во многих дашбордах и продолжает полностью поддерживаться. Однако возможности подключения в Power BI смещаются в сторону драйверов, нативных для Arrow, и новый коннектор создан с учетом этого вектора развития платформы. Причина кроется в структуре данных.
Технология ODBC была разработана в начале девяностых и передает данные в виде строк. Поэтому каждое обновление данных требует извлечения колоночных данных из ClickHouse, их преобразования в строки, передачи и последующего обратного преобразования в столбцы внутри Power BI. Это работает. Но это немного похоже на перевод книги на другой язык и обратно, чтобы два человека, говорящие на одном языке, могли ее прочитать.
Новый коннектор исключает этот этап перевода.
Строки против столбцов: одна и та же таблица, переданная двумя способами. Пример данных.
В ClickHouse интерфейс Arrow Flight появился начиная с версии 25.8, а в версии 26.4 мы его существенно переработали, но до сих пор не представляли официально. Поэтому вот краткая суть. Это три идеи, объединенные вместе.
- Apache Arrow — это стандарт представления таблицы в памяти, столбец за столбцом, с типизированными непрерывными буферами. Если две программы «говорят» на языке Arrow, одна может передать таблицу другой без каких-либо преобразований.
- Arrow Flight — это протокол для передачи таких таблиц Arrow по сети, построенный на базе gRPC. Пакеты данных передаются по сети в том же виде, в котором они хранятся в памяти.
- Arrow Flight SQL добавляет функциональность базы данных: отправка SQL-запроса, получение пакетов Arrow в ответ, а также метаданные, необходимые клиенту для обнаружения таблиц и типов.
Есть четвертое название, которое вы увидите рядом с ними: ADBC (Arrow Database Connectivity). Это клиентский API, нативный аналог ODBC и JDBC для Arrow. Приложение взаимодействует с ADBC, а драйвер ADBC передает команды Flight SQL на сервер.
У нас есть и такой: ClickHouse поддерживает собственный open-source драйвер ADBC для приложений, которым нужен нативный клиент Arrow (он взаимодействует с ClickHouse по HTTP). Коннектору Power BI он не нужен, так как Power BI сам поставляет драйвер Flight SQL, но он доступен, если вы создаете что-то свое.
Со стороны ClickHouse это еще один интерфейс на еще одном порту. Достаточно нескольких строк на Python, чтобы увидеть, как это работает:
Эта таблица — настоящая таблица Arrow. Ничего не парсилось из текста, и ни одно значение не было преобразовано в процессе.
Потому что альтернатива — это когда каждый инструмент изобретает свой собственный способ передачи данных каждому другому инструменту, оплачивая «налог на конвертацию» на каждой границе.
За последние несколько лет экосистема данных незаметно пришла к Arrow как к общему формату. Apache Spark использует его для перемещения данных между JVM и Python. pandas может использовать Arrow в качестве основы для своих DataFrame, а Polars с самого начала построен на модели памяти Arrow. DataFusion — это движок запросов, который является нативным для Arrow от начала до конца, а DuckDB читает и записывает Arrow без копирования. В области трансформации данных dbt v2 и его движок Fusion взаимодействуют с хранилищами через драйверы ADBC.
И теперь «последняя миля» догоняет: инструменты BI и визуализации. Microsoft переводит подключение Power BI и Fabric на ADBC и Flight SQL, что и делает этот коннектор возможным.
«Наша цель — сделать Microsoft Fabric самым простым местом для подключения, интеграции и получения ценности из данных, где бы они ни находились. Новый коннектор ClickHouse использует современный стек подключения данных Fabric с ADBC и Flight SQL, предоставляя клиентам высокопроизводительный путь к их данным в ClickHouse, основанный на открытых стандартах». Фейсал Мохамуд, корпоративный вице-президент по интеграции данных в Microsoft
«Наша цель — сделать Microsoft Fabric самым простым местом для подключения, интеграции и получения ценности из данных, где бы они ни находились. Новый коннектор ClickHouse использует современный стек подключения данных Fabric с ADBC и Flight SQL, предоставляя клиентам высокопроизводительный путь к их данным в ClickHouse, основанный на открытых стандартах».
Фейсал Мохамуд, корпоративный вице-президент по интеграции данных в Microsoft
Один колоночный формат в основе, один протокол для передачи и растущий список инструментов поверх.
Для колоночной базы данных это отличная новость вдвойне. Данным никогда не приходится покидать свою естественную форму, а один хорошо построенный интерфейс обслуживает целую экосистему клиентов.
Служба Power BI уже поставляется с драйвером ADBC для Flight SQL. Новый коннектор использует его для открытия gRPC-соединения, зашифрованного с помощью TLS, напрямую к интерфейсу Arrow Flight в ClickHouse. Запросы отправляются как SQL. Результаты возвращаются как пакеты записей Arrow.
Вот и все 🙂
Для работы ODBC-коннектора требуется шлюз (gateway) между службой Power BI и ClickHouse. Коннектор Arrow Flight подключается напрямую.
Поскольку служба Power BI сама устанавливает это соединение, нет необходимости развертывать, масштабировать или обновлять локальный шлюз данных, а также устанавливать драйверы. Когда вы создаете подключение в Power BI, в поле «Шлюз данных» просто отображается (нет).
ClickHouse Arrow Flight (предварительная версия) в Power BI, где для шлюза данных установлено значение (нет).
Помимо перемещения данных, коннектор выполняет функции, которые вы ожидаете от первоклассного источника данных Power BI:
- Query folding (свертка запросов). Фильтры, сортировки, группировки и внутренние соединения (inner joins), которые вы создаете в Power Query, передаются в ClickHouse как SQL, поэтому ClickHouse берет на себя основную нагрузку, а Power BI получает только то, что ему нужно.
- Точные типы данных. Значения Decimal и UInt64 попадают в Power Query в исходном виде, без обходных путей через числа с плавающей запятой. (Модель данных Power BI затем применяет свои собственные типы чисел, поэтому выбирайте «Фиксированный десятичный» для столбцов, где важна точность.)
- Шифрование по умолчанию. Каждое соединение осуществляется через gRPC поверх TLS с полной проверкой сертификатов. Режима открытого текста не существует.
- Нативные запросы. Когда вам нужен полный контроль, Value.NativeQuery передает ваш SQL в исходном виде.
Да. Вот что мы измерили.
Мы загрузили одну и ту же таблицу через оба коннектора в службе Power BI: 10 миллионов строк, 20 столбцов, реалистичное сочетание целых чисел, десятичных дробей, временных меток и строк (включая несколько с высокой кардинальностью, потому что в реальных таблицах они есть). Arrow Flight подключался напрямую. ODBC проходил через шлюзовую виртуальную машину, которую мы разместили рядом с ClickHouse в соседнем облачном регионе, используя текущий драйвер ODBC, чтобы создать для него максимально благоприятные условия. Мы чередовали их, по три запуска для каждого.
Обновление в режиме импорта 10 миллионов строк в службе Power BI. Столбцы показывают медиану трех запусков; точки показывают каждый запуск.
🔬 Конфигурация теста. Сервис ClickHouse Cloud в AWS us-west-2, работающий на ClickHouse 26.11 с тремя репликами по 16 GiB. Рабочая область Power BI на общей емкости в Azure West US. Шлюз на виртуальной машине Azure с 4 vCPU / 16 GB в West US 2, со сборкой шлюза за октябрь 2026 г. и драйвером ClickHouse ODBC 1.5.5. Обе семантические модели загружают одну и ту же таблицу без каких-либо преобразований, а загруженные данные были проверены на идентичность по обеим путям.
Таким образом, обновление происходит примерно в 1,4 раза быстрее, а ClickHouse выполняет примерно в 6 раз меньше работы с ЦП для его обслуживания. При использовании ODBC запрос остается открытым в течение двух с половиной минут, пока строки извлекаются через драйвер. При использовании Arrow Flight ClickHouse справляется примерно за пять секунд.
Если ClickHouse отвечает за 5 секунд вместо 150, почему обновление не происходит в 30 раз быстрее? Потому что большая часть процесса обновления происходит после прибытия данных. Power BI сжимает эти 10 миллионов строк в свою модель в памяти, и эта работа одинакова независимо от того, какой коннектор их доставил. Arrow Flight меняет все, что происходит до этого момента.
Это публичная предварительная версия, и мы будем рады вашим отзывам. Режим импорта — это сценарий, в котором коннектор работает лучше всего на данный момент, в то время как поддержка DirectQuery все еще развивается, и улучшения уже на подходе. Текущий список известных ограничений и информацию об их устранении см. в документации ClickHouse Power BI, а также отслеживайте открытые проблемы в репозитории коннектора на GitHub.
В ClickHouse Cloud откройте тикет в службу поддержки и попросите включить Arrow Flight для вашей службы.
В самостоятельно управляемом ClickHouse (версии 26.5 или новее) включите интерфейс, указав порт и сертификат:
Затем в службе Power BI:
- Выберите Получить данные и найдите ClickHouse Arrow Flight.
- Введите ваш сервер и порт Arrow Flight (9090 в ClickHouse Cloud), а также, при необходимости, базу данных.
- Войдите в систему, используя имя пользователя и пароль ClickHouse.
- Выберите таблицы и загрузите их.
Вот и вся настройка: не нужно устанавливать драйверы и развертывать что-либо промежуточное.
Коннектор имеет открытый исходный код, и мы будем рады узнать, что работает хорошо, а что нет. Ошибки и отзывы приветствуются в репозитории коннектора.
Успешного создания дашбордов!












