Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Clickhouse i power bi kolonochnoe reshenie ot nachala do kontsa konnektor arrow
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

ClickHouse и Power BI: колоночное решение от начала до конца — коннектор Arrow Flight в публичном доступе

Источник: ClickHouse•19 ноября 2026 г. в 18:11

ClickHouse и Power BI: колоночное решение от начала до конца — коннектор Arrow Flight в публичном доступе

Коннектор ClickHouse Arrow Flight для Power BI теперь доступен в режиме публичного тестирования. Он обеспечивает прямое подключение к ClickHouse, ускоряя обновление данных, снижая нагрузку на процессор и исключая необходимость развертывания шлюза.

Подключайте Power BI к ClickHouse напрямую через Arrow Flight SQL.

ClickHouse хранит данные в столбцах. Power BI хранит данные в столбцах. До сих пор передача данных между ними означала преобразование в строки и обратно.

Сегодня мы анонсируем коннектор ClickHouse Arrow Flight для Power BI, который перешел в стадию публичного тестирования. Он соединяет Power BI напрямую с ClickHouse через Arrow Flight SQL — открытый стандарт, к которому стремится вся экосистема данных, — и позволяет сохранять колоночный формат данных на всем пути.

На практике это означает три вещи: обновление данных происходит непосредственно из службы Power BI без необходимости развертывания промежуточных компонентов, загрузка больших объемов данных выполняется быстрее, а ClickHouse тратит значительно меньше ресурсов на их обработку.

Существующий коннектор ClickHouse для Power BI основан на ODBC. Он отлично зарекомендовал себя во многих дашбордах и продолжает полностью поддерживаться. Однако возможности подключения в Power BI смещаются в сторону драйверов, нативных для Arrow, и новый коннектор создан с учетом этого вектора развития платформы. Причина кроется в структуре данных.

Технология ODBC была разработана в начале девяностых и передает данные в виде строк. Поэтому каждое обновление данных требует извлечения колоночных данных из ClickHouse, их преобразования в строки, передачи и последующего обратного преобразования в столбцы внутри Power BI. Это работает. Но это немного похоже на перевод книги на другой язык и обратно, чтобы два человека, говорящие на одном языке, могли ее прочитать.

Новый коннектор исключает этот этап перевода.

Строки против столбцов: одна и та же таблица, переданная двумя способами. Пример данных.

В ClickHouse интерфейс Arrow Flight появился начиная с версии 25.8, а в версии 26.4 мы его существенно переработали, но до сих пор не представляли официально. Поэтому вот краткая суть. Это три идеи, объединенные вместе.

  • Apache Arrow — это стандарт представления таблицы в памяти, столбец за столбцом, с типизированными непрерывными буферами. Если две программы «говорят» на языке Arrow, одна может передать таблицу другой без каких-либо преобразований.
  • Arrow Flight — это протокол для передачи таких таблиц Arrow по сети, построенный на базе gRPC. Пакеты данных передаются по сети в том же виде, в котором они хранятся в памяти.
  • Arrow Flight SQL добавляет функциональность базы данных: отправка SQL-запроса, получение пакетов Arrow в ответ, а также метаданные, необходимые клиенту для обнаружения таблиц и типов.

Есть четвертое название, которое вы увидите рядом с ними: ADBC (Arrow Database Connectivity). Это клиентский API, нативный аналог ODBC и JDBC для Arrow. Приложение взаимодействует с ADBC, а драйвер ADBC передает команды Flight SQL на сервер.

У нас есть и такой: ClickHouse поддерживает собственный open-source драйвер ADBC для приложений, которым нужен нативный клиент Arrow (он взаимодействует с ClickHouse по HTTP). Коннектору Power BI он не нужен, так как Power BI сам поставляет драйвер Flight SQL, но он доступен, если вы создаете что-то свое.

Со стороны ClickHouse это еще один интерфейс на еще одном порту. Достаточно нескольких строк на Python, чтобы увидеть, как это работает:

Эта таблица — настоящая таблица Arrow. Ничего не парсилось из текста, и ни одно значение не было преобразовано в процессе.

Потому что альтернатива — это когда каждый инструмент изобретает свой собственный способ передачи данных каждому другому инструменту, оплачивая «налог на конвертацию» на каждой границе.

За последние несколько лет экосистема данных незаметно пришла к Arrow как к общему формату. Apache Spark использует его для перемещения данных между JVM и Python. pandas может использовать Arrow в качестве основы для своих DataFrame, а Polars с самого начала построен на модели памяти Arrow. DataFusion — это движок запросов, который является нативным для Arrow от начала до конца, а DuckDB читает и записывает Arrow без копирования. В области трансформации данных dbt v2 и его движок Fusion взаимодействуют с хранилищами через драйверы ADBC.

И теперь «последняя миля» догоняет: инструменты BI и визуализации. Microsoft переводит подключение Power BI и Fabric на ADBC и Flight SQL, что и делает этот коннектор возможным.

«Наша цель — сделать Microsoft Fabric самым простым местом для подключения, интеграции и получения ценности из данных, где бы они ни находились. Новый коннектор ClickHouse использует современный стек подключения данных Fabric с ADBC и Flight SQL, предоставляя клиентам высокопроизводительный путь к их данным в ClickHouse, основанный на открытых стандартах». Фейсал Мохамуд, корпоративный вице-президент по интеграции данных в Microsoft

«Наша цель — сделать Microsoft Fabric самым простым местом для подключения, интеграции и получения ценности из данных, где бы они ни находились. Новый коннектор ClickHouse использует современный стек подключения данных Fabric с ADBC и Flight SQL, предоставляя клиентам высокопроизводительный путь к их данным в ClickHouse, основанный на открытых стандартах».

Фейсал Мохамуд, корпоративный вице-президент по интеграции данных в Microsoft

Один колоночный формат в основе, один протокол для передачи и растущий список инструментов поверх.

Для колоночной базы данных это отличная новость вдвойне. Данным никогда не приходится покидать свою естественную форму, а один хорошо построенный интерфейс обслуживает целую экосистему клиентов.

Служба Power BI уже поставляется с драйвером ADBC для Flight SQL. Новый коннектор использует его для открытия gRPC-соединения, зашифрованного с помощью TLS, напрямую к интерфейсу Arrow Flight в ClickHouse. Запросы отправляются как SQL. Результаты возвращаются как пакеты записей Arrow.

Вот и все 🙂

Для работы ODBC-коннектора требуется шлюз (gateway) между службой Power BI и ClickHouse. Коннектор Arrow Flight подключается напрямую.

Поскольку служба Power BI сама устанавливает это соединение, нет необходимости развертывать, масштабировать или обновлять локальный шлюз данных, а также устанавливать драйверы. Когда вы создаете подключение в Power BI, в поле «Шлюз данных» просто отображается (нет).

ClickHouse Arrow Flight (предварительная версия) в Power BI, где для шлюза данных установлено значение (нет).

Помимо перемещения данных, коннектор выполняет функции, которые вы ожидаете от первоклассного источника данных Power BI:

  • Query folding (свертка запросов). Фильтры, сортировки, группировки и внутренние соединения (inner joins), которые вы создаете в Power Query, передаются в ClickHouse как SQL, поэтому ClickHouse берет на себя основную нагрузку, а Power BI получает только то, что ему нужно.
  • Точные типы данных. Значения Decimal и UInt64 попадают в Power Query в исходном виде, без обходных путей через числа с плавающей запятой. (Модель данных Power BI затем применяет свои собственные типы чисел, поэтому выбирайте «Фиксированный десятичный» для столбцов, где важна точность.)
  • Шифрование по умолчанию. Каждое соединение осуществляется через gRPC поверх TLS с полной проверкой сертификатов. Режима открытого текста не существует.
  • Нативные запросы. Когда вам нужен полный контроль, Value.NativeQuery передает ваш SQL в исходном виде.

Да. Вот что мы измерили.

Мы загрузили одну и ту же таблицу через оба коннектора в службе Power BI: 10 миллионов строк, 20 столбцов, реалистичное сочетание целых чисел, десятичных дробей, временных меток и строк (включая несколько с высокой кардинальностью, потому что в реальных таблицах они есть). Arrow Flight подключался напрямую. ODBC проходил через шлюзовую виртуальную машину, которую мы разместили рядом с ClickHouse в соседнем облачном регионе, используя текущий драйвер ODBC, чтобы создать для него максимально благоприятные условия. Мы чередовали их, по три запуска для каждого.

Обновление в режиме импорта 10 миллионов строк в службе Power BI. Столбцы показывают медиану трех запусков; точки показывают каждый запуск.

🔬 Конфигурация теста. Сервис ClickHouse Cloud в AWS us-west-2, работающий на ClickHouse 26.11 с тремя репликами по 16 GiB. Рабочая область Power BI на общей емкости в Azure West US. Шлюз на виртуальной машине Azure с 4 vCPU / 16 GB в West US 2, со сборкой шлюза за октябрь 2026 г. и драйвером ClickHouse ODBC 1.5.5. Обе семантические модели загружают одну и ту же таблицу без каких-либо преобразований, а загруженные данные были проверены на идентичность по обеим путям.

Таким образом, обновление происходит примерно в 1,4 раза быстрее, а ClickHouse выполняет примерно в 6 раз меньше работы с ЦП для его обслуживания. При использовании ODBC запрос остается открытым в течение двух с половиной минут, пока строки извлекаются через драйвер. При использовании Arrow Flight ClickHouse справляется примерно за пять секунд.

Если ClickHouse отвечает за 5 секунд вместо 150, почему обновление не происходит в 30 раз быстрее? Потому что большая часть процесса обновления происходит после прибытия данных. Power BI сжимает эти 10 миллионов строк в свою модель в памяти, и эта работа одинакова независимо от того, какой коннектор их доставил. Arrow Flight меняет все, что происходит до этого момента.

Это публичная предварительная версия, и мы будем рады вашим отзывам. Режим импорта — это сценарий, в котором коннектор работает лучше всего на данный момент, в то время как поддержка DirectQuery все еще развивается, и улучшения уже на подходе. Текущий список известных ограничений и информацию об их устранении см. в документации ClickHouse Power BI, а также отслеживайте открытые проблемы в репозитории коннектора на GitHub.

В ClickHouse Cloud откройте тикет в службу поддержки и попросите включить Arrow Flight для вашей службы.

В самостоятельно управляемом ClickHouse (версии 26.5 или новее) включите интерфейс, указав порт и сертификат:

Затем в службе Power BI:

  • Выберите Получить данные и найдите ClickHouse Arrow Flight.
  • Введите ваш сервер и порт Arrow Flight (9090 в ClickHouse Cloud), а также, при необходимости, базу данных.
  • Войдите в систему, используя имя пользователя и пароль ClickHouse.
  • Выберите таблицы и загрузите их.

Вот и вся настройка: не нужно устанавливать драйверы и развертывать что-либо промежуточное.

Коннектор имеет открытый исходный код, и мы будем рады узнать, что работает хорошо, а что нет. Ошибки и отзывы приветствуются в репозитории коннектора.

Успешного создания дашбордов!

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Архитектура памяти агентов: централизованная и федеративная память для ИИ-агентов
Couchbase

Архитектура памяти агентов: централизованная и федеративная память для ИИ-агентов

Как найти сообщения Pub/Sub, находящиеся под угрозой, в разных проектах Google Cloud
Dynatrace

Как найти сообщения Pub/Sub, находящиеся под угрозой, в разных проектах Google Cloud

CMMC против NIS2: два пути к одной цели — защите данных
Collibra

CMMC против NIS2: два пути к одной цели — защите данных

Более интеллектуальные конвейеры данных с доверенными метаданными
Matillion

Более интеллектуальные конвейеры данных с доверенными метаданными

Что нового в Data Productivity Cloud: июль 2025 г.
Matillion

Что нового в Data Productivity Cloud: июль 2025 г.

Как Chain, наше рабочее пространство на базе ИИ, помогает следователям бороться с преступностью
Chainalysis

Как Chain, наше рабочее пространство на базе ИИ, помогает следователям бороться с преступностью

Ещё от ClickHouse

pg_clickhouse 0.11.1: теперь с поддержкой pgvector, UPDATE и DELETE pushdown
ClickHouse

pg_clickhouse 0.11.1: теперь с поддержкой pgvector, UPDATE и DELETE pushdown

Обнаружение, реагирование, сохранение доказательств: надежность узлов в трех облаках
ClickHouse

Обнаружение, реагирование, сохранение доказательств: надежность узлов в трех облаках

Почему Front перешла с Elasticsearch на ClickHouse для «пиксельно-точной» аналитики в большом масштабе
ClickHouse

Почему Front перешла с Elasticsearch на ClickHouse для «пиксельно-точной» аналитики в большом масштабе

Trunk сокращает расходы на наблюдаемость до 95% и высвобождает 20 инженерных часов в неделю с помощью ClickHouse Observability
ClickHouse

Trunk сокращает расходы на наблюдаемость до 95% и высвобождает 20 инженерных часов в неделю с помощью ClickHouse Observability

День, когда небо опустело: визуализация сбоя FAA с помощью ClickHouse FORMAT PNG
ClickHouse

День, когда небо опустело: визуализация сбоя FAA с помощью ClickHouse FORMAT PNG

Больше нагрузки — выше скорость: настройка реплик чтения в Postgres
ClickHouse

Больше нагрузки — выше скорость: настройка реплик чтения в Postgres