Для большинства команд, работающих с данными в Microsoft Fabric, вопрос о том, где хранятся данные, уже решен. Они находятся в OneLake, где они упорядочены и унифицированы. Более сложный вопрос заключается в том, что делать, когда ИИ-агент начинает запрашивать эти данные и ожидает ответов за миллисекунды при уровне параллелизма, который не под силу ни одной команде аналитиков. Интерактивные панели мониторинга в реальном времени и клиентские приложения создают такое же давление; агенты просто справляются с этим быстрее.
Спросите команды, использующие Fabric сегодня, как они справляются с такими нагрузками, и вы услышите о «костылях»: конвейерах предварительной агрегации в существующих движках, пользовательских уровнях кэширования или внешней базе данных, работающей параллельно с Fabric с самописными ETL-процессами для ее наполнения. Каждый из этих методов работает, но каждый из них требует дополнительной инфраструктуры, которую нужно создавать, защищать и поддерживать вне платформы.
ClickHouse Workload для Microsoft Fabric призван решить эту проблему, и теперь он доступен в общедоступной предварительной версии через Fabric workload hub. Он переносит ClickHouse, самую быструю аналитическую базу данных с открытым исходным кодом, непосредственно в вашу рабочую область Fabric в качестве нативного компонента: уровня ускорения для OneLake.
Синхронизируйте свои таблицы OneLake с выделенным сервисом ClickHouse Cloud в несколько кликов, запрашивайте миллиарды строк с субсекундным временем отклика прямо из Fabric, при этом OneLake остается единственным источником достоверных данных.
Создание элемента ClickHouse в вашей рабочей области развертывает выделенный сервис ClickHouse Cloud в Microsoft Azure с использованием вашей учетной записи Microsoft Entra, включая пробный период.
С помощью этого компонента вы можете:
- Обслуживать ИИ-агентов, панели мониторинга и приложения при высоком уровне параллелизма на выделенных, экономически эффективных вычислительных мощностях ClickHouse Cloud, не расходуя емкость Fabric.
- Синхронизировать таблицы OneLake в ClickHouse в виде ускоренных копий без необходимости создания или поддержки конвейеров.
- Выполнять запросы и исследовать данные с помощью встроенной SQL-консоли прямо в Fabric, сохраняя свои запросы для повторного использования.
- Подключать все необходимое: управляемый доступ «только для чтения» для агентов в Microsoft Copilot Studio и GitHub Copilot. Помимо агентов, вы можете использовать Power BI через сертифицированный коннектор ClickHouse, проводить анализ в блокнотах Fabric или создавать решения с помощью официальных клиентов ClickHouse.
Создайте элемент ClickHouse. В своей рабочей области выберите «+ New item» и выберите «ClickHouse Cloud». Ваша рабочая область привязывается к организации ClickHouse, а ваш элемент — к выделенному сервису. Каждый участник вашей рабочей области добавляется как пользователь ClickHouse при первом открытии элемента.
Синхронизируйте данные из OneLake. Выберите Lakehouse, укажите таблицы, которые хотите ускорить, и запустите синхронизацию. Вы можете принять целевую таблицу с автоматически определенными типами данных или сначала определить свою собственную таблицу. В общедоступной предварительной версии синхронизация представляет собой моментальные снимки на определенный момент времени без затрат на загрузку.
Выполняйте запросы. Встроенная SQL-консоль поддерживает стандартный SQL с полным аналитическим инструментарием ClickHouse, поэтому существующие запросы и навыки переносятся без изменений. Агрегации по всей таблице, содержащей миллиарды строк, возвращаются за миллисекунды, стабильно, даже при одновременном запросе от множества клиентов. Сохраняйте нужные запросы и возвращайтесь к ним в любое время. В общедоступной предварительной версии сохраненные запросы являются личными для каждого пользователя.
Подключайте свои инструменты. Экран «Connect» содержит инструкции для быстрого старта с возможностью копирования для всего, что может взаимодействовать с сервисом. Включите доступ для агентов, и сервис станет управляемой конечной точкой «только для чтения» для Copilot Studio, Microsoft Foundry, GitHub Copilot и любого инструмента, совместимого с MCP. Инструкции также охватывают Power BI Desktop и сервис, блокноты Fabric, HTTPS, JDBC/ODBC, протокол MySQL и официальные клиенты для Python, Node.js, Java, Go, C#, Rust и других языков.
Откройте в ClickHouse Cloud. Один клик перенесет вас в консоль Cloud, где вы будете авторизованы через Microsoft SSO, для масштабирования, перевода в режим ожидания, мониторинга, резервного копирования и всего остального, что необходимо администраторам. В повседневной работе вы можете оставаться в Fabric, а консоль Cloud будет доступна в один клик, когда она вам понадобится.
Углубляясь в детали, вот как сторонняя база данных становится нативным опытом работы в Fabric.
Развертывание. Компонент построен на базе Fabric Extensibility Toolkit. Когда вы создаете элемент ClickHouse, Fabric вызывает наш бэкенд через API жизненного цикла элементов, и мы автоматически развертываем организацию, сервис и пробную версию. Пользователи создаются «точно в срок» через обмен токенами. Fabric Workload Client SDK передает нам ваш токен Entra, мы проверяем его и устанавливаем соответствующую личность в ClickHouse Cloud, детерминированно производную от вашего идентификатора клиента и объекта. Ваша роль в организации ClickHouse сопоставляется с вашей ролью в рабочей области Fabric, поэтому администраторы получают права администратора, а пользователи — права «только для чтения».
Синхронизация. Каждая синхронизация из OneLake выполняется через ClickPipes — тот же механизм управляемой загрузки, который обеспечивает работу наших конвейеров объектного хранилища для S3 и Azure Blob Storage. ClickPipe считывает таблицу напрямую из OneLake, используя ваши авторизованные учетные данные, сопоставляет типы и передает данные в ваш сервис. Данные передаются напрямую между OneLake и вашим выделенным сервисом, и поскольку все работает внутри Azure, затраты на исходящий трафик отсутствуют.
Движок. Сервисом, стоящим за элементом, является ClickHouse Cloud в Azure, развернутый в регионе, ближайшем к вашей емкости Fabric. Это наши поддерживаемые регионы, включая регионы ЕС для соблюдения требований к хранению данных. Это выделенные вычислительные мощности, которые масштабируются вертикально и горизонтально, с включенным по умолчанию режимом ожидания. И поскольку оплата производится через Microsoft Marketplace как за выделенную инфраструктуру, нагрузка от агентов и приложений никогда не конкурирует с вашей емкостью Power BI.
Для получения информации о безопасности, конфиденциальности и соответствии требованиям ознакомьтесь с нашей аттестацией поставщика.
Наиболее частые запросы от команд, с которыми мы общались, — это обратная запись в OneLake, синхронизация разрешений и более глубокая интеграция с Microsoft Power BI, и именно в этом направлении мы движемся. Вот что мы планируем создать в дальнейшем:
- Обратная запись в OneLake: внедрение записи в OneLake в рабочий процесс, чтобы ускоренные результаты, такие как вывод материализованных представлений, возвращались в ваш Lakehouse для использования в Power BI, семантических моделях и остальной части Fabric.
- Более богатая репликация: непрерывная синхронизация из OneLake, выходящая за рамки текущих моментальных снимков.
- Синхронизация разрешений: более гранулярный контроль доступа, переносящий разрешения OneLake в ClickHouse.
- Более глубокий опыт работы с компонентом: расширенный контроль доступа и общие сохраненные запросы для совместной работы, частные сети с использованием Private Link и другие возможности управления и администрирования сервиса, представленные непосредственно в Fabric.
- Специализированные возможности, основанные на сильных сторонах ClickHouse: полнотекстовый поиск, векторный поиск и материализованные представления, представленные как первоклассные функции внутри Fabric.
Компонент уже доступен в Fabric workload hub, включая пробную версию на уровне ClickHouse Scale. Документация включает руководство по началу работы, основанное на демонстрационных данных о государственных праздниках в Fabric. С его помощью вы можете попробовать весь процесс: синхронизацию, запросы, Power BI и даже общение с агентом, не принося свой собственный набор данных.
Попробуйте использовать свои собственные таблицы OneLake и поделитесь с нами своим мнением. Это общедоступная предварительная версия, и отзывы, которые мы получаем сейчас, формируют то, что будет выпущено в дальнейшем.
