Сегодня мы объявляем о крупнейшем расширении платформы ClickHouse с момента запуска ClickHouse Cloud, представляя новые возможности в области транзакций, наблюдаемости, безопасности и инженерии искусственного интеллекта.
Теперь ClickHouse обслуживает более 5 000 клиентов, включая DoorDash, Ramp, Meta, Tesla, Cisco и Visa. То, что начиналось как аналитическая база данных с открытым исходным кодом, превратилось в фундамент для самых требовательных рабочих нагрузок данных в мире. Теперь мы объединяем специализированные решения, которые помогают разработчикам создавать, отслеживать и защищать современные приложения с той производительностью, масштабируемостью и экономической эффективностью, которыми славится ClickHouse.
Сегодняшние анонсы включают в себя:
- Общая доступность ClickHouse Managed Postgres и приобретение Xata: полностью управляемая высокопроизводительная служба PostgreSQL с малой задержкой и нативной интеграцией с ClickHouse. Приобретение Xata, компании в области Postgres для агентов, ускоряет наш план разработки мгновенного ветвления, клонирования и сред с масштабированием до нуля для разработчиков и ИИ-агентов.
- ClickHouse Observability, запуск в публичной бета-версии: полностью управляемое решение для наблюдаемости, которое позволяет командам собирать, хранить и исследовать телеметрию больших объемов без потери точности данных.
- ClickHouse Security, запуск в закрытом превью: агентская SIEM-система, созданная на базе технологий, полученных при приобретении RunReveal, которая объединяет управление крупномасштабными данными безопасности с расследованиями на базе ИИ.
- Langfuse AI Gateway, запуск в публичной бета-версии: шлюз с открытым исходным кодом, который дает платформам и финансовым командам большую видимость и контроль над использованием ИИ, его производительностью и затратами.
ИИ кардинально меняет требования к инфраструктуре данных. Приложения и агенты генерируют больше запросов, больше данных и все более непредсказуемые рабочие нагрузки, поднимая планку производительности и масштабируемости для каждой системы. От транзакций и аналитики до наблюдаемости, безопасности и инженерии ИИ — разработчикам требуются специализированные технологии, способные удовлетворить эти требования без добавления сложности и затрат. Мы расширяем ClickHouse, чтобы объединить эти возможности на открытой, компонуемой основе, созданной для производительности, масштабируемости и экономической эффективности.
ClickHouse Managed Postgres теперь общедоступен в ClickHouse Cloud, объединяя две фундаментальные базы данных для современных приложений: PostgreSQL для транзакций и ClickHouse для аналитики в реальном времени. Вместе они предоставляют разработчикам мощный фундамент для создания приложений, интенсивно работающих с данными, которым требуются как транзакционные, так и аналитические возможности, без сложности управления отдельной инфраструктурой интеграции.
Созданный на базе хранилищ NVMe, ClickHouse Managed Postgres предоставляет полностью управляемую, высокопроизводительную базу данных PostgreSQL с нативной репликацией измененных данных (CDC) в ClickHouse, непрерывно реплицируя данные с задержкой менее секунды. Расширение pg_clickhouse также позволяет разработчикам запрашивать аналитические данные в ClickHouse через стандартный интерфейс PostgreSQL. Служба включает высокую доступность и автоматическое резервное копирование.
Приобретение Xata ускоряет разработку ClickHouse Managed Postgres, привнося технологию для мгновенного ветвления и клонирования баз данных, а также эластичные среды с масштабированием до нуля. Эти возможности позволят разработчикам создавать изолированные среды Postgres для разработки и тестирования, а также заложат основу для выделенного уровня, предназначенного для ИИ-агентов, поддерживающего песочницы для агентов, память агентов и другие рабочие нагрузки, ориентированные на агентов.
Опираясь на этот фундамент, клиенты уже видят преимущества объединения транзакционных и аналитических рабочих нагрузок. Clay, платформа для выхода на рынок на базе ИИ, масштабирует свою платформу нового поколения с помощью ClickHouse Managed Postgres.
“ClickHouse Managed Postgres и WALShadow открывают новый взгляд на базы данных в Clay. Чистая скорость NVMe в сочетании с репликацией с низкой задержкой в ClickHouse позволяет нам создавать высокопроизводительные операционные системы с видимостью в реальном времени в огромных масштабах, открывая для клиентов возможности, которые просто не были возможны в прошлом. В настоящее время мы используем его для масштабирования нашей платформы нового поколения и с нетерпением ждем того, что будет дальше!” – Грэм Кантор-Кук, ведущий инженер, Clay Inc.
“ClickHouse Managed Postgres и WALShadow открывают новый взгляд на базы данных в Clay. Чистая скорость NVMe в сочетании с репликацией с низкой задержкой в ClickHouse позволяет нам создавать высокопроизводительные операционные системы с видимостью в реальном времени в огромных масштабах, открывая для клиентов возможности, которые просто не были возможны в прошлом. В настоящее время мы используем его для масштабирования нашей платформы нового поколения и с нетерпением ждем того что будет дальше!”
– Грэм Кантор-Кук, ведущий инженер, Clay Inc.
Сегодня мы запускаем ClickHouse Observability в публичной бета-версии, привнося полностью управляемое решение для наблюдаемости в ClickHouse Cloud.
ClickHouse Cloud уже сегодня используется для обеспечения требовательных рабочих нагрузок наблюдаемости, используя свою способность быстро и с высокой экономической эффективностью собирать, хранить и запрашивать большие объемы данных, позволяя инженерам быстрее диагностировать проблемы и задействовать агентские рабочие нагрузки SRE.
ClickHouse Observability превращает эту проверенную архитектуру в полностью управляемое облачное решение. Команды могут собирать логи, метрики, трассировки и данные сеансов с помощью OpenTelemetry, исследовать телеметрию в больших масштабах и хранить высокоточные данные с высокой кардинальностью дольше без компромиссов по стоимости, которые исторически заставляли организации производить выборку, отбрасывание или агрессивное удаление данных, что создавало слепые зоны и мешало SRE-агентам выявлять первопричину проблем.
По мере того как инфраструктура и приложения становятся более сложными, включая те, что работают на базе ИИ-агентов, инженерам необходимо понимать поведение моделей, инструментов, сервисов и инфраструктуры. ClickHouse Observability обеспечивает видимость приложений и инфраструктуры, в то время как Langfuse помогает командам отслеживать, оценивать и улучшать модели и агенты ИИ.
Базовая архитектура уже доказала свою эффективность в больших масштабах. Mercado Libre, ведущая платформа электронной коммерции и финансовых технологий в Латинской Америке, обрабатывает примерно 400 миллионов спанов в минуту, используя ClickHouse для наблюдаемости, достигая в 75 раз более быстрых запросов и примерно 89% сжатия, что значительно повышает эффективность ее инфраструктуры.
Читайте историю Mercado Libre
Мы также представляем ClickHouse Security, доступный теперь в рамках закрытого превью, привнося агентское решение для управления инцидентами информационной безопасности и событиями безопасности (SIEM) на платформу ClickHouse.
Созданный на базе технологий сентябрьского приобретения RunReveal, ClickHouse Security объединяет аналитическую производительность и масштабируемость ClickHouse со специфическими для безопасности интеграциями данных, средствами обнаружения и расследованиями на базе ИИ.
Команды безопасности сталкиваются с большими объемами данных, чем когда-либо: журналами аудита облаков, событиями идентификации, телеметрией конечных точек. Устаревшие SIEM-системы не были рассчитаны на такой объем данных или на то, как искусственный интеллект меняет операции по безопасности. В результате большинство команд безопасности борются с базовыми проблемами данных, а их методы обеспечения безопасности не менялись уже более десяти лет. ClickHouse Security, доступная сейчас в рамках закрытого предварительного тестирования (private preview), представляет собой агентскую SIEM-систему, созданную для масштабирования в следующем десятилетии.
Агенты являются частью платформы, а не дополнением. Встроенные ИИ-агенты осуществляют триаж оповещений, запрашивают базовые логи, а также записывают свои выводы и обоснования обратно в инцидент, работая с теми же нормализованными данными, которые используют команды безопасности. Команды безопасности также могут проводить расследования на естественном языке с помощью встроенного ИИ-чата, задавая уточняющие вопросы для более глубокого анализа оповещения без написания традиционных запросов. Команды, которые хотят пойти дальше, могут создавать собственные агентские рабочие процессы для поиска угроз, покрытия детектами и многого другого с помощью выбранной ими языковой модели (LLM).
Фундаментальная работа по управлению данными также встроена в систему. ClickHouse Security, созданная на основе технологий RunReveal и интегрированная с ClickHouse Cloud, работает на базе СУБД, созданной для высокопроизводительных нагрузок с большими объемами данных и низкими задержками. Она объединяет более ста облачных, идентификационных и SaaS-источников с помощью встроенных интеграций, поэтому данные поступают нормализованными и готовыми к расследованию. Встроенные конвейеры фильтруют, маршрутизируют и обогащают логи до их сохранения, поэтому нет необходимости покупать или администрировать отдельный уровень конвейеров обработки данных. Управляемые правила обнаружения и пользовательские правила в виде кода (detections-as-code) покрывают распространенные угрозы с первого дня.
Для команд, которые уже используют ClickHouse, данные безопасности теперь могут храниться рядом с данными наблюдаемости (observability) и аналитики, вместо того чтобы копироваться в отдельную SIEM-систему.
Сегодня Langfuse запускает свой новый AI Gateway с открытым исходным кодом в публичной бета-версии, предоставляя разработчикам расширенные возможности контроля и прозрачности использования и затрат на искусственный интеллект.
Langfuse, платформа инженерного проектирования ИИ с открытым исходным кодом, приобретенная ClickHouse в январе, является одной из наиболее широко используемых в этой сфере: более 35 тысяч звезд на GitHub и более 90 миллионов загрузок пакетов в месяц. Команды из 21 компании из списка Fortune 50 и ведущие ИИ-ориентированные бизнесы, такие как Merck, Ramp, Hugging Face и Canva, используют Langfuse для трассировки, оценки и улучшения ИИ-приложений и агентов.
Поскольку ИИ-приложения и агенты для написания кода распространяются по организациям, многим командам не хватает четкого понимания того, какие именно модели используются, кем, для каких целей и с какими затратами.
Разработчикам, платформам и финансовым командам необходима прозрачность в отношении запросов к моделям, потребления токенов, затрат, качества вывода, а также того, как агенты взаимодействуют с моделями и инструментами.
Традиционно сбор этой информации требует инструментирования приложений и интеграции библиотек трассировки непосредственно в код приложения.
Новый Langfuse AI Gateway значительно упрощает эту задачу.
Маршрутизируя запросы к моделям через Langfuse AI Gateway, организации могут автоматически отслеживать использование ИИ и затраты без каких-либо изменений в коде. Это упрощает начало работы с наблюдаемостью ИИ и позволяет воспользоваться более широкими возможностями для оценки и улучшения ИИ-приложений и агентов.
Шлюз Langfuse AI Gateway написан на Rust для обеспечения высокой производительности и надежности и доступен как в локальном варианте (self-hosted), так и в облаке Langfuse Cloud.
Эти запуски знаменуют собой важный шаг в эволюции ClickHouse, объединяя технологии, необходимые разработчикам для создания, мониторинга и защиты современных приложений на высокопроизводительной, открытой и компонуемой основе.
Каждый новый продукт решает конкретную задачу: Postgres для транзакций, ClickHouse Observability для мониторинга приложений и инфраструктуры, ClickHouse Security для обнаружения угроз и расследований, а теперь и Langfuse для разработки ИИ со шлюзом AI Gateway для управления видимостью моделей и их использованием.
Клиенты уже расширяют использование ClickHouse для работы с различными типами нагрузок. Physical Intelligence, среди прочего, переносит искусственный интеллект общего назначения в физический мир.
«Создание базовых моделей робототехники означает осмысление миллиардов аннотаций и записей телеметрии», — говорит Каран Дабалия (Karan Dhabalia), инженер в Physical Intelligence. — «Мы начали с ClickHouse для обеспечения наблюдаемости, затем перешли к аналитике в реальном времени, Postgres и разработке ИИ с помощью Langfuse. Эта общая основа упрощает операционную деятельность и помогает нашим исследователям разрабатывать более качественные модели. С выходом ClickHouse Security в режиме закрытого предварительного тестирования мы рады наблюдать за ростом платформы». — Каран Дабалия, инженер, Physical Intelligence
«Создание базовых моделей робототехники означает осмысление миллиардов аннотаций и записей телеметрии», — говорит Каран Дабалия, инженер в Physical Intelligence. — «Мы начали с ClickHouse для обеспечения наблюдаемости, затем перешли к аналитике в реальном времени, Postgres и разработке ИИ с помощью Langfuse. Эта общая основа упрощает операционную деятельность и помогает нашим исследователям разрабатывать более качественные модели. С выходом ClickHouse Security в режиме закрытого предварительного тестирования мы рады наблюдать за ростом платформы».
— Каран Дабалия, инженер, Physical Intelligence
Поскольку ИИ-агенты стимулируют рост более интенсивных и непредсказуемых рабочих нагрузок с данными, мы продолжаем инвестировать в технологии, которые помогают разработчикам создавать, контролировать и защищать свои приложения в любом масштабе.
А с присоединением Xata к ClickHouse мы расширяем эту основу в направлении будущего, где ИИ-агенты смогут самостоятельно развертывать базы данных, разрабатывать и тестировать приложения, а также взаимодействовать с данными более автономно.
- ClickHouse Managed Postgres: общедоступно (Generally available) в ClickHouse Cloud. Начать работу
- ClickHouse Observability: доступно в публичной бета-версии. Попробовать бета-версию
- ClickHouse Security: доступно в рамках закрытого предварительного тестирования (private preview). Запросить доступ
- Langfuse AI Gateway: доступно в публичной бета-версии. Изучить шлюз
