Trunk — это платформа для ускорения CI, которая помогает инженерным командам выпускать код так же быстро, как его пишут инженеры и агенты. Как объясняет соучредитель и технический директор Мэтт Мэтисон, компания была основана на предпосылке, что команды, занимающиеся инструментами для разработчиков, как правило, укомплектованы недостаточно.
«Если посмотреть на таких крупных игроков, как Facebook и Google, они вкладывают огромные средства в опыт и продуктивность разработчиков, — говорит он. — Мы хотели создать такие же сервисы и инструменты, демократизировать их и предоставить компаниям, которые не могут позволить себе штат из 10, 15 или 100 человек, доступ к такому же высококачественному опыту разработки».
Этот разрыв только увеличился по мере того, как агенты по написанию кода приумножили количество пулл-реквестов, открываемых командами каждый день. Trunk решает эту задачу как единая платформа, построенная на общем уровне данных. Dynamic CI использует его, чтобы пропускать CI-задачи, которые не нужны для конкретного изменения. Flaky Tests использует его для автоматического обнаружения и карантина нестабильных тестов. Merge Queue использует его для параллельного тестирования несвязанных изменений и поддержания работоспособности основной ветки. На него полагаются такие команды, как Brex, Ramp и Zillow.
Этот общий уровень данных — сердце платформы, и, как отмечает Мэтт, чтобы сделать его правильно, потребовалось несколько попыток. «Как только мы внедрили ClickHouse Cloud и научились по-настоящему связывать его с решаемыми нами проблемами, — говорит он, — мы увидели гораздо лучший пользовательский опыт, наши расходы значительно снизились, а усилия по поддержке нашего собственного продукта сильно уменьшились».
Мы встретились с Мэттом и ведущим инженером платформы Патрисом Буа-Лабержем, чтобы узнать, как замена Datadog на самоуправляемую ClickHouse Observability сократила расходы на наблюдаемость в 15–20 раз, а переход с TimescaleDB на ClickHouse Cloud в AWS сделал обнаружение нестабильных тестов быстрее и надежнее.
Как отмечает Мэтт, наблюдаемость для Trunk важнее, чем для большинства стартапов такого размера, поскольку части его продуктов находятся на критическом пути. Очередь слияния (merge queue) контролирует каждое изменение в репозитории клиента. Карантин нестабильных тестов не дает ненадежным тестам блокировать эту работу.
«Если эти вещи перестанут работать, наши клиенты потеряют возможность выполнять свою работу, — говорит он. — Наша способность знать, что что-то выходит из строя, и предотвращать или исправлять это до того, как клиенты даже заметят проблему, критически важна для поддержания этих отношений. Мы никогда не хотим рисковать своей репутацией».
Предыдущая система наблюдаемости Trunk была построена вокруг Datadog. Однако к 2025 году расходы стали непосильными. «Переход на агентов означает, что нам нужно больше данных, больше логов для достижения успеха. Нам нужно было новое, экономически эффективное решение, на котором можно построить нашу платформу наблюдаемости».
Команда уже перешла на ClickHouse для аналитики, поэтому, когда Патрис узнал, что ClickHouse приобрела HyperDX, он решил попробовать. Позже HyperDX стал пользовательским интерфейсом для ClickStack, стека наблюдаемости с открытым исходным кодом от ClickHouse.
Trunk уже собирал метрики с помощью OpenTelemetry, поэтому настройка была простой. Они установили коллектор OpenTelemetry от ClickStack и просто начали загрузку данных, используя интерфейс ClickStack для дашбордов и расследований.
Ближе к концу использования Datadog компания Trunk отправляла туда только 15% трафика, чтобы контролировать расходы. Сегодня 100% данных поступает в ClickHouse Observability, и команда больше не выполняет сэмплирование логов. Сохраняется все на уровне info и выше — около 375 000 строк логов и 2,2 миллиона трассировок в минуту с хранением в течение 30 дней. Патрис оценивает, что ClickHouse Observability обходится в 15–20 раз дешевле, чем Datadog.
«Расследование инцидентов в ClickHouse Observability теперь соответствует скорости, которая была в Datadog, но теперь со 100% наших логов. Это был золотой стандарт того, чего мы хотели достичь, и мы очень рады, что достигли его». — Патрис Буа-Лаберж, ведущий инженер платформы, Trunk
«Расследование инцидентов в ClickHouse Observability теперь соответствует скорости, которая была в Datadog, но теперь со 100% наших логов. Это был золотой стандарт того, чего мы хотели достичь, и мы очень рады, что достигли его». — Патрис Буа-Лаберж, ведущий инженер платформы, Trunk
Для Мэтта ключевым преимуществом является наличие трассировок, логов и метрик под одной крышей. «Больше данных в ClickHouse Observability означает более быстрый ответ на инциденты со стороны людей и агентов, — говорит он. — Я могу взять трассировки, которые попали на этот эндпоинт, я могу вытянуть все связанные с ними логи, я могу увидеть, есть ли там временная корреляция по метрикам, и просто собрать всю картину воедино в одном месте».
Патрис говорит, что агенты Trunk отлично справляются с расследованием проблем в ClickHouse Observability, и они также взяли на себя работу с дашбордами. «Не думаю, что за последние шесть месяцев мы создали хоть один дашборд вручную. Мы все используем ClickStack MCP или ноутбуки для их генерации. Вы просто говорите своему агенту, что хотите, и он создает дашборд. Это фантастика».
Агенты также выполняют больше работы на стороне приложения. Trunk использует внутренний бот для инцидентов, который применяет MCP-сервер для запросов к таблицам приложений, запускаемый автоматически при инцидентах или вручную для изучения использования клиентом. «Сотрудники отдела продаж могут легче отлаживать проблемы и реже обращаться к инженерам», — говорит Патрис. Мэтт соглашается, добавляя: «Команды, которые вообще не работают над продуктом, могут просто отправить Claude Code, чтобы проверить любую проблему клиента».
Поскольку данные приложений Trunk и данные наблюдаемости находятся в ClickHouse, агентам приходится работать с меньшим количеством технологий.
«Я хочу, чтобы люди изучали как можно меньше технологий. Это также относится к ИИ. Это просто означает, что нам нужно меньше MCP. Модели ИИ очень хорошо используют ClickHouse для наблюдаемости, особенно с ClickStack MCP, а расследование сбоя часто означает извлечение данных из обоих источников». — Мэтт Мэтисон, соучредитель и технический директор, Trunk
«Я хочу, чтобы люди изучали как можно меньше технологий. Это также относится к ИИ. Это просто означает, что нам нужно меньше MCP. Модели ИИ очень хорошо используют ClickHouse для наблюдаемости, особенно с ClickStack MCP, а расследование сбоя часто означает извлечение данных из обоих источников». — Мэтт Мэтисон, соучредитель и технический директор, Trunk
Trunk оценивал другие ведущие инструменты ИИ для SRE, но счел их ненужными. «В конечном счете, ClickHouse Observability с MCP плюс Claude Code или Codex были так же хороши, — говорит Мэтт. — Не было необходимости привлекать еще одного вендора для реагирования на инциденты и исправления проблем». По его оценкам, сортировка инцидентов с помощью ИИ и ClickStack высвобождает около половины времени инженера, примерно 20 часов в неделю.
Для Trunk, говорит Мэтт, опора на агентов для сортировки стала необходимой. «Это абсолютно критически важно для нашей способности функционировать как небольшая команда и при этом выпускать много функций, а также поддерживать высокое качество обслуживания. Это просто невозможно без такой постоянно работающей сортировки с помощью ИИ, которая удивительно эффективна при использовании готового агента и простого доступа к ClickHouse Observability».
До ClickHouse компания Trunk хранила данные о тестах клиентов и CI в TimescaleDB, расширении временных рядов для Postgres. Вначале команда использовала хостинг-сервис Timescale, но, как говорит Патрис: «Мы столкнулись с массой проблем с производительностью».
Они перешли на самостоятельно управляемые bare metal серверы с Postgres и TimescaleDB на локальных SSD. Производительность улучшилась, но обслуживание стало бременем. «Это потребовало от нас много кастомной работы», — говорит Мэтт. «Мы слишком сильно погрязли в деталях изменения вещей в Timescale, которые нам не следовало трогать».
Патрис вспоминает, как команда копалась в функциях Postgres и переписывала некоторые из них, чтобы они лучше соответствовали нагрузке Trunk. По его оценке, Timescale отнимал половину времени одного инженера ежегодно в масштабах всей компании. Вся обработка вокруг Timescale также замедляла продукт, поэтому обнаружение flaky test могло занимать до часа. «Это становилось неуправляемым для нас, меня постоянно вызывали по пейджеру посреди ночи», — говорит он.
Когда команда открыла для себя ClickHouse, они сначала попробовали self-hosting, а затем быстро перешли на полностью управляемый ClickHouse Cloud, как только появилась возможность приватного подключения в регионе Trunk, что было необходимо для их тяжелой нагрузки данными во избежание затрат на исходящий трафик (egress costs).
Патрис, который полтора года запускал Postgres на bare metal, признается, что у него были сомнения в том, насколько производительной может быть SaaS-база данных. «Но как только мы протестировали ClickHouse Cloud, она оказалась очень производительной», — говорит он. «Результат говорит сам за себя».
Trunk уходила от TimescaleDB поэтапно. Сначала они использовали ClickPipes для синхронизации данных из Postgres в ClickHouse, затем перешли на двойную запись и, наконец, стали писать только в ClickHouse и удалили таблицы Timescale. Несколько таблиц Postgres до сих пор реплицируются через ClickPipes. Команда во многом опиралась на документацию ClickHouse. «Мы многому из нее научились», — говорит Патрис.
Клиенты не видели самого переезда, но они заметили, что время обнаружения flaky test сократилось с часа до максимум пяти минут. Поскольку ClickHouse справляется с нагрузкой данных, объясняет Мэтт, задачи анализа выполняются быстрее и чаще. «Это было огромным плюсом для клиентов, и надежность значительно выросла», — говорит он. «Если посмотреть на наши собственные сбои, внедрение ClickHouse стало бы важной вехой, своего рода ступенчатым снижением количества проблем в сервисе».
«Мы получили положительные отзывы об ускорении обнаружения», — добавляет он. «Но это та область, где отсутствие новостей — хорошая новость. На самом деле мы просто стали меньше слышать от наших клиентов».
Более быстрые запросы также открыли новые возможности, такие как rollups и просмотр использования CI в реальном времени. «Было много функций, которые мы хотели реализовать, но которые были невозможны с TimescaleDB», — говорит Патрис. «Загрузка страниц занимала бы две или три минуты, что неприемлемо. Но с ClickHouse это вопрос секунд». За кулисами команда отказалась от многих устаревших ETL-конвейеров, переложив эту работу на materialized views или вычисляя их в реальном времени.
Для Мэтта выгода заключается в скорости. «Мы можем выпускать больше функций», — говорит он. «Изначально нашей идеей было "давайте находить flaky tests". Это было острием копья. Но как только мы перешли на ClickHouse, стало очень легко проводить любой другой тип анализа данных, например, поиск медленных тестов, новых тестов и кластерный анализ. Все то, что всегда было в планах, мы внезапно смогли выпустить очень быстро».
Сейчас Trunk обрабатывает почти 2 миллиарда результатов тестов в день, при этом клиентские нагрузки в 10-15 раз больше тех, что обрабатывались на Postgres. «Масштабируемость потрясающая», — говорит Патрис.
Если сравнивать только базы данных, добавляет Мэтт, эксплуатация Timescale могла стоить дешевле, но Trunk использовала «так много вычислительных мощностей для обработки данных, которая в ClickHouse почти бесплатна или намного дешевле». Если учесть время инженеров, затраченное на обслуживание Timescale, говорит он, то «если все сложить, ClickHouse в итоге окажется намного дешевле».
После двух миграций Trunk планирует продолжать развитие на базе ClickHouse. «ClickHouse так хорошо масштабируется, что мы хотим перенести в него все», — говорит Мэтт. Следующий шаг — отправка каждого уведомления PagerDuty напрямую агенту, который первым делом считывает данные из ClickHouse Observability. «Контекст и подспорье, которые получает человек при первом взгляде на проблему, неоценимы, и это происходит настолько быстро, что так должно быть всегда». Патрис отмечает, что непрерывные инновации ClickHouse вселяют в Trunk уверенность в технологии и партнерстве. Например, их пригласили в закрытое превью PromQL в ClickHouse, и они планируют его протестировать.
Патрис отдельно отмечает поддержку, которую они получили от ClickHouse. «Команда чрезвычайно отзывчива», — говорит он. «Кроме того, нам почти не приходилось с ними общаться, и это здорово».
Для Мэтта доступ к продуктовым командам ClickHouse был не менее ценен. «Возможность давать обратную связь по вещам, которые мы используем, и узнавать о том, что планируется, была очень полезной», — говорит он. «Это хороший способ познакомиться с дорожной картой и сделать так, чтобы наш голос был услышан».
Когда Патриса попросили подвести итог опыта команды с ClickHouse для observability и аналитики в реальном времени, он ответил кратко и лаконично. «Это позволяет нам двигаться быстро, и нам это нравится».










