Если вы спросите разработчика, какую LLM он использует, он часто ответит: «зависит от ситуации». Это может быть передовая модель для проверки кода, более дешевая модель для суммирования обращений в поддержку или аналогичная модель от другого провайдера.
OpenRouter находится между разработчиками и поставщиками инфраструктуры вывода, обрабатывая более 1 миллиарда запросов ежедневно. Она предлагает единый интерфейс к более чем 500 моделям от более чем 80 провайдеров, направляя каждый запрос к тому эндпоинту (комбинации модели и провайдера), который наилучшим образом соответствует предпочтениям пользователя — будь то цена, качество, задержка или пропускная способность.
Сервис также управляет отказоустойчивостью, переключаясь на другой эндпоинт в случае сбоя, и публикует рейтинги моделей, которые не смог бы предоставить ни один отдельный провайдер. «Поскольку мы являемся шлюзом и не аффилированы ни с одной конкретной организацией-провайдером, мы можем публиковать объективные рейтинги того, как модели реально используются в мире», — говорит старший инженер по работе с данными Джо Сисельский (Joe Ciesielski).
Джо выступил на конференции Open House 2026 в Нью-Йорке, где рассказал о том, как ClickHouse Cloud на AWS и GCP обеспечивает работу этих рейтингов и практически всех остальных аналитических функций OpenRouter. Он разделил их путь на три «эры»: от наблюдения за тем, что происходит на платформе, к более глубокому пониманию и принятию мер на основе решений о маршрутизации практически в реальном времени.
OpenRouter внедрила ClickHouse Cloud в ноябре 2024 года. «Мы предвидели будущую потребность в необходимости принимать огромный объем данных в очень быстром темпе и предоставлять множество различных срезов и агрегаций для одного и того же набора данных», — говорит Джо. Пользователи, провайдеры и общественность должны были получить собственное представление об одних и тех же данных практически в реальном времени.
С ноября 2024 года по август 2026 года количество ежемесячных запросов выросло примерно с 600 миллионов до 19,7 миллиарда, то есть в 33 раза. В настоящее время OpenRouter обрабатывает более 110 триллионов токенов в неделю, а таблица сырых логов генерации в ClickHouse содержит около 134 миллиардов строк.
Данные поступают в ClickHouse из разных источников. Шлюз записывает телеметрию запросов, используя комбинацию синхронных пакетных вставок (batched inserts) и асинхронных вставок. Команда также тестировала новый коннектор GCP Pub/Sub для ClickPipes, который Джо назвал «очень удобным в работе». Асинхронный классификатор анонимно помечает каждый промпт определенным типом задачи, чтобы OpenRouter мог видеть, как пользователи распределяют свои запросы по семействам моделей. ClickPipes принимает данные из транзакционной базы данных Postgres, а Fivetran — из сторонних инструментов.
Данные попадают в систему в виде базовых (сырых) таблиц, в то время как материализованные представления (materialized views) преобразуют их в агрегаты для отслеживания активности, работоспособности эндпоинтов и типов задач. Поверх этого развернуто хранилище данных, построенное с использованием dbt и Airflow.
«Данные, хранящиеся в наших хранилищах ClickHouse, обеспечивают наблюдаемость, работу ИИ-агентов, Slack-ботов и принятие решений о маршрутизации. Результаты этих решений затем записываются обратно в ClickHouse, создавая непрерывный цикл обратной связи». — Джо Сисельский, старший инженер по работе с данными, OpenRouter
«Данные, хранящиеся в наших хранилищах ClickHouse, обеспечивают наблюдаемость, работу ИИ-агентов, Slack-ботов и принятие решений о маршрутизации. Результаты этих решений затем записываются обратно в ClickHouse, создавая непрерывный цикл обратной связи».
— Джо Сисельский, старший инженер по работе с данными, OpenRouter
«Одно из преимуществ использования шлюза, — поясняет Джо, — заключается в том, что все ваши данные находятся в одном месте». У команды может быть контракт с OpenAI, доступ к другим моделям через Bedrock и соглашения с другими сервисами. Маршрутизация через OpenRouter централизует их все. «Мы знали, что это крайне важно для нашего бизнеса, — говорит он. — Нам хотелось убедиться, что это станет приоритетом на раннем этапе, обеспечив нашим клиентам доступ к этим данным».
Телеметрия запросов начала поступать, и уже через несколько недель, в ноябре 2024 года, ориентированные на пользователей графики активности для отслеживания использования и затрат на токены стали считывать данные из ClickHouse. К января 2025 года команда добавила агрегаты производительности эндпоинтов и публичные рейтинги, а в феврале 2025 года маршрутизация начала считывать показатели работоспособности эндпоинтов из тех же данных.
Общий принцип заключается в том, чтобы записать данные один раз и агрегировать их множеством способов. Как выразился Джо: «Благодаря тому, как просто добавлять агрегаты, мы можем записать эту телеметрию один раз и использовать материализованные представления для получения самых разных срезов данных».
Сегодня эти агрегаты питают целый ряд информационных панелей и страниц:
- Активность и логи для отслеживания использования, затрат и ошибок
- Панели мониторинга провайдеров, показывающие работоспособность эндпоинтов
- Mission Control, помогающий менеджерам по работе с ключевыми клиентами понимать объемы корпоративного использования
- Страницы рейтингов и моделей с публичными таблицами лидеров, задержкой и временем безотказной работы
Поверх ClickHouse расположен единый конструктор запросов (query builder), который обслуживает их все. Чтобы создать новый график или отчет, инженеры делают стандартный вызов API. Если необходимые метрики и измерения есть в конструкторе, он преобразует вызов в SQL. Тот же конструктор запросов также питает публичную аналитическую конечную точку OpenRouter.
Страница рейтингов OpenRouter, на которой отображаются набирающие популярность модели и типы задач, направляемых к каждой из них, является «мощным маховиком для нашей организации», отмечает Джо. «Люди могут изучить нашу страницу публичных рейтингов и сказать: „О, я вижу, что все в восторге от этой модели, дай-ка я зайду на OpenRouter и попробую ее“. Ею очень легко поделиться в соцсетях, сделать скриншот и подогреть интерес к тому, что мы делаем».
[Вставить запись экрана таблицы лидеров]
В августе 2025 года команда решила выяснить, что еще данные могут им рассказать. «Мы знали, что в том, что у нас есть в ClickHouse, заложено много скрытой информации», — говорит Джо.
Вместо того чтобы разворачивать отдельное хранилище, они создали его прямо внутри ClickHouse. Оно следует стандартной медальонной архитектуре (medallion architecture) в dbt, перемещая данные из источников через зоны staging (предварительная обработка), facts and dimensions (факты и измерения) и marts (витрины данных). Хранилище содержит относительно небольшое количество моделей dbt — около 270 по подсчетам Джо, и каждая колонка в каждой из них документирована. «Это очень важно для того, как мы получаем доступ к данным, а именно — в основном через агентов», — поясняет он.
OpenRouter запускает десятки внутренних агентов, и любой сотрудник компании может развернуть нового для своего сценария использования. Сотрудники общаются со своими агентами в основном через Slack. Каждый агент умеет читать документацию dbt и обладает небольшим набором навыков, которые по сути представляют собой markdown-файлы, описывающие способы доступа к ClickHouse и особенности составления запросов. Это позволяет сотрудникам получать ответы из ClickHouse без необходимости глубоко понимать, где хранятся данные или как структурировать запрос.
Если, например, клиент пишет о том, что его запросы завершаются с ошибкой, инженеру поддержки не нужно вручную искать ID клиента и копаться в логах и трассировках. Вместо этого он может передать вопрос агенту службы поддержки, который способен:
- Найти аккаунт, его ключи и недавнюю активность
- Проследить путь сбойных запросов от начала до конца
- Связать каждую ошибку с конкретным провайдером, клиентом или самим OpenRouter
- Дать ответ в Slack с прикрепленными доказательствами
Каждый шаг представляет собой чтение из ClickHouse через ограниченный вспомогательный API. «Это делает процесс доступа ко всей информации в нашей базе данных ClickHouse очень простым для всех наших сотрудников, — говорит Джо, — избавляя их от необходимости разбираться во всем вручную».
«Маршрутизация — это действительно наш основной бизнес», — говорит Джо. Цель состоит в том, чтобы направить каждый запрос на тот эндпоинт, который наилучшим образом отвечает потребностям пользователя. «ClickHouse находится в самом центре этого процесса непрерывной оценки, где каждый поступающий запрос превращается в фрагмент данных, который мы затем можем использовать для того, чтобы последующие запросы еще лучше удовлетворяли потребности пользователей».
Пользователи указывают, что для них важно (цена, скорость, надежность), а ClickHouse показывает, какие провайдеры это обеспечивают. Этот цикл состоит из четырех шагов. OpenRouter считывает предпочтения пользователя в запросе, измеряет производительность каждого провайдера, выбирает провайдера, который лучше всего соответствует запросу, и записывает результат для следующего запроса.
Со временем этот процесс стал более сложным. В феврале 2025 года OpenRouter мог сортировать по цене или скорости и пропускать неработающие провайдеры. К маю 2025 года он стал отдавать предпочтение провайдерам с историей успешных запросов. В 2026 году та же маршрутизация распространилась на изображения, аудио, видео и эмбеддинги, а к середине 2026 года платформа оценивала каждого провайдера по надежности, скорости, качеству и стоимости.
Новейшим элементом является Jev Router от TypeSafe AI, ставший доступным в октябре 2026 года. Обычно пользователь выбирает модель, а OpenRouter выбирает провайдера. С Jev Router OpenRouter выбирает и модель тоже. Джо называет это своеобразным «механизмом выбора на усмотрение дилера», состоящим из четырех этапов:
- Классификация: Легковесный классификатор присваивает промпту один из примерно 30 детальных типов задач. Это те же типы задач, которые отображаются на публичной странице рейтингов.
- Ранжирование: OpenRouter ранжирует модели по реальному использованию для этой задачи, используя данные ClickHouse. «Если вам нужно, например, провести ревью кода, мы посмотрим, как недавние пользователи OpenRouter направляют запросы на разные модели для выполнения задач по ревью кода», — говорит Джо.
- Фильтрация: Рейтинг фильтруется по ограничениям пользователя ценовой категории и возможностей, с соблюдением ограничений на модели и провайдеры на уровне учетной записи, систем защиты и политик нулевого хранения данных.
- Выбор: Маршрутизатор выбирает эндпоинт и держит наготове резервные варианты.
Как и в случае с остальной маршрутизацией OpenRouter, результат затем записывается обратно в ClickHouse для использования при принятии следующего решения.
В совокупности эти три эпохи образуют единый цикл. Телеметрия запросов превращается в графики для клиентов. Сводные таблицы, витрины данных и агенты читают те же данные, чтобы объяснить происходящее. Маршрутизаторы используют их для выбора следующего эндпоинта, а результаты их работы поступают обратно в виде новой телеметрии.
«ClickHouse находится в самом центре того, как мы используем наши данные, чтобы гарантировать наилучшее удовлетворение потребностей наших пользователей, обеспечивать наблюдаемость, углублять понимание происходящего и принимать решения в отношении нашей маршрутизации». — Джо Сьесельский (Joe Ciesielski), старший инженер по работе с данными, OpenRouter
«ClickHouse находится в самом центре того, как мы используем наши данные, чтобы гарантировать наилучшее удовлетворение потребностей наших пользователей, обеспечивать наблюдаемость, углублять понимание происходящего и принимать решения в отношении нашей маршрутизации».
— Джо Сьесельский (Joe Ciesielski), старший инженер по работе с данными, OpenRouter
