Каждое ИИ-приложение генерирует постоянный поток данных: промпты, вызовы моделей, затраты и результаты оценки. Хранение этих данных и выполнение запросов к ним в больших объемах — это именно то, для чего создан ClickHouse. Вот почему Langfuse работает на базе ClickHouse и почему в январе компания присоединилась к ClickHouse. Langfuse — это платформа инженерного проектирования ИИ с открытым исходным кодом, которую используют тысячи команд для отслеживания, оценки и улучшения своих ИИ-приложений, от управления промптами до мониторинга в продакшене. Сегодня Langfuse запускает AI Gateway в режиме публичного бета-тестирования, чтобы каждый вызов модели, включая вызовы от кодинг-агентов, попадал в единое хранилище вместе с информацией о том, кто его совершил и во сколько он обошелся. Команда Langfuse делится подробностями.
Каждое ИИ-приложение генерирует постоянный поток данных: промпты, вызовы моделей, затраты и результаты оценки. Хранение этих данных и выполнение запросов к ним в больших объемах — это именно то, для чего создан ClickHouse. Вот почему Langfuse работает на базе ClickHouse и почему в январе компания присоединилась к ClickHouse. Langfuse — это платформа инженерного проектирования ИИ с открытым исходным кодом, которую используют тысячи команд для отслеживания, оценки и улучшения своих ИИ-приложений, от управления промптами до мониторинга в продакшене. Сегодня Langfuse запускает AI Gateway в режиме публичного бета-тестирования, чтобы каждый вызов модели, включая вызовы от кодинг-агентов, попадал в единое хранилище вместе с информацией о том, кто его совершил и во сколько он обошелся. Команда Langfuse делится подробностями.
Сегодня мы запускаем Langfuse AI Gateway в публичном бета-тестировании. Мы рады представить наш новый продукт. Спасибо всем, кто поделился отзывом о том, что именно это вы хотели бы видеть следующим для создания единого подхода к использованию моделей, отслеживанию затрат и контролю доступа к ИИ.
За последние три года подход компаний к использованию ИИ кардинально изменился. Это больше не один чат-бот, созданный одной командой. Это кодинг-агенты на ноутбуке каждого инженера, ИИ-ассистенты в каждой команде, внедряемые снизу вверх инструменты для работы с рабочими процессами и десятки кастомных ИИ-приложений в продакшене.
Компаниям становится все сложнее отвечать на вопросы: кто в нашей организации использует какие модели, для каких целей, сколько это стоит, насколько это безопасно и как можно это оптимизировать и контролировать?
Управление использованием ИИ внутри компании становится отдельной дисциплиной:
- Перед платформами командами стоит задача сделать внедрение ИИ безопасным, простым и доступным при масштабировании.
- Финансовым командам необходимо ежемесячно отслеживать расходы на ИИ по провайдерам и командам.
Langfuse AI Gateway представляет собой центральную точку входа для контроля всего ИИ-трафика, которую легко развернуть, внедрить и администрировать. Он может автоматически регистрировать все запросы в Langfuse, позволяя анализировать использование ИИ и принимать на этой основе решения.
Langfuse — это ведущий проект с открытым исходным кодом для обеспечения наблюдаемости ИИ и оценок (более 35 тыс. звезд на GitHub, более 90 млрд наблюдений в месяц, более 90 млн загрузок пакетов в месяц). 21 компания из списка Fortune 50 и ведущие ИИ-компании, такие как Ramp, Hugging Face и Canva, полагаются на Langfuse для понимания и улучшения своих ИИ-агентов. Открытый исходный код здесь имеет принципиальное значение, поскольку шлюз ИИ должен быть масштабируемым и надежным, а его автономное развертывание в изолированной среде (air-gapped) помогает решить множество вопросов безопасности в регулируемых отраслях.
Добавление шлюза было одной из самых востребованных функций среди наших пользователей. Чтобы получить полную картину использования ИИ в компании, необходимо видеть каждый вызов модели. Наши уже охватывают многие создаваемые вами ИИ-агенты, но большая часть использования ИИ в компании происходит в инструментах, которые никто не инструментирует, таких как кодинг-агенты, внутренние ассистенты и скрипты. Шлюз располагается в центре, через него проходят все вызовы, поэтому ни один из них не будет упущен. И в отличие от автономного шлюза, который может только подсчитывать токены и стоимость, Langfuse превращает каждый вызов в полный трейс, который можно искать, оценивать и улучшать. Именно поэтому добавление встроенного шлюза — это естественный следующий шаг для Langfuse.
Большинство шлюзов просто сообщают вам стоимость ИИ. Langfuse AI Gateway идет дальше, поскольку каждый вызов через него превращается в полный трейс Langfuse (по желанию).
Следите за своими расходами. Затраты и использование для каждого вызова попадают в единую систему расходов на ИИ dashboard, с разбивкой по моделям и провайдерам. Устанавливайте лимиты расходов на каждый ключ и получайте alerted до того, как кто-то столкнется с неожиданным счетом.
Знайте, кто тратит средства. Каждый ключ принадлежит конкретному сотруднику или сервису и может быть привязан к команде или центру затрат, благодаря чему расходы на ИИ распределяются в соответствии со структурой вашей компании.
Понимайте, на что расходуются средства. Каждый вызов представляет собой полный трейс, а не просто строку расходов. Вы можете видеть, что приложение или команда фактически сделали с моделью, и использовать те же search, evaluations и annotation, которые вы уже применяете в Langfuse. Или просто спросите Halo: «Для чего эта команда использует Claude Code?»
Контролируйте используемые модели и обеспечивайте их безопасность. Утверждайте модели централизованно, чтобы дорогие или непроверенные решения не проникали незамеченными. Вы сами решаете, что именно записывать: только использование и затраты, полные промпты и ответы или вообще ничего.
Постепенно внедряйте более глубокое отслеживание. Сделайте логирование каждого вызова модели обязательным с помощью шлюза и позвольте командам постепенно добавлять больше деталей в свои ИИ-трейс-логи в Langfuse — например, выполнение вызовов инструментов сложными агентами — с помощью OpenTelemetry или одной из более чем 50 наших интеграций. Распределенная трассировка OpenTelemetry объединяет эти трейсы внутри Langfuse.
Используйте Langfuse в качестве памяти для агентов. Все данные в Langfuse доступны через MCP и CLI, поэтому вы можете предоставить агентам возможность искать по всем запросам ИИ, которые они делали в прошлом. Это служит основой для циклов самосовершенствования.
Экспортируйте метрики и сырые логи в свое хранилище данных. Это позволяет настроить любые пользовательские нисходящие процессы для финансовых и аналитических команд.
- Открытый исходный код. Как и остальная часть Langfuse, ядро шлюза распространяется под лицензией MIT. Запустите его в собственной инфраструктуре или используйте полностью управляемую версию в Langfuse Cloud.
- Простая самостоятельная установка (Self-hosted). Разверните его как единый образ Docker весом 22 МБ рядом с существующим экземпляром Langfuse без каких-либо дополнительных зависимостей. Прочитайте документацию.
- Ваши ключи, без наценки. Вы сохраняете свои контракты, тарифные планы и соглашения о соблюдении требований (например, об отказе от хранения данных) непосредственно с провайдерами моделей и облачных услуг. Мы не перепродаем токены.
- Создано на Rust. Мы написали шлюз на Rust для обеспечения высокой производительности, доступности и надежности даже во время пиковых нагрузок.
- Высокая скорость. Медианная задержка менее 3 мс при включенной трассировке.
- Высокая надежность. Более 1 000 одновременных потоков на одном узле с 2 vCPU.
- Предсказуемое масштабирование. Объем потребляемой памяти масштабируется линейно в зависимости от нагрузки.
Это только начало. У нас есть масштабная дорожная карта для AI Gateway, которая поможет управлять использованием ИИ:
- Стоимость: лимиты расходов по командам, пользователям или ключам API
- Надежность: фоллбэки (резервные переключения) между провайдерами
- Безопасность: защитные экраны (guardrails) и маскирование персональных данных (PII)
- Доступ: подготовка учетных записей пользователей (SCIM)
- Больше провайдеров: Bedrock, Vertex, Google AI Studio и кастомные провайдеры
- Маршрутизация моделей: автоматический выбор лучшей модели для конкретной задачи
Если вы заинтересованы в участии в качестве партнера по проектированию для одной из этих функций, свяжитесь с нами.
Шлюз находится в режиме публичного бета-тестирования, и вы можете протестировать его уже сегодня. Если вы администратор, настройте шлюз для своей организации, а затем создайте ключ шлюза в разделе Organization settings → AI Gateway.
Настройте ваше приложение или агента кодирования на использование хоста шлюза вашего региона (например, https://gateway.cloud.langfuse.com) и используйте ключ шлюза вместо ключа вашего провайдера. Откройте проект приема данных в Трассировке, чтобы увидеть входящий трафик.
Полное руководство по настройке Claude Code, Codex и других инструментов см. в разделе Send your first request.
Langfuse является частью ClickHouse с января, и Langfuse AI Gateway — один из многих крупных запуск сегодня. Мы анонсируем крупнейшее расширение платформы ClickHouse с момента запуска ClickHouse Cloud, представляя новые возможности в области postgres, наблюдаемости, безопасности и разработки ИИ. Читайте подробнее.
