Сегодня мы запускаем Приватные эндпоинты. OpenRouter уже объединяет публичные модели, используемые вашей командой, под одним API. Теперь он может обслуживать и те развертывания, которые есть только у вашей команды. Если вы используете дообученную модель, выделенное развертывание публичной модели или мощности, зарезервированные у провайдера, вы можете направлять их через OpenRouter наряду со всем остальным каталогом. Ваша команда сохраняет API, идентификатор модели (slug) и предпочтения маршрутизации, которые использует сегодня. Приватные эндпоинты видны только внутри вашей организации.

Приватные эндпоинты — это дополнение к корпоративному плану (Enterprise). Попросите вашего аккаунт-менеджера включить эту функцию для вашей организации или свяжитесь с нашей командой.

Что можно делать с помощью этой функции

Раньше дообученные модели и зарезервированные мощности требовали отдельной интеграции помимо OpenRouter. Теперь вы регистрируете развертывание как приватный эндпоинт и вызываете его через API, который уже используете, с публичными провайдерами в качестве опционального резервного варианта на случай сбоя или достижения лимита запросов. Только одобренные вами организации могут видеть этот эндпоинт, и он никогда не отображается в публичных списках моделей, рейтингах, поиске, графиках или бенчмарках.

Если у вашей организации есть, например, выделенное развертывание DeepSeek V4 Pro в Azure, вы можете зарегистрировать его как приватный эндпоинт для deepseek/deepseek-v4-pro, и ваши приложения продолжат вызывать этот идентификатор. Для вашей организации он по умолчанию перемещается в начало списка провайдеров, а функции «Резервные модели» (Model Fallbacks), «Выбор провайдера» и остальная маршрутизация работают так же, как и для любого другого провайдера. OpenRouter обращается к нему с вашим ключом Azure через BYOK (Bring Your Own Key), поэтому Azure выставляет счет напрямую вам.

Зарезервированные мощности также получают такую возможность. Укажите на них приватный эндпоинт, и трафик вашей организации по умолчанию будет направляться туда в первую очередь. Когда лимит запросов исчерпан или сервис недоступен, OpenRouter может перенаправить избыточный трафик публичным провайдерам в соответствии с настройками предпочтений провайдеров и резервных копий BYOK, которые вы установили.

Настройка эндпоинта

Как только функция «Приватные эндпоинты» включена, администратор организации регистрирует развертывание на странице «Приватные эндпоинты» в вашем аккаунте. Развертывание должно быть размещено у провайдера, которого мы поддерживаем для BYOK, так как OpenRouter обращается к нему с вашим собственным ключом. Оно также должно обслуживать модель, которая уже есть в каталоге OpenRouter, так как оно наследует идентификатор и возможности этой модели. Вы можете прикрепить собственное ценообразование, чтобы эндпоинт корректно отображался в отчетах о расходах, а также указать, сохраняет ли развертывание промпты.

Прежде чем что-либо будет направлено на новый эндпоинт, OpenRouter отправляет один реальный запрос через ключ провайдера, сохраненный в одном из ваших рабочих пространств. Этот запрос подтверждает, что ключ принят, развертывание поддерживает формат, совместимый с OpenAI, потоковая передача работает, данные об использовании возвращаются для биллинга, а ID модели совпадает с тем, что вы зарегистрировали. После успешной проверки вы активируете эндпоинт, и рабочие пространства в вашей организации смогут вызывать его по идентификатору модели. До этого момента он остается скрытым и недоступен для вызова.

Управление эндпоинтами через код

Если вы используете более нескольких эндпоинтов или храните инфраструктуру в виде кода, вы можете пропустить страницу настроек. API «Приватных эндпоинтов» охватывает весь жизненный цикл: от регистрации черновика и проведения тестовых проверок до активации, обновления цен, приостановки и удаления. Аутентификация происходит с помощью ключа Management API организации, а один вызов создания регистрирует, тестирует и активирует эндпоинт.

Если тестовые проверки не пройдены, черновик сохраняется и возвращается с указанием ошибок, чтобы вы могли исправить их и попробовать снова. Заголовок Idempotency-Key делает повторные попытки безопасными (повторный ключ возвращает эндпоинт, созданный первым запросом). Провайдер OpenRouter для Terraform объединяет все это в ресурс openrouter_private_endpoint, поэтому команда terraform apply регистрирует, тестирует и активирует эндпоинт, а terraform destroy удаляет его.

Полезно знать

Пометка эндпоинта как приватного не делает его эндпоинтом с нулевым удержанием данных (Zero Data Retention). Ваш провайдер обрабатывает промпты точно так же, как и раньше, а OpenRouter записывает политику обработки данных, которую вы декларируете при регистрации развертывания.
Приватный эндпоинт может использовать маршрутизацию внутри региона (In-Region Routing), если OpenRouter может определить регион по его адресу или если вы укажете его во время настройки. Запросы к us.openrouter.ai или eu.openrouter.ai будут направляться к вашему развертыванию внутри этого региона. В руководстве по маршрутизации внутри региона перечислены поддерживаемые провайдеры.
Ваш ключ провайдера должен быть сохранен в разделе BYOK в каждом рабочем пространстве, которое вызывает эндпоинт, и тестовый запрос во время настройки также требует его наличия там.
Каждая организация может иметь до 10 приватных эндпоинтов по умолчанию, при этом эндпоинты, которые еще находятся в процессе настройки, учитываются в этом лимите.

Начало работы

Как только функция включена, администратор организации может добавить ваш первый эндпоинт на странице «Приватные эндпоинты» в вашем аккаунте или с помощью ключа Management API через API «Приватных эндпоинтов».

Прочитайте документацию для получения дополнительной информации.