Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Openrouter teper obespechivaet rabotu vyvoda inference na hugging face
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

OpenRouter теперь обеспечивает работу вывода (inference) на Hugging Face

Источник: OpenRouter Blog•16 ноября 2026 г. в 18:02

OpenRouter теперь обеспечивает работу вывода (inference) на Hugging Face

Чат-модели в Inference Providers на Hugging Face теперь работают через маршрутизацию OpenRouter, а OpenRouter может отправлять ваши трассировки в бакет хранилища Hugging Face.

Мы создали OpenRouter, чтобы разработчики могли получать доступ ко множеству моделей и провайдеров через один API, использовать лучшую модель для каждой задачи и быть уверенными в получении ответа. С сегодняшнего дня это доступно всем, кто создает проекты на Hugging Face. Чат-модели в Inference Providers на Hugging Face теперь работают через OpenRouter, используя ту же маршрутизацию между провайдерами, на которую уже полагаются клиенты OpenRouter.

Интеграция также работает в обратном направлении. OpenRouter теперь может отправлять трассировку каждого запроса в принадлежащий вам бакет хранилища Hugging Face, чтобы промпты и ответы из вашего реального трафика находились рядом с моделями и наборами данных, которые вы используете для их оценки или дообучения. В руководстве по настройке описаны все шаги.

Что вы получаете на Hugging Face

Многие чат-модели на Hugging Face обслуживаются более чем одним провайдером. Маршрутизация провайдеров OpenRouter теперь обеспечивает маршрутизацию в Inference Providers на Hugging Face, выбирая провайдера для каждого запроса на основе текущей цены, скорости и надежности. Вам не нужно ничего настраивать, а ваш существующий токен и код Hugging Face продолжат работать.

Вы также получаете автоматическое переключение при сбоях. Если провайдер замедляется или начинает выдавать ошибки, запросы перенаправляются другим провайдерам до тех пор, пока он не восстановится. Если провайдер возвращает ошибку, запрос будет повторен через следующего провайдера в рамках того же вызова.

Когда мы переработали эту маршрутизацию в октябре, эксперимент в реальном времени показал снижение количества запросов с ошибками по емкости на 46%, сокращение времени до первого токена на 16,9% и увеличение пропускной способности на 16,3% при росте стоимости запроса на 6,0%. Теперь все, кто работает на Hugging Face, получают такую же маршрутизацию.

Вы сохраняете контроль над компромиссами. Добавление суффикса к идентификатору модели, например :fastest, :cheapest или имени провайдера, указывает OpenRouter, чему отдать приоритет, и запросы работают через API Chat Completions и Responses от OpenAI или API Messages от Anthropic. Диалог также остается у того провайдера, который хранит кэш его промптов.

На странице каждой модели появилась новая вкладка «Провайдеры» с актуальными данными о цене, скорости и времени безотказной работы для каждого провайдера. Вы можете просматривать свои расходы по провайдерам и отключать любого из них, если не хотите его использовать.

Сегодня таким образом доступны 160 моделей от 38 лабораторий — это все модели, которые обслуживает OpenRouter и у которых есть страница на Hub. Среди них модели с открытыми весами, которые разработчики чаще всего используют в OpenRouter, где на долю моделей с открытыми весами сейчас приходится около 70% платных токенов:

  • DeepSeek V4.1 Flash
  • MoonshotAI Kimi K3.1 Pro и Kimi K3
  • Z.ai GLM 5.3 и GLM 5.3 Flash
  • Qwen3.8 27B
  • MiniMax M3.1 Flash
  • Xiaomi MiMo-V2.6-Flash
  • NVIDIA Nemotron 3 Ultra
  • OpenAI gpt-oss-120b

Ваши трассировки могут храниться на Hub

Добавьте бакеты хранилища Hugging Face в качестве места назначения для трансляции (функция находится в бета-версии), и OpenRouter будет отправлять каждый запрос в виде JSON-файла в принадлежащий вам бакет. Каждый файл содержит входные сообщения, выходные данные модели, количество токенов и стоимость. Изображения и другие медиафайлы не включаются.

Это исходный материал для набора оценки или процесса дообучения модели с открытыми весами. Вы можете упорядочить файлы по дате или по API-ключу.

Начало работы

На Hugging Face:

  • Создайте токен по адресу hf.co/settings/tokens с разрешением «Make calls to Inference Providers».
  • Откройте страницу любой поддерживаемой модели на Hub. Пообщайтесь с ней там или нажмите «View code», чтобы увидеть шаги по настройке для вашего кода или агента кодирования, включая Claude Code, Codex, OpenCode, Pi и Hermes Agent.
  • Чтобы выбрать, какие провайдеры могут обслуживать ваши запросы, перейдите в Inference Providers в настройках вашего профиля Hugging Face.

Чтобы отправлять трассировки в бакет хранилища:

  • Создайте бакет хранилища на Hugging Face.
  • Создайте токен доступа с разрешением на запись (Write) и сгенерируйте на его основе учетные данные S3.
  • В OpenRouter перейдите в Settings > Observability, включите Broadcast и откройте Hugging Face Storage Buckets.
  • Введите пространство имен, имя бакета, идентификатор ключа доступа и секретный ключ доступа. Шаблон пути, например {apiKeyName}/{date}, является необязательным.
  • Нажмите «Test Connection», а затем сохраните.

Полное руководство по настройке содержит информацию о шаблонах путей и формате файлов трассировки.

Попробуйте модель в Hugging Face Playground или отправьте свои трассировки в бакет хранилища.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
OpenAI внедрити исследователей Apollo для изучения попыток саботажа со стороны ИИПресса
OpenAI

OpenAI внедрити исследователей Apollo для изучения попыток саботажа со стороны ИИ

Tesla делает ставку на Cybercab в рамках предстоящего расширения Gigafactory в Берлине стоимостью 3 млрд евроПресса
Tesla

Tesla делает ставку на Cybercab в рамках предстоящего расширения Gigafactory в Берлине стоимостью 3 млрд евро

Представляем Baseten Voice Agent Stack: полный контроль и оптимизация голосовых агентов
Baseten

Представляем Baseten Voice Agent Stack: полный контроль и оптимизация голосовых агентов

Наш первый этап встроенных оценок
OpenAI

Наш первый этап встроенных оценок

Наука на переднем крае: как ученые используют ChatGPT
OpenAI

Наука на переднем крае: как ученые используют ChatGPT

Усиление борьбы с сексуальной эксплуатацией детей в интернете с помощью новых инструментов и поддержки
OpenAI

Усиление борьбы с сексуальной эксплуатацией детей в интернете с помощью новых инструментов и поддержки

Ещё от OpenRouter

Переранжирование в RAG: как исправить плохой поиск с помощью реранкера
OpenRouter

Переранжирование в RAG: как исправить плохой поиск с помощью реранкера

Как мы создали самокорректирующуюся систему локализации для OpenRouter
OpenRouter

Как мы создали самокорректирующуюся систему локализации для OpenRouter

LLM с самостоятельным хостингом против API: когда это окупается
OpenRouter

LLM с самостоятельным хостингом против API: когда это окупается

Как остановить ИИ-агент, застрявший в бесконечном цикле
OpenRouter

Как остановить ИИ-агент, застрявший в бесконечном цикле

Как проводить бенчмаркинг LLM
OpenRouter

Как проводить бенчмаркинг LLM

Представляем Extractions API
OpenRouter

Представляем Extractions API