Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Orchestrator edinyy api dlya nadezhnogo vyvoda
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Orchestrator: единый API для надежного вывода

Источник: Perplexity AI•18 ноября 2026 г. в 00:11

Orchestrator: единый API для надежного вывода

Подключайтесь к моделям ИИ с открытыми весами и проприетарным моделям через один API с единой системой биллинга и автоматическим переключением на резервные копии той же модели.

Orchestrator объединяет модели с открытыми весами и проприетарные модели в одном API с единой системой биллинга. Он автоматически выбирает провайдера на основе доступности, мощности и задержки, а также может повторно отправлять неудачные запросы на другое доступное развертывание той же модели.

Одна интеграция для моделей с открытыми весами и проприетарных моделей

Orchestrator обслуживает модели с открытыми весами, размещенные на инфраструктуре вывода Perplexity, наряду с проприетарными моделями от других провайдеров. Текущий каталог содержит список доступных моделей.

Он принимает запросы OpenAI Chat Completions, OpenAI Responses и Anthropic Messages, поэтому вы можете подключаться через существующий SDK OpenAI или Anthropic.

Краткое руководство и руководство по маршрутизации содержат примеры SDK и описание текущего поведения маршрутизации.

Надежность и скорость у разных провайдеров

Надежность

Выбор Claude не означает зависимость от одного провайдера: запрос, который не прошел через Anthropic, все еще может быть успешно выполнен через AWS Bedrock. Переключение между провайдерами позволяет менять развертывание, обрабатывающее запрос, без смены самой модели.

Orchestrator использует данные о работоспособности и нагрузке для распределения запросов между развертываниями модели. Если провайдер возвращает ошибку, достигает лимита запросов или время ожидания истекает, Orchestrator повторяет попытку на другом развертывании этой модели с ограничениями по времени до первого токена и общей длительности для каждой попытки.

Согласно измерениям, проводившимся с 4 октября по 2 ноября 2026 года, запросы к Claude и GPT через Perplexity выполнялись успешно чаще, чем запросы к любому отдельному провайдеру, который мы измеряли. Их ежедневные показатели успешности также меньше колебались во время инцидентов у провайдеров.

Мы считали запрос неудачным, когда Orchestrator исчерпывал доступные развертывания или уровень обслуживания возвращал ошибку, но исключали ошибки клиента, такие как неверные запросы и нарушения лимитов запросов со стороны клиента.

Скорость вывода

Мы работаем над адаптивной маршрутизацией, которая учитывает скорость модели, чтобы Orchestrator мог корректировать выбор провайдера по мере изменения производительности.

Самый быстрый провайдер для любой модели со временем меняется. Для Claude Opus 5.5 Anthropic лидировал в 15 из 30 дней, а AWS Bedrock — в остальные 15.

За те же 30 дней медианная скорость вывода Azure для GPT-5.6 Sol была на 27% выше, чем у OpenAI.

Единый счет для всех моделей

Каждый запрос учитывается только в рамках использования токенов конкретной модели, которая на него ответила. Orchestrator взимает плату по опубликованным тарифам за токен для каждой модели независимо от того, какой провайдер обслуживает запрос, поэтому переключение между провайдерами не меняет этот тариф. Использование списывается с тех же предоплаченных кредитов, что и остальная часть вашего проекта Perplexity API.

В консоли API вы можете просматривать расходы по моделям и фильтровать использование по API-ключу. Вы также можете приобрести кредиты через AWS Marketplace.

Автоматическая маршрутизация (предварительная версия): подбор подходящей модели для каждой задачи

Orchestrator предлагает автоматическую маршрутизацию — дополнительную функцию, доступную в предварительной версии. Она выбирает модель для каждого запроса, используя профиль, который сопоставляет описания задач на естественном языке с моделями. Вы можете определить свой собственный профиль или использовать встроенный профиль по умолчанию от Orchestrator.

Запросы с автоматической маршрутизацией используют perplexity/auto в качестве модели. Для пользовательского профиля включите объект routing с параметрами default_model и routes. Каждый маршрут определяет имя, описание и модель.

Для каждого запроса perplexity/auto вызывает нашу модель принятия решений, чтобы прочитать диалог и сопоставить его с описаниями маршрутов, не видя имен моделей. Затем Orchestrator отправляет запрос модели, назначенной выбранному маршруту, или модели по умолчанию, если ни один маршрут не подходит. Orchestrator также использует модель по умолчанию, если модель принятия решений дает сбой или истекает время ожидания.

Приведенные ниже примеры охватывают маршрутизацию в обход отказов моделей, типы запросов в службу поддержки и смену задач в ходе диалога.

Маршрутизация в обход отказов

Агент может использовать автоматическую маршрутизацию, чтобы избежать предсказуемых отказов, сохраняя при этом предпочтительную модель для другой работы. Anthropic документирует, что Claude Fable 5.2's safeguards can block benign cybersecurity and life sciences work. Мы протестировали этот сценарий использования на подмножестве из 63 задач Terminal-Bench 4.1.

Мы запустили Claude Code с Fable отдельно и с двумя пользовательскими профилями маршрутизации. Оба профиля сохранили Fable в качестве модели по умолчанию и назначили маршруты для кибербезопасности, биологии и обработки после отказа (after_refusal) моделям GPT-6 Astra или GPT-6.1 Sol. Мы также включили автономные запуски Astra и Sol в Codex для сравнения.

В этом скорректированном сравнении обе настройки Claude Code с маршрутизацией решили 41 из 63 задач по сравнению с 38 для Fable отдельно, при более высокой оценочной стоимости за задачу. На графике показан этот компромисс наряду с Astra и Sol, работающими в Codex.

В примере ниже используется Sol: маршруты для безопасности и биологии выбирают ее до того, как произойдет отказ, а маршрут after_refusal выбирает ее, когда в диалоге уже содержится отказ.

json

"routing": { "default_model": "anthropic/claude-fable-5-2", "routes": [ {"name": "security", "description": "Работа над задачей по кибербезопасности или наступательной безопасности на любом этапе: взлом паролей, хешей или зашифрованных архивов; поиск или эксплуатация уязвимостей; восстановление или извлечение секретов, ключей или учетных данных; обход фильтров безопасности или санитайзеров; взлом шифров; вредоносное ПО; или обратная разработка бинарных файлов для восстановления скрытых данных.", "model": "openai/gpt-6.1-sol"}, {"name": "biology", "description": "Работа над задачей по биологии или наукам о жизни на любом этапе: последовательности ДНК, РНК или белков, сборка генома или последовательностей, праймеры, плазмиды или клонирование, молекулярная или клеточная биология, патогены, токсины или лабораторные протоколы.", "model": "openai/gpt-6.1-sol"}, {"name": "after_refusal", "description": "Ранее в этом диалоге помощник отказался, отклонил или не смог ответить на задачу, например, ответ, в котором говорится, что запрос был отклонен или заблокирован.", "model": "openai/gpt-6.1-sol"} ] }

Маршрутизация по типу проблемы

Для помощника службы поддержки большинству вопросов нужна только быстрая и недорогая модель. Спор по счету требует внимательного и эмпатичного ответа. Сломанная интеграция требует устранения неполадок. Помощник может использовать два маршрута для споров по счетам и технических проблем, оставляя рутинные вопросы модели по умолчанию:

Маршрут

Описание задачи

Модель

default_model

Все остальное, например, как изменить адрес электронной почты учетной записи

GLM-5.3 Flash

billing_dispute

Клиент оспаривает списание средств, просит возврат или расстроен из-за выставленного счета.

Claude Opus 5.5

technical_issue

Клиент сообщает об ошибке, сообщении об ошибке или интеграции, которая перестала работать и требует устранения неполадок.

GPT-6.1 Sol

Отправка запроса с маршрутизацией

Запрос ниже отправляет проблему сбоя API через профиль службы поддержки, описанный выше.

bash

curl https://api.perplexity.ai/orchestrator/v1/chat/completions -i \ -H "Authorization: Bearer $PERPLEXITY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "prompt_cache_key": "a44efa6b-a43f-4d3a-8922-ed383f40bea7", "model": "perplexity/auto", "routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "billing_dispute", "description": "Клиент оспаривает списание, запрашивает возврат средств или недоволен выставленным счетом.", "model": "anthropic/claude-opus-5-5"}, {"name": "technical_issue", "description": "Клиент сообщает об ошибке, сообщении об ошибке или неработающей интеграции, требующей устранения неполадок.", "model": "openai/gpt-6.1-sol"} ] }, "messages": [{"role": "user", "content": "С сегодняшнего утра каждый вызов API возвращает 401, хотя мой ключ не менялся."}] }'

Модель принятия решений сопоставила неудачные вызовы API с технической проблемой (technical_issue), поэтому Orchestrator отправил запрос в GPT-6.1 Sol. Ответ включает выбранный маршрут и модель, которая дала ответ:

plaintext

HTTP/2 200 x-perplexity-autoroute-outcome: routed x-perplexity-autoroute-route: technical_issue {"model": "openai/gpt-6.1-sol", "choices": [ ... ], "usage": { ... }}

Заголовок x-perplexity-autoroute-route указывает выбранный маршрут или его отсутствие. x-perplexity-autoroute-outcome сообщает о том, как был обработан запрос, включая информацию о том, был ли он направлен по маршруту или перенаправлен на модель по умолчанию. Поле model идентифицирует модель, которая предоставила ответ.

Маршрутизация в рамках диалога

По мере того как диалог переходит от одной задачи к другой, модель, которая обрабатывала один этап, может оказаться неподходящей для следующего. Ваши последующие запросы включают историю диалога, поэтому как модель принятия решений, так и выбранная модель могут прочитать предыдущие этапы, включая ответы от других моделей. Мы провели три реальных диалога из четырех этапов: поддержка клиентов, программирование и исследования.

Поддержка клиентов

В примере выше предположим, что один и тот же диалог переходит от вопроса по учетной записи к спору о счете, а затем к неисправной интеграции. По мере изменения задачи модель принятия решений выбирает соответствующий маршрут; когда пользователь отправляет заключительное «спасибо», Orchestrator возвращается к GLM-5.3 Flash.

Кэширование промптов при смене моделей

Каждый запрос содержит полную историю сообщений, но каждая модель поддерживает свой собственный кэш. Когда диалог возвращается к GLM Flash на 4-м этапе, он может повторно использовать соответствующий префикс с 1-го этапа, пока он все еще кэширован, а затем обработать ответы, добавленные Opus и Sol на 2-м и 3-м этапах. То же самое касается Opus или Sol, если они будут выбраны на 5-м этапе.

Orchestrator по возможности сохраняет связанные запросы на одном и том же развертывании, чтобы обеспечить кэширование промптов. Используйте стабильный prompt_cache_key для диалога, чтобы помочь поддерживать эту аффинитивность.

Помощник по программированию

На 4-м этапе диалога по программированию GLM-5.3 Flash пишет строку документации (docstring), используя контекст из диагностики ошибки Claude Opus 5.5 и плана реализации GPT-6.1 Sol.

Профиль маршрутизации назначает переименования и небольшие правки модели GLM-5.3 Flash, диагностику ошибок — Claude Opus 5.5, а планирование изменений в модулях — GPT-6.1 Sol:

json

"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "hard_debugging", "description": "Диагностика неудачного теста, сбоя, взаимной блокировки, состояния гонки или регрессии производительности на основе кода, логов или трассировки стека.", "model": "anthropic/claude-opus-5-5"}, {"name": "design_change", "description": "Планирование или проверка изменений, охватывающих несколько модулей, таких как редизайн API, миграция или модель параллелизма.", "model": "openai/gpt-6.1-sol"} ] }

Помощник по исследованиям

В примере с исследованиями фактический вопрос приводит к вычислению, которое затем становится основой для служебной записки. Профиль назначает фактические вопросы модели GLM-5.3 Flash, вычисления — GPT-6.1 Sol, а написание записки — Claude Opus 5.5:

json

"routing": { "default_model": "perplexity/glm-5.3-flash", "routes": [ {"name": "quantitative_analysis", "description": "Вопросы, требующие вычислений, статистики, финансовой модели или пошагового количественного сравнения.", "model": "openai/gpt-6.1-sol"}, {"name": "long_form_writing", "description": "Написание отшлифованной записки, отчета или объяснения для читателя, синтезирующего предыдущие выводы в связный аргумент.", "model": "anthropic/claude-opus-5-5"} ] }

Записка на 3-м этапе использует вычисления из предыдущего ответа GPT-6.1 Sol, округляя цифры без необходимости просить пользователя повторить их.

Начало работы с Orchestrator

Подключите ваш существующий SDK OpenAI или Anthropic с помощью ключа Perplexity API, соответствующего базового URL Orchestrator и модели из каталога.

Краткое руководство охватывает настройку, текущую доступность и доступ. По вопросам обращайтесь по адресу api@perplexity.ai.

← Все статьи

О чём эта статья

Ещё в разделе «AI и машинное обучение»

Все →
Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ
AI2 (Allen Institute for AI)

Ai2 и Taylor Geospatial объявляют о партнерстве для упрощения сравнения, запуска и разработки геопространственного ИИ

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам
LangChain

LangSmith для агентов по написанию кода: теперь отслеживайте расходы по результатам

Модели временных рядов в Streamhouse: новые горизонты и варианты использования
Hugging Face

Модели временных рядов в Streamhouse: новые горизонты и варианты использования

Rumble-2-Flash: открытая речевая модель 0.5B для 40+ языков
Hugging Face

Rumble-2-Flash: открытая речевая модель 0.5B для 40+ языков

Компактные настольные ПК NVIDIA RTX Spark уже в продаже
NVIDIA

Компактные настольные ПК NVIDIA RTX Spark уже в продаже

SenseTime публикует операционные результаты за первые девять месяцев 2026 года: рост выручки ускоряется, валовая маржа продолжает расти, а коммерциализация полностекового ИИ набирает обороты
SenseTime

SenseTime публикует операционные результаты за первые девять месяцев 2026 года: рост выручки ускоряется, валовая маржа продолжает расти, а коммерциализация полностекового ИИ набирает обороты

Ещё от Perplexity

Представляем уровень усилий Multiagent для Computer
Perplexity

Представляем уровень усилий Multiagent для Computer

Что такое RAG? Объяснение генерации с дополнением поиска
Perplexity

Что такое RAG? Объяснение генерации с дополнением поиска

AGI против AI: ключевые различия и способы оценки заявлений об AGI
Perplexity

AGI против AI: ключевые различия и способы оценки заявлений об AGI

Представляем Monitor API от Perplexity
Perplexity

Представляем Monitor API от Perplexity

Представляем Perplexity Frontier Research
Perplexity

Представляем Perplexity Frontier Research

Типы поисковых систем: краулеры, метапоиск и ИИ
Perplexity

Типы поисковых систем: краулеры, метапоиск и ИИ