Perplexity изначально создавалась как мультимодельная система, предоставляющая пользователям свободу выбора новейших передовых и открытых моделей для их работы. Такой мультимодельный подход опирается на сильные стороны каждой модели и позволяет снизить затраты, когда для задачи не требуется самая мощная модель. За кулисами наша технология оркестрации может использовать несколько моделей для выполнения одной задачи.
Компании применяют аналогичный подход для балансировки производительности, стоимости и гибкости. Каждоий выпуск новой модели открывает возможность снизить затраты или повысить качество. Только в этом году такие лаборатории, как Anthropic и OpenAI, выпустили более десятка новых моделей. Также было представлено более 100 открытых моделей. Хотя это дает командам больше возможностей для каждой рабочей нагрузки, это также увеличивает количество провайдеров, контрактов и счетов, которыми приходится управлять.
Сегодня мы запускаем Perplexity Orchestrator API, делая нашу модельную технологию доступной для разработчиков и команд, создающих AI-приложения. С помощью единого API команды могут выполнять простые задачи с высоким объемом на более дешевых моделях и резервировать более мощные модели для более требовательной работы.
С помощью Orchestrator команды могут снизить и централизовать расходы на AI, а также внедрять новые модели по мере их выхода без ущерба для производительности или времени безотказной работы. Команды могут выбирать, какая модель обрабатывает каждую рабочую нагрузку, а Perplexity управляет маршрутизацией провайдеров и отказоустойчивостью для обеспечения надежного вывода.
Создано на базе производственного модельного уровня Perplexity
Perplexity ежедневно запускает открытые и передовые модели в продакшене. Наш модельный уровень направляет сотни миллионов запросов через более чем 85 моделей и более десятка провайдеров.
Выбирать модель проще, чем поддерживать высокую скорость и доступность каждого запроса, когда провайдеры замедляются, испытывают нехватку мощностей или меняют цены. Мы снизили собственные затраты на обслуживание, перенеся рабочие нагрузки на модели, наиболее подходящие для каждой задачи.
Orchestrator предоставляет разработчикам доступ к общей инфраструктуре, лежащей в основе этого подхода.
Orchestrator делает этот уровень вывода доступным через единый API. Он охватывает модели от OpenAI, Anthropic, Google и xAI, а также открытые модели, такие как GLM, Kimi и DeepSeek. Открытые модели обслуживаются Perplexity или через партнеров по выводу.
Orchestrator поддерживает форматы OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Команды могут продолжать использовать привычные комплекты для разработки программного обеспечения (SDK). Для большинства команд начало работы заключается в обновлении ключа API и базового URL-адреса, а также в выборе доступной модели.
Единый биллинг без дополнительной платы за платформу
Использование моделей из нескольких лабораторий и от разных провайдеров выводов может потребовать отдельных учетных записей, ключей API, контрактов, проверок безопасности и счетов. Это также может означать раздельные годовые обязательства на основе набора моделей, который может измениться в течение нескольких недель.
Orchestrator объединяет поддерживаемые модели под управлением одного вендора и в рамках одного счета, поэтому команды могут менять свой набор моделей без согласования отдельных обязательств с каждым провайдером. Поверх кредитов не взимается никакая дополнительная плата за платформу.
Команды также могут отслеживать использование и управлять расходами через консоль API:
- Отчеты об использовании: расходы с детализацией по моделям, проектам, ключам API и датам
- Ключи API: отдельные ключи API для отслеживания использования по проектам или командам
- Инструменты администратора: списки разрешенных моделей организации, ограничения для пользователей, лимиты расходов и запросы на емкость
Более надежные запросы между провайдерами
Модели, доступные через нескольких провайдеров, дают командам более одного способа обработки запроса.
Orchestrator отслеживает работоспособность, емкость и задержку каждого провайдера для распределения трафика между наиболее эффективными из них. Если запрос завершается с ошибкой, он может повторить попытку на другом развертывании той же модели, управляя отказоустойчивостью без необходимости для команд самостоятельно создавать эту логику.
Для команд, выполняющих миллионы запросов в день, даже небольшая разница в проценте успешных запросов, дельта между 99,0% и 99,99%, может повлиять на тысячи ответов. С Orchestrator командам не нужно самостоятельно создавать или поддерживать код отказоустойчивости.
В течение месяца производственного трафика в Orchestrator запросы Claude и GPT через Perplexity имели более высокие показатели успешности, чем у любого отдельного измеренного провайдера, а также меньшую суточную вариативность во время инцидентов у провайдеров.
В режиме предварительного просмотра: маршруты (Routes) и автоуровень (Auto effort)
Маршруты позволяют командам описывать простым языком, какие запросы должна обрабатывать каждая модель, и задавать модель по умолчанию. Команды могут начать со встроенного профиля Нижняя стоимость (Lower cost), Сбалансированный (Balanced) или Высшее качество (Higher quality). Или они могут создать свой собственный профиль. Если команды не предоставляют описание или не указывают цель, запрос обслуживает модель по умолчанию.
Также в предварительной версии функция автоуровня (Auto effort) регулирует глубину рассуждений, которую поддерживаемая модель использует на следующем шаге в соответствии с заданной разработчиком политикой. Агент может тратить больше усилий на устранение ошибки инструмента без переключения моделей.
Начните работу с интеллектуальной оркестрацией моделей
Orchestrator — это первый шаг в рамках платформы API Perplexity для интеллектуальной оркестрации моделей. Узнайте, как мы создали и оценили маршруты, включая то, почему правильная маршрутизация моделей дается с трудом.
Чтобы начать работу, создайте ключ API в консоли API, укажите существующий SDK OpenAI или Anthropic для базового URL-адреса Orchestrator и выберите модель из каталога.
Краткое руководство поможет выполнить первый запрос за считанные минуты. Команды с большими или фиксированными объемами работ могут написать на api@perplexity.ai для получения дополнительной информации о ценообразовании на основе объема и емкости.
Создайте ключ API сегодня.












