Сегодня мы запускаем следующее поколение Auto Router. Учитывая весь опыт работы с Auto Router за последние 3 года, мы пересоздали его с нуля на совершенно новой технической базе, которая превосходит старый роутер до 4 раз в зависимости от бенчмарка. При этом этап маршрутизации выполняется в 3 раза быстрее на уровне p90 в наших реальных тестах (0.65 с против 1.96 с).
Роутеру проще показывать хорошие результаты в бенчмарках, чем эффективно работать на практике. Через Auto Router ежегодно проходит более 2,5 триллионов токенов от более чем 100 тысяч пользователей, поэтому он должен безупречно работать в реальных условиях.
Этот запуск включает в себя совершенно новый роутер, специализированный для написания кода, — Auto Code (openrouter/auto-code), а также наш флагманский универсальный Auto Router (openrouter/auto).
Попробуйте его прямо сейчас, установив параметр model в значение openrouter/auto или openrouter/auto-code в любом запросе, либо откройте Auto Router в чате. Ознакомьтесь с документацией Auto Router для получения подробной информации.
Что нового в этом поколении
Предыдущий Auto Router полагался на пару неточных сигналов, таких как тип задачи, для выбора модели — это ограничение было необходимо для поддержания низкой задержки и согласованности решений. Новые Auto Router и Auto Code выбирают модели, оценивая одиннадцать факторов для каждого запроса и комбинируя их с актуальными ценами, состоянием провайдеров и статусом кеша.
Этот новый процесс позволяет Auto Router работать с любым набором моделей. Вы можете применять любые политики управления, включая защитные экраны, требования об отказе от хранения данных (zero data retention), ограничения провайдеров, списки разрешенных моделей и ключи BYOK. Auto Router делает эффективный выбор среди доступных вам моделей.
Мы представили новый роутер Auto Code на основе отзывов об использовании универсального роутера в средах разработки (harnesses). Этот роутер с нуля настроен на высокую производительность при написании кода за счет включения более высокого уровня моделей для кодинга и оптимизации задержки. В пяти приведенных ниже бенчмарках Auto Code демонстрирует результаты на уровне Claude Opus 5.5, обходясь при этом на 74% дешевле за одну задачу.
В предыдущем поколении мы также заметили, что исключительная эффективность моделей с наименьшей стоимостью привела к тому, что Auto Router стал смещаться в сторону более дешевых задач, упуская из виду множество исключительных моделей. В этом релизе мы приняли решение вернуть ценообразование ближе к тому уровню, на котором Auto находился несколько месяцев назад, чтобы обеспечить большее разнообразие моделей. Если вам больше нравилось прежнее поведение, вы можете установить для параметра cost_tier значение low, чтобы получить сопоставимую экономичность.
Следите за логикой решений по маршрутизации в чате
Самый простой способ узнать, как работают эти новые роутеры, — выбрать Auto Router или Auto Code в чате. Рядом с каждым ответом появляется панель аналитики маршрутизации, показывающая, почему роутер выбрал именно эту модель. Тот же анализ доступен через API, если вы включите метаданные роутера.
Следите за динамикой распределения запросов на странице каждой модели
На страницах моделей Auto Router и Auto Code теперь отображается, какие модели каждый роутер выбирает чаще всего (с разделением по типам сессий), а также как меняется это распределение по мере роста сложности.
Сравните производительность с другими роутерами и отдельными моделями
Результаты бенчмарков Auto Router и Auto Code публикуются на странице бенчмарков маршрутизации моделей наряду с другими роутерами на OpenRouter и базовыми показателями отдельных моделей. Мы периодически запускаем их заново, поэтому вы можете отслеживать, как каждый роутер справляется с задачей по мере выхода новых моделей.
Создано на основе многолетнего опыта работы с Auto Router
Auto Router приближается к своему трехлетнему юбилею. Если вы настроили openrouter/auto в своем агенте много лет назад, вы по-прежнему получаете актуальный оптимальный по стоимости выбор сегодня. Мы многое узнали о том, где автоматический выбор моделей дает сбой, и создали новое поколение так, чтобы избежать этих проблем. Вот некоторые примеры:
Мы выделили Auto Code в отдельный роутер для оптимизации под среды разработки. Самая частая жалоба на предыдущие версии Auto Router касалась его работы в кодинговых средах. Auto Code отдает предпочтение немного более дорогому уровню моделей, сильные стороны которых соответствуют задачам программирования. Он уделяет больше внимания скорости, так как скорость отклика важна в процессе разработки. Он также более сурово наказывает за сбои, поэтому быстрее исправляет ошибки в работе, где успех и неудача очевидчны.
Он осторожно переключает модели, чтобы сохранить преимущества кеширования. Переключение моделей требует дополнительных затрат времени и ресурсов, пока новая модель восстанавливает кеш токенов ввода. Auto Router предпочитает изменить уровень усилий на рассуждения, если этого достаточно, и переключается только тогда, когда выигрыш оправдывает потерю кеша. В период бета-тестирования он оставался на одной и почти на каждой десятой итерации агента.
Он адаптируется к сбоям. Когда сессия идет не так из-за проблем с моделью (например, повторяется та же ошибка или тесты падают после правки), эти сигналы повышают вероятность переключения. Это делает гораздо менее вероятной ситуацию, когда сессия застревает с моделью, которая изначально была выбрана неверно.
Он настроен на основе как реального использования, так и бенчмарков. Auto Router становится лучше с каждым запуском бенчмарка и каждым реальным решением о маршрутизации. С помощью typesafe/jev-router и openrouter/auto-beta мы уже проверили его на рабочих нагрузках в продакшене, соблюдая при этом принцип отказа от хранения данных. Во время бета-тестирования по сравнению с предыдущим роутером количество недействительных вызовов инструментов сократилось в 4 раза, а обрывы агентских ответов уменьшились наполовину.
Маршрутизация моделей на базе ведущей платформы маршрутизации провайдеров
Роутеры моделей, такие как Auto Router и Auto Code, выбирают, какая модель будет обрабатывать запрос. Маршрутизация провайдеров выбирает, кто будет обслуживать эту модель. OpenRouter делает это для каждого запроса с самого начала: как только модель выбрана, роутер провайдеров выбирает среди хостящих ее провайдеров, учитывая ваши предпочтения, актуальный аптайм и задержку, цену, а также наличие у провайдера готового кеша вашего промпта.
Роутер моделей не может быть лучше лежащего в его основе роутера провайдеров. Мы создали Auto Router так, чтобы он знал весь наш каталог, поэтому он адаптируется к политике управления, результатам бенчмарков и рыночным сигналам при выходе новых моделей. Каждая из более чем 600 моделей на OpenRouter попадает в пул рассмотрения в день ее добавления, а бенчмарки и сигналы популярности определяют, заслуживает ли она места в оптимальном по стоимости наборе.
Как запрос проходит через Auto Router
- Auto Router сужает пул моделей. Защитные экраны, отказ от хранения данных, возможности моделей, ограничения провайдеров, ключи BYOK и любые списки разрешенных или исключенных моделей определяют, какие модели будут рассматриваться.
Auto Router сужает пул моделей. Защитные экраны, отказ от хранения данных, возможности моделей, ограничения провайдеров, ключи BYOK и любые списки разрешенных или исключенных моделей определяют, какие модели будут рассматриваться.
- Быстрая модель принятия решений обрабатывает запрос. За один вызов она оценивает одиннадцать параметров: тип задачи, изменилась ли задача только что, ее сложность, важность скорости, необходимость работы с визуальными данными или знание кодовой базы, а также то, какая модель подойдет лучше — более крупная, с более глубоким мышлением или более дешевая.
Быстрая модель принятия решений обрабатывает запрос. За один вызов она оценивает одиннадцать параметров: тип задачи, изменилась ли задача только что, уровень ее сложности, имеет ли значение скорость, требуются ли ей функции компьютерного зрения или знание кодовой базы, а также что лучше подойдет для ее выполнения — более крупная модель, больший объем рассуждений или более дешевая модель.
- Политика маршрутизации выбирает модель. Она сопоставляет актуальные цены, статус кэша и показатели бенчмарков, чтобы выбрать как саму модель, так и уровень усилий на рассуждения.
Политика маршрутизации выбирает модель. Она сопоставляет актуальные цены, статус кэша и показатели бенчмаркинг-тестов, чтобы выбрать как саму модель, так и уровень усилий на рассуждения.
- Запрос проходит через того же провайдера, через которого проходил бы прямой запрос к этой модели, поэтому он попадает к наилучшему провайдеру для данной модели.
Запрос проходит через того же провайдера, через которого проходил бы прямой запрос к этой модели, поэтому он попадает к наилучшему провайдеру для данной модели.
- Результаты каждого шага влияют на выбор модели для следующего шага. Маршрутизатор передает в следующее решение такие сигналы, как наличие трудностей у модели и состояние кэша.
Результаты каждого шага влияют на выбор модели для следующего шага. Маршрутизатор передает в следующее решение такие сигналы, как наличие трудностей у модели и состояние кэша.
Маршрутизаторы против отдельных моделей
Бенчмарки неизменно показывают, что ни один маршрутизатор на рынке не превосходит лучшую пограничную модель (frontier model) во всех точках кривой стоимости и качества. Новый Auto Router не является исключением, и мы публикуем результаты его тестов, чтобы открыто показать его сильные и слабые стороны.
Маршрутизаторы оправдывают себя, когда задачи разнообразны, когда организации необходимо удерживать затраты на стабильном уровне, а также для тех, у кого нет времени или желания следить за постоянным потоком релизов моделей. Выбор Auto Router или Auto Code вместо отдельной модели жертвует небольшой долей максимальной производительности в обмен на стабильную и экономичную работу с течением времени.
Если вы знаете, какая модель лучше всего подходит для вашей конкретной работы, продолжайте использовать ее. Если вы предпочитаете сделать выбор один раз и оставаться сосредоточенным на самой работе, маршрутизатор — это то, что вам нужно.
Начало работы
Auto Router и Auto Code работают везде, где можно указать строку модели:
Ознакомьтесь с документацией по Auto Router, чтобы узнать обо всех настройках, либо откройте Auto Router в чате и отправьте ему промпт, для которого вы обычно вручную выбирали модель. Расскажите нам о том, что он делает правильно, а что нет, в #feedback на Discord.
Часто задаваемые вопросы
Что нужно изменить для перехода со старого Auto Router?
Совершенно ничего. Идентификатор по-прежнему openrouter/auto, а настройки плагина auto-router cost_tier, allowed_models и excluded_models продолжают работать.
В чем разница между Auto Router и Auto Code?
Оба решения работают на одном движке маршрутизации. Auto Router — это универсальный маршрутизатор для смешанного трафика и общих агентов, который отдает предпочтение экономичному уровню моделей. Auto Code специализирован для агентов и сред разработки, начинает работу в более высоком ценовом сегменте и учитывает измеренный процент успешных решений, скорость и стоимость за решенную задачу для разных моделей и уровней рассуждений.
Является ли маршрутизация моделей тем же самым, что и маршрутизация провайдеров?
Нет. Маршрутизация моделей определяет, какая модель обрабатывает запрос; маршрутизация провайдеров определяет, какой провайдер обслуживает эту модель. Auto Router и Auto Code выполняют первое, а маршрутизация провайдеров OpenRouter — второе с учетом ваших предпочтений провайдеров, данных о времени безотказной работы и состояния кэша промптов.
Учитывают ли маршрутизаторы мои системы защиты (guardrails) и политики данных?
Да. Политики безопасности, требования нулевого хранения данных, ограничения провайдеров, списки разрешенных и исключенных моделей, а также ключи BYOK определяют пул моделей, из которого маршрутизатор выбирает наиболее экономичную модель.
Нет. Вы платите стандартную цену той модели, которая обслуживает запрос, а поле модели в ответе показывает, какая именно это была модель.
Что такое openrouter/auto-beta?
Auto Router Beta — это канал релизов для следующей версии Auto Router. Ножные изменения маршрутизации сначала попадают в openrouter/auto-beta и переходят в openrouter/auto после успешного тестирования, так что вы можете использовать этот канал, чтобы заранее узнать о грядущих изменениях. Если вы попробуете его, расскажите нам о том, что он делает правильно, а что нет, в на Discord.
