Виртуальные модели — это абстракция строки модели и конфигураций, которые используются вашими приложениями и разработчиками. С помощью единого идентификатора виртуальной модели вы можете централизованно изменять и обновлять модели, настраивать резервные варианты (фолбэки) и приоритеты, а также обеспечивать нулевое хранение данных (Zero Data Retention). Конфигурация виртуальной модели применяется везде, где используется этот идентификатор.
Назначьте идентификатор виртуальной модели задаче агента и передавайте его в качестве строки модели везде, где вызывается эта задача. После этого вы сможете менять модель и настройки, стоящие за идентификатором виртуальной модели в AI Gateway, а ваши приложения и агенты будут автоматически подхватывать новую конфигурацию без изменения кода или повторного развертывания.
Скопировать ссылку на заголовокНовые модели используют тот же идентификатор виртуальной модели
За последние 90 дней в AI Gateway стали доступны 125 новых моделей от более чем 30 лабораторий. Это примерно 10 моделей в неделю. AI Gateway уже позволяет переключаться с помощью всего одной строки кода. Вы вызываете любую из этих моделей по идентификатору, и AI Gateway направляет каждый запрос к работоспособному провайдеру, а в случае сбоя может переключиться на резервные.
Эта одна строка по-прежнему находится в вашем коде, поэтому переключение обычно требует повторного развертывания.
Виртуальные модели переносят выбор и конфигурацию моделей в AI Gateway. Вы создаете идентификатор для задачи, например vmc/coding-agent, а затем настраиваете модель и параметры, которые она должна использовать:
vercel ai-gateway virtual-models create coding-agent \
--model anthropic/claude-opus-5.5 \
--config '{"speed":"fast","zeroDataRetention":true}'
Затем вы можете использовать этот идентификатор виртуальной модели в качестве строки модели везде, где выполняется задача:
import { streamText } from 'ai';
const result = streamText({
model: 'vmc/coding-agent',
prompt: 'Remove the deprecated API calls from this module.',
Для таких кодинг-агентов, как Claude Code, Codex и других, подключите их с помощью команды vercel ai-gateway setup, а затем выберите вашу виртуальную модель в средстве выбора моделей или конфигурации каждого окружения.
Когда становится доступна другая модель, в том числе от другого провайдера, отредактируйте виртуальную модель. Любое приложение и агент, вызывающие vmc/coding-agent, подхватят ее в течение нескольких минут без необходимости изменения кода или развертывания:
vercel ai-gateway virtual-models edit coding-agent --model openai/gpt-6.1-sol
Скопировать ссылку на заголовокНазначьте каждой задаче собственную модель
Задача агента, например сортировка обращений в службу поддержки, может выполняться сотни раз в час и должна быть недорогой. Другие задачи, такие как проверка юридических договоров, могут выполняться всего несколько раз в день, но требуют высокого уровня рассуждений.
Теперь вы можете назначить каждой задаче специализированную виртуальную модель и легко развивать эту модель и конфигурацию с течением времени:
Такие настройки, как резервные варианты, нулевое хранение данных (Zero Data Retention) и теги, сохраняются за виртуальной моделью при ее смене. Опции провайдера применяются для каждого конкретного провайдера, поэтому настройки, специфичные для Anthropic, перестают действовать, когда вы перенаправляете виртуальную модель на модель OpenAI. Проверяйте параметры провайдера при каждом переключении провайдеров.
Прежде чем переключать виртуальную модель, обслуживающую рабочий трафик, укажите вторую модель, например vmc/coding-agent-candidate, для новой модели и запустите на ней свои тесты (эвалы). Если после переключения качество упадет, верните исходную модель.
Скопировать ссылку на заголовокУправляйте тем, какие модели использует ваша команда и как именно
Любой участник вашей команды может вызвать виртуальную модель, а роли в команде определяют, кто может вносить в нее изменения. Платформенные команды и команды безопасности могут централизованно управлять моделями и настройками, а также тестировать их, при этом предоставляя командам простой доступ к новым моделям по мере их выхода.
Настройки виртуальной модели имеют приоритет над аналогичными настройками в запросе, поэтому вызывающая сторона не может переопределить выбранные вами порядок провайдеров, резервные варианты или уровень сервиса. Например, вы можете централизованно настроить резервные модели для vmc/storefront-assistant, и каждое приложение, использующее этот идентификатор виртуальной модели, будет применять одинаковую конфигурацию отказоустойчивости, даже если в запросе указаны другие резервные варианты.
Если виртуальная модель требует нулевого хранения данных (Zero Data Retention) или провайдеров, которые не обучаются на данных запросов, эти конфигурации применяются принудительно, даже если в запросе явно задано zeroDataRetention или disallowPromptTraining равным false.
Теги на виртуальной модели заменяют любые теги, отправленные с запросом, поэтому затраты будут относиться на конкретную задачу независимо от того, как каждое приложение маркирует свои вызовы. На странице «Виртуальные модели» отображаются запросы, затраты и показатель успешности для каждой задачи.
Скопировать ссылку на заголовокНачало работы
Создайте виртуальную модель на панели управления вашей команды или с помощью Vercel CLI.
Скопировать ссылку на заголовокОб AI Gateway
AI Gateway предоставляет единый API для вызова моделей, отслеживания использования и затрат, а также для настройки повторных попыток, отказоустойчивости и оптимизации производительности для достижения времени безотказной работы выше, чем у провайдера. Он включает встроенную пользовательскую отчетность, поддержку нулевого хранения данных (Zero Data Retention), бюджетирование для ключей API, правила маршрутизации и многое другое.
AI Gateway отражает цены провайдеров без наценок и не взимает плату за платформу за инференс, в том числе для запросов со своими собственными ключами (BYOK — Bring Your Own Key).
Виртуальные модели работают с любыми типами моделей в AI Gateway, включая изображения, видео, речь, эмбеддинги и модели реального времени, а также с AI SDK и API, совместимыми с OpenAI и Anthropic. Ознакомьтесь с документацией по виртуальным моделям для получения информации обо всех настройках.
