Команды, создающие ИИ-агенты, хотят использовать лучшую модель для каждой задачи.

В чем подвох? Лучшая модель постоянно меняется, иногда каждую неделю.

Переключение между моделями не должно означать новую работу по интеграции или очередной аудит безопасности. Именно поэтому широкая поддержка моделей так важна для нас в MuleSoft: наши клиенты должны иметь возможность использовать нужную модель сразу после ее выхода, не отставая от инноваций в сфере ИИ.

Именно поэтому мы рады объявить, что Omni Gateway теперь поддерживает более 140 больших языковых моделей от OpenAI, Anthropic, Google, Amazon Bedrock, Microsoft Azure, Mistral, xAI и NVIDIA. Сюда входят новейшие передовые модели: Claude Opus 5, GPT-6 Astra, Gemini 3.8 Flash и Grok 4.6.

Каждая модель работает за тем же шлюзом, который уже управляет вашими API, MCP-серверами и агентами, и этот шлюз входит в вашу подписку MuleSoft.

Разработчики отправляют запросы на единую конечную точку, команды платформы решают, какие модели находятся за ней, и каждый запрос регулируется одинаковым образом.

Выбор моделей без перенастройки

Каждый выпуск новой модели обычно означает новую работу по интеграции: еще один ключ API, еще одна конечная точка, еще один набор настраиваемых правил. С Omni Gateway внедрение новой модели изменяет маршрутизацию, а не приложение. Вы можете перенести рабочую нагрузку с Claude Sonnet 4.6 на Claude Sonnet 5 или с GPT-5.4 на GPT-6 Astra, не затрагивая агентов и приложения, которые к ней обращаются.

Единая конечная точка модели также может направлять запросы на несколько моделей. Она выбирает модель по ее имени в запросе, намерению промпта или заголовкам запроса, поэтому одна конечная точка может обслуживать целое семейство моделей.

Используйте облака, за которые вы уже платите

Многие предприятия покупают модели через своего облачного провайдера. Omni Gateway поддерживает модели, размещенные на Amazon Bedrock и Microsoft Azure, наряду с прямыми API провайдеров. Вы можете использовать существующие облачные обязательства и при этом сохранять единый уровень управления для всех них. Поддержка Microsoft Foundry и новых моделей, размещенных в Google, появится в ближайшее время.

Новые модели наследуют ваши существующие политики

Модель, добавленная за Omni Gateway, наследует политики, которые вы уже применяете: те же аутентификацию, лимиты запросов, защиту от угроз и журнал аудита. Команды безопасности могут утвердить более новую модель без необходимости писать для нее новые политики.

Управляйте трафиком LLM наряду с вашими агентами, инструментами MCP и API

Большинство ИИ-шлюзов управляют вызовами LLM изолированно. Omni Gateway является частью Agent Fabric, поэтому трафик моделей управляется там же, где ваши агенты, MCP-инструменты и API, с использованием единого набора политик для всех них. Идентификационные данные пользователя передаются с каждым запросом через ваших поставщиков удостоверений, таких как Okta или Entra. Политики могут применяться через уже используемые вами шлюзы, включая Kong, Apigee и Azure. Если агент ведет себя некорректно, Kill Switch позволяет изолировать его до того, как он нанесет дополнительный вред.

Тратьте средства там, где это важно

Далеко не каждый запрос требует использования передовой модели. Omni Gateway позволяет интеллектуально направлять простые задачи на более дешевые и быстрые модели, а также отслеживать расходы по командам. Стратегии оптимизации затрат, такие как семантическое кэширование, позволяют Omni Gateway повторно использовать ответы для промптов с одинаковым смыслом, даже если их формулировка отличается, поэтому вы не платите за один и тот же ответ дважды. Сохраняйте самые мощные модели для самых сложных задач и устанавливайте лимиты использования, чтобы расходы оставались предсказуемыми.

Что вы можете создать

Благодаря расширенной поддержке моделей команды могут:

Предоставить разработчикам единый утвержденный способ доступа к ИИ. Одна конечная точка и один набор учетных данных охватывают каждую модель, одобренную организацией.
Безопасно тестировать новые модели. Отправляйте часть трафика на недавно выпущенную модель, сравнивайте результаты и внедряйте ее, когда она будет готова.
Запускать многомодельные агенты. Используйте модель рассуждений для планирования, быструю модель для классификации и модель кода для генерации — и все это под совместным управлением.
Оставаться мобильными. Избегайте привязки к одному поставщику и быстро переключайтесь при изменении цен, производительности или политик.

Принесите свою модель

Если нужной вам модели нет в каталоге, добавьте ее самостоятельно. Любую модель, использующую формат API OpenAI, Anthropic или Gemini, можно добавить, опубликовав пользовательские метаданные LLM.

Доступность

Расширенная поддержка моделей уже доступна в Omni Gateway. Managed Omni Gateway теперь входит в вашу существующую подписку MuleSoft.

Выбор моделей — это лишь часть работы агентов в продакшене. Чтобы увидеть все возможности Omni Gateway, для получения регулярных обновлений об интеграции, API и ИИ,