AI Gateway позволяет предоставить каждой команде в вашей компании доступ к инференсу без совместного использования мастер-ключа API. В Mission Control создайте шлюз для каждой команды, выберите ее модели, установите бюджет и защитные механизмы, а также выдайте каждому сотруднику индивидуальный ключ инференса с ограниченной областью действия. AI Gateway предоставляется бесплатно. Вы платите только за инференс, проходящий через него, а модели, размещенные на Telnyx, работают в режиме полного отсутствия сохранения данных (zero data retention).

Что нового

Шлюзы для каждой команды: настраивайте модели, которые может использовать команда, включая модели, размещенные на Telnyx, а также ваши собственные ключи Anthropic и OpenAI.
Правила: ограничивайте расходы для каждого шлюза, сотрудника, ключа или конечного пользователя за 1, 7 или 30 дней, с лимитами на запросы и токен в минуту.
Защитные механизмы (Guardrails): отмечайте или блокируйте учетные данные, номера карт, IBAN, SSN, адреса электронной почты и номера телефонов отдельно для промптов и ответов.
Ключи инференса для каждого сотрудника: выдавайте ключ, который сужает набор моделей шлюза до подмножества, с возможностью установки срока действия и отзыва.
Отчетность об использовании: отслеживайте расходы по шлюзу, сотруднику, ключу или конечному пользователю, а также все срабатывания и блокировки защитных механизмов.
Полный API: каждое действие в панели управления доступно через API управления.

Почему это важно

Единый общий ключ API предоставляет доступ ко всем моделям и любому бюджету любому, у кого он есть. AI Gateway резервирует стоимость перед выполнением каждого запроса, поэтому всплеск параллельных вызовов не сможет превысить установленный лимит, а защитные механизмы отмечают или блокируют учетные данные и конфиденциальные данные до того, как промпт попадет к модели. Модели, размещенные на Telnyx, обеспечивают нулевое сохранение данных, а перевод команды на модели с открытым исходным кодом на графических процессорах, принадлежащих Telnyx (включая NVIDIA B300), сводится к изменению одного списка.

Примеры использования

Компания может предоставить отделу разработки доступ ко всем моделям Telnyx и собственным ключам (BYOK) с бюджетом в 1000 долларов каждые 7 дней, а также заблокировать секретные данные в промптах, чтобы никто не вставил учетные данные в модель. Служба поддержки может использовать только размещенные на Telnyx модели с открытым исходным кодом, причем любой ответ, содержащий IBAN или номер карты, блокируется до его возврата. Команды, внедряющие ИИ в собственный продукт, также могут устанавливать лимиты для каждого из своих клиентов. Передавайте идентификатор клиента с каждым запросом, а затем установите бюджет для конечного пользователя по этому идентификатору.

Начало работы

Войдите в портал Mission Control и нажмите AI Gateway в разделе Inference в левом меню.
Создайте шлюз и выберите его модели.
Установите бюджет и ограничения частоты запросов, затем добавьте защитные механизмы.
Создайте ключ инференса для пользователя и выберите, какие из моделей шлюза он может использовать.
Направьте ваш SDK OpenAI или Anthropic на https://llm.telnyx.com/v1 с этим ключом.