Вот уже более 15 лет Fastly помогает тысячам компаний обеспечивать быструю, безопасную и увлекательную работу сервисов. Но все чаще эти сервисы предназначены не только для людей. Агенты и боты захватывают интернет быстрее, чем кто-либо мог предсказать. С января по май текущего года мы наблюдали рост запросов ИИ в нашей собственной сети примерно на 30%, что примерно в 6,5 раза быстрее, чем рос человеческий трафик за тот же период времени. Такое ощущение, что теперь у нас есть второй интернет, работающий параллельно с тем, который изначально был создан для людей.
Поэтому сегодня мы представляем AI Runtime Control (ARC) — панель управления, которая располагается между вашими приложениями и вашими провайдерами LLM и других моделей. Каждый вызов модели маршрутизируется через единую точку для управления доступом, отслеживания расходов и обеспечения вашей отказоустойчивости по мере роста ИИ-трафика.
Пробелы, с которыми предприятия живут сегодня
Если спросить большинство руководителей инженерных или платформенных команд, как их организация взаимодействует с провайдерами LLM, вы услышите примерно одну и ту же историю: команды обращаются к OpenAI, Anthropic, Google и другим провайдерам напрямую, а между разработчиками и проектами передается множество разрозненных сырых API-ключей. При попытке взять под контроль ИИ-трафик команды часто в итоге объединяют лоскутное одеяло из точечных решений, где один инструмент используется для отслеживания затрат, другой для логирования, а третий для ограничения частоты запросов. Каждое точечное решение справляется лишь с одной частью проблемы, и ни одно из них не умеет взаимодействовать с другими. Отсутствует единое представление о том, во что все это обходится, нет надежного способа распределить расходы по конкретному приложению или команде, а также нет последовательного логирования на случай, если отдел комплаенса или безопасности поинтересуется, как обрабатывался промпт или куда попала часть клиентских данных. Это проблемы, цена и риски которых возрастают с каждым месяцем внедрения ИИ.
AI Runtime Control устраняет этот пробел. Вместо того чтобы пытаться управлять чередой точечных решений, вы получаете выгоду от целостного, интегрированного подхода, который может масштабироваться по мере трансформации вашего бизнеса. С ARC каждый вызов модели, совершаемый вашими приложениями и агентами, направляется через единую управляемую Fastly конечную точку, где вы можете выдавать виртуальные ключи для каждого приложения, относить использование токенов и расходы на счет того, кто их реально генерирует, а также применять политики использования тех или иных моделей.
Но ARC — это гораздо больше, чем просто шлюз. Наличие одной конечной точки, имеющей доступ к множеству моделей, — это полезно, но на данный момент это уже можно считать базовым требованием, а не настоящей универсальной панелью управления.
ARC продолжает работать там, где исчерпывается ценность обычного шлюза, предлагая виртуальные ключи для конкретных моделей, которые можно легко создавать, ротировать, обновлять или отзывать; расходы, привязываемые к конкретным приложениям, сессиям, отдельным разработчикам или командам; проприетарные средства обнаружения и защитные барьеры для минимизации специфичных для LLM угроз; автоматическое переключение при сбоях на стороне провайдера; а также полное логирование запросов и ответов для каждого взаимодействия с ИИ.
ARC также поддерживает использование собственных ключей (BYOK). Вы сохраняете существующие отношения с провайдерами и согласованные тарифные планы. Мы не пытаемся встать между вами и вашей моделью; мы создаем вокруг нее уровень управления, обеспечивая уровень контроля, прозрачности, безопасности и отказоустойчивости, который единая общая конечная точка никогда не была предназначена предоставлять. Вот лишь некоторые возможности, которые делают это реальным уже сегодня:
- Управляйте доступом с помощью виртуальных ключей. Вместо одного общего ключа провайдера, передаваемого в канале Slack, каждое приложение, команда или разработчик получает собственный виртуальный ключ. Администраторы могут мгновенно создавать, ротировать или отзывать доступ без изменения кода на стороне клиента. Это также обеспечивает видимость теневого ИИ и бесконтрольного использования vibe-кодинга.
Управляйте доступом с помощью виртуальных ключей. Вместо одного общего ключа провайдера, передаваемого в канале Slack, каждое приложение, команда или разработчик получает собственный виртуальный ключ. Администраторы могут мгновенно создавать, ротировать или отзывать доступ без изменения кода на стороне клиента. Это также обеспечивает видимость теневого ИИ и бесконтрольного использования vibe-кодинга.
- Защититесь от специфичных для LLM атак. AI Firewall работает в составе ARC, предоставляя дополнительный уровень безопасности от атак на естественном языке, нацеленных на модели. Он использует обновленную версию механизма обнаружения SmartParse от Fastly и настраиваемые защитные барьеры для выявления атак, таких как инъекции промптов и другие специфичные для LLM угрозы.
Защититесь от специфичных для LLM атак. AI Firewall работает в составе ARC, предоставляя дополнительный уровень безопасности от атак на естественном языке, нацеленных на модели. Он использует обновленную версию механизма обнаружения SmartParse от Fastly и настраиваемые защитные барьеры для выявления атак, таких как инъекции промптов и другие специфичные для LLM угрозы.
- Контролируйте свои расходы в реальном времени. Использование токенов и запросов отображается в режиме реального времени с детализацией до конкретного ключа, сессии и провайдера. Перейдите от реактивных расходов к проактивным финансовым ограничениям, применяя обязательные ежемесячные лимиты бюджета в долларах непосредственно к отдельным виртуальным ключам.
Контролируйте свои расходы в реальном времени. Использование токенов и запросов отображается в режиме реального времени с детализацией до конкретного ключа, сессии и провайдера. Перейдите от реактивных расходов к проактивным финансовым ограничениям, применяя обязательные ежемесячные лимиты бюджета в долларах непосредственно к отдельным виртуальным ключам.
- Заложите отказоустойчивость по умолчанию. Виртуальный ключ может указывать на упорядоченный список целей: ваша основная модель, затем резервная, затем еще одна. Если основной провайдер выдает ошибку, ARC автоматически повторяет запрос и перенаправляет его на следующую цель, прозрачно для вызывающей стороны. В сочетании с ограничением частоты запросов для каждого ключа это означает, что сбой провайдера или вышедший из-под контроля агент не выведут из строя вашу производственную ИИ-функцию.
Заложите отказоустойчивость по умолчанию. Виртуальный ключ может указывать на упорядоченный список целей: ваша основная модель, затем резервная, затем еще одна. Если основной провайдер выдает ошибку, ARC автоматически повторяет запрос и перенаправляет его на следующую цель, прозрачно для вызывающей стороны. В сочетании с ограничением частоты запросов для каждого ключа это означает, что сбой провайдера или вышедший из-под контроля агент не выведут из строя вашу производственную ИИ-функцию.
- Проводите полный аудит. Полное логирование запросов и ответов как для промптов, так и для завершений с возможностью поиска по пользователю, модели, провайдеру и диапазону дат. Когда юристы или отдел комплаенса спрашивают, как использовалась часть клиентских данных или касалась ли она публичной модели, у вас есть реальный ответ вместо недоумения.
Проводите полный аудит. Полное логирование запросов и ответов как для промптов, так и для завершений с возможностью поиска по пользователю, модели, провайдеру и диапазону дат. Когда юристы или отдел комплаенса спрашивают, как использовалась часть клиентских данных или касалась ли она публичной модели, у вас есть реальный ответ вместо недоумения.
ИИ не отменяет потребности в производительной, защищенной инфраструктуре корпоративного класса — он повышает требования к каждому запросу, независимо от того, является ли объект на другом конце человеком или агентом, действующим от его имени. Идентификация этого трафика, управление им и обеспечение его отказоустойчивости — это то, с чего начинается работа.
Начните работу с ARC уже сегодня! Самое интересное еще впереди
Мы потратили годы на то, чтобы стать уровнем управления для того, как люди обращаются к вашим приложениям. ARC — это наш шаг к тому же самому для того, как ваши приложения обращаются к искусственному интеллекту. Если вы уже направляете реальный ИИ-трафик и ощущаете нехватку единого места для его мониторинга и контроля, это как раз тот пробел, который призван устранить ARC. И поскольку ARC предоставляет единый путь интеграции, вы можете легко задействовать новые функции и возможности без необходимости переконфигурации или переработки архитектуры.
То, о чем мы объявляем сегодня, — это фундамент, на котором мы продолжим строиться. AI Runtime Control дает вам возможность внедрять инновации с уверенностью и управлять ИИ так же, как вы управляете своей производственной инфраструктурой. Посетите нашу документацию для получения дополнительной информации о том, как начать работу.
