AI DLP: как наш шлюз справился с номерами карт, ключами и SSN

Что такое AI DLP?

AI DLP (предотвращение утечек данных в ИИ) предотвращает попадание конфиденциальных данных — таких как номера карт, ключи API и номера социального страхования (SSN) — в языковую модель или их утечку в ее ответах. Шлюз проверяет каждый промпт до того, как его получит провайдер, и каждый ответ до того, как его получит ваше приложение, а затем блокирует или помечает найденное.

Где конфиденциальные данные попадают в ИИ-рабочие процессы

Как только промпт попадает к провайдеру модели, начинает действовать его политика хранения данных, и вернуть его назад уже нельзя. В этом суть проблемы утечки данных в ИИ в двух словах. Риск возникает везде, где люди отправляют текст в LLM:

• Транскрипты службы поддержки: клиенты зачитывают вслух номера карт и телефонов, и транскрипт отправляется в модель для создания сводки или оценки.
• Внутренние инструменты: разработчики вставляют файлы конфигурации с ключами API в промпты для отладки или проверки кода.
• Обработка документов: команды отправляют контракты, счета и входящие формы через LLM для извлечения данных, а в этих документах содержатся IBAN, адреса электронной почты и номера телефонов.

Любое приложение, отправляющее промпты модели через Telnyx AI Gateway, может выполнять проверки AI DLP до отправки запроса.

Как Telnyx AI Gateway работает с AI DLP

Telnyx AI Gateway располагается между вашим приложением и вызываемыми им моделями. Для каждого запроса он проверяет промпт до вызова модели и ответ до его получения вашим приложением.

• Блокировка промпта возвращает статус 400 prompt_blocked, плата не взимается ($0).
• Режим «Флаг» (Flag) пропускает промпт и добавляет заголовок x-ltg-policy с указанием того, что было обнаружено.
• Детекторы охватывают секреты и предотвращение утечки данных: ключи AWS, номера карт, IBAN, SSN, адреса электронной почты и номера телефонов.
• В журналах сохраняются код детектора и счетчик, но никогда не сам контент. Ни промпты, ни ответы не сохраняются.

Мы отправили 917 живых запросов на инференс через шлюз и записали каждый результат. В ходе теста проверялись AI DLP, бюджеты, пиковые нагрузки и отзыв ключей. Сначала идут результаты DLP, а за ними — все остальное.

Тест AI DLP: шесть типов данных, шесть блокировок, стоимость $0

Мы настроили шлюз на блокировку секретов и конфиденциальных данных в промптах. Затем мы отправили по одному промпту, содержащему ключ доступа AWS, номер карты, IBAN, американский номер социального страхования, адрес электронной почты и номер телефона.

Все шесть запросов были отклонены с ошибкой 400 prompt_blocked, плата за них не взималась. Чистый контрольный промпт прошел нормально. Каждая блокировка была записана в журнал как событие защитного механизма (guardrail) с соответствующим детектором: secrets для ключа AWS и dlp для остальных пяти.

При переключении действия с блокировки на маркировку (flag) все шесть промптов прошли. Каждый ответ содержал заголовок x-ltg-policy с указанием того, что было обнаружено.

Два пограничных случая AI DLP, которые следует учитывать

• За заблокированный ответ все равно взимается плата. Когда мы попросили модель повторить IBAN и номер карты, шлюз заблокировал ответ. Модель уже выполнила работу, поэтому использование было выставлено в счет.
• Потоковый ответ завершается ошибкой внутри статуса 200. При включенной потоковой передаче шлюз отправляет заголовки 200, задерживает вывод во время проверки, а затем отправляет сообщение об ошибке вместо текста. Никакой вывод модели не дошел до клиента, но вашему коду необходимо обработать ошибку после ответа 200.

Проверки AI DLP — это проверки по шаблонам для структурированных данных. Они не обнаруживают неструктурированный текст, такой как имена или почтовые адреса.

Что журналы AI DLP сохраняют о ваших промптах

Каждый шлюз ведет учет, поскольку от этого зависят бюджеты и аудиторские следы. Вопрос в том, включают ли эти записи то, что напечатали ваши сотрудники.

Мы поместили уникальную строку-маркер в пять промптов, три из которых также содержали конфиденциальные данные, помеченные защитными механизмами. Затем мы выполнили поиск по каждому полю, возвращаемому тремя конечными точками отчетности шлюза: событиям затрат, сводкам затрат и событиям защитных механизмов. Маркер не появился ни в одном из них, как и текст какого-либо промпта или ответа.

Записи содержат идентификаторы, количество токенов, стоимость и статус. Сведения о срабатывании защитного механизма содержат код детектора и счетчик, поэтому обнаруженный номер социального страхования записывается как us_ssn, count 1, и никогда в виде самих цифр.

Шлюз не хранит содержимое промптов или ответов внутри себя. Модели на базе Telnyx работают на принадлежащих нам графических процессорах, включая NVIDIA B300, с нулевым хранением данных, поэтому промпты и завершения не сохраняются после ответа. Запросы, отправленные на ваши собственные ключи Anthropic или OpenAI, подчиняются политике этих провайдеров.

Остальная часть теста: бюджеты, всплески нагрузки и отзыв

В ходе того же теста на работающем шлюзе проверялись элементы управления расходами и отзыв ключей.

Telnyx AI Gateway резервирует максимально возможную стоимость запроса (размер промпта плюс max_tokens) до его отправки. Запрос, превышающий бюджет, отклоняется со статусом 403 и никогда не доходит до модели, поэтому все 25 таких запросов обошлись в $0. Устанавливайте max_tokens для каждого вызова, потому что без этого шлюз резервирует полный лимит вывода модели.

В тестах на пиковые нагрузки максимальные расходы составили $0,0036 при лимите в $0,02. По задумке, каждый ключ обрабатывает по одному запросу за раз, а второй одновременный вызов по тому же ключу возвращает ошибку 409. Именно поэтому в тесте использовалось 50 ключей в рамках одного шлюза — так же команда или парк агентов делят общий бюджет.

Отозванный ключ перестал работать быстро: отклоненный вызов вернулся в среднем через 294 мс после удаления и не позднее 383 мс.

Как мы тестировали

Включите AI DLP в Telnyx AI Gateway

Создайте шлюз для команды, выберите его модели, установите бюджет и лимиты запросов, включите защитные механизмы, а затем выдайте каждому сотруднику ключ, ограниченный необходимыми ему моделями. Документация по AI Gateway подробно описывает каждую настройку через API, или вы можете начать работу в Mission Control Portal. AI Gateway бесплатен, вы платите только за инференс моделей с открытым исходным кодом, размещенных на кластерах графических процессоров B300 компании Telnyx.