По мере того как передовые модели ИИ становятся все более способными, средства защиты играют все более важную роль в обеспечении их безопасного использования. Состязательная дистилляция создает для злоумышленников возможность воспроизводить эти возможности без соответствующих средств защиты. Злоумышленник может использовать результаты работы передовой модели без разрешения для обучения другой модели с аналогичными возможностями, а затем развернуть ее без сопоставимой защиты. Например, злоумышленник может дистиллировать кибервозможности модели и использовать полученную модель для осуществления кибератак, в помощи с которыми исходная модель отказала бы или которые были бы заблокированы ее средствами защиты.
Мы рассказываем о том, как OpenAI обнаруживает и пресекает состязательную дистилляцию, как мы усилили защиту защищенных рассуждений наших моделей и что мы узнали из этого, чтобы помочь укрепить защиту во всей отрасли.
Наш подход к состязательной дистилляции сочетает в себе состязательное тестирование, обучение моделей, классификаторы и средства защиты на уровне API с расследованиями скоординированных попыток извлечения возможностей моделей. Эти обновленные средства защиты стали ближе к тем, которые мы используем в биологии и кибербезопасности.
Мы уделяем особое внимание предотвращению извлечения злоумышленниками защищенных рассуждений наших моделей: промежуточных шагов, которые модель генерирует внутри себя при поиске ответа, известных как цепочка рассуждений. Эти следы могут содержать информацию, которую финальный ответ упускает, что делает их особенно ценными обучающими данными для другой модели.
Мы усилили защиту от извлечения защищенных рассуждений в GPT‑6.2 Astra и GPT‑6.2 Sol. В ходе внутреннего адаптивного тестирования с использованием надежного автоматизированного ред-теаминга мы проверяли, могут ли злоумышленники восстановить защищенные рассуждения, сгенерированные моделью при ответе на предыдущий запрос. Средний показатель успешности атак снизился с 54,0% для GPT‑6 Astra с ее исходными средствами защиты до 0,2% для GPT‑6.2 Astra с ее обновленными средствами защиты.
Почему дистилляция является проблемой безопасности
Дистилляция — это распространенный метод машинного обучения, при котором одна модель учится на данных, созданных другой. Например, модель может учиться на ответах другой модели, ее рассуждениях или ее оценках того, какие ответы лучше и почему. Помимо вопросов интеллектуальной собственности, несанкционированная дистилляция представляет серьезные риски для безопасности. С помощью состязательной дистилляции вторая модель может изучить продвинутые передовые возможности, не наследуя средства защиты, которые регулируют то, как исходная модель может их использовать.
Эта проблема особенно очевидна в областях двойного назначения, таких как кибербезопасность и биология. Модель, которая помогает защитникам находить уязвимости в программном обеспечении, может также помочь злоумышленнику использовать их; модель, которая помогает в биологических исследованиях, может также помочь кому-то разработать опасный патоген. Если такие возможности будут переданы модели с более слабыми средствами защиты, она может оказать помощь, от которой исходная модель отказалась бы или которую исходные средства защиты заблокировали бы.
Важность защиты точных следов рассуждений для кибербезопасности
Наши модели помогают пользователям в написании кода и задачах защитной кибербезопасности. Вторая модель, обученная на множестве таких безопасных результатов, может приобрести навыки, которые также применимы к задачам наступательной кибербезопасности. Чтобы лучше понять это, мы изучаем, как дистилляция, особенно с участием следов рассуждений, может передавать рискованные кибервозможности.
В этом контексте модель, которая производит обучающие данные, называется учителем, а модель, которая учится на них, называется студентом. В ходе внутреннего исследования того, как передаются кибервозможности, мы использовали контент, обычно видимый пользователям (финальные ответы, сводки рассуждений и взаимодействия с инструментами), в качестве нашей базы для дистилляции и проверяли, сколько дополнительных кибервозможностей передается, когда студент имеет доступ к точным следам рассуждений учителя.
Мы начинали каждый обучающий прогон с одной и той же предварительно обученной модели-студента. Мы создали набор данных для контролируемого тонки-тюнинга, состоящий в основном из траекторий работы моделей-учителей уровня Astra над задачами кодирования и защитной кибербезопасности. Каждая траектория включает все шаги, которые модель предпринимает при выполнении задачи, включая любые взаимодействия с инструментами и ее финальный ответ. Мы оценивали каждого студента после тонки-тюнинга и повторно после легкого раунда обучения с подкреплением в средах кибербезопасности и кодирования.
После контролируемого тонки-тюнинга студент, обученный на точных следах рассуждений, в целом превосходил студента, обученного на сводках рассуждений. После обучения с подкреплением студент с точными следами по-прежнему набирал больше баллов при наибольшем протестированном бюджете инференса на обоих показанных бенчмарках, в то время как студент, обученный на сводках, набирал больше баллов при меньших бюджетах.
Наши результаты по кибердистилляции показывают, что защита следов рассуждений может ограничить передачу кибервозможностей, даже если лежащая в основе задача разрешена нашей политикой использования. В ходе множества таких взаимодействий точные следы рассуждений могут научить студента навыкам, которые выходят за рамки задач, изначально выполнявшихся учителем. Мы продолжим изучать, сколько дополнительных возможностей передается между различными моделями-студентами и рецептами обучения дистилляции.
Взаимодополняющие средства защиты
Мы защищаем от состязательной дистилляции на двух взаимодополняющих уровнях нашего стека безопасности. На уровне запросов поведение модели, проверки классификаторов и средства управления API ограничивают извлечение следов рассуждений. На уровне кампаний мы ищем закономерности в сигналах на уровне запросов и учетных записей, которые могут выявить скоординированные попытки извлечения. В свою очередь, атаки, выявленные в ходе расследований, становятся примерами для обучения и тестирования наших средств защиты.
Наши средства защиты от состязательной дистилляции объединяют защиту для отдельных запросов с обнаружением кампаний и мерами принуждения. Выводы расследований и автоматизированного ред-теаминга помогают усилить эти средства защиты.
Защита отдельных запросов и ответов
Защитное обучение поведения модели
Состязательное обучение учит модели распознавать попытки извлечения рассуждений и отказывать в раскрытии защищенных рассуждений, сохраняя при этом ответы на легитимные запросы об объяснениях и помощи. Примеры состязательного обучения берутся из успешных атак, выявленных в ходе внутреннего автоматизированного ред-теаминга, расследований и ответственного раскрытия информации о потенциальных уязвимостях безопасности внешними исследователями или отраслевыми партнерами.
Защита с помощью классификаторов
Мы используем классификаторы входов для обнаружения попыток извлечения защищенных рассуждений и классификаторы выходов для обнаружения утечек защищенных рассуждений в сообщениях ассистента и аргументах вызовов инструментов. Эти средства защиты применяются как к потоковым, так и к непотоковым ответам.
Охват вызовов инструментов важен, потому что модель может раскрыть защищенные рассуждения в аргументах инструмента, не включая их в свой финальный ответ. Классификаторы выходов могут блокировать предполагаемые утечки до того, как этот контент достигнет вызывающего абонента.
Защита на уровне API
Защита на уровне API ограничивает возможности повторного использования защищенных рассуждений в различных диалогох и моделях. В нашем сентябрьском отчете описывались атаки, при которых зашифрованные рассуждения переносились из одного разговора в другой с последующим запросом к модели раскрыть ход рассуждений в удобочитаемом для пользователя виде. Мы усилили механизмы защиты на уровне пользователей, рабочих областей, организаций и семейств моделей, в том числе закрыли уязвимость, которая могла привести к утечке зашифрованных рассуждений другого пользователя.
В GPT‑6.2 Astra и GPT‑6.2 Sol мы связываем защищенные рассуждения модели с историей диалога, в которой они были созданы. По мере добавления новых сообщений модель может опираться на свои предыдущие рассуждения. Если предыдущее сообщение переписывается, наш API удаляет следовавшие за ним рассуждения(opens in a new window). Мы также запрещаем старым семействам моделей с более слабыми средствами защиты считывать защищенные рассуждения GPT‑6.2 Astra и Sol.
Исследование и пресечение скоординированных кампаний
Когда наши системы обнаруживают несанкционированные состязательные кампании по дистилляции, которые часто включают скоординированные попытки извлечь рассуждения наших моделей, мы проводим расследование в отношении ответственных за это учетных записей. Выявив нарушения, мы применяем меры к сети учетных записей в соответствии с нашими правилами и условиями обслуживания. Расследуя каждую кампанию, мы получаем аналитические данные, позволяющие модернизировать системы защиты для более эффективного обнаружения аналогичной активности. Мы также делимся индикаторами компрометации с другими поставщиками моделей, чтобы они могли расследовать связанные злоупотребления в рамках собственных сервисов.
Эта работа выходит за рамки нашей собственной платформы. Наша политика единых стандартов устанавливает общие требования к мерам защиты и скоординированному применению санкций для всех поставщиков, предлагающих наши модели. При необходимости мы тесно сотрудничаем с партнерами для поддержания этих стандартов и усиления защиты при любых развертываниях.
Обмен актуальными результатами исследований с представителями индустрии и государства помогает пресекать кампании, а также позволяет разработчикам и поставщикам моделей эффективнее выявлять попытки дистилляции передовых моделей и защищаться от них.
Оценка прогресса
Устойчивость к извлечению рассуждений
Чтобы оценить эффективность совместной работы средств защиты на уровне запросов, мы проверяем, удается ли злоумышленникам по-прежнему извлекать защищенные рассуждения в условиях, максимально приближенных к рабочей среде развертывания наших моделей и средств защиты. В ходе статических оценок мы воспроизводим фиксированный набор ранее успешных атак, чтобы проверить, какие из них по-прежнему приводят к раскрытию защищенных рассуждений. В ходе адаптивных оценок автоматизированные AI-команды Red Team корректируют свою стратегию в зависимости от реакции системы, что позволяет обнаружить уязвимости, упускаемые статическими тестами.
Мы также варьируем уровень информированности тестеров. Тестирование методом «черного ящика» предоставляет им такие же возможности обзора, какими обладает внешний пользователь, тогда как тестирование методом «белого ящика» дает дополнительную информацию о системе, помогая разрабатывать более мощные атаки. В рамках адаптивной оценки методом «черного ящика» мы проверяли, могут ли злоумышленники восстановить защищенные рассуждения, сгенерированные моделью при ответе на предыдущий или текущий запрос. Для GPT‑6.2 Astra с ее обновленными средствами защиты средний показатель успешности атак составил менее 1% для каждого типа атак. Оба показателя оказались существенно ниже, чем у GPT‑6 Astra с ее исходными средствами защиты. Теперь мы внедряем избранные улучшения защиты и для GPT‑6 Astra.
Тип атаки
Защитник GPT‑6 Astra с исходными средствами защиты
Показатель успешности адаптивных атак (ASR, %)
Защитник GPT‑6.2 Astra с обновленными средствами защиты
Показатель успешности адаптивных атак (ASR, %)
Извлечение защищенных рассуждений из предыдущего запроса
54.0
0.2
Извлечение защищенных рассуждений из текущего запроса
22.9
0.9
Показатель успешности атак (ASR) в рамках адаптивного тестирования методом «черного ящика» для GPT‑6 Astra и GPT‑6.2 Astra, агрегированный по шести моделям злоумышленников. Чем ниже ASR, тем лучше.
Обнаружение кампаний и применение мер
В текущем году мы зафиксировали на нашей платформе несколько несанкционированных состязательных кампаний по дистилляции и опубликовали предварительные выводы в нашем сентябрьском отчете. Масштаб наших еженедельных мер по противодействию таким кампаниям составлял от тысяч до десятков тысяч учетных записей, причем в прошедший летний период темпы значительно возросли.
Чтобы оценить результативность наших усилий, мы также отслеживаем распространенность злоупотреблений дистилляцией, а также время, проходящее от момента обнаружения до принятия мер. Наша цель — ограничить объем и ценность данных, получаемых злоумышленниками в ходе дистилляции, повысить издержки проведения таких кампаний и сократить время реагирования на новые атаки. Мы продолжаем совершенствовать эти механизмы защиты посредством состязательного тестирования и расследований.
Последствия состязательной дистилляции для национальной безопасности
Состязательная дистилляция также создает угрозу национальной безопасности. Иностранный субъект, воспроизводящий расширенные возможности американской модели, может развернуть их без соблюдения защитных мер, предусмотренных ее разработчиком. В феврале мы провели брифинг(opens in a new window) для Конгресса относительно активности, свидетельствующей о том, что DeepSeek пыталась осуществлять дистилляцию передовых американских моделей. В сентябре мы сообщили о пресечении кампании по извлечению защищенных рассуждений наших моделей и связали ключевую часть этой активности с лицами, связанными с Moonshot AI, разработчиком Kimi. В ближайшее время мы планируем поделиться дополнительной информацией о недавно пресеченных кампаниях.
Мы поддерживаем принятие законопроектов, которые предоставят правительству США больше инструментов для выявления и применения санкций в отношении иностранных субъектов, незаконно извлекающих возможности из американских моделей ИИ. Мы также проинформировали Конгресс о поддержке законов Chip Security Act, AI OVERWATCH Act и MATCH Act. Ужесточение экспортного контроля позволяет ограничить доступ противников к аппаратному обеспечению, необходимому для обучения передовых моделей. Средства защиты от дистилляции усложняют получение аналогичных возможностей от уже обученных моделей. Обе эти меры помогают сохранять лидерство США в сфере передового ИИ, давая разработчикам больше времени на замедление релиза, если им требуется дополнительное тестирование средств защиты.
Как другие участники могут использовать этот опыт
Поддержка безопасного распространения передовых возможностей — важная цель нашей работы по борьбе с дистилляцией. Наш накопленный опыт подсказывает несколько полезных шагов, которые могут предпринять другие разработчики и платформы моделей:
- Защищайте конфиденциальные рассуждения на протяжении всего взаимодействия. Проверяйте сообщения ассистента и аргументы вызовов инструментов на предмет утечек, а также ограничивайте возможности повторного использования зашифрованных рассуждений в разных диалогах и моделях.
Защищайте конфиденциальные рассуждения на протяжении всего взаимодействия. Проверяйте сообщения ассистента и аргументы вызовов инструментов на предмет утечек, а также ограничивайте возможности повторного использования зашифрованных рассуждений в разных диалогах и моделях.
- Сохраняйте в качестве регрессионных тестов логи успешных атак на извлечение, выявленных в ходе тестирования Red Team, мониторинга рабочей среды или ответственного раскрытия информации. При необходимости и в соответствии с действующими правилами конфиденциальности используйте эти примеры для улучшения обучения моделей и классификаторов. При оценке обновленных средств защиты воспроизводите исходные атаки и проверяйте, сможет ли адаптивная команда Red Team по-прежнему найти способ обойти эту защиту.
Сохраняйте логи успешных атак на извлечение, обнаруженных в ходе имитации кибератак (red-teaming), мониторинга рабочей среды или ответственного раскрытия информации, в качестве регрессионных тестов. Где это уместно и не противоречит применимым политикам конфиденциальности, используйте эти примеры для улучшения обучения моделей и классификаторов. При оценке обновленных средств защиты воспроизводите исходные атаки и проверяйте, сможет ли адаптивная команда «красных» (red-teamer) по-прежнему найти способ обойти эту защиту.
- Сочетайте средства защиты на уровне запросов с расследованием и мерами противодействия на уровне кампаний.
Сочетайте средства защиты на уровне запросов с расследованием и мерами противодействия на уровне кампаний.
- Координируйте требования к средствам защиты и их соблюдение с партнерами по развертыванию, а также делитесь опытом с другими разработчиками ИИ-моделей, чтобы обеспечить высокий базовый уровень средств защиты от дистилляции в масштабах всей отрасли.
Координируйте требования к средствам защиты и их соблюдение с партнерами по развертыванию, а также делитесь опытом с другими разработчиками ИИ-моделей, чтобы обеспечить высокий базовый уровень средств защиты от дистилляции в масштабах всей отрасли.
Ранее мы также делились выводами через Frontier Model Forum(opens in a new window) и соответствующие каналы обмена информацией с правительственными структурами, чтобы помочь другим разработчикам усилить защиту, сохраняя при этом в тайне детали, которые могли бы использовать злоумышленники. Мы продолжим сотрудничать с исследователями, разработчиками и партнерами, чтобы делиться знаниями о возникающих атаках и эффективных методах защиты.
Делая передовой ИИ широко доступным, наши средства защиты от состязательной дистилляции призваны снизить риск воспроизведения его возможностей без надлежащих мер безопасности, что поддерживает нашу миссию по обеспечению того, чтобы общий искусственный интеллект развертывался безопасно и приносил пользу все человечеству.











