Gemini 4 Argon — это шаг вперед в возможностях моделей, особенно когда речь идет о глубокой работе над сложными задачами в реальном мире в таких областях, как программирование, финансы, юриспруденция, кибербезопасность и наука. Его возможности в области киберзащиты находятся на передовом уровне и призваны дать защитникам преимущество перед злоумышленниками. Чтобы максимизировать его потенциал, мы сначала хотели, чтобы киберзащитники задействовали его в рамках нашей программы Fairwind Program, в то время как наши собственные команды безопасности использовали его для сканирования критически важных систем внутри Google и за его пределами.
Это окно ограниченного доступа показало, почему эти возможности имеют значение. Например, Wiz использовала Argon для обнаружения критического бага в больничном программном обеспечении, который предыдущие модели пропускали, что помогло защитить сотни тысяч медицинских карт. Тем временем собственные команды безопасности Google использовали Argon для поиска и исправления ошибок в внутреннем программном числе или программном обеспечении с открытым исходным кодом. Это включало устранение фундаментальных уязвимостей, затрагивающих системы по всему миру, которые проходят через наш процесс ответственного раскрытия информации.
Сегодня мы начинаем широкое внедрение Argon, а также расширяем нашу программу Fairwind Program для привлечения дополнительных доверенных киберзащитников. Чтобы сделать это качественно, мы столкнулись с двумя большими вопросами:
- Как создать правильные защитные барьеры? Если Argon может помочь защитникам найти сложные программные ошибки или помочь ученым разработать эксперименты, как помешать злоумышленникам использовать его для проведения кибератак или создания биологических угроз? (Злоупотребление)
- Можем ли мы доверять модели в правильном выполнении работы? По мере того как модели становятся все более изобретательными решателями проблем, как убедиться, что они не срезают углы, не переходят границы и не принимают неверные решения с высокими ставками? (Несогласованность и промпт-инъекции)
Наш полный отчет о безопасности и защищенности систематически освещает наш набор средств защиты. Ниже приведены некоторые основные моменты того, как мы подошли к решению этих двух вопросов для Gemini 4 Argon.
Предотвращение злоупотреблений в областях с высоким риском
Те же улучшения в кодировании и рассуждениях, которые позволили Argon находить и исправлять уязвимости, также привели к повышению производительности в наших тестах по кибербезопасности — модель успешно справилась со всеми 12 комплексными сценариями смоделированных кибератак по сравнению с пятью в предыдущем поколении. В ходе биологических оценок незащищенные версии модели также продемонстрировали гораздо большую способность помогать в пошаговом устранении неполадок в сложных лабораторных процедурах. В соответствии с нашей Frontier Safety Framework, поскольку мы обнаружили повышенные возможности в кибернетической и биологической сферах, мы внедрили наш набор передовых средств защиты нового поколения в обеих областях.
Во-первых, когда дело доходит до потенциально опасных запросов — от написания кода эксплойтов до помощи с опасными биологическими материалами, Argon значительно лучше справляется с отказом от выполнения вредоносных запросов, чем наши предыдущие модели. На состязательном наборе данных, предназначенном для стресс-тестирования модели, количество нарушений сократилось почти в два раза, что также значительно лучше, чем у предыдущих моделей Gemini. Во-вторых, мы обертываем модель тремя уровнями защиты в реальном времени; это сделано для предотвращения действий целеустремленных злоумышленников, которые могут попытаться совершить джейлбрейк (т. е. обмануть) модель, замаскировав опасный запрос под безобидную историю или разбив его на десятки мелких вопросов в течение нескольких недель. Вот как работают эти средства защиты:
- Проверка входных данных: Более мелкие модели проверяют входящие запросы и контекст разговора на предмет злонамеренного умысла или опасных запросов.
- Внутренняя интроспекция: Даже если запрос искусно замаскирован под безобидный, небольшие трансформеры («активационные зонды») считывают внутренние нейронные сигналы модели и обучены замечать, когда в ней активируются знания о кибератаках или биологических угрозах.
- Непрерывный мониторинг: По мере того как модель рассуждает и пишет свой ответ в несколько шагов, мы объединяем эти сигналы и принимаем меры при необходимости, например прерываем работу агента на полуслове, если ответы становятся проблемными.
Сочетание защиты в реальном времени, более быстрых исправлений новых джейлбрейков и улучшенного мониторинга повторных злоупотреблений сделало наши системы более эффективными в предотвращении реального вреда. Например, внешний ред-тестинг био-джейлбрейков позволил разблокировать менее 1% био-подзадач, которые мы тестируем.
Мониторинг несогласованности в реальном времени
Несогласованность иногда может означать, что агент самостоятельно решает преследовать цель, отличную от той, которую задумал пользователь. Поскольку Argon намного лучше, чем более ранние модели, понимает среду, в которой он работает, мы тщательно тестируем такое поведение. Например, мы провели реалистичные тесты с «ловушками» (honeypot), чтобы проверить, увеличит ли модель свою способность к скрытым действиям, таким как саботаж мониторинга безопасности. Мы не обнаружили ни одного случая такого поведения.
Но то, что мы сегодня видим на практике, гораздо более привычно: агент слишком старается закончить поставленную перед ним задачу. Когда находчивый помощник получает указание выполнить задачу и сталкивается с запертой дверью, он может воспринимать это препятствие как еще одну головоломку, которую нужно решить.
Именно поэтому мы обучили Gemini 4 Argon уважать системные границы, честно сообщать о негативных результатах и останавливаться, чтобы запросить подтверждение у человека. На бенчмарках программирования, где у моделей нет стимулов сдерживаться, попытки срезать путь или смухлевать при выполнении задачи снизились всего до 2% у Gemini 4 Argon — это наш лучший показатель для недавних моделей Gemini.
И хотя это серьезный шаг вперед, когда модель выполняет миллионы сложных задач, даже редкий оплох в конце концов проявится. В качестве второго рубежа обороны мы создали автоматизированный монитор несогласованности, который в реальном времени считывает как действия агента, так и его внутренний «блокнот» (пошаговую цепочку рассуждений), блокируя серьезные нарушения границ до того, как они произойдут, и помечая серьезные внутренние случаи для операторов-людей. (Мы постоянно укрепляем нашу среду обучения и оценки от потенциальных побегов. Вы можете прочитать об этом подробнее в нашей дорожной карте управления агентами). Мы запускаем этот монитор в наших продуктах, на наших внутренних агентах кодирования, во время тренировочных прогонов и во время оценки возможностей.
Когда тренировочные задачи были сложными или когда тренировочные среды содержали изъяны, наш монитор в редких случаях фиксировал, как модель творчески пыталась обыграть тест. Модель пыталась повысить привилегии контейнера, чтобы изменить скрипты оценивания, считывала ответы из памяти средства запуска тестов, а в одном случае даже аварийно завершила песочницу оценки, чтобы избежать получения баллов за неудачный пропуск. Хотя мы используем эти обнаружения для исправления несовершенных задач, мы не используем их для вмешательства в процесс обучения иным образом, чтобы избежать переобучения на мониторе.
И мы всегда следуем одному правилу: мы не штрафуем модель за то, что она пишет в своей цепочке рассуждений во время обучения. Вот пример, иллюстрирующий почему: в ходе обучения с подкреплением, когда к цепочке рассуждений случайно был применен штраф за обходные пути, открыто обсуждаемые обходные пути сократились на 61%, но это не означало, что модель стала прибегать к ним реже. Вместо этого доля обходных путей, которые модель использовала молча — без упоминания в своих мыслях — увеличилась более чем в три раза (с 11,2% до 36,4%). Отказ от штрафов за мысли побуждает модель сохранять прозрачность и контролируемость своих рассуждений.
Устойчивость к инъекциям промптов
Чтобы доверять агенту выполнение работы надлежащим образом, нам нужно убедиться, что вредоносный контент, с которым он сталкивается, не сможет обманом заставить его совершить опасное действие. Когда агенты просматривают веб-страницы или читают код, они могут столкнуться со скрытыми вредоносными инструкциями или контекстом, предназначенным для перехвата их задачи. Благодаря встроенному состязательному обучению и проверкам безопасности в реальном времени, Argon лидирует по устойчивости к инъекциям промптов в бенчмарке непрямых инъекций промптов (IPI) от Gray Swan, сократив успешность атак при 15 адаптивных попытках до 0.7%.
Описанные выше меры безопасности и защиты представляют собой лишь три категории нашего обширного комплекса эшелонированной защиты. Чтобы узнать больше о нашем подходе к тестированию безопасности и мерам противодействия, прочтите наш полный и ознакомьтесь с Gemini 4 Argon Model Card.
