Мы подписали соглашения с четырьмя независимыми экспертными организациями — Apollo Research, METR, Transluce и Goodfire — для проведения первого этапа встроенных оценок. Поскольку возможности ИИ стремительно развиваются, а потенциальные риски растут, публичная отчетность по результатам независимых оценок может дать людям более четкое представление о том, как лаборатории оценивают эти риски и управляют ими.
Встроенные оценки предоставляют независимым экспертам глубокий доступ к внутренним моделям и системам лаборатории для оценки согласованности модели и эффективности механизмов защиты в течение длительного периода времени, особенно в тех аспектах, которые имеют отношение к нашим обоснованиям безопасности. В зависимости от потребностей каждой оценки, эксперты получают доступ к некоторым из тех же внутренних ресурсов, которые используют наши исследователи, включая контрольные точки моделей, исходный код, данные для обучения и оценки, системы мониторинга, техническую документацию, а также возможность обсуждения с исследователями и инженерами, ответственными за работу. Такой доступ дает экспертам доказательства и контекст для проведения независимых оценок и выявления сбоев, которые мы могли не предусмотреть.
Наши первоначальные оценки сосредоточены на согласованности и механизмах защиты моделей во время обучения и внутреннего использования, дополняя наши обоснования безопасности. Они опираются на наши приоритеты и принципы проведения сторонних оценок, а также на многолетнюю работу со сторонними оценщиками, включая недавнюю пилотную оценку наших внутренних систем мониторинга(opens in a new window) с глубоким внутренним доступом и расследование инцидента с Hugging Face(opens in a new window). Мы будем использовать полученные знания для углубления нашего сотрудничества с независимыми экспертами в ближайшие месяцы. Эти усилия также поддерживают наши обязательства в рамках Соглашения Белого дома по суперинтеллекту, где мы согласились на проведение независимых оценок наших средств контроля безопасности. Такое сотрудничество может способствовать формированию более сильных общих стандартов для независимой оценки и общественной прозрачности во всей отрасли.
Наши пилотные встроенные оценщики
Apollo Research
В рамках этой пилотной оценки Apollo Research(opens in a new window) проверит, могут ли модели скрытно действовать вопреки намерениям своих разработчиков и смогут ли наши механизмы защиты обнаружить такое поведение. Опираясь на данные обучения, тестирования безопасности и внутреннего использования, Apollo оценит четыре утверждения в два этапа:
- Обучение не стимулировало подрывную деятельность.
Обучение не стимулировало подрывную деятельность.
- Строгие оценки и «красные команды» (red teaming) не провоцируют подрывную деятельность.
Строгие оценки и «красные команды» (red teaming) не провоцируют подрывную деятельность.
- Модели не пытались заниматься подрывной деятельностью во время внутреннего использования.
Модели не пытались заниматься подрывной деятельностью во время внутреннего использования.
- Обоснование подрывной деятельности будет обнаруживаемым.
Обоснование подрывной деятельности будет обнаруживаемым.
Для первого этапа оценки Apollo мы предоставим доступ к избранным общедоступным и невыпущенным моделям и контрольным точкам обучения, соответствующим данным обучения и результатам оценки, записям о вмешательствах в процесс обучения, системам мониторинга и помеченным моделям поведения, а также исследователям, которые могут предоставить контекст, наряду с инструментами и вычислительными мощностями, необходимыми для проведения независимого тестирования.
Goodfire
Goodfire(opens in a new window) привлечет исследователей в области интерпретируемости и будет использовать платформу Goodfire для анализа внутренних механизмов моделей. Основная цель их оценки — мониторинг процесса обучения, отладка и согласованность. Основная аудитория их оценок — внутренние исследователи OpenAI, которые будут использовать полученные результаты для внесения улучшений в систему безопасности. Goodfire также будет публиковать выводы и результаты по мере развития сотрудничества.
METR
Мы намерены провести две оценки совместно с METR(opens in a new window), сосредоточенные на согласованности модели и мониторинге:
- Оценка согласованности: На первом этапе METR оценит несогласованное поведение в нашем крупнейшем на сегодняшний день запуске обучения с подкреплением, включая сбои, которые могли быть пропущены нашими существующими тестами и мониторами. В рамках выбранного запуска и согласованного доступа, ресурсов и мер безопасности METR будет самостоятельно определять приоритеты оценки и итерировать поиски, анализы и эксперименты по выявлению. Доступ будет включать выборку соответствующих контрольных точек, результаты обучения и оценки, а также записи мониторинга несогласованности для этого запуска. На этом первом этапе оценка будет сосредоточена на нашем крупнейшем пограничном запуске RL.
Оценка согласованности: На первом этапе METR оценит несогласованное поведение в нашем крупнейшем на сегодняшний день запуске обучения с подкреплением, включая сбои, которые могли быть пропущены нашими существующими тестами и мониторами. В рамках выбранного запуска и согласованного доступа, ресурсов и мер безопасности METR будет самостоятельно определять приоритеты оценки и итерировать поиски, анализы и эксперименты по выявлению. Доступ будет включать выборку соответствующих контрольных точек, результаты обучения и оценки, а также записи мониторинга несогласованности для этого запуска. На этом первом этапе оценка будет сосредоточена на нашем крупнейшем пограничном запуске RL.
- Оценка монитора: Недавно мы работали с METR над проведением упражнения по стресс-тестированию монитора. Мы предварительно договорились провести еще одну оценку монитора(opens in a new window), которая, как мы намерены, будет более широкой, но это зависит от взаимного согласия относительно объема оценки.
Оценка монитора: Недавно мы работали с METR над проведением упражнения по стресс-тестированию монитора. Мы предварительно договорились провести еще одну оценку монитора(opens in a new window), которая, как мы намерены, будет более широкой, но это зависит от взаимного согласия относительно объема оценки.
Transluce
Transluce(opens in a new window) проведет первоначальную оценку наших оценок согласованности после обучения, изучив их качество и охват. Для первоначальной оценки мы предоставим Transluce доступ к избранным общедоступным и невыпущенным моделям, нашим оценкам согласованности после обучения и соответствующим результатам, вспомогательным данным о поведении моделей и документации по обоснованию безопасности, а также исследователям, которые могут предоставить контекст, наряду с инструментами и вычислительными мощностями, необходимыми для проведения независимого тестирования.
OpenAI и Transluce также намерены провести последующую оценку продолжительностью около восьми недель в начале 2027 года с более широким доступом к дополнительным моделям, более глубоким доступом к нашим оценкам согласованности и информацией о том, как результаты оценки влияют на решения о выпуске моделей.
Протоколы для встроенных оценок
Мы разработали протоколы и процессы с учетом мнения экспертов, чтобы сбалансировать глубокий доступ к системам с требованиями безопасности, конфиденциальности, надзора, а также независимости и объективности оценок. Мы делимся ими, чтобы прояснить, как мы будем работать с внедренными экспертами, и способствовать обсуждению норм для таких оценок, которые еще не были стандартизированы. Мы ожидаем, что эти нормы будут развиваться по мере того, как мы будем лучше понимать, как наиболее эффективно проводить подобные проверки. Особенно на ранних этапах внедренных оценок мы ожидаем возникновения технических проблем с доступом, нехватки пространства, необходимости доработки протоколов безопасности и других непредвиденных сложностей. Мы надеемся совместно с нашими экспертами преодолевать эти трудности и делиться полученным опытом.
Определение объема работ и итерации
Каждое взаимодействие начинается с согласования объема работ, а также доступа, ресурсов и мер безопасности, необходимых для проведения тщательной оценки. Некоторые проверки тестируют конкретные заявления о безопасности; другие дают экспертам возможность обнаружить непредвиденные режимы сбоев в рамках определенной системы или процесса обучения. В обоих случаях экспертам нужна свобода следовать за доказательствами, совершенствовать свои методы и предлагать дополнительные проверки, когда результаты этого требуют. У нас также есть процесс для удовлетворения дополнительных потребностей в доступе по мере развития оценок. Если прямой доступ может раскрыть нашу наиболее чувствительную интеллектуальную собственность, такую как веса модели или архитектура, мы будем рассматривать альтернативы, включая работу экспертов в паре с исследователями OpenAI для проведения анализа.
Безопасная среда на территории компании
Эксперты, которым необходим доступ к конфиденциальной информации, будут работать на территории офисов OpenAI и использовать предоставленные OpenAI устройства для выполнения своей работы. Основная цель — обеспечить безопасность информации, к которой они получают доступ. Работа на месте также дает экспертам возможность взаимодействовать с профильными сотрудниками, которые помогут им сориентироваться в доступе и предоставят контекст для их оценок. Мы также ожидаем, что наши внедренные эксперты будут соблюдать как минимум те же стандарты безопасности, что и сотрудники OpenAI, при проведении экспериментов и оценок.
Надзор и разрешение споров
Наш Комитет по безопасности и защищенности (Safety and Security Committee, SSC), независимый надзорный орган при Совете директоров OpenAI Foundation, будет иметь доступ к информации о ходе внедренной оценки и возможность осуществлять свои надзорные функции до, во время и по завершении процесса. Они будут получать нередактируемые отчеты, а эксперты и члены SSC смогут общаться друг с другом во время оценки, в том числе конфиденциально. Разногласия между OpenAI и любым оценщиком будут передаваться в Консультативную группу по безопасности и руководству OpenAI, у которых будет определенный период времени для их разрешения, а SSC будет оперативно уведомлен о любых таких разногласиях при их эскалации. Если разногласия сохраняются, вопрос будет передан в SSC для окончательного решения.
Обсуждения с сотрудниками и аттестация
Обсуждения с сотрудниками помогают экспертам понять внутреннюю информацию и контекст, стоящий за проделанной работой. OpenAI будет уполномочивать и предоставлять рекомендации сотрудникам, которые могут общаться с экспертами, а эксперты могут запрашивать дополнительные встречи с персоналом по мере необходимости. Чтобы поощрять открытые, откровенные разговоры и защитить конфиденциальность наших сотрудников, эти обсуждения носят неформальный характер: это означает, что они могут использоваться для формирования выводов оценки, но не могут быть опубликованы или приписаны конкретным сотрудникам. Через отдельный механизм аттестации эксперты могут запрашивать заверенные OpenAI заявления, подтверждающие, исправляющие или проясняющие информацию, полученную в ходе бесед с сотрудниками. Эти заявления не приписываются отдельным лицам и не предназначены для характеристики личных взглядов. Эксперты могут публиковать заявления, заверенные OpenAI, или раскрывать факт того, что OpenAI отказалась заверять заявление.
Раскрытие конфликтов интересов и периоды «охлаждения»
Четкое и прозрачное управление конфликтами интересов — включая личные отношения, финансовые интересы и другие вопросы — важно для целостности и независимости оценок. Периоды «охлаждения» также должны быть тщательно продуманы, чтобы эксперты могли ответственно работать в разных лабораториях, бережно обращаясь с конкурентной информацией. Мы работаем с нашими экспертами над созданием четких процессов как для конфликтов интересов, так и для периодов «охлаждения», включая гибкость в мерах по их смягчению и прозрачность при принятии решений о самоотводе.
Публикация и периоды ответственного раскрытия информации
Эксперты сохраняют независимость при публикации своих оценок, но мы оставляем за собой право редактировать конфиденциальную информацию в соответствии с нашими предыдущими соглашениями с третьими сторонами. Мы также можем запрашивать отсрочки для ответственного раскрытия информации, чтобы дать время на устранение рисков безопасности или проблем, которые остаются нерешенными.
Публичная отчетность поможет людям понять результаты и их ограничения, в то время как более подробные конфиденциальные отчеты предоставят надзорным органам доказательства, необходимые для принятия мер. Мы хотим, чтобы эти оценки улучшили способы выявления и устранения рисков, а также дали общественности более четкую основу для оценки нашей работы в области безопасности.
Взгляд в будущее
Эти оценки привносят независимый взгляд в нашу постоянную работу по обеспечению согласованности и безопасности. Публичная отчетность об их результатах сделает эту работу более прозрачной и обеспечит большую уверенность в том, как выявляются и устраняются риски. Мы ожидаем, что этот первый этап оценок приведет к долгосрочному и последовательному внедренному взаимодействию, которое сможет постоянно предоставлять сторонние сигналы безопасности и рекомендованные улучшения для наших наиболее критически важных заявлений и обоснований безопасности.
Мы продолжим работать с несколькими независимыми третьими сторонами, чтобы помочь создать здоровую экосистему оценки с разнообразным опытом и подходами. Некоторые исследования требуют длительной работы на месте с чувствительными системами; другие в основном оценивают развернутые или готовящиеся к развертыванию модели или анализируют публичную документацию.
В ближайшие месяцы мы будем поддерживать внешние оценки по более широкому кругу вопросов безопасности. Мы также изучаем возможности будущих внедренных оценок, которые будут проверять соответствие нашим структурам безопасности, а также нашей организационной культуре и процессам. Мы стремимся расширять эту работу и помогать наращивать потенциал и общие стандарты, необходимые для ее поддержания.








