В прошлом месяце мы взяли на себя обязательство по усилению независимой сторонней оценки наших моделей и методов обеспечения безопасности. Мы также подписали Соглашение Белого дома по суперинтеллекту, в рамках которого компании обязались сотрудничать с независимыми внешними аудиторами или оценщиками. Сегодня мы объявляем о том, что начали предоставлять доступ, аналогичный доступу сотрудников, команде из METR — некоммерческой организации, которая занимается оценкой передовых моделей ИИ.

METR будет публиковать результаты своих оценок рисков. За последний год мы совместно с METR провели несколько обзоров наших отчетов о рисках. Мы также работаем с SecureBio и Accenture в качестве оценщиков и ведем предварительные переговоры с рядом других организаций, включая Hugging Face.

Здесь мы разъясняем наш подход к работе с оценщиками.

Почему мы работаем с независимыми оценщиками

По мере того как модели становятся все более мощными, им требуются более надежные средства защиты и более сложные оценки рисков. Мы хотим нести публичную ответственность за принимаемые нами решения. Однако мы не можем публично делиться всей информацией, касающейся нашей работы по обеспечению безопасности. Часть ее может быть полезна злоумышленникам или является коммерчески конфиденциальной, например, информация о вычислительных мощностях или обучении. Вместо этого мы предоставляем сторонним оценщикам глубокий доступ к нашей информации и просим их делиться доказательствами и обоснованными выводами о рисках, связанных с созданием наших моделей. Мы стремимся сократить разрыв между тем, что оценщики знают о системах компании, занимающейся передовым ИИ, и тем, что знает сама компания.

Для оценки передовых моделей оценщикам необходимо следующее:

Опыт в оценке возможностей передовых моделей, включая понимание того, как оценки могут быть ошибочными, например, из-за имитации согласованности (alignment faking).
Независимость: они не должны владеть долей в компании, которую оценивают, или быть финансово или операционно зависимыми от нее.
Достаточный доступ для значимой оценки рисков. Помимо доступа к новейшим моделям, оценщикам также необходимо видеть, как эти модели обучались, как функционируют наши средства защиты и многое другое.
Свобода публикации наблюдений и оценок модели или процесса.

Хотя аналогия не является точной, банковский надзор работает по схожей логике. Банки знают о своих рисках больше, чем посторонние, поэтому регуляторы назначают штатных инспекторов для работы внутри крупнейших банков. Если рискованные действия банка могут угрожать общественности, третьи стороны пытаются выявить это заранее.

Для индустрии ИИ это шаг к надежному надзору за безопасностью. Мы быстро движемся вперед с несколькими оценщиками и активно изучаем, какие виды партнерства работают. Мы обязуемся делиться обновлениями по мере продвижения.

Что мы подразумеваем под «доступом, аналогичным доступу сотрудников»

Мы предоставили шести сотрудникам METR оборудование компании, офисное пространство и доступ к внутренним инструментам и системам, которые примерно соответствуют тому, к чему имеют доступ наши собственные команды по оценке рисков. За исключением небольшого числа четко определенных категорий (например, данные о клиентах, информация, защищенная адвокатской тайной, или информация о наших архитектурах моделей), сотрудники Anthropic поощряются делиться с ними информацией так же, как они делали бы это с коллегой, работающим над рисками согласованности.

METR будет публиковать свой анализ наших уровней риска, инцидентов или практик. Anthropic не может наложить вето на публикацию, но мы можем потребовать от них отредактировать информацию, если она подпадает под узкие, заранее определенные категории, подобные тем, что указаны выше. METR может свободно характеризовать наши правки публично и высказывать мнение о том, считает ли она эти правки оправданными, при условии, что это делается без раскрытия отредактированной информации.

Наше взаимодействие с METR ограничено небольшой командой, работающей в рамках обязательных соглашений. Другие сотрудники METR изолированы от работы этой команды, включая исследователей, которые работают с нами над другими проектами. Внедренная оценка дает нескольким квалифицированным специалистам, работающим по стандартам безопасности Anthropic, возможность внимательно следить за тем, как мы работаем. Это не способ для других организаций получить нашу информацию или информацию наших клиентов и партнеров.

Наши другие партнерства с оценщиками

Мы работаем над рядом других партнерств. Поскольку эти партнерства находятся на ранних стадиях, мы предоставляем этим оценщикам более ограниченную информацию, и у них более ограниченные права на публикацию. Наша цель в рамках этого раннего взаимодействия — убедиться, что наши партнеры защищают конфиденциальную информацию и обладают необходимыми ресурсами и опытом для оценки наших моделей. По мере развития партнерств и укрепления доверия мы надеемся полностью внедрить больше независимых оценщиков.

Мы разрабатываем три уровня доступа для оценщиков. Со временем мы надеемся иметь несколько оценщиков на третьем уровне, где каждая команда будет публиковать свой собственный анализ нашего состояния рисков и ключевых решений.

На первом уровне оценщики проводят узкоспециализированные исследования рисков. Мы решаем, какой доступ предоставить оценщику первого уровня, и оценщики могут публиковать свои выводы с нашего одобрения.

На втором уровне оценщики могут публиковать результаты без нашего одобрения, и они имеют доступ к большему объему информации. Мы по-прежнему можем требовать удаления определенных категорий информации, хотя оценщики могут публиковать свои взгляды на то, были ли наши правки оправданными.

Третий уровень — это соглашение, которое мы описали с METR, с доступом, аналогичным доступу сотрудников, и правами на публикацию, схожими с правами второго уровня.

SecureBio в настоящее время находится на первом уровне. Она находится в процессе анализа главы о химическом и биологическом оружии нашего августовского Отчета о рисках после завершения и публикации пилотного обзора нашего предыдущего отчета о рисках. После завершения этого обзора мы рассмотрим возможность перехода к проектам с расширенным доступом и правами на публикацию.

С Accenture и Faculty мы работаем над амбициозным партнерством, которое включает в себя оценку и «красное тестирование» (red-teaming) моделей, проведение оценок согласованности, тестирование средств защиты моделей и наращивание потенциала в наших организациях.

Мы внедряем оценщиков добровольно и считаем, что каждая компания, занимающаяся передовым ИИ, должна делать то же самое.

Подготовка к промежуточным выборам в США 2026 года

Ранее в этом году мы поделились обновлением о наших мерах по обеспечению безопасности выборов. Здесь мы описываем, как мы продолжили укреплять эти меры в преддверии промежуточных выборов в США в этом году.

Anthropic открывает офис в Сингапуре и подписывает Меморандум о взаимопонимании с правительством Сингапура

Anthropic открыла офис в Сингапуре и подписала Меморандум о взаимопонимании с правительством страны для продвижения безопасного и ответственного внедрения ИИ.