Мы начинаем партнерство с Accenture для независимой оценки передового ИИ. Это важный шаг на пути к выполнению обязательства, озвученного в статье нашего генерального директора essay «Мы должны идти в ногу с передовыми технологиями» (We Must Pace the Frontier), по внедрению оценщиков внутрь компании Anthropic.
Партнерство будет возглавлять компания Faculty, специализированный ИИ-бизнес Accenture, и оно будет включать в себя оценку и проверку моделей на уязвимости (red-teaming), проведение оценок соответствия принципам безопасности (alignment), а также тестирование средств защиты моделей. Accenture помогает компаниям и государствам внедрять ИИ в различных отраслях. Их понимание того, как предприятия используют ИИ на практике, определяет их подход к безопасности, и они привнесут эту перспективу в оценку наших моделей.
Anthropic и Accenture рассчитывают инвестировать не менее $1 млрд в наращивание потенциала в этой области в течение следующих пяти лет.
Встроенная оценка — это новое явление, и многие детали ее работы еще прорабатываются. В отличие от современных внешних оценщиков, встроенные оценщики будут работать внутри ИИ-компаний, имея доступ, сопоставимый с доступом сотрудника. Такой доступ позволяет им наблюдать за формированием моделей в процессе обучения, следить за решениями, которые определяют, как эти модели создаются и развертываются, а также напрямую общаться с сотрудниками. С этой точки зрения встроенные оценщики могут оценивать работу компании, проверять выполнение ею обязательств по безопасности и выявлять «слепые зоны». Они также могут сообщать об инцидентах и предоставлять общественности более обоснованную информацию о преимуществах и рисках.
Совершенно очевидно, что независимые встроенные оценщики не снимают с нас ответственности, но помогают сделать ее более проверяемой. Безопасность наших моделей остается нашей обязанностью.
На сегодняшний день пока не существует стандартов относительно того, к какой информации встроенные оценщики должны иметь доступ или как они должны сообщать о своих находках. Также нет устоявшейся системы финансирования независимой оценки. В долгосрочной перспективе мы считаем, что финансирование должно поступать из объединенных или государственных источников, как мы призывали в нашей концепции Advanced AI Framework в июне. Поскольку в настоящее время ни того, ни другого не существует, мы планируем работать с разными оценщиками на различных условиях финансирования.
Учитывая важность и срочность этой работы, Anthropic будет финансировать работу Accenture напрямую. Мы также ведем диалог с METR и другими некоммерческими оценщиками, чтобы запустить пилотные элементы встроенной оценки за счет их собственного финансирования. В конечном счете мы верим, что передовому ИИ необходима экосистема оценщиков, работающих по общим стандартам.
Мы ожидаем, что передовые лаборатории будут работать с несколькими организациями одновременно. Наше партнерство не является эксклюзивным: Anthropic будет работать с другими оценщиками, о которых будет объявлено в ближайшие недели, а Accenture будет работать с другими разработчиками ИИ в аналогичных ролях.
Мы продолжим обучать и выпускать передовые модели, и мы хотим, чтобы независимые оценщики работали бок о бок с нами по мере того, как мы это делаем. Мы делимся этими предварительными результатами сейчас, чтобы люди и другие разработчики ИИ могли видеть наш процесс. Мы ожидаем, что наш подход будет развиваться по мере взросления этой сферы, и мы будем делиться новыми данными по мере начала работы и привлечения дополнительных оценщиков.
Claude обнаруживает новую ферментную систему с повторяющимися элементами, подобными CRISPR
Мы объявляем о создании новой исследовательской группы и лаборатории по наукам о жизни в Anthropic. В этом посте представлена команда, стоящая за этой работой, и первые результаты, в ходе которых Claude обнаружил новую ферментную систему со свойствами, напоминающими CRISPR, получив лишь общие указания от наших ученых.
Представляем Программу проверки безопасности в науках о жизни
Программа проверки безопасности в науках о жизни (LSVP) предоставляет специалистам в области наук о жизни доступ к моделям Claude Mythos, Opus и Sonnet с уточненным набором средств защиты, более гибким для работы, связанной с биологией.
