По мере того как наши модели становятся умнее и совершают все более значимые действия в реальном мире, становится все более важным, чтобы они выходили за рамки простого буквального выполнения полученных инструкций. Моделям также необходимо понимать человеческие намерения и ценности, чтобы они могли проявлять здравый смысл в ситуациях, которые не имеют прямого отражения в инструкциях, оставаясь при этом верными человеческим намерениям и контролю.
Сегодня мы обновляем спецификацию моделей(opens in a new window) — наше общедоступное описание того, как мы хотим, чтобы наши модели себя вели. Это обновление реорганизует руководящие принципы вокруг пяти базовых ценностей: верности намерениям человека, минимизации вреда, честности и прозрачности, человеческой свободы воли и заботы. Это отражает цель нашей работы по выравниванию ценностей: модели должны понимать и применять человеческие ценности в незнакомых ситуациях, оставаясь верными намерениям человека. Наряду с более четкими объяснениями существующих принципов, пересмотренная редакция добавляет рекомендации относительно контекста, надзора и свободы воли, корректирует некоторые стандарты поведения и отменяет значительную часть подробных рекомендаций по стилю.
Организация спецификации вокруг ключевых ценностей
Пять перечисленных выше ценностей выражают общие обязательства, которые уже отражены в спецификации моделей: служение интересам человека, правдивость, минимизация вреда, уважение права людей формировать собственные взгляды и серьезное отношение к их обстоятельствам. Объединение этих обязательств помогает объяснить, почему спецификация требует от моделей именно такого поведения, и позволяет нам разработать более четкие рекомендации там, где эти обязательства были выражены не до конца. Это обновление является еще одним шагом в нашей работе по совершенствованию спецификации посредством исследований, опыта развертывания моделей, отзывов общественности о спецификации и поведении моделей, а также обсуждений с пользователями и внешними экспертами.
Мы хотим, чтобы ИИ приносил пользу миру людей с разными потребностями, ценностями и надеждами на будущее.
Верность намерениям человека лежит в основе этого подхода: понимать людей и помогать им добиваться того, что для них важно. OpenAI пишет спецификацию, устанавливает границы и обучает модели уважать их; разработчики направляют приложения в рамках этих границ; а пользователи направляют работу модели с учетом этих ограничений. Наши модели должны расширять возможности людей влиять на собственную жизнь, помогая им понимать мир, открывать новые возможности и преследовать выбранные ими цели, одновременно серьезно оценивая то, как эта помощь влияет на окружающих. Верность намерениям человека и остальные четыре ценности структурируют спецификацию и определяют, как наши модели должны справляться с некоторыми из важнейших компромиссов, с которыми они сталкиваются. Они не призваны охватить весь спектр человеческих ценностей, которые наши модели должны уважать и помогать людям преследовать.
Верность означает выход за рамки буквального следования инструкциям к глубокому пониманию того, что OpenAI, разработчики и пользователи имеют в виду и ценят, а также к разумным действиям, когда это понимание неполно. Это также означает признание того, что убеждения и ценности людей могут меняться, и оказание им помощи в осмыслении и развитии таким образом, который они одобряют, без скрытого манипулирования или навязывания своего выбора. Например, помогая кому-то сравнить предложения о работе, модель может опираться на ранее озвученные приоритеты (например, предсказуемый график работы), делая при этом такие предположения очевидными и легко корректируемыми.
Наша миссия — гарантировать, что искусственный общий интеллект принесет пользу всему человечеству. Это требует учета не только сиюминутных намерений человека, но и его долгосрочных интересов и последствий для окружающих. Остальные четыре ценности делают эти соображения явными:
- Минимизация вреда означает соблюдение строгих границ безопасности и учет предсказуемых последствий действий модели.
Минимизация вреда означает соблюдение строгих границ безопасности и учет предсказуемых последствий действий модели.
- Честность и прозрачность означают правдивость в отношении того, что модель знает, делает и в чем сомневается, чтобы люди могли понять и оценить ее рассуждения и работу.
Честность и прозрачность означают правдивость в отношении того, что модель знает, делает и в чем сомневается, чтобы люди могли понять и оценить ее рассуждения и работу.
- Содействие реализации человеческой свободы воли означает укрепление способности людей понимать, выбирать и действовать самостоятельно.
Содействие реализации человеческой свободы воли означает укрепление способности людей понимать, выбирать и действовать самостоятельно.
- Забота означает внимание к обстоятельствам тех, кого затрагивает работа модели, соблюдение соответствующих социальных и профессиональных норм, а также выполнение работы, на которую люди могут полагаться.
Забота означает внимание к обстоятельствам тех, кого затрагивает работа модели, соблюдение соответствующих социальных и профессиональных норм, а также выполнение работы, на которую люди могут полагаться.
Спецификация превращает эти ценности в практические рекомендации со строгими границами там, где это необходимо для защиты людей и общества, а в остальных случаях в основном принимает форму стандартов по умолчанию, которые пользователи и разработчики могут переопределять.
Наряду с этим обновлением спецификации моделей мы изучаем новые методы обучения, которые помогают нашим моделям усваивать эти ключевые ценности, а также лучше понимать и соблюдать конкретные поведенческие принципы спецификации. Цель состоит в том, чтобы сформировать понимание того, почему эти принципы важны и как применять их в новых ситуациях: поступать правильно по правильным причинам. Мы хотим, чтобы это понимание поддерживало здравый смысл в принятии судьбоносных решений и заботу в повседневных решениях, которые в совокупности могут принести долгосрочную пользу людям и обществу(opens in a new window). Мы поделимся результатами и выводами этой работы по обучению в будущих обновлениях.
Новые и упраздненные разделы
Эта реорганизация также помогла нам определить, где требуются дополнительные рекомендации, разработать новые принципы для их учета, а также пересмотреть или упразднить существующие рекомендации по мере необходимости.
Новый раздел о верности намерениям человека исходит из идеи о том, что ценности людей имеют первостепенное значение, а инструкции обычно являются самыми четкими и важными сигналами этих ценностей. Этот подход заимствован из концепции игр с оказанием помощи (assistance-games) в сфере выравнивания (см. ранние работы(opens in a new window) и более поздний обзор(opens in a new window)). В раздел включена обновленная цепочка подчинения(opens in a new window), которая объясняет, какие инструкции применяются и как разрешаются конфликты. Новый подраздел «Внимательно учитывайте контекст» (consider context carefully(opens in a new window)) объясняет, как беседы, воспоминания и другие контекстуальные данные должны формировать понимание моделью намерений и предпочтений людей.
Мы также добавили параметры по умолчанию, касающиеся поддержки человеческой свободы воли(opens in a new window) и соблюдения соответствующих социальных норм(opens in a new window), а также расширили существующие рекомендации по контролю и информированию о побочных эффектах(opens in a new window). Эти принципы отражают дополнительные, часто тонкие, но важные аспекты того, как оставшиеся ценности должны проявляться в поведении модели: учет влияния работы на окружающих, укрепление возможностей пользователей и создание результатов, на которые люди могут полагаться, при одновременном уважении целей и инструкций пользователя.
В то же время мы отказываемся от большей части подробных рекомендаций по стилю в Spec. Стиль должен адаптироваться к предпочтениям людей — в целом, в рамках языков и культур, а также для каждого отдельного человека, — причем отзывы пользователей и контекст служат подтверждением этих предпочтений. Spec сохраняет более жесткие настройки по умолчанию, такие как объективный подход к вопросам(opens in a new window). Пользователи и разработчики могут явно попросить модель принять определенную точку зрения, но модель не должна делать вывод о таком предпочтении лишь на основе того, что, по ее мнению, они хотят услышать.
Наконец, отражая растущую широту вариантов использования и развертывания наших моделей, теперь в Spec мы называем модель «GPT», а не «ассистент».
Что дальше
Это обновление является первым шагом к тому, чтобы сделать ценности и аргументацию, лежащие в основе Spec, более явными по мере того, как модели становятся все более способными. Model Spec описывает поведение, к которому мы стремимся; наши модели пока не в полной мере отражают его. Мы продолжим совершенствовать как Spec, так и модели по мере получения опыта благодаря исследованиям, реальному использованию и обратной связи.
Мы хотим узнать, какие части Spec кажутся вам убедительными, в чем вы не согласны с найденным в нем балансом и что он упускает из виду или оставляет неясным. Отзывы о ценностях, компромиссах и конкретных формулировках помогут нам улучшить его. Мы приглашаем вас ознакомиться с обновленной версией Model Spec(opens in a new window) и поделиться своим мнением(opens in a new window).
