Отчет о безопасности сообщества и новая защита для подростков

ChatGPT — один из самых широко используемых ИИ-продуктов в мире, и мы инвестировали в создание одних из самых передовых в отрасли систем для обнаружения потенциального вреда, проверки подозрительной активности и эскалации реальных угроз. Мы делаем два анонса для дальнейшего развития нашей работы в этой области: новый Отчет о мерах безопасности сообщества и дополнительные ограничения на контент об огнестрельном оружии для несовершеннолетних.

Обеспечение безопасности сообществ⁠ по-прежнему остается главным приоритетом для OpenAI. Наша работа включает передачу сведений о неизбежных угрозах насилия правоохранительным органам, и в третьем квартале 2026 года мы направили им более 200 запросов. Эти запросы играют положительную⁠(opens in a new window) роль⁠(opens in a new window) в пресечении насильственных заговоров, и мы продолжаем полагаться на экспертов в области психического здоровья и поведения, которые помогают нам оценивать сложные случаи.

Мы понимаем, что компании, занимающиеся разработкой ИИ, играют особую роль наряду с правоохранительными органами, членами семей, специалистами по психическому здоровью и политиками, которые обладают реальными полномочиями, контекстом и возможностями влияния в реальном мире. Мы стремимся максимально эффективно использовать эту роль, постоянно укрепляя наши системы, делясь полученным опытом и работая напрямую с теми, кто имеет больше всего возможностей для реальных действий.

Отчет OpenAI о безопасности сообщества

Мы постоянно совершенствуем меры, принимаемые для защиты людей и сообществ. Это означает не только создание надежных средств защиты, но и открытость в отношении того, насколько эффективно они работают и что мы делаем для их улучшения. Мы хотим дать людям четкое представление о нашем подходе, о том, как наши модели выявляют вредоносное поведение и реагируют на него, с какими рисками мы сталкиваемся на практике и какие шаги предпринимаем для их устранения.

Мы берем на себя обязательство запустить Отчет о безопасности сообщества, посвященный предотвращению насилия и другим вопросам безопасности сообществ, а также эффективности наших средств защиты. В отчете будет объяснено, как мы обучаем наши системы обнаруживать, расследовать проблемы безопасности сообществ и реагировать на них. Мы поделимся анонимизированными примерами того, как проявляется вред, связанный с насилием, и чему мы учимся, осветим новые меры защиты и изменения в политике, а также включим соответствующие данные для подтверждения этих выводов.

Мы опубликуем наш первый отчет в начале 2027 года, охватывающий второе полугодие 2026 года, с последующим обновлением каждые шесть месяцев. Наше обязательство заключается в том, чтобы делиться значимыми выводами о том, как мы выявляем потенциально вредный контент, проверяем его и реагируем на него.

Более строгие правила для всех пользователей

Наши модели обучены не давать инструкций, которые могли бы помочь кому-то спланировать или совершить акт насилия. Теперь мы вводим дополнительные ограничения на то, как ChatGPT отвечает на вопросы о прошлых массовых нападениях и людях, которые их совершили, предписывая модели предоставлять менее детальную информацию в этих областях, даже если она доступна из других онлайн-источников. Люди должны иметь возможность попросить ChatGPT помочь им разобраться в этих событиях, узнать о том, как пострадали жертвы и сообщества, а также понять, как распознавать предупреждающие знаки и предотвращать насилие в будущем. Но мы ужесточаем нашу политику, чтобы ограничить реконструкцию прошлых массовых нападений, включая подробности об использованном оружии и снаряжении и способах их получения, а также подробные сравнения масштабов вреда, которые могут усилить известность нападавшего. Эти ограничения применяются независимо от возраста пользователя или причины запроса.

Реагирование на предупреждающие знаки

Иногда запрос, который сам по себе кажется обычным, приобретает иной смысл в свете предыдущего разговора. В мае мы рассказали о том, как ChatGPT может использовать короткие фактические сводки⁠ о более ранних предупреждающих знаках, чтобы более осторожно отвечать в последующем чате. Мы развиваем эту работу, чтобы при обнаружении в недавних чатах предупреждающих знаков возможного насилия ChatGPT реагировал более сдержанно при предоставлении информации, которую можно использовать во вред. Мы также работаем над применением этих более строгих ограничений, когда мы прогнозируем, что пользователю меньше 18 лет, даже если его чаты не содержат признаков агрессивных намерений.

Мы блокируем учетные записи, которые, как мы установили, нарушают нашу политику в отношении насильственной деятельности⁠. Мы также сотрудничаем с экспертами по психическому здоровью и предотвращению насилия над дополнительными автоматизированными способами более раннего вмешательства. Когда в беседе появляются признаки того, что человек фиксируется на насилии или идее причинить серьезный вред другому человеку, ChatGPT сможет автоматически завершить чат, чтобы прервать этот паттерн в моменте. Если ChatGPT завершает несколько чатов по этой причине, мы можем временно приостановить действие учетной записи. Это постоянная работа, и мы продолжаем укреплять и инвестировать в технические и практические средства защиты, включая то, как надежно распознавать предупреждающие знаки и определять, когда и как вмешиваться.

Дополнительная защита для подростков

ChatGPT для подростков⁠ применяет возрастные средства защиты для пользователей младше 18 лет, включая более надежную защиту и дополнительные ограничения для снижения воздействия конфиденциального контента. Теперь мы вводим дополнительные ограничения на информацию об оружии, которую могут получать подростки, даже если вопрос кажется безобидным.

Наша политика уже запрещает помогать кому-либо планировать или совершать акты насилия, а также ограничивает помощь подросткам в поиске или приобретении оружия. Мы распространяем эти защитные меры на ограничение практической информации об оружии и системах безопасности, которая может быть использована во вред для содействия насилию, даже если нет никаких признаков агрессивных намерений. Подростки по-прежнему могут использовать ChatGPT для предотвращения и деэскалации насилия, поиска поддержки и связи с надежным взрослым.

В прошлом году мы запустили прогнозирование возраста⁠, которое анализирует множество сигналов, таких как паттерны поведения, чтобы оценить, может ли пользователь быть младше или старше 18 лет. Мы усовершенствовали нашу систему прогнозирования возраста, чтобы постоянно оценивать новые сигналы по мере того, как люди используют ChatGPT, и при необходимости переводить подростков в режим для пользователей младше 18 лет. Пользователи, которых по ошибке перевели в режим для пользователей младше 18 лет, всегда смогут быстро и с соблюдением конфиденциальности подтвердить, что они являются взрослыми, и снять дополнительные ограничения для подростков с помощью Persona, нашего партнера по верификации возраста.

Наши средства родительского контроля⁠ позволяют родителям связывать свои учетные записи ChatGPT с аккаунтами подростков и совместно управлять настройками безопасности. Связанные учетные записи включают оповещения о безопасности⁠, которые могут отправляться, когда специально обученные рецензенты выявляют серьезную обеспокоенность по поводу самоповреждения и поведения, которое может быть связано с расстройством пищевого поведения. В июле мы расширили эти оповещения, чтобы уведомлять родителей, если учетная запись их подростка была заблокирована за нарушение нашей политики использования в отношении насилия. Мы работаем над тем, чтобы внедрить уведомления для родителей в случае приостановки действия учетной записи их подростка за неоднократные обсуждения насилия, как описано выше.

Взгляд в будущее

Акты реального насилия вызывают глубокую боль и сложны по своей природе, имея множество способствующих факторов. Они также служат суровым напоминанием о том, что мы должны продолжать проектировать и совершенствовать наши системы с учетом изначально сложной реальности человеческого поведения. Разработка эффективных средств защиты от насилия в системах ИИ требует решения новых задач по распознаванию рисков и адекватному реагированию, и мы продолжим инвестировать в внедрение реализуемых нами мер защиты, совершенствовать их и делиться полученным опытом. Подробно описанные здесь механизмы защиты начнут внедряться в ближайшие несколько недель, и мы продолжим их дорабатывать. Мы по-прежнему привержены снижению рисков причинения вреда в ChatGPT, укреплению нашей многоуровневой защиты, мониторингу злоупотреблений, соблюдению наших правил и привлечению реальной поддержки и вмешательства, когда того требуют ситуации.