Сегодня мы объявляем, что OpenAI будет учитывать общий сигнал⁠(открывается в новом окне) в robots.txt — файле, который позволяет веб-сайтам выражать свои предпочтения относительно использования их контента для обучения базовых генеративных моделей ИИ. Эта добровольная инициатива позволяет издателям и владельцам сайтов легко сообщать о своих предпочтениях сразу нескольким участвующим провайдерам.

Ранее владельцам сайтов приходилось идентифицировать отдельных краулеров и поддерживать раздельные правила для каждого отдельного провайдера. Наличие общего сигнала для нескольких провайдеров снижает эту нагрузку на администраторов сайтов.

Мы планируем внедрить этот сигнал в ближайшие месяцы и поделимся дополнительной информацией о нашей реализации, когда это произойдет. Этот новый сигнал не заменит элементы управления, которые мы уже предоставляем через robots.txt. Наши существующие средства управления краулерами⁠(открывается в новом окне), которые обеспечивают веб-издателям гибкость и контроль над своими страницами, продолжат действовать и учитываться.

Это опирается на текущую работу⁠(открывается в новом окне) рабочей группы по предпочтениям ИИ Инженерного совета Интернета (IETF). Сегодня мы присоединяемся к другим участникам рабочей группы, объявившим об этом общем сигнале, и считаем, что это укрепляет наше дальнейшее участие в обсуждениях стандартов IETF. OpenAI продолжит адаптировать свою практику по мере развития этих дискуссий и ситуации с учетом надлежащих средств контроля и справедливости.

Мы считаем это практическим шагом к открытому вебу, где люди могут публиковать и находить информацию, а владельцы сайтов имеют более четкие и простые способы выражения своего выбора относительно использования их контента. Мы призываем других провайдеров ИИ также учитывать этот сигнал.