Со стороны может показаться, что современный ИИ создается примерно так же, как и программное обеспечение в предыдущие десятилетия: с помощью разнообразных методов, нацеленных на конкретные возможности. Методов действительно множество, но вместо того, чтобы проектировать что-то с нуля, они в основном задействуют интеллект, возникающий в результате гораздо более простого и менее интерпретируемого процесса: обучения компрессора (или, эквивалентно(opens in a new window), предсказателя) на очень большом корпусе данных.
Я считаю, что отслеживание темпов прогресса в создании лучших компрессоров имеет ключевое значение для понимания траектории развития ИИ. В этой публикации я выступаю за то, чтобы сделать перплексию (или, что то же самое, кросс-энтропийную потерю) в качестве метрики для сравнения разработчиков моделей и информирования об общих стандартах безопасности. В качестве первого шага я обеспечиваю большую прозрачность в отношении прогресса предварительного обучения в OpenAI. Публикация наших внутренних измерений перплексии потребовала определенных размышлений; это дает конкурентам более четкое представление о нашем положении, но это опасение перевешивается срочностью установления общих(opens in a new window) мер безопасности в масштабах всей отрасли. Мы в OpenAI надеемся, что это станет шагом на пути к созданию общей научной основы для будущих усилий по регулированию темпов.
Упрощенный, но фундаментально информативный взгляд на разработку ИИ заключается в том, что сначала строится большой компьютер, затем он используется для предварительного обучения модели (компрессора) на большом неструктурированном наборе данных, после чего в различных контекстах применяются разнообразные методы — такие как промптинг, дообучение или обучение с подкреплением — для извлечения скрытых возможностей этой модели. Алгоритмический прогресс может стирать грань между фазами обучения, но мы все равно можем разделять создание ИИ с трудно прогнозируемыми эмерджентными способностями (которые я ранее назвал «чужеродным разумом») и последующее целевое извлечение.
Основной способ измерения прогресса в отношении этой ключевой «основы интеллекта» оставался удивительно постоянным на протяжении многих лет: мы отслеживаем перплексию моделей на отложенном наборе данных. Перплексия измеряет, насколько хорошо модель в среднем предсказывает следующий токен; более низкая перплексия означает лучшие предсказания. График в начале этого блога показывает, как эта метрика эволюционировала для наших моделей, начиная с GPT‑3.5.
Диапазон возможностей моделей, в значительной степени описываемых этой единственной метрикой, поражает воображение. Установив новый рекорд перплексии на более старых наборах данных, GPT‑2 была, пожалуй, первой моделью, способной последовательно формулировать связные абзацы текста. Следующий крупный скачок, GPT‑3, был способен к обучению в контексте на основе нескольких примеров задачи. GPT‑3.5 при лог-перплексии около 0.99 на нашем текущем основном оценочном наборе данных была способна к свободному диалогу и легла в основу оригинального ChatGPT. GPT‑4 при значении около 0.91 преуспела в продуктивном использовании цепочки рассуждений, что послужило стимулом для последующего целенаправленного извлечения этой способности и создания современных моделей рассуждений. Теперь, когда мы достигли потерь ниже 0.8, мы наблюдаем появление трансформационных возможностей в таких областях, как кибербезопасность и математика. Я хочу еще раз подчеркнуть, что априори было совсем не очевидно, что эти возможности проявятся при достижении столь точных порогов перплексии — их фундаментально можно рассматривать как эмерджентные скрытые способности, ставшие результатом прогресса по этой единственной метрике.
Поскольку ИИ развивается очень быстро, сфера и способы измерения прикладных возможностей могут стремительно меняться. Было бы бессмысленно оценивать GPT‑2 и GPT‑3 по большинству современных бенчмарков, а бенчмарки, использовавшиеся в то время, в значительной степени исчерпали себя к моменту появления GPT‑4. Напротив, я считаю, что наблюдение за прогрессом предварительного обучения останется информативным.
Особое изменение в темпах прогресса связано с возрастающим вкладом самого ИИ в собственное развитие. Наиболее часто обсуждаемые метрики вращаются вокруг того, что ИИ дополняет и заменяет человеческих исследователей на всех этапах цикла разработки, с конечной точкой перегиба в виде «полного рекурсивного самосовершенствования», когда процесс будет полностью автоматизирован без участия человека. Помимо того, что такое состояние следует очевидно избегать ради сохранения контроля со стороны человека, я считаю, что этот общий подход упускает из виду нечто важнейшее. Существует потенциальный качественный скачок, который может произойти благодаря участию ИИ в ключевой части процесса разработки: алгоритмических исследованиях в области предварительного обучения.
Недавно мы стали свидетелями беспрецедентного ускорения в другой области. Более года мы предлагали нашим моделям открытые математические задачи в качестве одного из способов их оценки. Как только мы перешли на модель с лог-перплексией около 0.76, она начала давать революционные результаты. Для многих из нас, кто ранее работал в математике и смежных областях, видеть, как решения задач, над которыми мы долго размышляли, появляются из модели одно за другим в одной ветке Slack, было глубоко сюрреалистично. Пережив это, мы можем делать экстраполяцию: столь внезапная трансформация вполне возможна и в исследованиях по глубокому обучению. Хотя эта область в большей степени опирается на эксперименты, в ней длинная история простых озарений, которые годами оставались незамеченными; и поэтому уже к 2027 году мы вполне можем столкнуться с подобной лавиной фундаментальных достижений в предварительном обучении. Хотя я ожидаю, что ИИ также внесет значительный вклад в прогресс в области выравнивания и мониторинга, я думаю, что этот прогресс вряд ли окажется достаточно быстрым, чтобы позволить реализовать весь потенциал ускорения предварительного обучения.
Учитывая, что основным способом появления новых удивительных возможностей является прогресс в сжатии данных, метрика, основанная на перплексии, может дать нам общий бенчмарк для общего интеллекта независимо от степени автоматизации процесса разработки. Экстраполируя недавний прогресс, нам следует ожидать дальнейших трансформационных возможностей по мере вхождения в диапазон лог-перплексии ~0.68-0.7. Я не знаю, что это будут за возможности, и мы можем не тестировать их сегодня. В то же время нам следует ожидать дальнейшего ухудшения эффективности текущих доминирующих форм аудита выравнивания, а также дальнейшего роста осведомленности в вопросах оценки и обучения. Я считаю, что разработчики передовых моделей должны совместно стремиться к установлению общих норм оценки таких моделей и проверки их безопасности к моменту их первого использования, включая общие стандарты прозрачности. Я также предлагаю установить общие ограничения на основе перплексии и других измерений, которые разработчики обязуются не преступать до тех пор, пока наша способность понимать и контролировать поведение ИИ не достигнет определенного конкретного рубежа (например, разработки преемника мониторов цепочки рассуждений). То есть я бы хотел видеть отраслевой стандарт, определяющий первое ограничение на разработку, измеряемое с помощью некоторого ключевого показателя, который мы можем отслеживать в разных лабораториях, а также то, чего конкретно нам нужно достичь, прежде чем выходить за его рамки. Я надеюсь, что это проложит путь к единой структуре для установки последовательных ограничений и регулирования дальнейшего развития.
Перплексия в качестве общей метрики имеет ряд сложностей:
- Сложность сравнения между лабораториями. Разные разработчики используют различные оценочные датасеты и обучаются на разных наборах данных. Здесь мы приводим показатели для основного датасета, за которым следим; я считаю, что если мы поставим цель обеспечить прозрачность, то сможем найти применимые способы сравнения качества различных базовых моделей.
Сложность сравнения между лабораториями. Разные разработчики используют различные оценочные датасеты и обучаются на разных наборах данных. Здесь мы приводим показатели для основного датасета, за которым следим; я считаю, что если мы поставим цель обеспечить прозрачность, то сможем найти применимые способы сравнения качества различных базовых моделей.
- Оторванность от прикладных задач. Перплексия напрямую не соответствует задачам, которые нас волнуют. Причина уделять ей внимание заключается в том, что мы можем ожидать: успехи в ней приведут к появлению принципиально новых возможностей.
Оторванность от прикладных задач. Перплексия напрямую не соответствует задачам, которые нас волнуют. Причина уделять ей внимание заключается в том, что мы можем ожидать: успехи в ней приведут к появлению принципиально новых возможностей.
- Неучет достижений за пределами предварительного обучения. В частности, цепочка рассуждений (chain-of-thought) не снижает перплексию, достигаемую моделью, несмотря на то, что она приводит к резкому росту возможностей.
Неучет достижений за пределами предварительного обучения. В частности, цепочка рассуждений (chain-of-thought) не снижает перплексию, достигаемую моделью, несмотря на то, что она приводит к резкому росту возможностей.
- Неизвестный нижний предел. Мы не ожидаем, что можно достичь потерь, равных 0, что соответствовало бы возможности предсказать датасет полностью детерминистически. Но мы не знаем, какова присущая данным энтропия. По мере приближения к этому пределу видимый прогресс в перплексии замедлится, но меньшие улучшения перплексии будут соответствовать более крупным скачкам в интеллекте моделей.
Неизвестный нижний предел. Мы не ожидаем, что можно достичь потерь, равных 0, что соответствовало бы возможности предсказать датасет полностью детерминистически. Но мы не знаем, какова присущая данным энтропия. По мере приближения к этому пределу видимый прогресс в перплексии замедлится, но меньшие улучшения перплексии будут соответствовать более крупным скачкам в интеллекте моделей.
В то же время перплексия выдержала испытание временем как метрика, в оптимизацию которой многие исследовательские группы вложили много сил, и она продолжает обеспечивать стабильный прирост общего интеллекта. Я считаю, что она может сыграть важную роль в стандартизации того, как мы говорим о прогрессе в области ИИ, и надеюсь увидеть большую прозрачность в этом вопросе по всей индустрии.












