Следующий рубеж машинного интеллекта не заключается в генерации лучших слов. Это о рассуждении в пространстве, где слова еще не существуют.
Когда вы решаете сложную математическую задачу, вы не произносите вслух каждый микрошаг. Когда вы перемещаетесь по многолюдной комнате, вы не сознательно генерируете предложение, описывающее каждый препятствие, прежде чем обойти его. Человеческое познание в значительной степени работает под поверхностью языка — в богатом, непрерывном пространстве абстрактных отношений, пространственных интуиций и параллельных гипотез.
Современный ИИ сделал замечательные успехи, обучаясь на языке. Но по мере того как исследователи продвигаются к более сложным задачам рассуждения, возникает естественный вопрос: что происходит, когда мышление переходит глубже, чем слова?
Этот вопрос указывает на латентное пространство — и это одна из самых важных идей, формирующих следующее поколение архитектур ИИ.
Как думают модели языка
Большие языковые модели (LLM), построенные на архитектуре Transformer, оказались чрезвычайно успешными. Обученные на огромных объёмах текста, они учатся предсказывать следующий токен в последовательности — цель, которая при масштабировании приводит к системам с впечатляющей беглостью, широкой познанием и сильной производительностью в широком диапазоне задач.
Поскольку эти модели генерируют язык токен за токеном, их рассуждение естественно разворачивается таким же образом: последовательно, слово за словом. Техники, такие как цепочка мыслей (chain-of-thought prompting), расширили это дальше, побуждая модели «показать свою работу», генерируя явные промежуточные шаги перед тем, как прийти к ответу.
Этот подход хорошо работает для многих проблем. Но он также выявляет естественное ограничение: каждый шаг рассуждения модели должен быть выражен как дискретное слово или токен. Сложные пространственные отношения, абстрактные логические структуры и многомерные состояния рассуждения не всегда легко сопоставляются с естественным языком — и сжатие их через этот канал вводит накладные расходы и неточности.
Что такое латентное пространство?
Каждая нейронная сеть работает с векторами — высокоразмерными числовыми представлениями концепций, отношений и состояний. Эти векторы живут в том, что исследователи называют латентным пространством: внутренней репрезентативной области, существующей до и независимо от любого языкового вывода.
Латентное пространство гораздо более выразительно, чем словарь. Где слово заставляет дискретное обязательство, непрерывный латентный вектор может одновременно кодировать оттенки неопределенности, конкурирующие гипотезы и структурные отношения. Он может удерживать несколько возможностей в суперпозиции до тех пор, пока не будет достаточно информации, чтобы их разрешить.
Когнитивная наука предлагает убедительный параллель здесь. Исследования пациентов с тяжелой афазией — которые теряют способность производить или понимать язык — показывают, что сложное абстрактное рассуждение, пространственное мышление и логическое суждение могут оставаться полностью intact. Системы рассуждения мозга и его языковые системы в значительной степени различны. Язык, как выяснилось, в первую очередь является интерфейсом коммуникации, а не субстратом самого мышления.
Почему непрерывное представление открывает новые двери
Когда модель рассуждает в непрерывных латентных состояниях, а не в дискретных токенах, несколько возможностей становятся более естественными.
Глубина рассуждения больше не напрямую связана с длиной вывода. Модель может выполнять больше вычислений внутри, прежде чем вывести ответ — без необходимости длинной видимой цепочки промежуточных шагов. Глубина мышления не обязана быть пропорциональна тому, сколько модель пишет.
Модель также не обязана сразу выбирать один путь рассуждения. Поскольку латентные состояния не требуют преждевременного обязательства выбора конкретного слова, становится легче держать открыты альтернативные стратегии и пересматривать внутренние представления по мере появления большего контекста.
И абстрактные отношения — математические структуры, пространственные конфигурации, причинные зависимости — могут быть представлены напрямую в геометрии латентного пространства, а не приближаться через ближайший доступный словарь.
Именно здесь вступает в игру HRM
HRM разработан для работы в латентном пространстве, позволяя рассуждению разворачиваться внутри, прежде чем оно будет переведено в язык. Вместо того чтобы заставлять каждый шаг проходить через слова, HRM работает в непрерывном репрезентативном пространстве, где промежуточные состояния и возможные пути решения могут быть уточнены напрямую.
В этом смысле латентное пространство — это не просто техническая концепция. Это фундамент для другого вида архитектуры ИИ: той, которая думает, прежде чем говорить.
