Что такое пространственное мышление?
ИИ выходит за рамки цифрового мира. Следующему поколению систем ИИ необходимо понимать физическое окружение и взаимодействовать с ним — от роботов до автономных систем, ориентирующихся в сложных пространствах.
Этот сдвиг в сторону физического ИИ порождает фундаментальную проблему: моделям ИИ требуется нечто большее, чем языковой интеллект и визуальное распознавание. Им необходимо рассуждать о физическом мире.
Пространственное мышление — это способность понимать трехмерную структуру среды: где находятся объекты, как они соотносятся друг с другом и какие объекты имеют значение для конкретной задачи.
Если попросить робота найти объект рядом со столом и перед занавеской, одного лишь распознавания будет недостаточно. Он должен понимать их пространственные взаимосвязи, определять, какие объекты важны для выполнения инструкции, и рассуждать об их положении в пространстве.
Почему пространственное мышление представляет собой сложную задачу?
Несмотря на быстрый прогресс в области больших языковых моделей (LLM) и визуально-языковых моделей (VLM), рассуждения о трехмерных пространствах остаются сложной задачей.
Обычные LLM способны понимать пространственные понятия, выраженные языком, такие как слева от или позади, но они не наблюдают физическую геометрию напрямую. VLM добавляют визуальное восприятие, однако они формируют свои представления на основе 2D-изображений, привязанных к отдельным точкам обзора. Один и тот же объект может появляться в разных положениях, масштабах и ориентациях при разных ракурсах камеры. Модель должна связать эти наблюдения в единое понимание лежащей в основе трехмерной сцены.
Даже когда доступна трехмерная информация, обладание пространственной информацией еще не означает умение эффективно ее использовать. Сложная сцена может содержать множество объектов, в то время как конкретный вопрос затрагивает лишь некоторые из них. Поэтому модель должна решать две задачи одновременно: определять, что важно для текущей задачи, и понимать, как организовано окружающее пространство.
Эти проблемы указывают на две взаимодополняющие возможности для эффективного трехмерного пространственного мышления: локальную, зависящую от задачи фокусировку и глобальную пространственную ориентацию.
В своей статье CVP: Central-Peripheral Vision-Inspired Multimodal Model for Spatial Reasoning, принятой на конференцию WACV 2026, исследователи из Калифорнийского университета в Сан-Диего и Lambda исследуют подход, вдохновленный тем, как люди естественным образом сочетают эти способности.
CVP представляет токен целевой аффинности, позволяющий сосредоточить внимание модели на объектах, имеющих отношение к задаче, и аллоцентрическую сетку для обеспечения структурированного представления более широкого трехмерного окружения: сосредотачивайтесь на том, что важно, и держите в поле зрения все остальное.
Обучение на основе центрального и периферического зрения
Человеческое зрение объединяет центральное зрение, которое предоставляет подробную информацию о том, на чем мы сосредоточены, и периферическое зрение, которое поддерживает более широкое осознание нашего окружения. CVP воплощает этот принцип в двух взаимодополняющих механизмах для мультимодальных моделей.
1. Центральное зрение: на чем мне следует сосредоточиться?
Трехмерная среда может содержать множество объектов, но для конкретного вопроса важны лишь немногие из них. CVP вводит токен целевой аффинности, который учится идентифицировать эти релевантные для задачи объекты.
Во время обучения модель проецирует многоракурсные визуальные признаки в общую трехмерную систему координат и объединяет их в представления на уровне объектов. Контрастивный подход побуждает представление целевой аффинности согласовываться с релевантными объектами и отдаляться от нерелевантных.
По сути, модель учится отвечать на вопрос: «Учитывая мою текущую задачу, на что мне следует обратить внимание?»
2. Периферическое зрение: как организовано пространство?
Знать, на чем сосредоточиться — это лишь часть проблемы. Модели также необходимо понимать сцену в целом. CVP представляет аллоцентрическую сетку — компактное представление среды с высоты птичьего полета. В отличие от эгоцентрического представления, привязанного к конкретной камере, аллоцентрическая сетка представляет объекты с точки зрения, ориентированной на мир.
Преобразуя сетку в лаконичное текстовое представление, CVP делает высокоуровневую пространственную структуру явно доступной для языковой модели, а не требует от нее полной реконструкции сцены из сырых визуальных и геометрических признаков.
Сетка по умолчанию размером 6 x 6 демонстрирует отличные результаты. Увеличение ее разрешения не дает дополнительных преимуществ. Это говорит о том, что эффективное пространственное мышление зависит не только от детальной пространственной информации: правильная абстракция имеет не меньшее значение.
В совокупности эти два механизма решают взаимодополняющие задачи:
- Токен целевой аффинности: что имеет значение?
- Аллоцентрическая сетка: как организовано окружение?
В сочетании с многоракурсными визуальными токенами и трехмерной позиционной информацией они позволяют модели рассуждать, обладая как локальной фокусировкой, так и глобальным пространственным восприятием.
На следующем рисунке показана архитектура CVP.
CVP опирается на LLaVA-Video-7B и многоракурсное представление Video-3D-LLM и совместно обучается на пяти наборах данных, охватывающих ответы на вопросы, визуальную привязку и плотное комментирование (dense captioning).
Результаты
Команда оценивает CVP на пяти трехмерных визуально-языковых бенчмарках, охватывающих ответы на вопросы, визуальную привязку и плотное комментирование: ScanQA, SQA3D, ScanRefer, Multi3DRefer и Scan2Cap.
По всем пяти бенчмаркам CVP стабильно превосходит базовую модель Video-3D-LLM:
- Для задач трехмерных ответов на вопросы CVP улучшает показатель CIDEr с 102,1 до 107,1 на ScanQA и точность точного совпадения (exact-match) с 58,6 до 62,3 на SQA3D.
Для задач трехмерных ответов на вопросы CVP улучшает показатель CIDEr с 102,1 до 107,1 на ScanQA и точность точного совпадения (exact-match) с 58,6 до 62,3 на SQA3D.
- Для визуальной привязки модель улучшает Acc@0.25 с 58,1 до 62,0 на ScanRefer и F1@0.25 с 58,0 до 60,2 на Multi3DRefer.
Для визуальной привязки модель улучшает Acc@0.25 с 58,1 до 62,0 на ScanRefer и F1@0.25 с 58,0 до 60,2 на Multi3DRefer.
- Для плотного комментирования CVP увеличивает показатель CIDEr с 83,8 до 90,5 на Scan2Cap.
Для плотного комментирования CVP увеличивает показатель CIDEr с 83,8 до 90,5 на Scan2Cap.
Эти результаты демонстрируют стабильный прирост в задачах пространственного мышления — от ответов на вопросы о трехмерных сценах до обнаружения и описания объектов.
На следующем рисунке представлено несколько качественных результатов.
Эксперименты по абляции также показывают, что два компонента вносят свой вклад в различные аспекты пространственного мышления. Токен целевой аффинности дает большие преимущества для визуальной привязки, где определение объекта, имеющего отношение к задаче, имеет решающее значение. Аллоцентрическая сетка особенно важна для ответов на вопросы и плотного комментирования, которые требуют более широкого понимания сцены.
Результаты подкрепляют идею, лежащую в основе CVP: центральное зрение помогает определить, что важно, в то время как периферическое зрение обеспечивает более широкий пространственный контекст. В более широком смысле CVP предполагает, что то, как представлена информация о физическом мире, может иметь столь же важное значение, как и объем предоставляемой информации.
Создание моделей пространственного мышления на Lambda
Обучение мультимодальных моделей для трехмерного пространственного мышления объединяет визуальную информацию, различные ракурсы камеры, геометрию камер, трехмерные координаты и язык в рамках единого конвейера. Совместная обработка этих модальностей увеличивает требования как к вычислительным ресурсам, так и к памяти, а также делает критически важным быстрый эксперимент с новыми архитектурами.
Для CVP исследователи дообучили мультимодальную модель с 7 миллиардами параметров на пяти датасетах 3D-видения-языка, используя 8 графических процессоров NVIDIA A100 Tensor Core, а вычислительные ресурсы предоставила компания Lambda.
По мере того как ИИ распространяется с текста и двумерных изображений на видео, трехмерные среды, робототехнику и физический ИИ, исследователям требуется инфраструктура, способная поддерживать эти ресурсоемкие мультимодальные рабочие нагрузки. Lambda предоставляет масштабируемую инфраструктуру графических процессоров для обучения и дообучения мультимодальных базовых моделей и масштабного исследования новых архитектур, помогая исследователям переводить ИИ от распознавания того, что находится в мире, к рассуждениям о том, как устроен этот мир.
Paper: Credits: UC San Diego, LambdaAuthors: Zeyuan Chen, Xiang Zhang, Haiyang Xu, Jianwen Xie, and Zhuowen Tu. WACV 2026.
