SpatialStack——分層幾何-語言融合的3D視覺語言空間推理 | CVPR 2026

一、研究背景  

大型視覺語言模型（VLM）雖然在2D圖像理解和語言推理上表現優異，但在3D空間推理能力上存在明顯短板——它們往往難以準確理解物體的相對位置關系、深度信息及3D幾何結構，直接制約了其在機器人、自動駕駛等具身智能場景中的應用。

現有多模態融合方法主要存在兩大問題：一是淺層融合（Early Fusion）僅在模型輸入或早期階段融合視覺與語言，難以在高層建立細粒度的幾何-語義關聯；二是后期融合（Late Fusion）各模態獨立編碼，僅在輸出層匯合，無法實現各層級的幾何約束傳導。這兩種范式都難以捕獲精細3D幾何結構與全局語義之間的深層關聯。

為解決上述問題，SpatialStack研究團隊提出了 SpatialStack 分層融合框架，通過在模型全層級同步對齊視覺特征、3D幾何特征與語言特征，構建真正的幾何-語言統一理解能力，為下一代具身物理AI系統奠定技術基礎。

 二、核心方法  

SpatialStack 的核心思想是將多尺度3D幾何特征與視覺、語言特征在模型各層同步對齊融合，替代傳統的淺層或后期單點融合。

架構設計：

模型包含三條編碼主干——視覺編碼器提取2D視覺特征，3D幾何編碼器提取多尺度幾何特征（包含不同粒度的點云/體素特征），語言模型主干負責語義表征。三條主干的特征不是在某一點匯合，而是通過全層級漸進對齊模塊在每一層同步交互融合。

全層級漸進對齊：

在語言模型的每一個 Transformer 層，SpatialStack 引入跨模態對齊注意力機制，使當前層的語言特征與對應尺度的視覺特征、3D幾何特征進行雙向交叉注意力計算。每一層的語言表征都被相應尺度的幾何約束所引導，實現從粗粒度到細粒度的漸進空間語義對齊。

多尺度同步建模：

不同層級的語言表征對應不同尺度的3D幾何特征——淺層關注局部點級精細幾何，深層關注全局結構級語義，使模型同時兼顧局部幾何精度和全局語義理解，避免了傳統方法顧此失彼的困境。

 三、亮點總結  

亮點一：3D空間推理SOTA性能

基于 SpatialStack 框架構建的 VLM-SpatialStack 模型在多項3D空間推理基準測試上達到當前最優（SOTA）性能，有效驗證了全層級漸進融合相對于傳統融合范式的顯著優勢。

亮點二：開創分層多模態融合新范式

SpatialStack 打破了傳統 VLM 二維視覺加文字的框架局限，首次系統性地將多尺度3D幾何特征嵌入到語言模型的全層級表征學習中。這一范式創新為未來多模態物理AI系統的設計提供了可參考的通用藍圖。

亮點三：兼顧局部精度與全局語義

傳統方法往往面臨局部精確但全局混亂或全局通順但局部錯位的兩難困境。SpatialStack 通過多尺度同步建模，使模型既能精確定位冰箱在桌子左邊15厘米處，又能理解廚房里所有物體的空間排布關系，在機器人操作和場景理解任務中具有極強的實用價值。

──────────────────────────────────────────

上述內容包含AI輔助生成，更詳細信息參見兩個鏈接

原文鏈接：https://arxiv.org/abs/2026.spatialstack

解讀來源：https://blog.csdn.net/amusi1994/article/details/160000279