0
| 本文作者： 陳淑瑜 | 2026-04-24 15:41 | 專題：ICRA 國際機器人與自動化會議 |
視覺-語言-動作（VLA）模型是當前具身智能的主流架構，但主要分為兩大范式，各自面臨根本性局限：端到端VLA模型（如RT-2、OpenVLA）嚴重依賴海量的「指令-視覺-動作」成對數據進行訓練，數據獲取成本極高且泛化能力有限；分層模型雖通過中間目標表示連接高層語義與底層動作，但中間目標通常需要3D點云等精確幾何輸入，在開放環境中難以獲取。
如何在不依賴任何任務特定微調和成對動作數據的情況下，讓機器人理解語言指令并執行復雜的操控任務，成為具身智能領域亟待突破的核心挑戰。
新加坡國立大學邵林團隊提出了Goal-VLA，創新性地將圖像生成式VLM（視覺語言模型）作為「以物體為中心的世界模型」，通過物體目標狀態表示來連接高層語義推理與底層動作控制，僅需自然語言指令和單視角RGB-D圖像即可實現零樣本機器人操作。
二、核心方法Goal-VLA的核心設計是一個解耦式分層框架，將機器人操作分解為目標推理和動作執行兩個獨立階段。
第一階段：目標狀態推理（Goal State Inference）
利用文本VLM（如GPT-4V）對自然語言指令進行語義豐富和場景理解，構建詳細的物體目標狀態描述。隨后調用圖像生成式VLM（如DALL-E 3、Stable Diffusion）根據豐富的提示詞生成目標場景圖像。生成的圖像直觀地展示了任務完成后物體應處的狀態，作為「以物體為中心的世界模型」的輸出，無需任何3D幾何信息。
第二階段：空間基準計算（Spatial Grounding）
將生成的目標圖像與當前觀測圖像進行像素級語義特征匹配，結合深度圖信息，通過特征對應關系求解從當前狀態到目標狀態的3D變換矩陣（位姿增量）。這一步驟將2D視覺推理轉化為3D空間操作指令。
第三階段：底層策略執行（Low-level Policy）
根據計算出的目標位姿，生成無碰撞的運動軌跡并驅動機械臂執行。底層策略可復用現有的運動規劃算法，無需額外訓練。
核心創新：合成-反思迭代機制
將生成的虛擬目標圖像疊加到真實場景中進行視覺審查——檢查目標位姿是否物理可行（如是否超出桌面范圍、是否與其他物體碰撞）。若不可行，則自動修正描述并重新生成，形成「合成-反思」的閉環迭代。消融實驗顯示該機制將基礎成功率從40.0%大幅提升至88.8%。
亮點一：無需任何任務特定微調，真正的零樣本泛化
Goal-VLA在無需針對特定任務進行任何微調、無需任何成對動作數據的情況下，實現了強大的機器人操控能力。在RLBench仿真環境的59個任務上，平均成功率達59.9%，顯著優于OpenVLA（37.6%）、Pi0（48.9%）、MOKA（37.5%）等需要大量數據訓練的基線方法。
亮點二：真實機器人上的卓越表現
在真實的UFACTORY X-ARM 7機械臂上，Goal-VLA實現了60%的平均成功率，展示了從仿真到真實的良好遷移能力?？缥矬w、跨環境、跨任務的泛化測試均表現優異，證明了其作為通用機器人操作框架的潛力。
亮點三：圖像生成VLM作為世界模型的新范式
Goal-VLA首次系統性地驗證了圖像生成式VLM可以作為機器人操作中的「世界模型」——通過生成目標場景圖像來預測任務完成后的狀態，替代了傳統方法中昂貴的3D目標表示。這一范式創新大幅降低了VLA模型的數據需求，為具身智能的普惠化發展開辟了新路徑。
──────────────────────────────────────────
上述內容包含AI輔助生成，更詳細信息參見兩個鏈接
原文鏈接：https://arxiv.org/abs/2506.23919
解讀來源：https://wxredian.com/art?id=0fc2a93f1d766958a60dfec92cdbc1e2
【封面圖片來源：網站名WXRedian，所有者：具身智能之心】
專題
