機(jī)器人也學(xué)會“先想后做”了：Imagine2Act突破高精度操作難題 | ICRA 2026

把盤子垂直插入碗架的窄槽、將花莖穩(wěn)穩(wěn)放入花瓶——這些對人類來說近乎本能的高精度操作，卻是機(jī)器人至今難以跨越的門檻。北京大學(xué)董豪團(tuán)隊在ICRA 2026上提出的Imagine2Act框架，讓機(jī)器人先“想象”出任務(wù)完成時的理想狀態(tài)，再據(jù)此規(guī)劃動作，在多項精細(xì)操作任務(wù)上取得了顯著突破。

一、背景：高精度操作的兩大瓶頸

家庭服務(wù)機(jī)器人要真正幫人類干活，光會“抓取-放置”遠(yuǎn)遠(yuǎn)不夠。面對“把筆插進(jìn)筆筒”“將碗放入碗架”這類關(guān)系性重排任務(wù)，機(jī)器人既要理解物體間的語義關(guān)系，更要滿足嚴(yán)格的幾何約束——偏差幾毫米就可能導(dǎo)致任務(wù)失敗。

當(dāng)前主流方法存在兩大瓶頸：一是傳統(tǒng)3D模仿學(xué)習(xí)缺乏對物體間幾何關(guān)系的顯式推理，在高精度對齊任務(wù)上表現(xiàn)不穩(wěn)；二是利用生成模型的方法往往直接將生成的物體變換當(dāng)作動作執(zhí)行，生成噪聲會在執(zhí)行過程中不斷累積，導(dǎo)致誤差放大。

二、核心方法：想象引導(dǎo)執(zhí)行，雙重對齊保精度

Imagine2Act的核心思路是讓機(jī)器人在動手前先“想象”任務(wù)完成時的場景，再將這個想象目標(biāo)作為幾何先驗來引導(dǎo)動作學(xué)習(xí)。整個框架包含兩大模塊：

1. 語義幾何約束生成模塊：給定當(dāng)前觀測和語言指令，系統(tǒng)先用圖像編輯模型生成一幅“任務(wù)已完成”的場景圖像，再通過分割和3D重建提取前景物體的點云，最后將前景點云與背景點云對齊拼接，得到一幅與真實場景幾何一致的“想象目標(biāo)點云”。這一步相當(dāng)于給機(jī)器人一張“正確答案”的草圖。

2. 物體-動作一致性學(xué)習(xí)模塊：從想象目標(biāo)中計算出可移動物體從初始姿態(tài)到目標(biāo)姿態(tài)所需的剛體變換，將其編碼為“變換Token”輸入動作生成網(wǎng)絡(luò)。同時設(shè)計了一個軟姿態(tài)一致性損失函數(shù)：僅在機(jī)器人手部運動與物體理想變換之間的偏差超過容忍閾值時才施加懲罰。這種雙重對齊機(jī)制既利用了物體運動的強(qiáng)信號，又容忍了生成模型帶來的小誤差。

上圖為 Imagine2Act 兩大核心模塊的詳細(xì)執(zhí)行流程圖。

三、亮點總結(jié)：三個創(chuàng)新點值得關(guān)注

創(chuàng)新點一：“先想象、再動手”的新范式。不同于傳統(tǒng)方法直接從觀測映射到動作，Imagine2Act通過生成模型顯式構(gòu)造出符合語義和幾何約束的“心理圖像”，讓機(jī)器人像人類一樣在腦中預(yù)演任務(wù)完成狀態(tài)，從而大幅提升動作規(guī)劃的準(zhǔn)確性。

創(chuàng)新點二：物體-動作一致性建模。首次將物體的剛體變換與末端執(zhí)行器軌跡進(jìn)行顯式關(guān)聯(lián)，通過變換Token和軟損失函數(shù)建立起內(nèi)在的幾何約束，使得策略在未見過的物體姿態(tài)或場景布局下仍能保持高精度操作能力。

創(chuàng)新點三：對生成噪聲的魯棒設(shè)計。軟姿態(tài)一致性損失避免了硬約束帶來的訓(xùn)練不穩(wěn)定，使得系統(tǒng)即便在使用不完美的生成模型時也能有效工作，更貼近真實應(yīng)用場景。

實驗證明，在RLBench仿真環(huán)境的7個高難度任務(wù)上，Imagine2Act平均成功率達(dá)0.79，顯著優(yōu)于基線模型；在真實Franka機(jī)器人上的6個日常操作任務(wù)中，平均成功率也達(dá)到0.68，遠(yuǎn)超對比方法的0.43。這一工作為提升機(jī)器人的精細(xì)操作能力提供了全新思路。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個鏈接

論文鏈接：https://arxiv.org/abs/2509.17125

論文解讀：https://mp.weixin.qq.com/s/IudCZqnBIPFIXtqGwk6Q2Q