0
| 本文作者： 鄭佳美 樊天驕 | 2026-06-04 11:50 | 專題：CVPR 計算機視覺與模式識別會議 |
作者丨樊天驕、鄭佳美
編輯丨鄭佳美
想為手上的玻璃杯生成 3D 模型，需要幾步？
拍照、掃描、建模......聽上去似乎很簡單，可如果你真的動手試試，得到的往往是布滿孔洞、邊緣扭曲的殘缺結果。
這就是當前 3D 重建技術的瓶頸：無論是爆火的 3D 高斯濺射（3D Gaussian Splatting, 3DGS）、神經輻射場（Neural Radiance Fields, NeRF），還是傳統的多視圖立體匹配方法，都只對不反光的漫反射材質且擁有足夠清晰的紋理特征的物體有效。
而對于那些具有反射、透明和低紋理表面特性的材料，現有技術可以說是束手無策，比如金屬、玻璃和陶瓷。金屬的反光特性會讓同一物體在不同角度、不同光照下呈現截然不同的特征，玻璃的折射徹底會扭曲光線傳播路徑，光滑的陶瓷則缺乏可供算法匹配的特征點。
這就造成了以下現象：服務機器人想要拿起一個玻璃碗，卻常常因為識別不到物體輪廓而失手；工業質檢系統試圖掃描拋光后的不銹鋼零件時，得到的 3D 模型卻總是扭曲且失真的。
算法，就像是活在一個物體都是漫反射的世界里，而真實物理世界遠遠比這復雜得多。
在這樣的行業背景下，香港中文大學（深圳）王方鑫教授團隊聯合首都師范大學、南加州大學的研究者提出了《3DReflecNet: A Large-Scale Dataset for 3D Reconstruction of Reflective, Transparent, and Low-Texture Objects》，構建了專門針對反射、透明、低紋理三類高難度物體的大規模混合 3D 重建數據集。
這項研究打造了一個包含 12 萬+合成實例、1000+ 真實物體、總規模超 22 TB 的綜合數據集，并建立了涵蓋圖像匹配、運動恢復結構、新視角合成、反射去除和重光照五大核心任務的標準化基準。
論文地址：https://arxiv.org/pdf/2605.10204
01
先說研究結論：所有當前最優的方法，都在復雜材料上的重建上出現了斷崖式的性能下跌。當然，這并不能歸因于個別方法或技術，這是全行業的困境。
研究團隊用主流的 3DGS 方法，系統測試了 48 種不同材料參數組合下的重建性能，結果揭示了三種截然不同的失敗模式。
針對光滑金屬表面進行的實驗結果讓人大跌眼鏡—— PSNR 僅為 19 dB，比高粗糙度非金屬材料（35 dB）低了 45%。打個比方，算法看到一個鏡面金屬水壺，就像你盯著一面鏡子試圖判斷鏡子本身的樣子，看到的全是周圍環境的倒影。雷峰網
而透明材料在所有配置下有平均 5.82 dB 的 PSNR 下降，相當于 19.3% 的質量損失，并且折射率越高性能越差。一旦光線穿過玻璃后改變了方向，算法賴以建立對應關系的對極約束就會被徹底打破。
最后是低粗糙度表面的相關實驗。因為其缺乏紋理特征，PSNR 隨粗糙度從 0.0 提升至 0.9，總體可提高 5 dB，證明紋理缺失會直接導致特征匹配失效。
此外，研究團隊對當前 10 余種最先進的 3D 視覺方法進行了基準測試，覆蓋圖像匹配、新視角合成、表面重建、反射去除和重光照五大核心任務。結果無一例外呈現斷崖式下跌，暴露了現有技術在具有復雜光學現象材料面前的系統性缺陷：
作為 3D 重建流程的第一道關卡，圖像匹配（Image Matching）的性能下降尤為明顯。為了證實這點，研究團隊在 1000 個 Roman Statue 實例上評測了 7 種主流圖像匹配方法，并采用 AUC@5°、AUC@10° 和 AUC@20° 三個指標衡量相機位姿估計精度。實驗結果顯示，所有方法在 3DReflecNet 上的表現均明顯低于 MegaDepth 數據集。雷峰網(公眾號：雷峰網)
其中表現最好的 RoMa 方法在 3DReflecNet 上的 AUC@20° 僅為 59.1，而在 MegaDepth 上的對應結果達到 86.3。
同樣，SuperPoint+SuperGlue 在 AUC@5° 指標上僅獲得 15.2，而其在 MegaDepth 上的對應結果為 49.7。
在表面重建任務中，透明材料的 Chamfer 距離則明顯高于漫反射材料，通常為漫反射材料的 2 到 8 倍。最極端的例子是 PGSR 方法：漫反射材料上的 Chamfer 距離為 0.062，而在透明材料上上升至 0.502，導致部分幾何結構缺失和浮點偽影。
對于反射去除（Reflection Removal）和重光照（Relighting）任務，現有 SOTA 方法在 3DReflecNet 上的表現同樣不理想，其結果與其他挑戰性真實數據集相當，進一步凸顯了從圖像匹配到重建的全鏈路性能瓶頸。
因此我們可以得出這樣的結論：現有算法的失敗不是個別調參的問題，而是因其本身設置與真實物理世界的光學規律存在矛盾。
02
想要解析這一現象，我們需要了解現階段算法的兩種潛在邏輯。
第一種，算法會默認物體光度一致。 算法的邏輯是：同一物體表面，無論從哪個角度看顏色都基本不變。如果識別一面墻，那么顯然它站在哪個方位看顏色都是一樣的——對啞光表面確實如此。但如果面對的是鏡面或者不銹鋼呢？
那它識別的就不是金屬本身，而是倒影和周圍環境的鏡像。這些鏡像的顏色、光澤自然是各有不同。
第二種，算法默認物體均具有顯著的紋理特征。也就是說只有物體表面有足夠清晰的紋理，算法才能在不同視角之間建立對應關系從而進行標記。好比你在地圖上靠地標定位——如果到處都是一模一樣的白色平面，你根本無法判斷自己在哪里。
現有 3D 重建基準數據集均圍繞著這兩個邏輯進行設置，這也就導致 3D 重建技術整體存在著四個致命缺陷：
其一，材料覆蓋嚴重失衡。 幾乎所有主流數據集只聚焦普通漫反射物體，對于具有反射、透明、低紋理這三類特性的材料卻鮮有數據集覆蓋。而那些僅有的、對這幾類材料有所覆蓋的數據集，它們的樣本又少的可憐。比如 DTU 數據集只包含極少量玻璃物體樣本，MV Reflectance 數據集不到 20 個反射物體實例，NeRO 則僅有 8 個。
我們真實世界里玻璃杯、金屬水壺、陶瓷碗這類的物品成千上萬、隨處可見；在數據集里的樣本卻只能以百十個計。算法從來沒見過真正的玻璃杯是什么樣，自然也就不可能學會重建它。
其二，數據類型單一且與現實存在明顯鴻溝。
純合成數據集（如 OpenMaterial ）往往沒有真實世界的噪聲、光照波動和運動模糊，因此訓練出的模型在真實手機掃描場景中性能驟降；另一種純真實數據集（如 MVImgNet ）則無法提供精確的深度、法線等標注，無法定量評估復雜光學現象下的重建誤差。兩種數據各說各話，缺乏統一標準。
其三是任務支持狹窄。 絕大多數數據集僅支持基礎重建和新視角合成，并不具備測試反射去除、重光照等工業級功能。因此，人們無法驗證算法能不能去掉玻璃櫥窗上的環境反光，也沒法測試在不同燈光下重新渲染同一個 3D 物體的效果。
其四，數據集樣本的幾何多樣性不足。 大多數據集的 3D 模型都來自現成商業資產庫，缺乏帶有罕見形狀和新穎設計的特殊案例，比如工業精密零件、當代藝術品等特殊幾何。因此算法在面對非標準化物體時的泛化能力極度缺乏。
針對以上諸多瓶頸，研究團隊在開發 3DReflecNet 數據集時做出了如下措施：
首先在設置上，研究人員將 3DReflecNet 建設成為了 “合成+真實” 合一的數據集。 3DReflecNet 同時包含 12 萬+ 高精度合成實例和 1000+ 真實世界掃描物體，總規模超 22 TB，系統覆蓋 22 種高難度材料和 2700+ 真實光照條件。合成數據與真實數據的性能趨勢高度一致，驗證了合成數據的物理真實性。
針對幾何多樣性不足的問題，研究團隊利用擴散模型從真實照片和 LLM（GPT-4o）生成的 2D 圖像自動合成 3D 模型，使得法線估計、網格重建、姿態歸一化一步到位，突破了傳統資產庫的幾何多樣性限制，生成了大量罕見和新穎的 3D 形狀。
同時，該團隊還用 iPhone 16 Pro 采集真實物體，先通過跟蹤底座獲得精確的相機位姿（Camera Pose），再用 SAM 2 分割出目標物體，巧妙繞開了復雜材料無法提供穩定特征點的難題。
在標注方面，3DReflecNet 為每個合成實例提供 60 視角、1000×1000 分辨率的 RGB 圖像，以及 3D 幾何（點云+網格）、物體分割掩碼、稠密深度圖、表面法線圖等全套標注，確保所有定量評估有據可查。
此外，每個實例還配有由 Qwen3-VL-30B-A3B-Instruct 生成的詳細文本描述和標簽，為 text-to-3D、image-to-3D 等生成式任務提供基礎。
03
3DReflecNet 最重要的價值并不只是新增了一個大規模數據集。它首次系統揭示了當前 3D 重建技術與真實物理世界之間的根本性矛盾。
長期以來，3D 視覺領域的發展建立在一個隱含前提之上：物體表面滿足漫反射特性，并且擁有足夠豐富的紋理信息。在這樣的假設下，研究社區構建的數據集、設計的評測指標以及提出的算法框架形成了一套自洽的技術體系。
然而現實世界并不是按照算法的標準來運行的。玻璃、金屬、陶瓷這些廣泛存在于家庭、工業和商業場景中的材料所展現出復雜的光學現象，完全超出了算法 “光度一致性” 和 “特征對應關系” 這兩套直白的邏輯。
3DReflecNet 的實驗結果表明，當面對反射、透明和低紋理材料時，無論是圖像匹配、運動恢復結構、新視角合成還是表面重建，當前主流方法都會出現顯著性能衰減。這說明技術的關鍵卡點不是來自具體的某一種算法設計，而是整個技術體系對于復雜光學現象缺乏足夠的建模能力。
同時該研究也為行業建立了一套統一的評測標準。過去，反光物體重建效果的優劣是一個模糊的共識——畢竟用不同的算法和不同的數據集進行不同類型的測試的確很難比較出性能高低。
而 3DReflecNet 圍繞圖像匹配、表面重建、新視角合成、反射去除和重光照五類核心任務構建標準化基準，使研究者能夠在相同條件下客觀評估算法能力，推動復雜材料 3D 重建從經驗判斷走向可量化評價。
從應用角度看，這一問題直接關系到服務機器人、AR/VR、數字孿生、工業檢測等領域的發展。真實環境中大量目標物體都具有反射、透明或低紋理特征，如果無法準確理解這些材料的幾何特征與光學屬性，3D 視覺系統將始終難以完成從實驗室到實際場景的跨越。
因此，3DReflecNet 所傳遞的信息也為整個領域指出了新的研究方向：未來的 3D 重建技術需要從單純的幾何恢復進一步走向物理世界建模，同時將不同材料屬性、光照傳輸、反射與折射規律納入統一框架，真正構建出在現實場景中具備物理感知能力的下一代 3D 視覺系統。
04
這篇論文的通訊作者為王方鑫博士，現為香港中文大學（深圳）助理教授、博士生導師。他分別于加拿大西蒙弗雷澤大學、清華大學、北京郵電大學取得博士、碩士、學士學位。現領導香港中文大學（深圳）智能網絡與多媒體實驗室，研究方向包括多媒體網絡與系統，云邊端協同計算，深度學習，大模型與邊緣智能等。
迄今為止，他已在 SIGCOMM、TON、INFOCOM、ACMMM 等領域頂級期刊與會議發表論文六十余篇，論文總引用超 1500 次，多篇代表作聚焦強化學習賦能邊緣緩存、直播優化、車載智能識別等前沿課題。
在學術服務方面，王方鑫兼任 IEEE Transactions on Mobile Computing 等多本權威期刊編委，牽頭擔任多項國際學術會議程序主席、出版主席，同時受聘為中國電子學會、中國計算機學會相關專委會委員及通信學會高級會員。
此外，王方鑫博士曾獲 2023 廣東省科技進步二等獎，入選 2022 中國科協“青年托舉人才計劃”，2022、2023 連續兩年入選斯坦福大學 “世界前 2% 頂尖科學家榜單” ，主持和參與多項基金委、科技部、省市與橫向項目。
參考鏈接：https://mypage.cuhk.edu.cn/academics/wangfangxin/
03
為了讓國內的研發者、創業者與投資人能夠毫無時差地掌握本屆 CVPR 2026 的完整干貨，雷峰網已全面上線【CVPR 2026 深度專區】。
專區不僅全面收錄了重磅論文的工程化解讀、專家前沿演講，更將持續更新前方記者的第一手會議動態。
掃描下方二維碼，或點擊「閱讀原文」關注專區。
與全球 8000 名頂尖大腦同步呼吸，搶先透視具身智能的下一個五年！
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
本專題其他文章
