ICRA 2026 | SurgVidLM：在機器人輔助手術中利用大語言模型實現多粒度視頻理解

論文簡介：手術場景理解對于機器人輔助手術中的手術培訓和機器人決策至關重要。多模態大語言模型（MLLMs）的最新進展在提升醫療領域場景感知方面展現了巨大潛力，能夠輔助外科醫生理解手術場景與流程。然而，現有方法主要面向圖像分析或全局視頻理解，忽視了細粒度視頻推理，而這對于分析特定過程及捕獲手術流程中詳細的任務執行細節至關重要。為了彌補這一空白，我們提出了 SurgVidLM，這是首個旨在解決手術視頻全過程及細粒度理解的視頻語言模型。為了訓練 SurgVidLM，我們構建了 SVU-31K 數據庫，這是一個包含超過 3.1 萬個“視頻-指令”對的大規模數據集，支持對手術流程進行整體理解與詳細分析。在此基礎上，SurgVidLM 引入了一種兩階段的 StageFocus（階段聚焦）機制：第一階段提取全局流程上下文，第二階段則在時間線索的引導下進行高頻局部分析。此外，我們還開發了多頻融合注意力機制（Multi-frequency Fusion Attention），以有效整合低頻和高頻視覺標號（Tokens），確保保留關鍵的任務特定細節。實驗結果表明，在全過程和細粒度視頻理解任務中，SurgVidLM 的表現顯著優于同等參數規模的最先進（SOTA）視頻大語言模型，展現了其捕獲復雜機器人輔助手術語境的卓越能力。

主要貢獻：

• 本文提出了首個專門針對機器人輔助手術設計的模型 SurgVidLM。該模型支持從宏觀的整段視頻理解到微觀的細粒度視覺推理，實現了多粒度的手術場景分析。

•  我們通過一種創新的Knowledge Augmentation Pipeline構建了大規模數據集 SVU-31K。該數據集涵蓋了全過程視頻與細粒度視頻理解的任務標注，使模型能夠具備結構化且感知上下文的手術視頻理解能力。

• SurgVidLM 引入了 StageFocus 機制，實現了從全局到局部的循序漸進理解。同時，通過集成多頻融合注意力機制（Multi-frequency Fusion Attention），促進了低頻與高頻視覺標號（Tokens）之間的交互，從而完整保留了環境上下文與任務細節信息。

• 在 SVU-31K 數據集上進行的廣泛實驗與消融研究表明，在同等參數規模下，SurgVidLM 在多粒度手術視頻理解任務中的表現優于當前最先進的（SOTA）視頻大語言模型。實驗結果凸顯了其在機器人輔助手術場景理解中的應用潛力。