CVPR26開源 | ClipGStream：首個同時支持大運動和長序列的4D重建框架，動態高斯重建新SOTA

來源：公眾號“我愛計算機視覺”

原文鏈接：https://mp.weixin.qq.com/s/boFZV3ANqEX5c-TJQ7KNCw

0. 論文信息

• 標題：ClipGStream: Clip-Stream Gaussian Splatting for Any Length and Any Motion Multi-View Dynamic Scene Reconstruction
• 作者：Jie Liang, Jiahao Wu, Chao Wang, Jiayu Yang, Xiaoyun Zheng, Kaiqiang Xiong, Zhanke Wang, Jinbo Yan, Feng Gao, Ronggang Wang
• 機構：Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University Pengcheng Laboratory, MIGU Video Co., Ltd.
• 原文鏈接：https://arxiv.org/pdf/2604.13746
• 官方主頁：https://liangjie1999.github.io/ClipGStreamWeb/
• 代碼倉庫：https://github.com/liangjie1999/ClipGStream

1. 導讀

在 VR / MR / XR 等沉浸式媒體飛速發展的今天，動態 3D 場景重建已成為連接真實世界與數字體驗的關鍵技術。然而，面對長序列、大運動的復雜動態場景，現有方法始終難以兼顧「時間穩定性」與「可擴展性」。 近日，北京大學、鵬城實驗室聯合團隊提出了 ClipGStream——一種全新的 Clip-Stream 混合動態重建框架，首次在統一框架中同時解決了長序列建模與大尺度運動重建難題，在多組公開基準上實現 SOTA。 該工作已被 CVPR 2026 接收。代碼倉庫已開源。

2.為什么“長時序 + 大運動”是動態重建的核心挑戰？

現有的動態重建方法只能在短序列低速運動場景上建模，但是在現實中存在大量長序列和高速運動的場景，比如一場籃球比賽，球員可能在場上連續飛奔長達數分鐘，現有的動態重建方法在面對這樣的極困難場景時，會出現長序列結構漂變，動態建模失敗，閃爍等問題。因此只有同時馴服了時間和運動這兩大難題，4D 技術才能從精美的實驗室 Demo，真正走向千行百業的落地應用。

動態 4D要同時解決“空間在哪里”和“時間怎么變”的雙重難題。已有的方法主要分為基于Clip和基于Frame-Stream的兩類方法。Clip類方法像如4DGS，LocalDyGS，試圖把整個場景的信息都存入同一個時空場中。一旦序列變長，時空場就會因為容量不足導致存在大量內容沖突，從而使得動態建模失敗。因此該類方法的主要缺陷就在于時域擴展性差。

Frame-Stream類方法如3DGStream通過學習幀間的殘差信息實現動態建模。但其缺乏局部一致性，導致長序列輸入下，模型隨時間推移而充滿錯誤累積和結構漂變。此外，基于殘差的學習很難捕獲大運動物體，導致其在充滿高速運動的場景下效果不佳。

我們的方法通過將Clip類方法和Frame-Stream類方法相融合，實現以Clip為單位的流式訓練，打破了“時長-質量-顯存”的不可能三角。它讓高精度動態重建不再局限于幾秒鐘的慢動作視頻，而是能夠駕馭長達數千幀的高速運動場景。

3.核心框架：片段-流式訓練

ClipGStream 首先將輸入的多視角視頻幀切分為多個短片段（clip），每個片段包含N個時間幀的多視角圖片。其中第一個clip作為Reference Clip，后續 clip 作為Source Clip。在訓練好Reference Clip后，后續Source Clip通過繼承靜態信息實現時域建模的一致性，獨立訓練動態信息保證動態建模。以clip為單位的流式訓練相較于粒度更細的以幀為單位的流式訓練有著更好的局部一致性，避免了長時間訓練的幀間抖動。同時流式訓練相較于單純的clip訓練也有更好的時域擴展性。

論文中一個非常關鍵的設計，是將場景表示拆分為兩類特征：靜態特征和動態特征。靜態特征負責學習場景的外觀等信息，而動態場景則負責表征運動的可見性。通過動靜態特征解耦的方式，便于我們在訓練后續Source Clip時，繼承靜態信息保證clip間時域一致性，同時獨立訓練動態特征保證對運動的建模。

4.繼承與獨立訓練

我們的方法包含兩種互補策略，分別對應 clip 內（intra-clip）與 clip 間（inter-clip）兩個層級。

• Clip 內訓練策略（Intra-clip Training Strategy）： 對于Reference Clip，我們首先將錨點的靜態特征與動態特征解碼為 時域高斯，隨后進行光柵化渲染。對于每個Source Clip，我們在繼承自 Reference Clip 的 錨點基礎上額外引入殘差錨點，用于捕獲新出現或發生位移的結構；同時，為該 clip 單獨訓練一個獨立的時空場，以建模其局部運動。

• Clip 間繼承策略（Inter-clip Inheritance Strategy）： 為了在不同 clip之間保持時間一致性，每個Source Clip 都會繼承來自 Reference Clip 的錨點、靜態特征以及解碼器。所有繼承得到的組件在優化過程中均保持凍結，從而能夠穩定地重建任意長度的動態序列。

5. 實驗結果

消融結果：關于錨點補償模塊（RAC）與 錨點繼承模塊（AI）的消融實驗。如 (a)(b)(c) 所示，從相鄰 clip 之間的殘差熱力圖可以看出，移除任意一個模塊都會導致靜態區域出現明顯時域不一致（閃爍）；而在同時啟用這兩個模塊后，如 (d) 所示，閃爍現象被顯著抑制，clip 之間的過渡也更加平滑。這表明，這兩個組件在維持 clip 間穩定性方面都發揮了關鍵作用。

消融結果：(a) 在不繼承解碼器的情況下，渲染結果會出現明顯的模糊現象；相比之下，采用解碼器繼承后，如 (b) 所示，圖像細節更加清晰。這表明繼承解碼器可以保證后續clip的訓練更加穩定。

總結：讓動態 Gaussian 真正邁向長序列與復雜運動時代

ClipGStream 證明了，動態高斯重建終于可以同時兼顧“超長序列”與“復雜大運動”這兩個過去很難兼得的問題。通過提出 Clip-Stream 混合訓練框架，ClipGStream 在保持時間一致性的同時，實現了對 1400 幀長視頻和高速動態場景的穩定建模，顯著緩解了傳統方法中的閃爍、漂移和長序列崩壞問題。這意味著，動態 4D 重建正在從“只能處理短片段的小實驗”，逐漸邁向真實世界復雜動態內容的規模化生產。未來，無論是自由視角體育直播、VR/MR 沉浸式內容、數字人還是 volumetric video，高質量、長時序、強動態的 4D 內容生成，都有望真正走向實際應用。 對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~