0
| 本文作者： 陳淑瑜 | 2026-06-04 14:26 | 專題：CVPR 計算機視覺與模式識別會議 |
原文鏈接：https://mp.weixin.qq.com/s/kR6VUwldmDC1RuDRJdfFDA
論文鏈接：
https://openaccess.thecvf.com/content/CVPR2026/papers/Chen_alphaMatte4K__muMatting_Dataset_and_Model_for_Ultra-Micro_Precision_Alpha_CVPR_2026_paper.pdf
論文簡介：
高分辨率人體視頻摳圖要求模型準確預測半透明區域的 alpha 遮罩，同時保持跨幀穩定。但這一任務長期受到兩個問題限制：一是高質量 4K 標注數據不足，二是高分辨率下計算成本較高。我們提出 Matte4K 和 Matting，從數據和模型兩個層面解決問題。Matte4K 是一個大規模 4K 人體視頻摳圖數據集，通過基于物理的渲染獲得更精確的標注和更自然的物理一致性。Matting 則是一個分辨率無關的兩階段視頻摳圖框架：先進行粗略遮罩定位，再通過稀疏 3D 卷積和時間調制器細化關鍵區域。這樣既能提升細節精度，也能增強時序一致性。這項工作為高分辨率人體視頻摳圖提供了更扎實的數據基礎和模型方案，也進一步推動了該技術在真實視頻編輯場景中的應用。
論文鏈接：
https://arxiv.org/pdf/2511.10555
論文簡介：視覺風格生成常常依賴復雜提示詞、參考圖像或額外微調，使用門檻較高，也不容易穩定復現。我們提出 CoTyle，關注一個新的問題：能否只用一個數值編碼，就控制并生成一種穩定、可復現的新風格。圍繞這一任務，我們先從圖像集合中學習離散風格碼本，再訓練自回歸風格生成器建模風格分布。推理時，一個數值風格編碼會被映射成唯一的風格嵌入，并進一步引導文本到圖像擴散模型生成對應風格圖像。相比傳統方式，CoTyle 的輸入更簡單，風格空間更豐富，也更容易復現。它的意義在于，把復雜風格控制壓縮成一個可操作、可擴展的編碼問題，為風格化圖像生成提供了一種更輕量、更靈活的方式。
論文鏈接：
https://arxiv.org/pdf/2603.25527
論文簡介：視頻生成模型的發展高度依賴訓練數據，但好數據并不容易獲得。我們發現，視頻數據中存在一個普遍矛盾：畫質高的視頻往往運動不夠豐富，運動豐富的視頻又可能畫質不夠好。我們將其稱為“運動-視覺質量困境”。圍繞這一問題，我們提出 TQD，即時間步感知質量解耦。我們通過分析視頻擴散模型的學習過程發現，不同類型數據在不同時間步上發揮的作用并不相同：運動豐富的數據更適合在較高時間步發揮作用，高視覺質量數據則更適合在較低時間步提供細節學習信號。因此，我們通過調整采樣分布，讓不同數據在更合適的訓練階段被使用。TQD 的意義在于，它不再把“完美數據”作為唯一前提，而是更充分地利用不平衡數據，為視頻生成訓練提供了更現實、更高效的數據使用方式。
論文鏈接：
https://arxiv.org/pdf/2603.22271
論文簡介：視頻超分辨率不僅要求畫面更清晰，也要求生成過程足夠高效。擴散模型雖然帶來了更好的畫質，但多步采樣的計算成本較高，限制了實際使用。我們提出 DUO-VSR，核心目標就是在保證視覺質量的同時提升生成效率。它采用三階段訓練框架，并通過雙流蒸餾策略，將分布匹配蒸餾與對抗性監督結合起來。一方面，模型通過蒸餾學習更高效的生成路徑；另一方面，對抗性監督幫助模型保留更自然、更真實的視覺細節。最后，我們還加入偏好引導精煉，使結果更符合人眼觀感。DUO-VSR 的價值在于，它讓“一步生成”的視頻超分不僅更快，也能保持較高畫質，為視頻增強在真實應用中的落地提供了更實用的方案。
論文鏈接：
https://arxiv.org/pdf/2512.21514
論文簡介：強化學習可以提升圖像生成質量，但我們觀察到，模型在訓練后期容易出現“越訓越像”的問題：圖像質量可能提高，但創造性和多樣性下降。我們認為，這背后既有獎勵設計的問題，也有生成動態的問題。傳統 GRPO 更關注單張圖像的質量獎勵，容易讓模型集中到少數高獎勵模式；同時，正則化機制沒有充分保護早期去噪階段的多樣性。針對這一問題，我們從兩個層面進行改進：在獎勵層面，引入基于語義分組的分布級創造力獎勵；在生成層面，設計結構感知正則化，在早期階段更好地保留多樣性。實驗表明，在保持生成質量的同時，我們的方法能夠明顯提升語義多樣性。這項工作關注的不是單純“生成更好看”，而是在質量與創造力之間建立更合理的平衡。
論文鏈接：
https://arxiv.org/pdf/2510.22319
論文簡介：GRPO 在生成模型后訓練中應用廣泛，但我們發現，現有框架中的重要性比率裁剪機制存在系統性偏移，可能導致隱式過度優化。也就是說，代理獎勵還在上升，但圖像質量、文本對齊等真正重要的指標卻開始下降。為解決這一問題，我們提出 GRPO-Guard，對現有 GRPO 框架進行增強。它通過比率歸一化，讓重要性比率更加平衡，保證裁剪機制能夠真正限制有害更新；同時通過梯度重加權，避免某些時間步區域出現過度優化。GRPO-Guard 的意義在于，讓強化學習后訓練過程更加穩定可靠。它不是簡單追求更高獎勵，而是關注獎勵提升背后生成質量是否真正同步提升，從而提高生成模型后訓練的可用性。
論文鏈接：
https://arxiv.org/html/2602.06959v1/
論文簡介：電影級視頻創作往往需要精準控制場景、主體和鏡頭運動，但真實拍攝需要搭建布景，成本高、周期長。我們提出 CineScene，希望用生成模型降低電影級場景創作的門檻。它面向一個更具體的任務：給定靜態環境的多張圖像，生成包含動態主體、場景一致且攝像機軌跡可控的視頻。為實現這一目標，我們利用隱式 3D 感知場景表示，把靜態場景中的空間先驗注入到預訓練文本到視頻模型中，使模型能夠在理解場景結構的基礎上生成動態內容。我們還使用 Unreal Engine 5 構建場景解耦數據集，解決訓練數據不足的問題。CineScene 的意義在于，它讓 AI 視頻生成更接近專業影視制作需求，不只是生成畫面，而是生成可控鏡頭、穩定場景和動態主體共同構成的電影化視頻。
論文鏈接：
https://arxiv.org/pdf/2511.21395
論文簡介：這項工作關注的是 AI 視覺推理中的一個核心問題：模型能否像人一樣，在“腦海中”完成抽象視覺思考，而不是依賴外部工具進行輔助推理。圍繞這一方向，我們提出了 Monet，一個面向多模態大語言模型的訓練框架。它讓模型能夠直接在潛在視覺空間中進行推理，并生成連續嵌入向量作為“中間視覺思維”。在訓練上，我們構建了 Monet-SFT-125K 數據集，并設計 VLPO 強化學習方法，進一步提升模型在潛在空間中的視覺推理能力。最終，Monet-7B 在真實世界感知、推理和抽象視覺任務上都取得了明顯提升。這項工作也說明，讓模型具備更接近人類的視覺思考能力，可能不只依賴外部工具調用，更需要讓模型在自身表示空間中學會“看見”和“思考”。
論文鏈接：
https://arxiv.org/pdf/2512.03041
論文簡介：單鏡頭視頻生成已經取得了很大進展，但真正的敘事視頻往往由多個鏡頭組成，需要鏡頭切換、敘事連貫、主體一致和場景控制。我們提出 MultiShotMaster，正是面向多鏡頭視頻生成這一更接近真實創作流程的任務。它通過兩種 RoPE 變體擴展預訓練單鏡頭模型：多鏡頭敘事 RoPE 用于處理鏡頭切換和時間順序，時空位置感知 RoPE 用于注入參考信息和 grounding 信號。為了支撐訓練，我們還建立了自動化數據標注流程，提取多鏡頭視頻、描述文本、參考圖像和跨鏡頭定位信息。MultiShotMaster 的意義在于，它讓視頻生成從“生成一個片段”進一步走向“組織一段敘事”，能夠支持鏡頭數量、鏡頭時長、主體運動和場景背景的靈活控制，為 AI 視頻創作提供更完整的鏡頭語言能力。
論文鏈接：
https://arxiv.org/pdf/2604.00503
論文簡介：開放集目標檢測希望模型識別固定類別之外的新物體，但文本提示往往難以準確描述復雜視覺概念，稀有類別的圖文數據也相對不足。我們提出 PET-DINO，一個同時支持文本提示和視覺提示的通用檢測器。它通過 AFVPG 模塊生成更易對齊視覺概念的提示表示，并結合 IBP 和 DMD 兩種訓練策略，讓模型同時學習多種提示路徑。PET-DINO 的意義在于，它讓開放集檢測從單純依賴文本類別，進一步走向文本與視覺提示協同，在零樣本檢測、復雜物體識別和專業場景中具備更好的泛化能力。
論文鏈接：
https://arxiv.org/pdf/2603.07561
論文簡介：個性化概念定制已經能夠生成較高保真的人物、物體或風格，但一個常見問題是：模型在學習新概念時，可能會破壞原本的生成能力。我們提出 PureCC，希望讓概念定制變得更“干凈”。它的核心思路是把目標概念學習和原始模型能力保持進行解耦：一方面學習用戶指定的新概念，另一方面盡量保留原始模型的條件預測能力。為此，我們設計了雙分支訓練流程，并引入自適應引導尺度 λ?，動態平衡定制保真度和模型保持。PureCC 的意義在于，它不只是追求“像不像某個定制對象”，也關注模型在定制之后是否仍然穩定、通用、可控。這對于個性化生成真正走向實際應用非常關鍵。
論文鏈接：
https://arxiv.org/pdf/2509.24897
論文簡介：統一視覺理解與視覺生成，是通向通用 AI 的重要方向。但一個容易被忽略的問題是：把兩種能力放進同一個模型，并不等于它們真的能夠互相促進。圍繞這一問題，我們提出了 RealUnify，希望回答“統一模型是否真正實現了理解與生成的協同”。RealUnify 設計了“理解增強生成”和“生成增強理解”兩類任務，既考察模型能否用推理能力指導圖像生成，也考察模型能否借助生成式模擬完成視覺理解。我們還引入雙階段評估協議，用來判斷模型的失敗究竟來自基礎能力不足，還是協同機制沒有真正建立。通過對多個領先統一模型和專業基線的評測，我們發現，當前模型距離真正的雙向協同仍有差距。這項工作為未來統一模型的發展提供了更清晰的評估坐標。
論文鏈接：
https://arxiv.org/pdf/2603.21002
論文簡介：高分辨率視頻生成面臨一個直接矛盾：用戶希望畫面更清晰，但推理速度會顯著變慢。很多加速方法雖然提高了效率，卻容易損失原始模型的布局、語義和運動風格。我們提出 SURF，希望在生成效率和模型“原本味道”之間取得平衡。它將生成過程分為預覽和精煉兩個階段：先快速生成低分辨率預覽，再通過 Refiner 進行高分辨率增強。我們發現，直接降低推理分辨率會破壞模型原有特征，因此設計了噪聲重移位策略，讓模型在初始階段保留原始分辨率信息，后續再切換到低分辨率以提升效率。SURF 的意義在于，它不是簡單壓縮生成流程，而是在盡量保持模型原始能力和風格的前提下，加速高分辨率視頻生成。
論文鏈接：
https://arxiv.org/pdf/2512.12675
論文簡介：主體驅動圖像生成已經可以處理多個主體，但在真實復雜場景中，一個更關鍵的問題是：當輸入里有多個候選主體時，模型能否準確識別用戶真正想生成的那個主體。我們提出 Scone，重點補足這一“區分能力”。Scone 將理解專家和生成專家結合起來，讓理解模塊先承擔語義判斷和信息傳遞的角色，再引導生成模塊在減少干擾的同時保持目標主體身份。訓練上，我們采用兩階段策略：先學習多主體組合能力，再通過語義對齊和注意力掩碼增強區分能力。我們還提出 SconeEval，用于專門評估組合與區分表現。Scone 的價值在于，它讓主體生成不只是“把多個東西組合在一起”，而是能夠在復雜輸入中理解用戶意圖，并準確生成指定對象。
論文鏈接：
https://arxiv.org/pdf/2601.04033v2
論文簡介：視頻生成質量評估不能只看畫質、運動和文本對齊，還要關注畫面結構是否合理。很多生成視頻中的問題并不是“不清晰”，而是物體外觀異常、交互關系錯誤、結構發生失真。我們提出 REACT，專門用于評估生成視頻中的結構失真。它會對視頻幀進行推理，識別可能的問題區域，并給出分數和歸因標簽。為訓練這一模型，我們構建了大規模人類偏好數據集，并建立結構失真分類體系，同時結合思維鏈合成流程補充訓練數據。REACT 采用監督微調和強化學習兩階段訓練，使模型既具備領域知識，也能更貼近人類偏好。它的價值在于，為視頻生成提供了更細粒度、更可解釋的質量評估工具，幫助模型不僅生成“好看的視頻”，也生成結構更合理的視頻。
論文鏈接：
https://arxiv.org/pdf/2512.07831
論文簡介：視頻生成模型正在變得越來越強，但多數模型仍然依賴單一條件輸入，例如只看文本、姿態或深度中的某一種。這會限制模型對真實物理世界的整體理解。我們提出 UnityVideo，希望讓視頻生成模型能夠同時理解多種模態信息，包括分割掩碼、人體骨架、DensePose、光流和深度圖等。為了統一這些不同模態和訓練方式，我們設計了動態加噪機制、模態切換器和上下文學習器，并構建了包含 130 萬樣本的大規模統一數據集。UnityVideo 的重點不只是“支持更多輸入條件”，而是讓模型學會把多種物理線索放在一起理解。實驗結果也表明，這種統一學習方式能夠提升視頻質量、一致性和零樣本泛化能力，讓生成結果更符合真實世界的結構約束。
論文鏈接：
https://arxiv.org/pdf/2512.19686
論文簡介：思維鏈機制已經被證明可以提升模型生成能力，但我們發現，當前模型的“思考”更多圍繞文本提示展開，對視覺上下文的關注仍然不夠。這會帶來一個實際問題：生成過程中人物身份、物體屬性、畫面風格等關鍵信息容易發生偏移。針對這一點，我們把視覺上下文一致性引入模型推理過程，讓模型在生成前先明確“哪些視覺元素必須保持一致”，再在生成過程中不斷檢查和修正。具體來說，我們設計了自適應視覺規劃和迭代式視覺校正兩個機制：前者生成視覺檢查清單，后者引導模型進行反思和優化。通過監督微調和 Flow-GRPO 強化學習，我們進一步強化模型保持視覺一致性的能力。這項工作強調的是，多模態生成不能只“聽懂文字”，還要真正“記住畫面”。
論文鏈接：
https://arxiv.org/pdf/2511.16669v2
論文簡介：語言模型已經在很多實際場景中發揮價值，但視頻生成的應用還遠不止娛樂內容。我們關注到，視頻天然適合表達動態過程和物理操作，例如教學、演示、預測下一步動作等。基于這一觀察，我們提出“視頻作為答案的下一個事件預測”任務，讓模型不再只是用文字回答“接下來會發生什么”，而是直接生成一段動態視頻作為答案。這意味著從“講述”走向“展示”。為實現這一目標，我們提出 VANS，通過強化學習將視覺語言模型和視頻擴散模型對齊。視覺語言模型負責理解輸入并生成可視化描述，視頻擴散模型負責把描述轉化為符合上下文的視頻。我們還構建了 VANS-Data-100K 數據集。VANS 的意義在于，它拓展了視頻生成的使用方式，讓視頻成為一種更直觀、更具表現力的回答形式。
論文鏈接：
https://arxiv.org/pdf/2601.22275
論文簡介：長視頻生成對模型的上下文建模能力提出了更高要求，但傳統注意力機制的二次復雜度會帶來巨大計算壓力。我們提出 VMonarch，核心是利用視頻 DiT 中天然存在的稀疏時空注意力模式，用 Monarch 矩陣進行高效表示和計算。簡單來說，我們希望讓模型不再對所有時空位置進行同等計算，而是更高效地捕捉真正重要的幀內和幀間關系。VMonarch 通過時空 Monarch 分解建模視頻相關性，并結合重計算策略和在線熵算法，提升長序列下Monarch注意力的穩定性與計算效率。實驗表明，它在保持生成質量的同時，大幅降低注意力計算量，并顯著加速長視頻注意力計算。這項工作從新角度探索了視頻生成底層效率問題，為更長、更復雜的視頻生成提供了基礎支撐。
論文鏈接：
https://arxiv.org/pdf/2511.23386
論文簡介：統一多模態模型需要一個關鍵能力：用同一套表示同時支持理解、生成和重建。過去很多方法需要使用不同編碼器分別處理這些任務，難以真正實現統一。我們提出 VQRAE，探索在單一分詞器中同時產生用于圖像理解的連續語義特征，以及用于視覺生成的離散令牌。具體來說，我們在預訓練視覺基礎模型之上構建對稱 ViT 解碼器，并通過兩階段訓練學習高維語義 VQ 碼本。這樣的設計既能保留語義理解能力，也能支持生成和細粒度重建。我們還發現，高維碼本對語義量化非常關鍵，當碼本維度達到 1536 時，可以實現很高的利用率。VQRAE 的價值在于，它為統一模型提供了一種更兼顧理解與生成的視覺表示方式，也為未來自回歸多模態模型的擴展提供了基礎。
論文鏈接：
https://arxiv.org/pdf/2602.03796
論文簡介：人體運動控制是視頻生成中的重要能力，但現有方法通常依賴 2D 姿態或顯式 3D 參數模型。前者難以支持新視角，后者又容易受到重建誤差影響，限制視頻生成模型自身的 3D 感知能力。我們提出的 3DiMo，嘗試從更符合生成模型特點的 3D 感知視角重新理解運動控制。相比直接使用外部重建結果，我們采用隱式、視角無關的運動表征，讓運動信息自然對齊視頻生成器已有的空間先驗。模型會將驅動幀提煉為緊湊的隱式運動編碼，并注入到預訓練視頻生成模型中。通過多視角監督和幾何監督，3DiMo 能夠學習更真實的 3D 空間運動理解。它的意義在于，讓人物運動控制不再只是“照著姿態畫動作”，而是讓模型真正理解動作在三維空間中的變化。
以上是可靈 AI 團隊入選 CVPR 2026 的論文解讀。未來，可靈將繼續深耕視覺智能與生成式內容技術，以持續創新拓展 AI 影像創作的邊界，讓前沿技術更快走向真實場景，釋放更大的產業價值！
專題
本專題其他文章
