CVPR 2026｜華中科技大學(xué)CCIIP實(shí)驗(yàn)室5篇論文被CVPR 2026全文錄用！

論文介紹

論文標(biāo)題：CoRiM: Conflict-driven Risk Minimization for Dynamic Multimodal Fusion

論文作者：Shihao Zou(24級(jí)博), Wei Wei*（導(dǎo)師）

內(nèi)容介紹：

    現(xiàn)有動(dòng)態(tài)多模態(tài)融合方法在處理模態(tài)沖突與數(shù)據(jù)質(zhì)量不一致問(wèn)題缺乏有效理論支撐。近期理論研究雖將模態(tài)權(quán)重與損失、置信度等指標(biāo)相關(guān)聯(lián)，但上述范式對(duì)于概率分布不一致等問(wèn)題目前仍無(wú)法有效解決。因此，提出一種沖突風(fēng)險(xiǎn)最小化（CoRiM）的動(dòng)態(tài)融合范式，其主要思想是將動(dòng)態(tài)融合范式重定義為單樣本直接風(fēng)險(xiǎn)最小化任務(wù)。具體來(lái)說(shuō)，我們首先定義了一個(gè)可微的模態(tài)沖突風(fēng)險(xiǎn)（MCR）函數(shù)（R(w)），主要用于對(duì)模態(tài)融合中的不確定性以及模態(tài)間一致性建模來(lái)量化風(fēng)險(xiǎn)。其次，通過(guò)研究發(fā)現(xiàn)，最小化R(w)本質(zhì)上是一個(gè)定義在概率單純形（probabilistic simplex）上的非凸約束優(yōu)化問(wèn)題。因此，考慮引入無(wú)需投影的Frank-Wolfe（FW）算法，其能夠有效契合單純形上的優(yōu)化任務(wù)，同時(shí)理論上也證明了所設(shè)計(jì)的R(w)函數(shù)具有L-光滑性，其保證了在FW算法在非凸目標(biāo)上的收斂性。通過(guò)在多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，所提模型在高沖突和噪聲環(huán)境下相較于已有最優(yōu)方法均取得了更優(yōu)的性能表現(xiàn)。

圖1：CoRiM模型框架圖

論文標(biāo)題：Debiased Sample Selection for Learning with Noisy Labels

論文作者：Weiran Pan(23級(jí)博), Wei Wei*（導(dǎo)師）, Wenfeng Xie

內(nèi)容介紹：

    現(xiàn)有噪聲標(biāo)簽學(xué)習(xí)方法主要依賴(lài)小損失（small-loss）假設(shè)，即低損失樣本對(duì)應(yīng)標(biāo)注更可能是正確的。然而，該假設(shè)忽略了兩種存在的確認(rèn)偏差：（1）類(lèi)別級(jí)確認(rèn)偏差：易學(xué)習(xí)類(lèi)別的樣本損失較低，導(dǎo)致簡(jiǎn)單樣本被過(guò)度選擇而忽略對(duì)困難樣本的學(xué)習(xí)；（2）實(shí)例級(jí)確認(rèn)偏差：低損失樣本可能是錯(cuò)誤標(biāo)注導(dǎo)致其被錯(cuò)誤地視為干凈樣本，以至模型強(qiáng)行擬合錯(cuò)誤標(biāo)簽。因此，分別提出了邊際分布調(diào)整（MDA）和候選類(lèi)別選擇（CCS）兩種即插即用方法。MDA方法旨在通過(guò)動(dòng)態(tài)調(diào)整模型預(yù)測(cè)的類(lèi)別分布趨向均勻，以確保跨類(lèi)別樣本選擇的公平性；CCS方法主要通過(guò)動(dòng)態(tài)識(shí)別訓(xùn)練過(guò)程中潛在的正確標(biāo)簽，將其從分類(lèi)任務(wù)中移除，以防止模型強(qiáng)制性抑制正確標(biāo)簽，同時(shí)將弱相關(guān)標(biāo)簽轉(zhuǎn)化為有用的監(jiān)督信號(hào)。通過(guò)在CIFAR-10/100合成噪聲數(shù)據(jù)集以及真實(shí)世界噪聲數(shù)據(jù)集（CIFAR-N、Clothing1M、WebVision）上實(shí)驗(yàn)表明，在現(xiàn)有樣本選擇器或先進(jìn)LNL流程中集成上述兩種所提即插即用方法（MDA/CCS）均取得有效性能提升，體現(xiàn)了所提方法在噪聲標(biāo)簽學(xué)習(xí)方法中的普遍適用性。

圖2：候選類(lèi)別選擇（CCS）方法示意圖

論文標(biāo)題：Text-Anchored Guided Optimization for Robust Fine-tuning Vision-Language Models under Label Noise

論文作者：Tengfei Ma(24級(jí)碩), Weiran Pan(23級(jí)博), Wei Wei*（導(dǎo)師）

內(nèi)容介紹：

    針對(duì)多模態(tài)大模型（如視覺(jué)- 語(yǔ)言模型，VLMs）微調(diào)對(duì)特定任務(wù)性能提升具有重要作用，但真實(shí)世界數(shù)據(jù)集中普遍存在標(biāo)簽噪聲問(wèn)題，導(dǎo)致其微調(diào)性能受限。傳統(tǒng)帶噪標(biāo)簽學(xué)習(xí)方法通常依賴(lài)自引用驗(yàn)證(即利用模型自身預(yù)測(cè)結(jié)果糾正錯(cuò)誤)，而近期研究則利用跨模態(tài)信息輔助噪聲檢測(cè)，區(qū)別于上述方法，我們探索了一條不同的技術(shù)路徑：不僅將文本模態(tài)用于噪聲樣本識(shí)別，更將其作為一種獨(dú)立于訓(xùn)練數(shù)據(jù)潛在錯(cuò)誤標(biāo)注之外的“真實(shí)標(biāo)簽來(lái)源”。因此，提出了一種文本錨定引導(dǎo)優(yōu)化（TANGO）框架，其以 “語(yǔ)義錨點(diǎn)”（一組由不同文本描述生成的靜態(tài)干凈的參考點(diǎn)） 為核心重構(gòu)了帶噪標(biāo)簽學(xué)習(xí)兩個(gè)關(guān)鍵點(diǎn)：（1）基于無(wú)參數(shù)化文本錨定分類(lèi)器替代傳統(tǒng)線(xiàn)性分類(lèi)器，以利用干凈錨點(diǎn)生成直接帶權(quán)監(jiān)督信號(hào)；（2）引入基于錨點(diǎn)引導(dǎo)的細(xì)化機(jī)制，主要利用每個(gè)樣本的錨點(diǎn)標(biāo)簽信號(hào)驗(yàn)證給定樣本標(biāo)簽，以用于樣本選擇及標(biāo)簽修正，以防止錯(cuò)誤標(biāo)簽/信號(hào)導(dǎo)致的模型性能下降。通過(guò)大量實(shí)驗(yàn)表明，所提方法較已有最優(yōu)方法取得了更佳性能。

圖3 語(yǔ)義錨點(diǎn)概念圖

論文標(biāo)題：RDF-MIG: A Robust Diffusion Framework for Masked Image Generation to Augment Semantic Segmentation and Change Detection

論文作者：Zian Cao(24級(jí)博), Wei Wei*（導(dǎo)師）, Qingshan Gao, Yuanyuan Fu

內(nèi)容介紹：

    變化檢測(cè)與語(yǔ)義分割是遙感衛(wèi)星圖像分析的關(guān)鍵技術(shù)之一，但高質(zhì)量標(biāo)注數(shù)據(jù)的獲取成本通常較高，導(dǎo)致高質(zhì)量標(biāo)主數(shù)據(jù)稀缺。目前已有研究重點(diǎn)關(guān)注如何利用生成模型來(lái)緩解數(shù)據(jù)稀缺問(wèn)題，但仍缺乏統(tǒng)一的生成框架能夠同時(shí)應(yīng)用于上述兩類(lèi)任務(wù)，且現(xiàn)有方法大多無(wú)法直接生成多光譜圖像，導(dǎo)致其模型泛化性較弱。針對(duì)上述問(wèn)題，提出了一種魯棒性擴(kuò)散模型框架（RDFMIG）用于掩碼圖像生成，其主要通過(guò)聯(lián)合生成時(shí)相圖像-變化掩碼對(duì)以及單時(shí)相圖像-語(yǔ)義分割掩碼對(duì)以擴(kuò)充訓(xùn)練數(shù)據(jù)集，從而有效增強(qiáng)下游任務(wù)（如變化檢測(cè)和語(yǔ)義分割）的性能。此外，為提升生成圖像-掩碼對(duì)的質(zhì)量，進(jìn)一步提出了一種最大熵?cái)U(kuò)散損失函數(shù)用于對(duì)擴(kuò)散模型的訓(xùn)練目標(biāo)進(jìn)行重構(gòu)；以及設(shè)計(jì)了一種MSE一致性校準(zhǔn)方法用于提升擴(kuò)散模型魯棒性，其主要通過(guò)解析方法使小誤差梯度與MSE目標(biāo)保持一致，從而能夠直接復(fù)用現(xiàn)有擴(kuò)散模型的成熟訓(xùn)練參數(shù)，而不需要額外進(jìn)行調(diào)參。大量實(shí)驗(yàn)表明所提出的RDF-MIG方法能夠有效生成多光譜圖像-掩模對(duì)以顯著提升下游任務(wù)性能，同時(shí)所提的MCRD損失函數(shù)能夠進(jìn)一步提升合成數(shù)據(jù)質(zhì)量。

圖4：RDF-MIG框架圖

05

論文標(biāo)題：VA-π: Variational Policy Alignment for Pixel-Aware Autoregressive Generation

論文作者：Xinyao Liao(23級(jí)碩), Qiyuan He, Kai Xu, Xiaoye Qu, Yicong Li, Wei Wei（導(dǎo)師）, Angela Yao

內(nèi)容介紹：

    目前，自回歸（AR）視覺(jué)生成方法主要依賴(lài)于分詞器（tokenizer）在圖像和離散序列之間進(jìn)行映射。然而，分詞器訓(xùn)練目標(biāo)與AR生成器之間存在天然的目標(biāo)不一致性，即前者主要用于從真實(shí)token 重建清晰圖像，而后者則僅針對(duì) token 似然進(jìn)行優(yōu)化，因此上述目標(biāo)不一致性導(dǎo)致生成的 token 序列在缺乏像素空間直接監(jiān)督條件下，極易解碼出低質(zhì)圖像。因此，提出了一種輕量級(jí)后訓(xùn)練框架（VA-π），其主要利用像素空間目標(biāo)來(lái)直接優(yōu)化 AR 模型。具體來(lái)說(shuō)，VA-π 將生成器-分詞器的對(duì)齊形式化為變分優(yōu)化問(wèn)題，通過(guò)推導(dǎo)出證據(jù)下界（ELBO），以實(shí)現(xiàn)像素重建與自回歸建模的統(tǒng)一。同時(shí)為了保證在離散token 空間下進(jìn)行優(yōu)化，VA-π 還引入了基于強(qiáng)化學(xué)習(xí)對(duì)齊策略，即將 AR 生成器視為策略，并將像素空間的重建質(zhì)量作為其內(nèi)在獎(jiǎng)勵(lì)，該獎(jiǎng)勵(lì)通過(guò)在“教師強(qiáng)制（teacher forcing）”條件下預(yù)測(cè)的 token 序列重建原始圖像的程度來(lái)衡量，從而為模型提供直接的像素級(jí)指導(dǎo)，且無(wú)需代價(jià)高昂的自由生成采樣（free-running sampling）。同時(shí)，ELBO 的正則化項(xiàng)作為天然的正則化器，能夠有效保持 token 的分布一致性，且VA-π 能夠?qū)崿F(xiàn)已有 AR 生成器的快速適配，無(wú)需重新訓(xùn)練分詞器或依賴(lài)額外的外部獎(jiǎng)勵(lì)模型。通過(guò)大量實(shí)驗(yàn)表明，在僅使用 1% ImageNet-1K 訓(xùn)練數(shù)據(jù)且微調(diào)時(shí)長(zhǎng)僅 25 分鐘條件下，VA-π在 LlamaGen-XXL 模型上實(shí)現(xiàn)了 FID 從 14.36->7.65，IS 從86.55->116.70的顯著性性能提升。同時(shí)，進(jìn)一步在GenEval文本到圖像生成基準(zhǔn)上的實(shí)驗(yàn)表明，所提方法不僅提升了純視覺(jué)生成模型（LlamaGen， 0.306->0.339）性能，還有效提升了統(tǒng)一多模態(tài)模型（Janus-Pro，0.725->0.744）的生成質(zhì)量，體現(xiàn)其卓越性能。

圖5：VA-π模型框架圖