RefTON & NAMI——多模態(tài)生成雙劍合璧，虛擬試衣與輕量化圖像生成 | CVPR 2026

一、研究背景  

多模態(tài)生成是計(jì)算機(jī)視覺最活躍的研究方向之一。

虛擬試衣（Virtual Try-on）是電商零售核心場景，但傳統(tǒng)方法嚴(yán)重依賴人體姿態(tài)識別、圖像分割等輔助模型，流程冗長，外部誤差累積明顯；生成質(zhì)量上，面料質(zhì)感失真、蕾絲花紋丟失、透明材質(zhì)處理困難等問題長期困擾用戶體驗(yàn)，制約了商業(yè)落地。RefTON 開創(chuàng)性地引入服裝上身參考圖作為視覺指引，僅需人物原圖與目標(biāo)服裝圖，就能實(shí)現(xiàn)高保真的虛擬試穿生成，為電商零售等相關(guān)業(yè)務(wù)場景，打造了更貼合實(shí)際需求的虛擬試衣技術(shù)方案。

高分辨率AI圖像生成長期面臨效果好則速度慢、速度快則效果打折扣的兩難困境。主流模型參數(shù)量龐大、推理延遲高、算力消耗大，在移動端和端側(cè)設(shè)備上幾乎無法實(shí)時運(yùn)行，嚴(yán)重限制了 AI 圖像生成在消費(fèi)級設(shè)備上的普及。NAMI 架構(gòu)，則在保證生成畫質(zhì)、文本語義對齊能力比肩國際頂尖模型的前提下，將 1024×1024 高分辨率圖像的推理時間大幅降低 64%。

二、核心方法  

RefTON 的核心創(chuàng)新是引入服裝上身參考圖作為視覺指引，通過雙階段訓(xùn)練策略和多條件輸入適配，實(shí)現(xiàn)僅憑人物原圖加目標(biāo)服裝圖兩張輸入的極簡試衣。第一階段訓(xùn)練模型理解服裝的幾何變形規(guī)律，第二階段專注于紋理細(xì)節(jié)的精細(xì)還原。通過參考圖中的服裝真實(shí)上身效果作為紋理和形變的雙重監(jiān)督信號，使模型無需額外的人體姿態(tài)或分割先驗(yàn)即可完成高保真生成，同時支持 masked 和 unmasked 兩種試穿模式以覆蓋不同場景。

而NAMI 提出橋接漸進(jìn)式 Rectified Flow 架構(gòu)，通過自研 BridgeFlow 模塊將圖像生成過程按分辨率拆解為兩階段：低分辨率階段快速搭建圖像粗略輪廓，高分辨率階段精細(xì)化打磨細(xì)節(jié)。跨階段流的精準(zhǔn)對齊（BridgeFlow）是實(shí)現(xiàn)高質(zhì)量高速度的關(guān)鍵技術(shù)，它將兩階段的擴(kuò)散軌跡在隱空間中無縫銜接，避免了多模型串聯(lián)帶來的語義漂移和質(zhì)量損失。

三、亮點(diǎn)總結(jié)  

亮點(diǎn)一：RefTON——零輔助輸入的高保真試衣

徹底擺脫對姿態(tài)估計(jì)、圖像分割等復(fù)雜輔助輸入的依賴，將試衣系統(tǒng)從需要多個專家模型協(xié)同簡化為端到端單模型推理。在國際公開基準(zhǔn)測試中達(dá)到領(lǐng)先性能，尤其在蕾絲、透明材質(zhì)等極難還原紋理上表現(xiàn)卓越，具有極強(qiáng)的電商落地價值。

亮點(diǎn)二：NAMI——1024x1024推理速度降低64%

在保持圖像生成質(zhì)量與主流頂尖模型相當(dāng)?shù)那疤嵯拢瑢?024x1024分辨率的推理時間降低了 64%，這是生成效率領(lǐng)域的重要突破，使高質(zhì)量圖像生成在移動端和端側(cè) AI 設(shè)備上成為可能，為消費(fèi)級 AI 應(yīng)用普及打開了空間。

亮點(diǎn)三：產(chǎn)學(xué)研深度融合的典范

兩項(xiàng)工作均立足360集團(tuán)真實(shí)業(yè)務(wù)場景（電商試衣、移動端生成），通過前沿學(xué)術(shù)研究解決產(chǎn)業(yè)痛點(diǎn)，并已全部開源（GitHub: 360CVGroup）。這種頂會論文即工程交付的研發(fā)模式，為 AI 研究機(jī)構(gòu)的成果轉(zhuǎn)化提供了優(yōu)秀樣本。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個鏈接

原文鏈接：https://github.com/360CVGroup

解讀來源：https://research.360.cn/blog/26fd5d52-aad1-4ffa-9d0e-9ebdd9831560