CVPR 2026 四篇論文透視：大廠如何靠「算法瘦身」對抗算力漲價？

本文作者：陳淑瑜

2026-05-15 17:43

專題：CVPR 計算機視覺與模式識別會議

導語：2026年，大廠們不再比誰的GPU多，而是比誰的算法更聰明。

2026年，大廠們不再比誰的GPU多，而是比誰的算法更聰明。

作者丨陳淑瑜

編輯丨岑峰

一個在2026年越來越難以回避的問題是：如果H100全面斷供、電費賬單直線飆升、訓練一次大模型的成本足以買下一家創業公司，大模型的故事還講得下去嗎？

也許頂級學術會議的論文能給大家一個新的啟發。

今年的CVPR收到了四千余篇投稿，其中一個清晰的信號正在浮現：大廠不再比拼GPU數量，而是較量如何把GPU用得更好。算力封鎖之下，算法正在成為新的護城河。

在論文的汪洋中，字節跳動Seed團隊是出手最密集的玩家之一。

AI 科技評論聚焦四篇來自字節跳動的論文——TEMF、Beyond Token Eviction、Mixture-of-Depths Attention和GenieDrive。它們全都圍繞一個核心命題展開：當算力不再能夠"暴力"解決，算法如何接棒？

這四篇論文覆蓋了一條完整的鏈條：從生成模型的采樣步數壓縮，到推理過程的顯存瘦身，再到注意力計算資源的動態分配，最終延伸到端側部署的物理感知。它們是Seed團隊圍繞"算力降本"這一命題打出的組合拳。

采樣降速：一步生成的尺度跨越

大模型的推理成本，很大程度上藏在采樣步數里。

以Stable Diffusion為代表的多步迭代生成，一個看似簡單的512×512圖像，背后可能是50到100次神經網絡前向傳播。訓練時模型學到的是“每一步該怎么加噪”，但推理時模型需要做的是“每一步該怎么去噪”，這兩個過程天然不對稱，訓練目標與推理目標之間存在一道看不見的裂縫。

傳統MeanFlow的尺度差距問題正源于此：一步生成的質量始終無法與多步采樣競爭，而多步采樣意味著成倍增加的算力消耗。

字節跳動Seed團隊提交的TEMF（Temporal Equilibrium MeanFlow）正是對這一困境的直接回應。

TEMF的核心設計是讓模型在訓練階段就同時學習“從數據到噪聲”和“從噪聲到數據”的雙向變換，而非像傳統歸一化流那樣只學習單向映射。

雙向建模的效果立竿見影，模型在訓練時就熟悉了反向采樣的路徑，推理時不依賴多步迭代來逐步精煉，可以直接從噪聲出發、在單次前向傳播中完成整個生成過程。

這種從百次計算到一次計算的跨越，在實際部署中帶來的成本削減是數量級的。

論文地址：

https://cvpr.thecvf.com/virtual/2026/poster/39823

有意思的是，這道裂縫的修補并非只有一種解法。同期Meta發表的Improved Mean Flows從原理層面分析了快轉發聲模型訓練與推理不對稱的根源，并提出了自己的改進框架。（Improved Mean Flows的論文解讀可閱讀：何愷明團隊論文全景掃描：一場關于「生成范式」的多角度突破 | CVPR 2026）

論文地址： https://arxiv.org/abs/2512.02012

兩支獨立團隊在幾乎同一時間節點做出了相似的技術判斷—— 一步生成不是天方夜譚，關鍵在于彌合訓練與推理之間的結構性裂縫。這是行業共識正在形成的信號。

顯存瘦身：KV Cache的精準壓縮

如果說TEMF解決的是計算次數的問題，那么另一篇字節跳動Seed團隊的工作Beyond Token Eviction，則直指推理過程中另一個更隱蔽的成本中心：顯存占用。

理解KV Cache的機制，是理解大模型推理成本的關鍵切口。

當大語言模型處理一段文本時，它需要記住此前所有詞元的信息才能生成下一個詞元。每一個經過注意力計算的詞元，都會在顯存中留下一組對應的向量，這些向量是模型“上下文記憶”的物理載體。

問題在于，這種“記憶”是只增不減的。當上下文窗口從4K擴展到32K、再到100K，KV Cache的顯存占用也在同步膨脹。

一個有100K上下文窗口的模型，僅KV Cache就可能消耗40到60GB的顯存，而消費級顯卡的顯存上限不過24GB，就連專業級A100也不過80GB。也就是說，在不遠的將來，顯存瓶頸會比計算瓶頸更早到來。

傳統解法“Token Eviction”是在顯存壓力過大時，將一部分“不那么重要”的舊Token驅逐出去，釋放空間給新的Token。

而Beyond Token Eviction的突破則在于“混合維度預算分配”策略。它不再將Token的存留視為非此即彼的二元判斷，而是允許不同Token擁有不同的“精度維度”指標。重要的Token保留更高的維度，從而完整存儲其語義信息；不那么關鍵的Token被壓縮到更低的維度，以更少的空間保存其核心語義。

這種“混合維度”策略的本質是對信息做“有損壓縮”而非“徹底刪除”。被壓縮的Token仍然保留著足夠用于后續推理的語義信息，而模型通過訓練學會了“自適應地”判斷哪些Token值得高精度、哪些可以接受低精度。

系統不再需要在“全部保留”和“全部丟棄”之間做選擇，而是在精度與效率之間找到了一個可調的平衡點。

用于KV緩存壓縮的雙階段尺寸分配流程

更難得的是，這套方案無需對模型進行任何重訓練。云廠商可以直接將它部署在現有推理框架上，以工程側的輕量改動換取顯存占用的大幅下降。

論文地址：https://arxiv.org/pdf/2603.20616

這正是當前大廠在降本路徑上最務實的選擇：在既有架構上做“微創手術”，以最小的動作提升更高的效率。

計算平等：讓模型自己分配算力

采樣步數降了，顯存空間省了，但字節在注意力計算的效率問題上也沒有閑著。他們的Mixture-of-Depths Attention，從計算資源分配策略的維度提供了一種正交解法。

傳統Transformer在處理每個Token時，都會執行完整的注意力計算。這意味著，即使某個Token在當前語境下的語義貢獻微乎其微，它仍然會消耗與其他Token同等的計算資源。這種“一視同仁”的計算策略，本質上是一種隱性的算力浪費。

新的思路由此出發：并非所有Token都需要被“深度處理”。它引入了一種動態路由機制，讓模型在運行時自主決定——哪些Token值得走完整的注意力計算路徑，哪些Token可以被引導至更輕量的快速路徑。

混合深度注意力機制MoDA

結果隨之而來：系統層面的有效計算量顯著下降，但模型輸出的質量并未等比例衰減。真正重要的Token仍然得到了充分的計算資源，而大量“搭便車”的Token被引導至旁路。

這種“讓模型自己判斷輕重緩急”的思路，代表了算法層面“降本增效”的一種優雅路徑。這與混合專家（MoE）模型的設計哲學一脈相承，但不是整個模型層的專家切換，而是在每個注意力層做細粒度的資源調度。

模型在訓練過程中學會動態分配計算預算，而非通過硬編碼的稀疏規則強行削減計算量——好鋼用在刀刃上，這是2026年算法工程師們最希望模型學會的本事。

論文地址：https://arxiv.org/pdf/2603.15619

端側部署：物理感知驅動的世界模型

上述三篇工作幾乎都在回答同一個問題：如何在有限的算力約束下，讓模型跑得更快、占得更少。但字節跳動在GenieDrive這篇工作中，提出了一個更遠見的問題：高效模型在端側能做什么？

自動駕駛的視覺感知系統，一直是算力軍備競賽的重災區。傳統自動駕駛的感知系統依賴多傳感器融合，各司其職又彼此冗余，在算力有限的嵌入式平臺上捉襟見肘。

GenieDrive把這個問題拆解得更深了一層。它搭建了一種“物理感知驅動的4D占用引導視頻生成”框架，不再將視覺感知視為一個“看懂圖像”的問題，而是將其視為一個“理解物理世界如何運轉”的問題，不僅讓模型生成視覺上逼真的駕駛場景視頻，還讓模型具備對物理規律的基本理解，比如運動物體的軌跡遵循物理動量、遮擋關系遵循空間一致性、光照變化遵循物理反射模型。

這種設計的直接效果是：GenieDrive生成的是一個“物理上可信的4D模擬環境”。

當這個模擬環境可以直接服務于下游的軌跡規劃和決策控制時，端側模型的商業價值就超越了單純的速度競賽。比如說如果模型能夠準確預測“兩秒后前方車輛會因為慣性繼續滑行兩米”，這個信息對于緊急制動的決策價值，遠高于“那個地方有一輛車”的語義標簽。

值得注意的是，GenieDrive的高效性并不來自單一算法的突破，而是來自“4D表示+物理先驗+端到端聯合優化”的協同設計。它代表了2026年大廠在高效視覺表征上的另一條路徑：讓模型“想得更少、做得更準”。