0
想讓大模型替自己賣命，一查Token賬單，卻有一種“重生之我為大模型公司打工”的錯覺。
這樣的案例，已經開始在不少企業內部上演。
盡管過去一年里，每百萬Token的推理成本大約下降了75%，但成本下降的曲線遠遠比不過消耗量增長的斜率。
全球最大的大模型API聚合平臺OpenRouter統計數據顯示，截至2026年3月，其年化Token吞吐量呈現10倍增長。
與此同時，資本市場也用腳投票——Anthropic年化收入在短短三個月里突破300億美元大關，增幅約為233%……
面對Token消耗量至少翻了一個數量級的現實，“如何在高效使用Token的同時有效控制成本”的問題隨之而來。為此，雷峰網邀請3位來自產業鏈不同環節的一線大佬共同解讀Token膨脹背后的效率賬本：
尚明棟：九章云極聯合創始人兼COO ，原微軟服務器高可用集群文件系統核心開發工程師，曾參與發布Windows 7和Windows 8，是SMB 3.0的主要擬草人之一。
肖嶸：云天勵飛副總裁、首席科學家、正高級工程師，歷任微軟研究院高級研究員、微軟必應搜索資深軟件工程師、平安產險人工智能部總經理等。
關濤：云器科技聯合創始人、CTO，分布式系統和大數據平臺領域專家，曾任職于微軟云計算和企業事業部，歷任阿里云計算平臺事業部研究員、阿里巴巴通用計算平臺MaxCompute和Dataworks負責人、阿里巴巴和螞蟻集團技術委員會計算平臺領域組長、阿里云架構組大數據組組長。
在這場圓桌討論中，身處產業一線的大佬們達成共識：在Agent介入生產環節的元年，成本暫時不是企業賬單的第一位，真正值得關注的是——花在AI上的每一分錢，是否換來了足夠分量的業務價值？
順著這個共識追問，一個更實際的問題浮出水面：如何提高Token使用的性價比，讓花在AI上的錢更好變現為業務價值？這正是本場討論的核心所在。（關于Token消耗與成本優化，作者持續追蹤。歡迎添加作者微信 Evelynn7778 交流你所在企業的Token賬單故事。）
Token消耗殺手：
路徑錯誤、長上下文、模型超配
如何把AI接入工作流，已是當前許多企業都在關心的問題，然而，這背后有許多陷阱。
首先，高消耗未必等于高價值。
當前的AI，并不能完全像人類一樣基于環境的實時狀態做出最快的選擇。得到結果看似與人工相同，但AI在不經意間消耗的Token量卻可能令人咋舌。
尚明棟舉例，同樣面對“缺乏管理員權限”等常規運維場景，碼農簡單輸入類似sudo（Linux/Mac系統中用于臨時獲取管理員權限的指令）的命令就可以馬上進入下一步。
但大模型卻易出現路徑冗余、方案繞遠的問題，例如采用重新編譯源碼的復雜方式繞過簡單權限限制，造成大量無效Token消耗。
其次，即便讓AI做同一件事，路徑選擇也至關重要。
關濤曾經遇到一位客戶在對話窗口里，要求大模型直接瀏覽一份一萬行的訪問日志并進行數據統計。他指出，這種做法不僅效率低，而且得到的結果極容易出錯。
因為大模型的本質是概率預測，數學運算是其弱點。
面對這類計算任務，選擇直接在對話窗口輸入文本，相當于只讓AI做文字閱讀理解；只有通過上傳文件的方式，才能調用Python等專業工具，實現真正有效的數據分析。
有時，為了彰顯大模型的能力，客戶會事無巨細地調用最高性能的大模型，但這是否有必要？
尚明棟的回答是否定的，因為簡單的任務交由性能一般的模型也能完成。肖嶸認為，可以將不同性能的大模型比作不同能力的學生。復雜任務可讓能力更強的大學生拆解后交由中小學生來完成。后者如果在執行時遇到困難或經多次嘗試后仍無法交差，大學生再介入指導和兜底。
為了任務分配能符合學情，關濤還按照性價比與穩定性兩個維度，進一步將不同場景劃分為四個象限：
SQL代碼遷移等低性價比、高穩定性的場景不適合大模型直接下場，應該利用大模型搭建專門的解決工具；AI Coding等高性價比、低穩定性場景，鼓勵使用最好的模型，以效率換取價值；而“雙低”場景不宜強行用AI替代；“雙高”場景建議先用最好的模型把場景跑通，驗證效果后再逐步切換至性價比更優的模型。
但關濤也坦言，當前每家大模型的迭代周期基本壓縮至三個月，模型的能力和性價比因此變得難以預測。對此，云器科技通過內部打造的可觀測系統，追蹤每個模型的調用成功率、Token消耗狀態、Tool Calling能力等指標，幫助用戶找最適合特定場景的那一款模型。
此外，對長上下文的追求，也是很多用戶使用性能強大的模型的根本原因之一。但尚明棟指出，一旦內容過度堆積，反而導致大模型在處理新任務時不斷重復回憶此前的對話內容，造成Token的浪費。
關濤補充道，如果每次對話都攜帶大量歷史，尤其上下文內容還被反復修改時，會導致緩存失效，對推理成本和響應性能來說都是巨大損耗。
對此，他給出了一個簡單卻有效的原則：確保上下文內容是圍繞同一任務的，這樣才更符合模型最初始的設定，且不僅能提升響應速度，還能增加命中緩存的概率——而服務商針對后者所收取的輸入Token費用，一般會比標準單價低。
此外，尚明棟的團隊實測數據顯示，僅通過緩存機制這一項，就能避免至少10%的重復計算。當前行業內也已經實現這種“外掛”，例如通義千問3.5等新一代模型，已在架構層面自帶KV Cache壓縮機制。
降本的三個技術切口：
低精度、稀疏架構、數據升維
當用戶能夠保持高效的使用習慣，Token賬單的壓力，便傳導到技術層面。
從算力供給方的角度，尚明棟回憶，去年上半年自家銷售團隊還在四處兜售算力，到了今年就已經開始抱怨“無算力可賣”。供給的短缺和需求的大幅上升，倒逼算力供給方優化技術。
尚明棟分享了九章云極在算力云建設中的工程實踐——基于隨機算法推理等策略，實現PD分離、四層存儲架構設計、將計算、存儲與管理網絡進行物理分離等目標。
具體到模型架構層面，方法之一，是尚明棟提到的MoE（混合專家）設計：當萬億參數規模的超大模型內置這種架構時，每次推理實際只需觸發2至3個專家模型，這相當于只調用了二十分之一的參數規模即可完成任務。
此外，肖嶸還提到DeepSeek下一代旗艦模型V4可實現記憶剝離的核心架構之一Engram。
這一創新設計提供了一種擴展模型規模的全新思路，將大模型的參數拆分為傳統大模型網絡的參數（例如Transformer參數、嵌入層參數）和存儲“知識”的參數。前者參數規模的增大會顯著增加計算的開銷，后者則無影響。
來到硬件底層，肖嶸以英偉達Blackwell架構B300為例，指出了一個關鍵趨勢：業界越來越傾向于使用低精度計算。一個明顯的指標對比是，FP4比FP8的算力吞吐量提高了約3倍。
但肖嶸也提醒，低精度計算并非“免費的午餐”——它會引入量化和反量化等一系列額外操作。如果沒有硬件層面的專門加速支持，實際收益會大打折扣。
另一方面，Agent技術的普及對大模型的推理延遲提出極高要求。肖嶸指出，當前大模型推理很難做到極高TPS（Token每秒處理速度）的根本原因在于：推理過程中需要高頻訪問大規模模型參數以及 KV Cache，這對內存帶寬造成巨大壓力。
以Meta的LLaMA 70B為例，假設模型參數以FP16形式存儲在HBM中，經粗略估算，在1000 TPS場景下，僅模型參數從HBM向計算核心供數所對應的帶寬需求就可達到百TB/s量級，這一數量級已遠超當前主流硬件的實際帶寬能力。
正因如此，英偉達才在下一代Rubin架構中引入了基于 Groq LPU 的 LPX 推理加速系統，構建GPU與LPU協同的異構推理架構。
其中，GPU 主要負責高吞吐的預填充與注意力計算，而LPU則針對延遲敏感的解碼路徑進行加速。
此外，LPU還采用高帶寬、低延遲的片上 SRAM 以及數據流執行架構，顯著降低訪存開銷，提升單次推理響應速度，并提高單位時間內的Token生成密度。（更多算力與算法層面的技術優化，歡迎添加作者微信 Evelynn7778 探討）
而對于不具備改造算法和算力能力的中小企業而言，數據是撬動AI能力最現實的支點。
關濤所在的云器科技堅持“數據——信息——知識”三級數據體系： 首先確保當前企業的數據能夠被AI所用，再將企業的數據轉化為可共享的知識庫。在這個過程中，同時搭建好反饋鏈路，引領企業AI化轉型。
每人每月1000美元：
Token經濟學的第一筆賬
當Token利用率盡可能提高之后，從Token經濟學的角度出發，企業應該如何看待員工的“賬單”？
三位嘉賓對于在Token上的預算把握已有初步的判斷。
肖嶸透露，一旦處理稍顯復雜的項目，150美元可能瞬間見底。因此，云天勵飛給研發人員每人每月配備了一定額度的AI費用。
他認為這筆投入極其劃算。因為相比研發人員動輒三四十萬甚至百萬年薪，Token成本只是人力成本的零頭。
關濤也印證了這一投入邏輯：當前云器科技沒有設置Token消耗的上限，員工每月在AI輔助開發上的花銷約500至1000美元，目前已有約20%的員工能做到高效利用。
作為算力供應商，九章云極自身的員工外部Token花費月均成本也已達到2000元。
在肖嶸看來，目前仍處于大模型使用的早期階段，遠未達到理想的效率峰值， 企業還沒到“卷成本”的階段，此刻應全面、大膽地擁抱大模型。
當然，這并不意味著對成本放任自流。肖嶸建議，當大模型使用真正進入普及階段后，在面對如何攤薄時間成本的問題時，企業可利用晚間等低負載時段錯峰提交任務，或通過多Agent并行執行任務來提升效率。
此外，訂閱制也是一種選擇。不過尚明棟提醒，有些時候訂閱制只是看起來劃算，因為一旦大模型服務負載不穩定，性價比反而可能不如按量付費。他強調，企業一定要從業務價值反推Token消耗的性價比。
關濤指出，當前業界主流的消耗量是此前的10倍，若沒有達到這個增長數字，企業需要反思在AI轉型上是否已經落后；然而，如果超過了，就要認真審視成本結構。
他以一個極其微小的動作為例：大模型每次哪怕是對“Hello”這樣簡單的交互進行回復，背后都需要一次API調用。而單次接入成本約5毛錢，當每個API都計費、用戶高頻調用時，這筆原本不起眼的花銷瞬間被數量級放大。
基于此，就不難理解為什么當下“養龍蝦”這件事能和“破產”掛鉤。關濤團隊實測發現，按照標準OpenClaw的使用習慣，每人每月的API花費平均值高達400～500元。
這意味著，為了養一個數字分身，光調用API的開銷就已占據每人月可支配收入的約10%。
除了API的調用頻率，肖嶸指出，用戶具體使用的大模型也在影響Token賬單。（使用側還有哪些因素影響Token消耗，歡迎添加作者微信 Evelynn7778 交流）
他解釋道，參數規模越大，大模型處理復雜任務的能力越強，所能承載的上下文長度也隨之增加，因此所消耗的Token數量就越多，對應的成本自然水漲船高。
此外，即便處理一樣的Token數量，參數越大的模型背后涉及的計算量也越大，這也是中美大模型之間價格懸殊的根源。
肖嶸指出，中國模型傾向于采用極端的稀疏化和輕量化設計，在大多走免費路線的情況下，力求用盡量少的訓練和推理成本實現較強的智能；而美國企業的模型在參數規模上則要激進得多，價格自然也高出一截。
出于長期成本、低延遲或數據安全的考量，肖嶸認為企業還可以采用本地部署。他介紹，最新的模型量化壓縮技術可以在精度無損的情況下，把模型參數和KV cache參數分別壓縮至4比特和3.5比特，從而支撐百億規模的大模型在本地運行。
而具體到硬件選擇，值得一提的是最近因OpenClaw賣爆的Mac mini。它之所以備受青睞，正是因為其統一內存和高性能的M系列芯片，以及4000多塊錢的親民成本。
有了Token，單一程序員可掌控的代碼體量躍升十倍，演講者長達兩周的資料準備時間被大幅壓縮，十幾歲的孩子可以超前學習競賽知識、寫程序優化游戲代理延遲……
然而，Token賬單的高低，本質是API調用頻次、模型選型與技術路線共同作用的結果。不過，比起省錢，現階段更重要的，或許是建立一條將Token變現為業務價值的通路。
以下是此次圓桌討論的精彩分享，雷峰網進行了不改原意的編輯整理：
談Token成本及消耗現狀：用量激增10倍，賬單燒不起
雷峰網·胡敏：從去年開始研究怎么用AI，到今年用上小龍蝦，我自己最大的感受是Token消耗真的有點“燒不起”。想問問三位嘉賓，有沒有感受到Token消耗量的變化？以及讓你們比較“肉疼”的案例？
尚明棟：因為我們既是算力提供者，也是消納者，所以我從兩個視角出發來談。
從供需曲線看，去年行業還在探索算力需求的落地場景，今年高質量算力資源已成為驅動AI創新的核心戰略資產，需求呈現爆發式增長。
從消納端看，我認為第一個Killer APP可能就是AI Coding。去年年底Claude 4.5出來后，代碼生成質量已經能支撐“一人公司”。一個資深程序員原來能管理的代碼上限大概2萬～3萬行，現在借助AI Coding可以輕松突破十幾萬行。
我們公司內部也大量使用，比如每晚做一次全代碼審核，包括靜態代碼的掃描、端口的掃描、安全策略掃描，代碼量幾百萬行，一次掃描消耗六七千萬Token——但折算成錢，成本其實并不大。
但也有“壞例子”：比如用人工智能去做代碼生成的時候，裝Homebrew遇到權限警告，AI不懂用sudo繞過，反而建議你去下載開源代碼重新編譯，這一步可能消耗幾百萬甚至上千萬Token，而實際上人工用一個簡單命令就能跳過。這說明需要人工必要介入，不能全部交給AI決策。
關濤：我給大家分享兩個數字。第一個是我們接主流模型時做的實驗：測試API是否通暢，說一句“hello”，模型回一句“我能幫你做什么”——這一個API調用就要5毛錢。
第二，如果用標準版的OpenClaw（未經優化），每人每月的API消耗平均在400～500元。對比一下，我國人均月可支配收入也就4000多人民幣，養一個“龍蝦”要花掉十分之一，這個賬單確實夸張。
但也有兩個趨勢：一是每百萬Token成本從去年到今年大概降了75%，從10美元降到2美元左右；二是OpenRouter流量增長約10倍，Anthropic收入增長14倍。成本降了3～4倍，但用量增長了十幾倍。所以企業如果感覺AI賬單在快速增長，一點也不奇怪。
肖嶸：我們公司給研發人員每人配了每月較高額度的quota。為什么高？因為一個復雜任務跑下來，調用API搜索分析下來，150美元可能就沒了。
Token消耗未來會增加得更厲害——不只Coding，協同辦公領域消耗也很可怕。以前做PPT可能需要兩周，還要多人幫忙?，F在我把框架搭好，告訴大模型我的觀點，讓它批判或接受，多個Agent同時跑，一天就能產出70多頁專業PPT。
再說個例子，我們董事長陳寧博士的初中生兒子，他把書丟給大模型，讓模型用更形象、交互的方式解釋，還生成動畫，兩天就學完了一本三角函數教材。他玩美國原神網絡延遲，找大模型聊完天，模型直接寫程序優化掉了。所以沒有科班背景的人，借助AI能做出很多想象不到的事情。
Token成本上升的原因我總結一下：模型越大越好用，上下文越長效果越明顯，這兩個維度都讓Token成本高漲。不同上下文的成本基本呈線性增長。為了服務效率，比如寫PPT開十幾個Agent也得跑20分鐘，最舒服的是1分鐘出結果。所以另一個趨勢是：為了生產效率，成本加倍也愿意。
談Token降本策略：不是所有事都該AI干，分層路由+上下文精簡是關鍵
雷峰網(公眾號：雷峰網)·胡敏：那么企業到底怎么省Token？先從使用側聊起，有沒有實操方法或手冊？
尚明棟：省Token首先要搞清楚Token花在哪，才能對癥下藥。從企業算賬角度，Token消耗量和效率提升、價值增值要建立映射關系。首先人群在擴大，最早從技術人員擴展到全員使用，這是正向的，但要避免浪費：
第一，模型濫用，不是所有任務都需要萬億參數的大模型，簡單查詢用小模型即可；
第二，避免上下文堆積——歷史對話和檢索結果反復投喂，每輪都在重復支付成本；
第三，優化低效工作流，比如剛才那個Homebrew的例子，人工一個sudo命令就能解決，AI卻繞了一大圈。
從使用者角度，提示詞要短、清晰，能走規則化流程的就不讓大模型做；控制輸出長度，避免無效重試。
從技術角度，可以做模型分層路由、KV緩存（至少能避免10%以上的重復計算），以及優化Agent結構減少調用次數、降低失敗率。
肖嶸：我補充四個方向：使用側、平臺側、大模型側、硬件側都有優化空間。
使用側最簡單的方法是“分層”：把模型能力分成大學生、中學生、小學生。讓最強模型（大學生）做任務拆解和規劃，中小模型（中學生和小學生）執行具體任務，效果不好再讓大模型指導或親自上手。整體效果差不多，但成本大幅下降。
另外，本地部署7B～14B的小模型也是省錢路子，比如用Mac mini（4000多人民幣）就能跑不錯的模型。最新技術如Google的TurboQuant，可以把KV Cache壓縮到1/4或1/5，結合模型的低精度量化技術，本地部署越來越可行。
還有，控制上下文——不相關的歷史對話可以壓縮或另開話題。
最后，一定要有自己的提示詞模板，就像公司給新員工發員工手冊一樣，把常見場景的prompt固化下來，能省大量重復消耗。會用大模型的人一個人能干5個人的活，差別就在這。
關濤：我舉三個可避免Token浪費的例子：
第一，用法錯誤——不是所有事情都應該交給AI，比如把一萬行訪問日志直接丟給AI做統計，又慢又錯。正確做法是讓AI寫Python程序來處理，或者把數據放在專業系統里用工具做。
第二，上下文信息不足或不準確——比如問“上個月GMV增長原因”，數據庫里有幾十張表都含GMV字段，模型不知道用哪張，再貴的模型也解決不了。這是數據問題，不是模型問題。
第三，上下文過分臃腫——每次對話都攜帶大量歷史，不僅浪費Token還影響模型效果。特別是當Context被修改過、不符合模型設計時，會導致緩存失效，價格和性能都受到傷害。要保證Context足夠精確，盡量在同一Session內追加，這樣更符合模型設計，能大幅提升速度、節省Token。
談模型采購與分層：性價比不是看單價，而是看“單位業務結果成本”
雷峰網·胡敏：從采購側呢？模型選型、計費方式、購買渠道上，大家有什么心得或踩過什么坑？
尚明棟：采購不能只看單價，要看單位業務結果成本。便宜的模型如果效果不穩定、需要多次重試、人工復核，總成本反而更高。要根據實際應用場景做模型分層和動態路由，簡單任務給小模型，復雜有規劃的給大模型。
計費方式上，訂閱制看起來劃算，但如果負載不穩定，綜合成本未必如意。還要考慮數據安全、資源穩定等綜合因素，最終要回到業務價值來反推性價比。不同部門、不同場景差異很大，需要有專門的小團隊來賦能。
肖嶸：我完全同意，目前Token是生產力工具，產生的效益遠大于成本，建議盡量采用符合需求的模型，成本不是最重要。等大家都用上大模型、效率都上來了，再考慮降本?，F在社會變革還沒到卷成本的時候，大家都用上大模型后，那時降本就很重要了。
降本的具體方法：一是模型分層（大學生/中學生/小學生）；二是利用波峰波谷——離線任務放在晚上提交，成本更低；三是訂閱制保證用量。
關濤：我們有個方法論：把場景分成兩個維度——高性價比/低性價比，以及穩定確定性/探索不確定性。
高性價比+不確定的場景（比如核心代碼開發），直接用最好的模型，因為相比人力成本，Token成本微不足道；
高性價比+確定性的場景，先用好模型跑通，再逐步降低模型能力，找到性價比平衡點；
這需要兩個系統支持：一個AI Gateway（靈活切換模型），一個可觀測系統（監控成功率、Token消耗等）。
低性價比+確定場景，用模型構建工具形成流水線，而不是每次都靠模型；
低性價比+不確定場景：通常用不起來，需要探索其他方式或人工補位；
現在每家模型基本上每三個月就迭代一次，不管是美國還是中國，隔幾個月就會有一個新模型達到當前SOTA水平。所以很難說哪個模型一定最好——有的性價比好一點，有的能力強一點?？赡艽蠹椅ㄒ坏墓沧R是從Coding視角看，Anthropic的模型更好一些。剩下的，甚至包括最新的視頻生成模型，現在很難講誰是第一名。
所以我們通常建議企業接一個或自己做一個AI Gateway，能夠靈活切換模型。這比現在死磕某一個模型更合理，畢竟整個模型迭代還處在非常高速的發展期。
談供給側優化：從平臺、模型、硬件、數據四個層面“卷”成本
雷峰網·胡敏：三位都身處AI產業鏈，你們各自在做哪些事來幫企業降Token成本？
尚明棟：作為算力供給方，我們在工程化上做了很多：算力云建設的選型配置、PD分離架構、四層存儲架構、計算存儲網絡分離、隨機算法推理優化等，最終提升Token產出率。
同時我們也在做模型動態路由，但核心觀點是：不要只關心Token貴不貴，要關心Token花得值不值。這需要把Token成本從技術問題變成產品、采購、財務共同管理的經營指標。要建立評估體系，看投入是否值得。
另外，AI能力要匹配組織管理變革，這放大了人與人之間的差距——有人效率提升3～5倍，有人只有30%，團隊里會出現“木桶原理”?，F在團隊更扁平化，開發工程師變成全棧工程師，一專多能。這不只是工具問題，更是團隊組織管理方式的變革。
肖嶸：從平臺層、模型層、硬件層三個層次來說：
平臺層：做模型分層調度、記憶壓縮、任務反思總結，讓“養龍蝦”的過程更智能。
模型層：通過更稀疏的架構（如MoE）、新的注意力機制（如線性注意力、混合注意力），以及類似DeepSeek的Engram外掛記憶，讓模型更快、更聰明、知識面更廣。
硬件層：低精度計算（英偉達Blackwell引入FP4，精度降8倍但模型精度不跌）、協處理器（如Groq的方案，把參數直接放在芯片SRAM里，實現極低時延、高TPS）。這些方向都在讓Token成本持續下降。
關濤：我們更偏重數據側。AI三要素包括算法、算力、數據。對大多數企業來說，前兩者通常是買來的，數據是企業提升AI能力的關鍵。我們做三件事：
第一，讓企業現有數據平臺能被AI用好——做語義層（Semantic Layer）、MCP連接等，讓結構化數據成為AI的Ground Truth；
第二，幫企業構建統一、可共享的知識庫——把數據升級為信息，信息升級為知識，避免每個Agent都重復沉淀記憶和Skill；
第三，建立反饋鏈路——通過數據平臺采集分析，讓企業看清楚AI的投入產出比，并能靈活調整模型、Prompt、上下文。
作者持續關注AI算力芯片上下游，更多信息可添加作者微信 Evelynn7778 交流。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
