0
10月14日凌晨，螞蟻集團正式推出萬億參數思考模型Ring-1T，并全面開源模型權重、訓練配方。Ring-1T在9月30日開源的預覽版Ring-1T-preview基礎上，持續(xù)擴展大規(guī)模可驗證獎勵強化學習（RLVR）訓練，進一步激發(fā)萬億基座的自然語言推理能力，并通過 RLHF 訓練完善模型通用能力，在各項任務榜單上表現(xiàn)更加均衡。
為了持續(xù)激發(fā)Ring-1T的數學等復雜推理能力，此次百靈團隊挑戰(zhàn)了難度更高的IMO2025（國際數學奧利匹克）賽題，將Ring-1T接入多智能體框架AWorld，使用純自然語言推理進行解題。實驗結果顯示，Ring-1T僅用一次解出了第1、3、4、5題，相當于IMO銀牌水平，成為首個能拿IMO國際奧數獎的開源系統(tǒng)。Ring-1T在第三次嘗試IMO時對第2題幾何證明也給出了接近滿分的證明過程，在頂流大模型幾乎全軍覆沒的第六題中將答案收斂到與Gemini 2.5 Pro 相同的“4048”（正確答案為2112）。作為一款思考模型，Ring-1T也表現(xiàn)出了極佳的通用能力，在“人類偏好對齊”測試Arena-Hard V2中，Ring-1T以81.59的成功率居于開源模型榜首，逼近GPT-5-Thinking(High)82.91的成績。在面向嚴謹領域的醫(yī)療問答HealthBench測評中，Ring-1T也以最高分取得開源領域最佳。
（Ring-1T與業(yè)界代表性思考模型的性能橫評）
萬億參數思考模型訓練最大難題是訓推精度差異，即訓練階段與推理階段因實現(xiàn)細節(jié)差異導致的訓練和推理精度不一致，進而導致訓練崩潰。在Ring-1T模型中，螞蟻采用了自研的“棒冰（icepop）”算法來應對這項行業(yè)難題，即用帶掩碼的雙向截斷技術把訓練-推理分布差異凍結在低水位，確保長序列、長周期訓練不崩。此外，應對萬億參數模型強化學習訓練，螞蟻還自研了高性能強化學習系統(tǒng)ASystem(其中包含已開源的高性能強化學習框架AReaL)，特別針對萬億參數模型的顯存管理和訓推權重交換問題做了精細的優(yōu)化，實現(xiàn)了單機顯存碎片秒級回收、權重零冗余交換，把大規(guī)模RL訓練穩(wěn)定跑成日常。
（圖左：GRPO訓推差異隨著訓練成指數上升，icepop較為平穩(wěn)；圖右：訓推差異最大值，GRPO隨著訓練上升非常明顯，icepop維持在較低水位）
此外，本次發(fā)布的Ring-1T模型繼續(xù)采用Ling 2.0架構的1T base模型做后訓練，Ling 2.0采用了包括高度稀疏的MoE架構，1/32的專家激活比、FP8混合精度、MTP等諸多特性實現(xiàn)高效訓練與推理。在后訓練階段，螞蟻百靈團隊通過LongCoT-SFT + RLVR + RLHF多階段訓練，顯著提升了模型的復雜推理能力以及指令跟隨和創(chuàng)意寫作等通用能力。
據百靈團隊透露，Ring-1T模型是其在萬億思考模型上的首次嘗試，螞蟻百靈團隊會在后續(xù)的版本中繼續(xù)完善模型性能。目前，用戶可通過HuggingFace、魔搭社區(qū)下載模型，并通過螞蟻百寶箱等平臺在線體驗。
據了解，截止目前螞蟻百靈大模型已經發(fā)布18款模型，已形成從160億總參數到1萬億總參數的大語言模型產品矩陣，其中兩款萬億參數模型—萬億參數通用大語言模型Ling-1T、萬億參數思考模型Ring-1T。隨著兩款萬億參數模型的發(fā)布，百靈大模型也正式步入2.0階段。
