0
| 本文作者： Nemo | 2024-12-30 16:24 |
近日，一項關(guān)于大模型核心理論“Scaling Law”的起源討論正在外網(wǎng)熱烈展開。最新觀點和證據(jù)表明，中國科技巨頭百度比OpenAI更早實現(xiàn)了這一突破。
知名媒體《南華早報》在其報道《百度在OpenAI之前就發(fā)現(xiàn)了Scaling Law？AI領域的辯論重新燃起》中指出，盡管美國在AI模型創(chuàng)新方面一直被視為領先者，但最新的討論顯示，中國在探索這些概念上可能更為超前。
大模型發(fā)展的核心是“Scaling Law”——這一原則認為，訓練數(shù)據(jù)和模型參數(shù)越大，模型的智能能力就越強。這一思想廣泛歸功于OpenAI在2020年發(fā)表的論文《Scaling Laws for Neural Language Models》，自那以后，這個概念已成為AI研究的基石。
然而，OpenAI論文的合著者、前OpenAI研究副總裁 、Anthropic創(chuàng)始人Dario Amodei ，在11月的一期播客中透露，他在2014年與吳恩達在百度研究AI時，就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律Scaling Law這一現(xiàn)象。Dario Amodei表示，隨著提供給模型的數(shù)據(jù)量增加、模型規(guī)模的擴大以及訓練時間的延長，模型的性能開始顯著提升。這一非正式的觀察后來在OpenAI的GPT-1語言模型中得到了驗證，并被認為是大模型發(fā)展的“金科玉律”。
此外，行業(yè)人士也發(fā)文稱，關(guān)于Scaling Law的原始研究實際上來自2017年的百度，而不是2020年的OpenAI。Meta研究員、康奈爾大學博士候選人Jack Morris在X（前Twitter）上引用了一篇標題為《Deep Learning Scaling is Predictable, Empirically》論文，論文于2017年由百度硅谷人工智能實驗室發(fā)布，詳細討論了機器翻譯、語言建模等領域的Scaling現(xiàn)象。
但這篇論文的重要性被嚴重忽視，OpenAI在 2020年的Scaling Law研究中引用了百度研究人員在2019年發(fā)表的論文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人類水平的準確性： 深度學習的計算挑戰(zhàn)）。批評者稱，OpenAI 有選擇地引用了百度 2019 年的論文，而忽略了 2017 年早些時候的研究，而該研究才是Scaling Law概念的真正原始來源。
有研究者表示，正是百度的早期研究為AI大模型的發(fā)展奠定了理論基礎，并在2019年發(fā)布了第一代文心大模型，幾乎與OpenAI處于同一時期?！爸袊诖笮湍Ｐ头矫娴倪M步也獲得國際認可。”據(jù)《南華早報》，在上海舉行的百度世界大會2024上，百度宣布了新技術(shù)，用以減輕圖像生成中的幻覺問題——即生成誤導性或事實不一致的圖像。百度還透露，截至11月初，百度文心大模型的日均調(diào)用量已經(jīng)達到了15億，相較一年前首次披露的5000萬次，增長約30倍。
隨著AI技術(shù)的不斷進步和應用的深入，中國在全球AI領域的影響力和領導地位將更加凸顯。
