阿里達(dá)摩院發(fā)布中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語言模型PLUG, 刷新CLUE分類榜單紀(jì)錄

4月19日，阿里巴巴達(dá)摩院發(fā)布中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語言模型PLUG（Pre-training for Language Understanding and Generation）。該模型參數(shù)規(guī)模達(dá)270億，集語言理解與生成能力于一身，在小說創(chuàng)作、詩歌生成、智能問答等長文本生成領(lǐng)域表現(xiàn)突出，其目標(biāo)是通過超大模型的能力，大幅提升中文NLP各類任務(wù)的表現(xiàn)，取得超越人類表現(xiàn)的性能。發(fā)布后，PLUG刷新了中文語言理解評測基準(zhǔn)CLUE分類榜單歷史紀(jì)錄。

自去年OpenAI發(fā)布超大規(guī)模預(yù)訓(xùn)練語言模型GPT-3引發(fā)全球熱議后，中文領(lǐng)域同類模型的訓(xùn)練進(jìn)程備受關(guān)注。與GPT-3類似，阿里達(dá)摩院本次發(fā)布的PLUG有望廣泛應(yīng)用于文本生成領(lǐng)域，成為“萬能寫作神器”。更重要的是，此類超大模型擁有極強(qiáng)的通用性，被認(rèn)為或?qū)⒊蔀锳I時代的新型基礎(chǔ)設(shè)施之一。

較GPT-3改進(jìn)之處在于，PLUG設(shè)計了一個簡潔的模型框架，集成了達(dá)摩院自研的語言理解及語言生成雙模型，并通過構(gòu)建輸入文本雙向理解能力，顯著提升了輸出文本的相關(guān)性。在語言理解任務(wù)上，PLUG以80.614分刷新了CLUE分類榜單紀(jì)錄；在語言生成任務(wù)上，PLUG多項(xiàng)應(yīng)用數(shù)據(jù)較業(yè)內(nèi)最優(yōu)水平提升了8%以上。

（注：4月19日，PLUG刷新CLUE分類榜單紀(jì)錄，排名僅次于“人類”）

據(jù)了解，PLUG采用了1TB以上高質(zhì)量中文文本訓(xùn)練數(shù)據(jù)，涵蓋新聞、小說、詩歌、問答等廣泛類型及領(lǐng)域，其模型訓(xùn)練依托了阿里云EFLOPS 高性能AI計算集群。接下來，PLUG將擴(kuò)大參數(shù)規(guī)模至2000億級，并進(jìn)一步提升文本生成質(zhì)量。在超大規(guī)模預(yù)訓(xùn)練模型領(lǐng)域，除發(fā)布以中文為核心的PLUG外，阿里達(dá)摩院、阿里云計算平臺團(tuán)隊(duì)還聯(lián)合智源研究院、清華大學(xué)發(fā)布了面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型“文匯”，以及聯(lián)合清華大學(xué)發(fā)布了超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型“M6”。

與PLUG發(fā)布同步，達(dá)摩院宣布近期將開源阿里巴巴深度語言模型體系大部分重要模型。阿里達(dá)摩院語言技術(shù)實(shí)驗(yàn)室負(fù)責(zé)人司羅表示，“達(dá)摩院NLP團(tuán)隊(duì)將進(jìn)一步攻克自然語言處理領(lǐng)域科研難題，完善中文及跨語言人工智能基礎(chǔ)設(shè)施，讓AI沒有難懂的語言，并探索通用人工智能之路。”

雷鋒網(wǎng)雷鋒網(wǎng)