ICLR2020 | 谷歌最新研究：用“復(fù)合散度”量化模型合成泛化能力

（雷鋒網(wǎng)）據(jù)官方消息，ICLR 2020會議將取消線下會議，并于4月25日-30日線上舉辦虛擬會議。本屆會議共有 2594篇投稿，其中 687篇論文被接收（48篇oral論文，107篇spotlight論文和531篇poster論文），接收率為26.5%。

本文介紹 Google 研究人員發(fā)表在 ICLR 2020 上的論文《Measuring Compositonal Generalization:  A Comprehensive Method on Realistic Data》。

人類獨特的語言天賦體現(xiàn)在其學(xué)習(xí)一個新單詞的意思過后，能夠馬上在語言環(huán)境中使用。正如萊克（Lake）和巴羅尼（Baroni）的名言所述：

如果一個人學(xué)會了一個新動詞“DAX”，這個人就能立馬理解‘dax twice’ 和‘sing and dax’的意思。

同樣，人類可以了解新學(xué)習(xí)對象的形狀，然后用之前的學(xué)過的顏色或者材料來進(jìn)一步認(rèn)知。

這些能力也是我們?nèi)祟悓创嬷R的組合創(chuàng)新能力。

因此借用這種“組合”概念引出機(jī)器學(xué)習(xí)中的“合成泛化（compositional generalization）”，即機(jī)器學(xué)習(xí)從一組訓(xùn)練示例學(xué)習(xí)上下文表示。

在機(jī)器學(xué)習(xí)系統(tǒng)中，測量合成泛化的一種常見方法是根據(jù)與成分直接相關(guān)的屬性劃分訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。例如根據(jù)序列長度劃分：訓(xùn)練集較短，測試集較長。

此類方法有很多，但是哪個才是組合的更好測量標(biāo)準(zhǔn)？如何系統(tǒng)的設(shè)計一個最佳的合成泛化實驗？

（雷鋒網(wǎng)）論文鏈接：https://openreview.net/forum?id=SygcCnNKwr

來自谷歌的研究人員在“測量合成泛化：真實數(shù)據(jù)的綜合方法”論文中，試圖引入了最大和最全面的基準(zhǔn)來解決這個問題。這個基準(zhǔn)使用真實的自然語言理解任務(wù)，特別是語義解析和問題回答來進(jìn)行合成泛化。
在具體的工作中，相關(guān)研究人員提出了復(fù)合散度（compound divergence）測量指標(biāo)，這個指標(biāo)可以量化訓(xùn)練-測試集的分離程度，以便測量機(jī)器學(xué)習(xí)的合成泛化能力。

研究人員分析了三種序列到序列機(jī)器學(xué)習(xí)體系結(jié)構(gòu)的合成泛化能力，發(fā)現(xiàn)它們的泛化能力堪憂。在論文中，作者還發(fā)布了工作中使用的組合Freebase Questions數(shù)據(jù)集。

1、組合性測量

為了測量一個系統(tǒng)的泛化能力，首先要理解示例如何生成的基本原理。例如，從生成問題和答案時必須遵守的語法規(guī)則開始，然后找出元素（atom）和化合物（compound）之間的區(qū)別。其中原子是用于生成示例的構(gòu)建塊，而化合物是這些原元素的具體組合。如下圖每一個Box都是一個元素。

（雷鋒網(wǎng)）

在理想的組合實驗中，原子應(yīng)該有相似的分布，即訓(xùn)練集中的詞和子短語的分布盡可能類似于它們在測試集中的分布，但值得注意的是，復(fù)合分布是不相同的。

為了測量電影領(lǐng)域問答任務(wù)中的合成泛化能力，研究人員可能設(shè)計下圖中類似的正在問題：雖然“Directed”、“Inception”和“Who<Predicate><Entity>”等元素都出現(xiàn)在訓(xùn)練集和測試集中，但復(fù)合而成的詞顯然是不同的。

組合性的Freebase問題數(shù)據(jù)集（CFQ）

為了進(jìn)行準(zhǔn)確的組合性實驗，作者創(chuàng)建了CFQ數(shù)據(jù)集，這是一個從公共Freebase知識庫生成的自然語言問答的真實大型數(shù)據(jù)集，雖然簡單，但是非常強(qiáng)大。里面包含大約24萬個示例和近35k個查詢模式，這個規(guī)模是WikiSQL的4倍，查詢模式大約是復(fù)雜Web問題的17倍（Complex Web Questions）。

另外，CFQ可用于文本輸入/文本輸出任務(wù)以及語義解析。在具體的實驗中，作者將重點放在了語義解析上面，其中輸入是一個自然語言問題，輸出是一個查詢，當(dāng)對Freebase執(zhí)行查詢時，會產(chǎn)生正確的結(jié)果。作者還使用了“復(fù)雜度級別”指標(biāo)(L)來量化每個示例中語法的復(fù)雜性，該度量大致對應(yīng)于解析樹的深度，示例如下所示。

2、CFQ的合成泛化實驗

對于給定的訓(xùn)練-測試分割，如果訓(xùn)練集和測試集的復(fù)合分布非常相似，則它們的復(fù)合散度將接近于0，這意味著無法為合成泛化提供良好的測試。復(fù)合散度為1則相反。

將模型預(yù)測與正確答案進(jìn)行比較從而測量模型的性能，結(jié)果發(fā)現(xiàn)，當(dāng)復(fù)合散度很小時，所有模型的準(zhǔn)確率都在95%以上。

但是，對于所有的體系結(jié)構(gòu)，復(fù)合散度最高的的分割平均準(zhǔn)確率都在20%以下，這意味著即使是訓(xùn)練和測試之間元素分布相似的大型訓(xùn)練集，也不足以使體系結(jié)構(gòu)很好地進(jìn)行泛化。

換句話說，對于所有的體系結(jié)構(gòu)，復(fù)合散度與準(zhǔn)確度之間存在很強(qiáng)的負(fù)相關(guān)關(guān)系。即復(fù)合散度能夠量化合成泛化的核心問題。

未來工作的重點方向可能是對輸入語言或輸出查詢應(yīng)用無監(jiān)督的預(yù)訓(xùn)練，或者使用更有針對性的學(xué)習(xí)體系結(jié)構(gòu)，如句法注意。

最后，將這上述方法應(yīng)用于其他領(lǐng)域，例如基于CLEVR的視覺推理，或者擴(kuò)展到語言理解的更廣泛的子集，包括使用歧義結(jié)構(gòu)、否定、量化、比較、附加語言和其他垂直領(lǐng)域，也是很有趣的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。