ICLR2019 最佳論文公布：“有序神經(jīng)元”、“彩票假設(shè)”獲獎

雷鋒網(wǎng) AI 科技評論按，今天，ICLR2019 最佳論文名單公布啦！

今年獲得最佳論文獎的論文有兩篇，它們是：

• 來自加拿大蒙特利爾大學(xué)、微軟蒙特利爾研究院的「Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks」

• 來自 MIT CSAIL 的「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks」。

雷鋒網(wǎng) AI 科技評論將這兩篇文章的摘要翻譯如下：

獲獎?wù)撐?1：Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

有序神經(jīng)元：將樹結(jié)構(gòu)整合到循環(huán)神經(jīng)網(wǎng)絡(luò)中

作者：Yikang Shen, Shawn Tan, Alessandro Sordoni, Aaron Courville

摘要：自然語言是具有層次結(jié)構(gòu)的：較小的單元（如短語）嵌套在較大的單元（如從句）中。當較大的部分結(jié)束時，嵌套在其中的所有較小的部分也必須關(guān)閉。雖然標準的 LSTM 架構(gòu)允許不同的神經(jīng)元在不同的時間尺度上跟蹤信息，但它在構(gòu)建層次上沒有明顯的偏差。本文提出通過對神經(jīng)元進行排序來增加這種感應(yīng)偏差；主輸入向量和遺忘門的向量確保了當一個給定的神經(jīng)元被更新時，在它后面的所有有序排列的神經(jīng)元也被更新。我們新穎的循環(huán)結(jié)構(gòu)，有序神經(jīng)元 LSTM（ON-LSTM），在這四個不同的任務(wù)上取得了良好的性能：語言建模、無監(jiān)督解析、有針對性的句法評估和邏輯推理。

關(guān)鍵詞：深度學(xué)習(xí)、自然語言處理、循環(huán)神經(jīng)網(wǎng)絡(luò)、語言建模

TL；DR：我們引入了一種新的感應(yīng)偏差，這種偏差將樹結(jié)構(gòu)整合到循環(huán)神經(jīng)網(wǎng)絡(luò)中。

論文地址：https://openreview.net/forum?id=B1l6qiR5F7

獲獎?wù)撐?2：The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks

彩票假設(shè)：尋找稀疏可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)

作者：Jonathan Frankle, Michael Carbin

摘要：神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)可以在不影響推理精度的前提下，將訓(xùn)練后的網(wǎng)絡(luò)參數(shù)減少 90% 以上，減少存儲需求，提高推理計算性能。然而，目前的經(jīng)驗是，修剪產(chǎn)生的稀疏架構(gòu)從一開始就很難訓(xùn)練，這個結(jié)構(gòu)同樣會提高訓(xùn)練性能。

我們發(fā)現(xiàn)，標準剪枝技術(shù)自然地揭示了子網(wǎng)絡(luò)，其初始化使它們能夠有效地訓(xùn)練。基于這些結(jié)果，我們提出了「彩票假設(shè)」：密集的、隨機初始化的前饋網(wǎng)絡(luò)包含子網(wǎng)絡(luò)（「中獎彩票」），當單獨訓(xùn)練時，它可以在類似的迭代次數(shù)中達到與原始網(wǎng)絡(luò)相當?shù)臏y試精度。我們發(fā)現(xiàn)的中獎彩票贏得了初始化彩票：它們的連接具有初始權(quán)重，使得訓(xùn)練特別有效。

我們提出了一個識別中獎彩票的算法和一系列支持彩票假設(shè)和這些偶然初始化的重要性的實驗。我們發(fā)現(xiàn)，對于 MNIST 和 CIFAR10，中獎彩票的規(guī)模小于幾個完全連接和卷積前饋架構(gòu)的 10-20%。超過這個尺寸，我們發(fā)現(xiàn)的中獎彩票比原來的網(wǎng)絡(luò)學(xué)習(xí)更快，能夠達到更高的測試精度。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；稀疏性；剪枝；壓縮；性能；體系結(jié)構(gòu)搜索

TL；DR：可以在訓(xùn)練后修剪權(quán)重的前饋神經(jīng)網(wǎng)絡(luò)也可以在訓(xùn)練前修剪相同的權(quán)重。

投稿數(shù)量逐年猛增的深度學(xué)習(xí)頂會

作為人工智能領(lǐng)域最年輕的會議，ICLR 的成長速度飛快。在 2013 年，ICLR 才舉辦了第一屆，以「表征學(xué)習(xí)以及在視覺、語音、音頻及 NLP 領(lǐng)域的作用」這一重要且熱門的課題為主旨，借著 OpenReview 評審機制以及 Yoshua Bengio 和 Yann LeCun 兩人的鼎力支持，到 2017 年舉辦第五屆時已經(jīng)得到了學(xué)術(shù)研究者們的廣泛認可，被看作為「深度學(xué)習(xí)的頂級會議」。

在人工智能持續(xù)火熱的背景下，ICLR 的投稿數(shù)量也依然在迅猛增長，ICLR 2015、2016、2017 收到的投稿分別為 143 篇、超過 265 篇、490 篇，今年 ICLR 2018 繼續(xù)翻倍到了 935 篇。華盛頓大學(xué)計算機系教授 Pedro Domingos 都在推特上開玩笑說：「這已經(jīng)成了深度學(xué)習(xí)界的摩爾定律了，ICLR 的投稿數(shù)目每年都要翻一倍。」

去年， ICLR 2018 共收到 935 篇論文投稿，337 篇被接受為會議論文，接受率為 36%；其中 23 篇為 oral（口頭報告論文）、314 篇為 poster（海報展示論文）；另外還有 90 篇 workshop 論文。

而今年，ICLR 2019 共收到 1591 篇論文投稿，和去年相比，在投稿數(shù)量上仍然保持了大幅度的增長。其中 oral 論文 24 篇，poster 論文 476 篇。

看來，照這個趨勢下去，明年的 ICLR 會更加熱鬧。而按照慣例，雷鋒網(wǎng)每年都會第一時間跟進這些頂會。今年的 ICLR 2019 我們也會持續(xù)關(guān)注，接下來將會有更多報道，敬請關(guān)注。