0
| 本文作者： 楊曉凡 | 編輯：郭奕欣 | 2018-04-13 09:45 | 專題：ICLR 2018 |
雷鋒網(wǎng) AI 科技評論按：ICLR 2018 （International Conference on Learning Representations）于去年 10 月截至投稿后，論文評審已于今年 1 月結(jié)束，接收名單可以在 openreview.net 上查詢到。3 篇最佳論文的名單今天也于今天公布了。
此屆 ICLR 共收到 935 篇論文投稿，337 篇被接受為會議論文，接受率為 36%；其中 23 篇為 oral（口頭報告論文）、314 篇為 poster（海報展示論文）；另外還有 90 篇 workshop 論文。
作為人工智能領(lǐng)域最年輕的會議，ICLR 的成長速度可以說是飛快。ICLR 在 2013 年才舉辦了第一屆，以「表征學(xué)習(xí)以及在視覺、語音、音頻及 NLP 領(lǐng)域的作用」這一重要且熱門的課題為主旨，借著 OpenReview 評審機(jī)制以及 Yoshua Bengio 和 Yann LeCun 兩人的鼎力支持，到 2017 年舉辦第五屆時已經(jīng)得到了學(xué)術(shù)研究者們的廣泛認(rèn)可，被看作為「深度學(xué)習(xí)的頂級會議」。
在人工智能持續(xù)火熱的背景下，ICLR 的投稿數(shù)量也依然在迅猛增長，ICLR 2015、2016、2017 收到的投稿分別為 143 篇、超過 265 篇、490 篇，今年 ICLR 2018 繼續(xù)翻倍到了 935 篇。華盛頓大學(xué)計算機(jī)系教授 Pedro Domingos 都在推特上開玩笑說：「這已經(jīng)成了深度學(xué)習(xí)界的摩爾定律了，ICLR 的投稿數(shù)目每年都要翻一倍?！?/p>
ICLR 2018 共評選出三篇最佳論文。
《On the Convergence of Adam and Beyond》
關(guān)于 Adam 等算法的收斂性的研究
作者：Sashank J. Reddi，Satyen Kale，Sanjiv Kumar ( 谷歌紐約 )
摘要：近期人們提出了許多種隨機(jī)優(yōu)化方法，RMSProp、Adam、Adadelta、Nadam 等方法都是以之前步驟中的梯度平方的指數(shù)移動平均值的平方根為比例對梯度更新做縮放，然后成功應(yīng)用在了深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中。然而在許多應(yīng)用中，比如具有很大輸出空間的學(xué)習(xí)任務(wù)中，研究人員們都已經(jīng)實(shí)證地觀察到了這些算法無法收斂到一個最優(yōu)解（或者無法在非凸場景下收斂到一個極值點(diǎn)）。在這篇論文中，作者們證明了算法出現(xiàn)這些問題的原因之一就是其中使用的指數(shù)移動平均值。作者們設(shè)置了一個簡單的凸優(yōu)化場景作為例子，其中 Adam 無法收斂到最優(yōu)解，然后結(jié)合以往對 Adam 算法的分析詳細(xì)描述了這個問題。作者們經(jīng)過分析后認(rèn)為，如果給這些算法增加對之前步驟中的梯度的「長期記憶」，就可以解決這個收斂性問題。作者們也一并提出了新的 Adam 算法變體，它不僅解決了收斂性問題，而且也可以在許多任務(wù)中提高實(shí)證表現(xiàn)。
《Spherical CNNs》
球面卷積神經(jīng)網(wǎng)絡(luò)
作者：（三位并列一作）Taco S. Cohen ( 阿姆斯特丹大學(xué) )，Mario Geiger ( 瑞士聯(lián)邦理工學(xué)院 )，Jonas K?hler ( 阿姆斯特丹大學(xué) )，Max Welling ( 阿姆斯特丹大學(xué) & CIFAR )
摘要：對于涉及到 2D 平面圖像的學(xué)習(xí)問題，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已經(jīng)成為了默認(rèn)選擇的方法。不過最近也有一些研究課題對于能夠處理球面圖像的模型產(chǎn)生了需求，比如無人機(jī)、機(jī)器人、自動駕駛汽車的全方位視覺問題，分子回歸問題，以及地球的天氣和氣候建模問題。簡單地把球面分布的信號投影到平面上，然后在上面應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的做法是肯定會失敗的，因為這種投影帶來的空間變化扭曲失真會讓共享變換權(quán)重不再有效。
在這篇論文中作者們介紹了構(gòu)建球面 CNN 所需的基礎(chǔ)理論。作者們提出了一種球面互相關(guān)的定義，它不僅有良好的表達(dá)性，而且具有旋轉(zhuǎn)不變性。這種球面相關(guān)性可以滿足一般性的 Fourier 定理，也就使得我們可以使用一般性的（非交換的）快速 Fourier 變換（FFT）算法對其進(jìn)行高效的計算。作者們也展現(xiàn)了把球面 CNN 用于 3D 模型識別和霧化能量回歸問題中的計算效率、數(shù)值精度以及有效性。
《Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments》
在非穩(wěn)態(tài)和競爭性環(huán)境中通過元學(xué)習(xí)方法實(shí)現(xiàn)連續(xù)適應(yīng)
作者：Maruan Al-Shedivat ( CMU )，Trapit Bansal ( 馬薩諸塞大學(xué)阿默斯特分校 )，Yura Burda、Ilya Sutskever、Igor Mordatch ( OpenAI )，Pieter Abbeel ( UC 伯克利 )
摘要：達(dá)成通用智能的其中一個重要里程碑，是掌握在非穩(wěn)態(tài)環(huán)境中根據(jù)有限的經(jīng)驗連續(xù)學(xué)習(xí)和適應(yīng)的能力。在這篇論文中，作者們把持續(xù)適應(yīng)的問題放在了「學(xué)習(xí)如何學(xué)習(xí)」（learning-to-learn）框架中進(jìn)行研究。作者們開發(fā)了一個簡單的基于梯度的元學(xué)習(xí)算法，它適用于在動態(tài)變化以及對抗性的場景中進(jìn)行適應(yīng)。除此之外，作者們還設(shè)計了一個新的多智能體競爭環(huán)境 RoboSumo，并且定義了多種迭代適應(yīng)游戲，用于測試連續(xù)適應(yīng)的各個方面。作者們表明，基于元學(xué)習(xí)的方法要比基于小樣本學(xué)習(xí)思路設(shè)計的響應(yīng)式基準(zhǔn)模型的適應(yīng)效率高得多。作者們對大批智能體進(jìn)行的一系列學(xué)習(xí)、競爭實(shí)驗結(jié)果也顯現(xiàn)出基于元學(xué)習(xí)的學(xué)習(xí)者是適應(yīng)能力最強(qiáng)的。
ICLR 2017 的三篇最佳論文如下，雷鋒網(wǎng) AI 科技評論也編譯了其中兩篇的作者現(xiàn)場演講，感興趣的讀者可以點(diǎn)擊鏈接回顧。
《用半監(jiān)督知識遷移解決深度學(xué)習(xí)中訓(xùn)練隱私數(shù)據(jù)的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data），演講者/論文一作：Nicolas Papernot
《通過遞歸實(shí)現(xiàn)神經(jīng)編程架構(gòu)通用化》（Making Neural Programming Architectures Generalize via Recursion）
《泛化——一個理解深度學(xué)習(xí)需要重新思考的問題》（Understanding deep learning requires rethinking generalization），演講者/論文一作：張馳原
ICLR 2018 正會將于 4 月 30 日到 5 月 3 日在加拿大溫哥華舉行，到時雷鋒網(wǎng) AI 科技評論也將繼續(xù)帶來即時報道。
專題
