ICML 2019 最佳論文公布：繼霸榜后，谷歌再添重磅獎項！

雷鋒網 AI 科技評論按：彼時，為期 7 天（6 月 9 日至 15 日）的 ICML 2019（國際機器學習大會）正在美國加州如火如荼地舉行。據 ICML 2019 前不久公布的論文結果，今年大會共收到 3424 篇有效投稿論文，最終收錄的論文數量為 774 篇，接收率為 22.6%。而今天，萬眾矚目的 ICML 2019 最佳論文結果最新出爐，將會議推向了高潮。       

（圖片來源：Twitter 網友）

本屆最佳論文共有 2 篇，分別是：

• 《挑戰無監督解耦表示學習中的常見假設》，論文作者分別來自谷歌大腦、馬克斯·普朗克學會（ Max-Planck-Gesellschaft ）以及蘇黎世聯邦理工學院（ETH Zurich）； 

• 《稀疏變分高斯過程回歸的收斂速度》，論文作者來自劍橋大學。

2 篇論文同獲最佳論文獎

《挑戰無監督解耦表示學習中的常見假設》

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

• 論文作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem

• 論文下載地址：https://arxiv.org/abs/1811.12359

論文摘要：無監督解耦表示學習背后的關鍵思路是，真實世界的數據是由大量的變量解釋因子生成的，而無監督學習算法可以對這些因子實現修復。在本論文中，我們嚴謹地回顧了該領域的最新進展，并對一些常見假設提出了異議。我們首先從理論上驗證，如果模型和數據都沒有歸納偏置，無監督解耦表示學習基本上是不可能實現的。之后，我們在 7 個不同的數據集上訓練了 12000 多個模型，涵蓋了可重復、大規模實驗研究中最重要的方法和評估指標。我們發現，雖然不同的方法都成功地執行了由相應損失「鼓勵」的屬性，但是在無監督的情況下，這些方法似乎都無法識別出良好解耦的模型。除此之外，增加解耦似乎并不會降低下游任務學習的樣本復雜度。而我們的研究結果最終表明，未來對于解耦學習的研究應該明確歸納偏見和（隱式）監督在其中所發揮的作用，探究強制學習到的表示解耦的明確利好，并考慮涵蓋多個數據集的可重復的實驗設置。

《稀疏變分高斯過程回歸的收斂速度》

Rates of Convergence for Sparse Variational Gaussian Process Regression

• 論文作者：David R. Burt, Carl E. Rasmussen, Mark van der Wilk

• 論文下載地址：https://arxiv.org/abs/1903.03571

論文摘要：此前，我們對高斯過程后驗提出了效果很不錯的變分近似法，從而避免了數據集大小為 N 時，O(N3) 發生縮放。這些方法將計算成本降到了 O(NM2)，其中 M≤N 作為誘導概括高斯過程的變量的數值。雖然大小為 N 的數據集的計算成本幾乎呈線性，但算法真正的復雜性取決于 M 如何增加以確保一定的近似質量。對此，我們通過描述 KL 向后發散的上界行為來解決這個問題，并證明了在高概率情況下，通過讓 M 的增長速度慢于 N，從而使得 KL 的發散度可隨意減小。其中一個特別受關注的案例是，具有 D 維度中正態分布輸入為的回歸，使用常用的平方指數核函數 M=O(logDN) 便足夠了。我們的研究結果表明，隨著數據集的增加，高斯過程后驗可以真正近似地逼近，并為如何在連續學習場景中增加 M 提供了具體規則。

7 篇論文摘得提名獎

（圖片來源：Twitter 網友）

同期，ICML 2019 也公布了 7 篇摘得提名獎（Honorable Mentions）的論文，分別如下：

《類比可解釋性：趨向理解詞嵌入》

Analogies Explained: Towards Understanding Word Embeddings

• 作者：Carl Allen，Timothy Hospedales

• 論文下載地址：https://arxiv.org/pdf/1901.09813.pdf

《SATNet：使用差分可滿足性求解器來橋接深度學習和邏輯推理》

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

• 作者：Po-WeiWang，Priya L. Donti，Bryan Wilder，Zico Kolter

• 論文下載地址：https://arxiv.org/pdf/1905.12149.pdf

《深度神經網絡中隨機梯度噪聲的尾指數分析》

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

• 作者：Umut ?im?ekli，L, event Sagun, Mert Gürbüzbalaban

• 論文下載地址：https://arxiv.org/pdf/1901.06053.pdf

《趨向隨機傅里葉特征的統一分析》

Towards A Unified Analysis of Random Fourier Features

• 作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic

• 論文下載地址：https://arxiv.org/pdf/1806.09178.pdf

《分期償還的蒙特卡羅積分》

Amortized Monte Carlo Integration

• 作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth

• 論文下載地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

《多智能體深度強化學習的內在動機的社會影響》

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

• 作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas

• 論文下載地址：https://arxiv.org/pdf/1810.08647.pdf

《隨機波束以及找到它們的地方：取樣序列無需更換的 Gumbel-Top-k 方法》

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

• 作者：Wouter Kool, Herke van Hoof, Max Welling

• 論文下載地址：https://arxiv.org/pdf/1903.06059.pdf

ICML 2019 霸榜玩家：谷歌

5 月中，我們在《ICML 2019 論文收錄 TOP 榜單：清華領銜七家國內高校、企業登上榜單》一文中提到，谷歌在 reddit 網友根據 ICML 2019 論文收錄名單統計出的幾大 TOP 榜單中霸榜，讓排名其后的研究機構們都望塵莫及：

• 在研究機構收錄論文 TOP 榜單中，谷歌以 80+ 篇收錄論文數量位列第一且遙遙領先于排在其之后的 MIT、加州大學伯克利分校、谷歌大腦、斯坦福大學、CMU 以及微軟。另外在將工業界單拎出來的工業界研究機構收錄論文 TOP榜單中，谷歌及其附屬公司谷歌大腦、DeepMind 奪得前四席位，更是以壓倒性優勢拔得頭籌。

• 在以唯一作者、第一作者身份被收錄論文的作者 TOP 榜單中，來自谷歌的 Ashok Cutkosky 拿下了該榜單的第一名，在其被收錄的 3 篇論文中，有 1 篇唯一作者被收錄的論文、1 篇以第一作者被收錄的論文。

• 在各研究機構相對貢獻 TOP 榜單中，谷歌依舊獨占鰲頭，相對貢獻接近 40，遙遙領先于其后的斯坦福大學、加州大學伯克利分校、MIT、CMU。

而如今最佳論文獎揭曉，則是為谷歌在本屆 ICML 中所取得的佳績再添了一層光輝！ 雷鋒網雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。