ICML 上有19場 DeepMind的論文演講，多到看不過來了 | ICML 2017

雷鋒網(wǎng) AI 科技評論按：ICML 2017馬上就要在悉尼舉行了。ICML （International Conference on Machine Learning）與每年年底舉行的NIPS（Conference on Neural Information Processing Systems）是機(jī)器學(xué)習(xí)與人工智能研究領(lǐng)域影響力極高的兩個主要會議，另外上半年舉行的 ICLR（International Conference on Learning Representations）也有后來居上的趨勢。

ICML 2017的會議時間是8月6日到8月11日，悉尼的跟北京的時差也僅僅有兩個小時而已，所以很快就要到了。其實(shí) ICML 2017 接收論文名單早在5月就公布了，不過 DeepMind 還是想提醒參會者們關(guān)注一下自己的論文，所以今天在自己研究 blog 上發(fā)出了一份論文演講清單。

這份清單中一共有 19 篇論文，也就是 19 個論文演講，其實(shí) DeepMind 在此屆 ICML 上收錄的論文本來也有25篇之多。一個 19 篇論文的清單太長了，以至于 DeepMind 都把這份清單分成了3篇來發(fā)。

論文這么多，雷鋒網(wǎng) AI 科技評論這里為大家簡單介紹其中3篇。

Sharp Minima Can Generalize For Deep Nets

• 深度神經(jīng)網(wǎng)絡(luò)中尖銳的最小值也可以讓模型具有泛化能力

• 論文作者：Laurent Dinh (Univ. Montreal), Razvan Pascanu, Samy Bengio (Google Brain), Yoshua Bengio (Univ. Montreal)

• 論文簡介：雖然深度學(xué)習(xí)架構(gòu)的過擬合能力強(qiáng)得過頭了一點(diǎn)，不過它們對于全新數(shù)據(jù)的泛化能力還是相對不錯的，這樣就可以用它們來解決一些實(shí)際問題。然而，解釋這種狀況背后的機(jī)理仍然是研究中的一個富有開放性的問題。有一種假設(shè)最近得到了越來越多的關(guān)注，就是基于隨機(jī)梯度的方式找到的損失函數(shù)的最小值，它的平滑度越高，模型的泛化性能就越高。這篇論文提出了這樣的觀點(diǎn)：多數(shù)關(guān)于平滑度的想法對于深度神經(jīng)網(wǎng)絡(luò)都不貼切，而且沒辦法直接用來解釋泛化性。具體討論帶有激活函數(shù)的深度神經(jīng)網(wǎng)絡(luò)的話，可以得出由繼承對稱性引出的這些網(wǎng)絡(luò)架構(gòu)的參數(shù)空間的特定幾何結(jié)構(gòu)，利用這些幾何結(jié)構(gòu)可以構(gòu)建出跟任意更尖銳的最小值等效的模型。更進(jìn)一步地，如果允許對一個函數(shù)重新參數(shù)化，它的參數(shù)幾何結(jié)構(gòu)可以大幅度變化，但并不影響它的泛化屬性。

• 論文地址：https://arxiv.org/abs/1703.04933 

• 論文演講：Monday 07 August, 11:06-11:24 @ C4.8 

• 海報(bào)地址：Tuesday 08 August, 18:30-22:00 @ Gallery #3

Learning to learn without gradient descent by gradient descent

• 無需梯度下降的梯度下降，學(xué)會一個會學(xué)習(xí)的模型

• 論文作者：Yutian Chen, Matthew Hoffman, Sergio Gomez, Misha Denil, Timothy Lillicrap, Matthew Botvinick , Nando de Freitas（全部都是 DeepMind 英國團(tuán)隊(duì)成員）

• 論文簡介：借助梯度下降的方法，可以用簡單的生成函數(shù)訓(xùn)練，學(xué)到循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）優(yōu)化器。可以表明，這些學(xué)到的優(yōu)化器展現(xiàn)出了相當(dāng)高的遷移能力，它們可以用來高效地優(yōu)化很多種不可導(dǎo)的“黑盒”函數(shù)，包括 bandit 環(huán)境下的高斯過程、簡單控制對象、全局優(yōu)化benchmark和超參數(shù)調(diào)節(jié)任務(wù)。在訓(xùn)練層面上，學(xué)到的優(yōu)化器可以學(xué)會在應(yīng)用和探索中找到平衡，并且根據(jù)自己的偏好在高度工程化的貝葉斯優(yōu)化方法集中選擇適合做超參數(shù)調(diào)節(jié)的方法。

• 論文地址：https://arxiv.org/abs/1611.03824 

• 論文演講：Monday 07 August, 17:15-17:33 @ Darling Harbour Theatre

• 海報(bào)地址：Tuesday 08 August, 18:30-22:00 @ Gallery #6

• 雷鋒網(wǎng) AI 科技評論注：這篇論文的名字很有特點(diǎn)，而且論文一作也是華人，我們已經(jīng)叮囑了前方記者特別關(guān)注一下，請期待我們的好消息

Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

• 用 WaveNet 自動編碼器神經(jīng)網(wǎng)絡(luò)生成樂音

• 論文作者：Sander Dieleman, Karen Simonyan, Jesse Engel (Google Brain), Cinjon Resnick (Google Brain), Adam Roberts (Google Brain), Douglas Eck (Google Brain), Mohammad Norouzi (Google Brain)

• 論文簡介：在算法進(jìn)步和高質(zhì)量圖像數(shù)據(jù)集這兩個因素的幫助下，視覺方面的生成式模型已經(jīng)得到了快速的發(fā)展。這篇論文為音頻領(lǐng)域的這兩個因素都做出了貢獻(xiàn)，以便音頻模型也可以有更大的發(fā)展空間。首先，作者們詳細(xì)介紹了一個優(yōu)越的新型 WaveNet 樣式的自動編碼器模型，它對應(yīng)著一個能從原始音頻波形學(xué)到臨時編碼的自回歸解碼器。其次，作者們介紹了 NSynth，這是一個大規(guī)模、高質(zhì)量的音樂數(shù)據(jù)集，它比現(xiàn)有的公開數(shù)據(jù)集規(guī)模要大一個數(shù)量級。借助 NSynth，論文中展現(xiàn)出，相比一個完善優(yōu)化過的頻譜自動編碼器基準(zhǔn)模型， WaveNet 自動編碼器在定量和定性表現(xiàn)上都有提高。最后，論文表明這個模型可以學(xué)到多種embedding，從而可以在樂器之間轉(zhuǎn)化、在音色中做有意義的插值，創(chuàng)造出真實(shí)動人的新的類型的聲音。

• 論文地址：https://arxiv.org/abs/1704.01279 

• 論文演講：Tuesday 08 August, 14:42-15:00 @ Parkside 1

• 海報(bào)地址：Tuesday 08 August, 18:30-22:00 @ Gallery #98

其它 16 篇演講論文

• Decoupled Neural Interfaces using Synthetic Gradients

• https://arxiv.org/abs/1608.05343 

• Parallel Multiscale Autoregressive Density Estimation

• https://arxiv.org/abs/1703.03664 

• Understanding Synthetic Gradients and Decoupled Neural Interfaces

• https://arxiv.org/abs/1703.00522 

• Minimax Regret Bounds for Reinforcement Learning

• https://arxiv.org/abs/1703.05449 

• Video Pixel Networks

• https://arxiv.org/abs/1610.00527 

• Why is Posterior Sampling Better than Optimism for Reinforcement Learning?

• https://arxiv.org/abs/1607.00215 

• DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

• http://arxiv.org/abs/1707.08475 

• Automated Curriculum Learning for Neural Networks

• https://arxiv.org/abs/1704.03003 

• A Distributional Perspective on Reinforcement Learning

• https://arxiv.org/abs/1707.06887 

• A Laplacian Framework for Option Discovery in Reinforcement Learning

• http://proceedings.mlr.press/v70/machado17a/machado17a.pdf 

• Cognitive Psychology for Deep Neural Networks: A Shape Bias Case Study

• https://arxiv.org/pdf/1706.08606.pdf 

• Count-Based Exploration with Neural Density Models

• https://arxiv.org/abs/1703.01310 

• The Predictron: End-to-End Learning and Planning

• https://arxiv.org/abs/1612.08810 

• FeUdal Networks for Hierarchical Reinforcement Learning

• https://arxiv.org/abs/1703.01161 

• Neural Episodic Control

• https://arxiv.org/pdf/1703.01988.pdf 

• Neural Message Passing Learns Quantum Chemistry

• https://arxiv.org/abs/1704.01212 

對后16篇論文演講時間和海報(bào)地點(diǎn)感興趣的讀者，可以訪問 DeepMind 原博具體查看。這里是論文清單3篇里第一篇的地址，在文末有指向另外兩篇的鏈接。

不能親臨 ICML 2017 的讀者，可以先看看以上的論文，并期待我們的會議相關(guān)報(bào)道；能夠到現(xiàn)場的呢，雷鋒網(wǎng) AI 科技評論就跟你們現(xiàn)場見！

相關(guān)文章：

科技公司爭相涌進(jìn)ICML 2017，論文數(shù)占1/4，Google獨(dú)占6.3％

劉鐵巖團(tuán)隊(duì)ICML論文提出機(jī)器學(xué)習(xí)的新范式：對偶監(jiān)督學(xué)習(xí)