0
| 本文作者： 高云河 | 編輯：郭奕欣 | 2017-04-26 10:05 | 專題：ICLR 2017 |
雷鋒網(wǎng)AI科技評論按：4月24日-26日，ICLR 2017于法國土倫舉辦。雷鋒網(wǎng)AI科技評論編輯赴前線帶來該會議的一線報道。期間，雷鋒網(wǎng)也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。
神經(jīng)網(wǎng)絡是功能強大而又靈活的模型，在圖像，語音以及自然語言理解等學習任務上有良好的效果。盡管神經(jīng)網(wǎng)絡很成功，但設計一個好的神經(jīng)網(wǎng)絡仍然十分困難。為了能夠使設計神經(jīng)網(wǎng)絡變得簡單，谷歌大腦團隊發(fā)表了一篇名為《Neural architecture search with reinforcement learning》的文章，該文章使用循環(huán)網(wǎng)絡來生成神經(jīng)網(wǎng)絡中的模型描述，并用強化學習訓練這個RNN，以最大限度的提高驗證集中生成的架構(gòu)的準確性。
該論文的作者之一Quoc V. Le是機器學習大牛吳恩達先生在斯坦福大學時期的博士生，而雷鋒網(wǎng)了解到，該論文將會在今天的 ICLR會議上作為第四個Contributed talk進行討論。
以下為雷鋒網(wǎng)AI科技評論據(jù)論文內(nèi)容進行的部分編譯。
過去幾年中，許多深度神經(jīng)網(wǎng)絡在語音識別，圖像識別，機器翻譯等富有挑戰(zhàn)性的任務中取得極大的成功。伴隨著神經(jīng)網(wǎng)絡的發(fā)展，研究人員的重點從特征設計轉(zhuǎn)移到了架構(gòu)設計，比如從SIFT和HOG算法，轉(zhuǎn)移到了AlexNet，VGGNet，GoogleNet，以及ResNet等網(wǎng)絡架構(gòu)設計中。盡管這些方法似乎變得更簡單了，但設計網(wǎng)絡架構(gòu)仍然需要大量的專業(yè)知識并耗費大量時間。
谷歌大腦團隊提出了神經(jīng)架構(gòu)搜索（Neural Architecture Search），使用基于梯度的方法以找到最優(yōu)的架構(gòu)，過程如上圖。由于神經(jīng)網(wǎng)絡的結(jié)構(gòu)可以由特定的變長字符串指代，因此可以使用循環(huán)神經(jīng)網(wǎng)絡（控制器）生成該字符串。使用真實數(shù)據(jù)訓練由字符串指代的網(wǎng)絡（“子網(wǎng)絡”），并在驗證集上得到一個準確率。之后使用強化學習訓練RNN，將準確率作為reward信號，即可以計算策略梯度，以便更新控制器。因此，在下一個迭代周期，控制器有更大的可能會生成一個能夠得到更高準確率的架構(gòu)。換種說法，控制器能夠?qū)W習如何改善它的搜索。
該論文的結(jié)果展示了神經(jīng)架構(gòu)搜索能夠設計出很好的模型，在CIFAR-10數(shù)據(jù)集上的圖像識別，神經(jīng)架構(gòu)搜索能夠找到一個新穎的卷積網(wǎng)絡模型，該模型比目前人工設計的最好的模型更好，在測試集上得到了3.84的錯誤率，同時速度是目前最好的人工模型的1.2倍。在Penn Treebank數(shù)據(jù)集的語言模型中，神經(jīng)架構(gòu)搜索設計出的模型比先前RNN和LSTM架構(gòu)更好，困惑度（perplexity）為62.4，比目前最好的人工方法提高了3.6.
使用控制器生成神經(jīng)網(wǎng)絡架構(gòu)的超參數(shù)，為了靈活性，控制器選擇為循環(huán)神經(jīng)網(wǎng)絡。下圖為預測只具有卷積層的前饋神經(jīng)網(wǎng)絡，控制器將生成的超參數(shù)看作一系列符號。
在實驗中，如果網(wǎng)絡的層數(shù)超過一定值，則生成架構(gòu)會停止。該值遵循一定的策略，并隨著訓練過程增加。一旦控制器RNN完成了架構(gòu)的生成，就開始構(gòu)建并訓練具有該架構(gòu)的神經(jīng)網(wǎng)絡。在網(wǎng)絡收斂之后，記錄網(wǎng)絡在驗證集中的準確率，并對控制器RNN的參數(shù)進行優(yōu)化，以使控制器所提出的架構(gòu)的預期驗證準確率最大化。
控制器預測的模型描述可以被看作設計子網(wǎng)絡的一系列action。在訓練子網(wǎng)絡收斂之后，該子網(wǎng)絡會在保留數(shù)據(jù)集上得到一個準確度R。使用準確度R作為reward信號，并使用強化學習訓練控制器。
CIFAR-10數(shù)據(jù)集上的卷積架構(gòu)學習
搜索空間為卷積結(jié)構(gòu)，使用了非線性層以及批歸一化（batch normalization）。對于每個卷積層，控制器需要在[1,3,5,7]中選擇濾波器的寬度和高度，在[24，36，48，64]中選擇濾波器數(shù)量。
RNN控制器為兩層LSTM，每層有35個隱藏單元。使用學習率為0.0006的ADAM優(yōu)化器訓練。控制器權(quán)值在-0.08到0.08之間平均初始化。并且進行分布式訓練，使用了800個GPU同時訓練800個網(wǎng)絡。當RNN控制器確定了一個架構(gòu)之后，子網(wǎng)絡就被構(gòu)建，并訓練50個周期。在控制器訓練過程中，控制器每確定1600個網(wǎng)絡架構(gòu)，網(wǎng)絡的深度就增加2，初始的網(wǎng)絡深度為6。
在控制器訓練了12800個架構(gòu)之后，得到了最高的驗證集準確率，與其他方法的準確率對比見下圖：
Penn Treebank數(shù)據(jù)集上循環(huán)網(wǎng)絡架構(gòu)學習
訓練過程與CIFAR-10實驗基本相同，最終結(jié)果如下：
總結(jié)：該論文提供了一種使用RNN構(gòu)建神經(jīng)網(wǎng)絡模型的方法。通過使用循環(huán)神經(jīng)網(wǎng)絡作為控制器，該方法可以靈活地在不同的結(jié)構(gòu)空間中搜索。該方法在一些具有挑戰(zhàn)性的數(shù)據(jù)集上有著很好的性能，也為自動構(gòu)建高質(zhì)量神經(jīng)網(wǎng)絡架構(gòu)提供了一個新的研究方向。
ICLR委員會最終決定
評價：該篇論文是提交給會議的論文中最好的幾篇之一。評委們都很欣賞該想法，并認為實驗設計得嚴密，有趣，引人注意。尤其令人感興趣的是實驗結(jié)果表明生成模型的性能比目前廣泛使用的模型更好（例如LSTM）。
決定: 接受（作為Oral文章）
評委評論：
打分：9分：所有接受論文中的Top 15%，強烈推薦
評價：該論文探索了自動架構(gòu)搜索領域的一個重要部分。盡管從技術(shù)上看，目前計算能力仍然緊張，但是隨著未來技術(shù)的進步，這種權(quán)衡會變得更好。
該論文覆蓋了標準的視覺和文字任務，并在許多數(shù)據(jù)集上進行了測試，展示了在標準RNN和CNN搜索空間之外仍然有改進的余地。盡管我們希望這個方法能夠應用到更多的數(shù)據(jù)集上，但是現(xiàn)在已經(jīng)能夠充分的展示出該方法不僅能與人工設計的架構(gòu)不相上下，甚至還能有所超越。這也意味著將一種方法應用到一個特定的數(shù)據(jù)集上，已經(jīng)不需要在每個步驟上都手動進行設置了。
該論文是一篇課題有趣，實驗結(jié)果良好的一篇文章。我強烈推薦接受。
評委評論：
打分：9分：所有接受論文中的Top 15%，強烈推薦
評價：該論文提供了一種基于actor-critic架構(gòu)的神經(jīng)網(wǎng)絡結(jié)構(gòu)搜索。該方法將DNN看作一種可變長度序列，并使用強化學習來尋找目標架構(gòu)，作為一個actor。在強化學習的背景下，節(jié)點選擇是一個action，架構(gòu)的誤差作為reward。一個雙層自回歸LSTM作為控制器和critic。該方法在兩個較難的問題上進行實驗，并與人工創(chuàng)建的多種架構(gòu)進行對比。
這是一個非常激動人心的文章。人工選擇架構(gòu)是很困難的，并且很難知道最優(yōu)的結(jié)果跟手工設計的網(wǎng)絡之間相距多遠。該方法很新穎。作者很詳細的闡述了細節(jié)，也指出了需要進行的改進的地方。測試的數(shù)據(jù)很好的展示了該方法的能力。能夠看到生成架構(gòu)和人工架構(gòu)之間的區(qū)別很有趣。文章寫得很清晰易懂。相關(guān)方法的覆蓋面和對比都很詳細。
如果能夠知道訓練所需要的時間，以及不同時間/資源比例所訓練處模型的質(zhì)量等數(shù)據(jù)就更好了。總之，這是一個極好而有趣的文章。
一個很好的文章:
打分：9分：所有接受文章的Top 15%，強烈推薦
評價：該文章提出了使用強化學習和循環(huán)神經(jīng)網(wǎng)絡來針對特定任務設計網(wǎng)絡架構(gòu)的方法。這篇文章的想法很有前景，并且在兩個數(shù)據(jù)集上的實驗結(jié)果表明了這個方法很扎實。
文章的優(yōu)點：
使用RNN來生成網(wǎng)絡的描述，使用RL訓練RNN，這個想法很有趣且很有前景。
生成的模型與人工設計的很相似，這也表明了人類的專家指示和生成網(wǎng)絡架構(gòu)是兼容的。
文章的缺點：
網(wǎng)絡的訓練時間過長，即使使用了大量的計算資源。
實驗并沒有提供生成架構(gòu)的泛化能力。如果能夠看到生成架構(gòu)在其他相似但不同的數(shù)據(jù)集上的表現(xiàn)就更好了。
總之，我相信這是一篇很好的文章。但是仍需要更多的實驗來展示它相較于人工設計模型的潛在優(yōu)勢。
想要深入了解該方法的請閱讀原論文：ICLR 2017
谷歌大腦團隊也在Tensorflow在GitHub的倉庫中開源了代碼：github
專題
本專題其他文章
