Twitter 又一力作：對Few-shot learning中的優化進行建模 | ICLR 2017

雷鋒網AI科技評論按：ICLR 2017 于4月24-26日在法國土倫舉行，雷鋒網AI科技評論的編輯們在法國帶來一線報道。在這個深度學習會議舉辦之際，雷鋒網也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。

據雷鋒網了解，這是一篇來自Twitter的研究員給ICLR 2017投遞的論文。目前論文已經被錄用而且還獲得了ICLR委員會的高度評價。想知道研究員在論文中又提出了什么新的研究思路？或者ICLR委員會對這項工作的評價如何？那就趕緊跟隨小編來看看吧。

以下內容是AI科技評論根據論文內容進行的部分編譯。

論文摘要

雖然當下深度神經網絡算法在大規模數據集上取得了巨大的成功，但是這類算法在少量學習（Few-shot Learning）任務中的表現卻往往不如人意，這是因為在少量學習任務中要求分類器能夠在經過每個類別的少量樣本訓練之后快速具備泛化能力。

現在大家通常都認為，要使得一個基于梯度下降優化算法的分類器能具備較好的表現就需要在大量訓練樣本上進行多次訓練迭代。而在本次的論文工作中，來自Twitter的研究員推出了基于LSTM的元學習模型（LSTM-based meta-learner model），該模型可以學習到精確的優化算法來訓練另外一個用于少量學習任務的神經網絡分類器。

• 圖1：該圖展示了元學習（Meta-learning）過程的一個示例。圖片分為兩大部分，上半部分的表示元訓練集（Meta-train set），記為D_meta-train，其中包含有若干個灰色矩形框分別表示每一條樣本，而矩形框內部又被虛線劃分為左右兩個部分，虛線左側的包含有訓練集D_train，而虛線的右側包含有測試集D_test。該示例所展示的是一個5種分類別的類任務，其中在每一條樣本的訓練集上都包含有5個類別的樣例（每一類分別被標注為1-5），然后測試集中則包含有2個樣例用于評估模型。圖片下半部分的表示元測試集（Meta-train set），記為D_meta-test，它的定義方式與D_meta-train完全一致，但是D_meta-test包含有D_meta-train中沒有覆蓋到的類別。此外，上圖中雖然沒有展示出來，但是數據集中還劃分了元驗證集（Meta-validation set）用于確定模型中的超參數。

基于LSTM的元學習模型的參數化特性允許它針對在需要一定量更新的特定場景下學習合適的參數更新方式，同時也可以學習到那些分類器網絡參數的通用初始化方式，從而加速分類器的訓練和擬合過程。

并且在論文中，研究員們還證明了這種元學習模式與用于少量學習的深度度量學習技術相比具有很強的競爭力。

ICLR 委員會的定稿意見

該論文的作者提出了一種元學習模式來解決少量學習的問題。論文中提到的算法非常有趣并且實驗結果也非常具有說服力。這是篇非常適合時宜的文章，它將在社區中受到廣泛的關注。三位評審員都給出了一致的意見——接受，而且其中兩位還顯得特別熱情。論文的作者也回復了其他一些對該論文持負面態度的審稿人所提出的疑問。不過該論文還需要繼續完善以便把其中的更多細節闡述清楚。總的來說，這篇論文已經被接受了。

匿名審稿人3

這項工作提出了一個基于LSTM的元學習框架，該框架可以學習到優化算法以用于訓練其它的學習算法（這里是神經網絡算法）。本文通篇都寫得很好，并且主要材料的介紹也寫得很清楚。本文的核心：繪制Robbins Monroe更新規則和LSTM更新規則之間的并行，并利用它來滿足少量學習的兩個主要目標這一點非常有趣。

匿名審稿人2

這篇論文通過將隨機梯度下降法（SGD）的更新規則解釋為具有可訓練參數的門控循環模型（Gated recurrent model），從而提出了一種全新的元學習方法。這個創意對于遷移學習（Transfer learning）的研究具有重要意義。論文的結構清晰，但是在某些細節方面的描述還可以提升。

via Optimization as a Model for Few-Shot Learning