ICLR 2018 | Uber AI實驗室提出： 測量目標空間的固有維度

雷鋒網按：本文由雷鋒字幕組編譯，原標題 Measuring the Intrinsic Dimension of Objective Landscapes，作者為 Uber AI Labs。

翻譯 | 宥佑  余杭    整理 |  凡江

Uber研究團隊在 ICLR 2018 上展示了這篇「 測量目標空間的固有維度 」，研究試圖提出一種測量基本網絡屬性的簡單方法，被稱為“固有維度”。

下面的視頻總結Uber的方法和發現：

過去十年來，神經網絡徹底改變了機器學習。機器學習從一個相對晦澀的學術研究領域崛起成為工業支柱，在大量數據可用的地方為眾多應用提供支持。Uber 將神經網絡用于多種應用，建立基于計算機視覺模型的世界地圖、使用自然語言理解實現更快的消費者反映、通過對騎手需求模式進行建模來縮短等待時間。

在許多情況下，最成功的神經網絡采用大量參數，從幾百萬到幾億甚至更多 ，以實現最佳性能。更令人興奮的是，這些龐大的網絡通常運作得很好，無論他們的任務如何，都能有較好的表現。但是這樣的模型基本上是復雜的系統，無需人工干預就可以學習大量的參數，因此易于理解。盡管如此，仍然需要進一步理解網絡行為，因為隨著網絡對社會的影響越來越大，理解其運作變得越來越重要，更好地理解網絡機制和屬性將加速下一代模型的構建。

Uber研究團隊的這篇「測量目標空間的固有維度 」已經在ICLR 2018上展示了，研究試圖提出一種測量基本網絡屬性的簡單方法，被稱為“固有維度”。他們提出，將固有維度作為模型復雜度的量化方式，并與其原始參數量相分離。與此同時，提供了一種使用隨機投影來測量此維度的簡單方法，發現很多問題的固有維度都比人們想象得要小。通過使用固有維度來比較跨域問題，例如，解決倒立擺問題比MNIST分類數字要容易100倍，利用像素玩 Atari Pong（雅達利游戲） 和分類 CIFAR-10 一樣難。

論文參考：https://eng.uber.com/intrinsic-dimension/

雷鋒網雷鋒網

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。