圍觀騰訊 AI Lab 的4篇 ICML 入選論文 | ICML 2017

ICML是國際頂級的機器學習會議，它與NIPS一起，是機器學習與人工智能研究領域影響力極高的兩個主要會議。今年的ICML將于8月6-11日在澳大利亞悉尼召開，屆時雷鋒網 AI 科技評論也將前往現場進行報道。

作為國內著名的人工智能研究機構，騰訊 AI Lab 也有4篇論文入選了今年的 ICML。雷鋒網 AI 科技評論對這4篇論文簡單介紹如下。

Efficient Distributed Learning with Sparsity

• 「高效的分布式稀疏學習」

• 論文作者：王佳磊（芝加哥大學），Mladen Kolar（芝加哥大學）, Nathan Srebro（豐田芝加哥技術研究院），張潼（騰訊 AI Lab）

• 論文簡介：論文中介紹了一種新穎、高效的分布式稀疏學習方法，數據可以隨機分配在多臺計算機中進行學習。在所提方法的每一輪中，下屬工作計算機會根據其上的數據計算損失梯度，總計算機則會對一個偏移的 L1 正則化損失最小值問題求解。可以證明，在經過一定數量的循環后，這個分布式方法的估計誤差可以達到中心化計算的同等水平，而循環數量僅僅與計算機數目的對數成正比，而且與問題中其它的參數無關。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML3-%E7%8E%8B%E4%BD%B3%E7%A3%8A.pdf 

Projection-free Distributed Online Learning in Networks

• 「無需投影的網絡中的在線分布式學習」
  

• 論文作者：張文鵬（清華大學計算機系），Peilin Zhao（螞蟻金服人工智能部），朱文武（清華大學計算機系“” 教授，IEEE、AAAS、SPIE Fellow），Steven C. H. Hoi（新加坡大學信息系統學院），張潼（騰訊 AI Lab）

• 論文簡介：條件梯度算法由于其應對大規模機器學習問題時高效的特點，近幾年來重新成為了研究的熱門話題。然而，目前為止的研究都沒有考慮過在線分布式環境下的算法表現，這種情況下本地的計算量就很輕微。在這篇論文中，作者們提出了在線分布式狀況下的條件梯度算法，通過應用簡單得多的線性優化步驟，避免了算法副本中高成本的投影操作，填補了這一研究空白。作者們在所提的算法中加入了一個約束邊界，它是網絡大小和拓撲形式的函數，對于更小的圖或者連接狀況更好的圖，這個邊界就會越小。根據兩個真實的大規模數據集進行的多類別分類任務實驗表明了所提算法帶來的計算優勢，并且驗證了理論的約束邊界。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML-%E5%BC%A0%E6%96%87%E9%B9%8F.pdf 

GSOS: Gauss-Seidel Operator Splitting Algorithm for Multi-Term Nonsmooth Convex Composite Optimization

• 「GSOS：用于多項非平滑凸組合優化問題的高斯 - 賽德爾算子分裂算法」

• 論文作者：沈力（騰訊 AI Lab），劉威（騰訊 AI Lab），Ganzhao Yuan（中山大學），Shiqian Ma（香港中文大學）

• 論文簡介：這篇論文中介紹了一種快速的“高斯 - 賽德爾”算子分裂算法（Gauss-Seidel Operator Splitting，GSOS），用于解決多項非平滑凸組合優化問題；這種算法未來可以在機器學習、信號處理和統計中得到廣泛運用。所提的 GSOS 算法繼承了高斯 - 賽德爾算法的優點，能夠加速優化過程，并且借助算計分裂技巧降低了計算復雜度。另外，作者們還開發了一種新技術來為GSOS算法建立全局收斂。具體來說，作者們首先重構GSOS的迭代過程，通過應用算子優化理論讓它成為一個兩步的迭代算法。接下來，作者們基于這個兩步的迭代算法重構建立了GSOS的收斂。最后，作者們應用這種GSOS算法解決重疊群套索和圖引導稠套索問題。數值實驗結果表明所提的GSOS算法在效率和有效性方面都比當前最好的方法有提升。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML1-%E6%B2%88%E5%8A%9B-%E5%88%98%E5%A8%81.pdf 

Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction

• 「同時降低特征和樣本數量，提高稀疏SVM的規模」

• 論文作者：張衛忠（浙江大學計算機系），Bin Hong（密歇根大學），劉威（騰訊 AI Lab），Jieping Ye（密歇根大學），Deng Cai（浙江大學計算機系），Xiaofei He（浙江大學計算機系），Jie Wang（密歇根大學）

• 論文簡介：稀疏支持向量機（SVM）是一種常見的分類方法，它可以同時學習一組數量不多、解釋性強的特征并找到支持向量。這種方法在許多實際應用中都取得了不錯的效果。然而，在樣本數量非常多、特征維度非常高的大規模問題中，求稀疏SVM仍然是一個有難度的問題。作者們注意到稀疏SVM會導致特征空間和樣本空間都出現稀疏性，從而提出了一種全新的方法，它基于對原始和雙重優化SVM的精確估計，然后同時找到能夠確認與輸出相關的支持向量和樣本。這樣，作者們就可以從訓練過程中去掉已經找到的非活動樣本和特征，從而在不降低正確率的前提下顯著降低內存占用和計算成本。據作者們所知，所提的這種方法是第一個用于稀疏SVM的統計性特征和樣本削減方法。論文中分別基于生成的和真實數據集進行了實驗（真實數據集例如包含大約2千萬樣本和3千萬特征的kddb數據集），結果表明所提的方法相比現有方法得到了明顯提升，而且所提的方法有若干數量級的速度提升。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML2-%E5%BC%A0%E5%8D%AB%E5%BF%A0.pdf 

ICML 2017即將開幕，雷鋒網 AI 科技評論會前往現場報道。CVPR 2017 和 ACL 2017中的精彩內容也還在繼續，請繼續關注我們哦。