0
| 本文作者： AI研習社-譯站 | 2020-12-03 10:52 |
譯者：AI研習社（季一帆）
雙語原文鏈接：‘Must-Read’ AI Papers Suggested by Experts - Pt 2
我們之前寫了一篇文章，向大家推薦了一些AI必讀論文，引起很好的反響。現在，我們推出了第二篇文章。這次推薦的論文依然是分量十足、誠意滿滿，各位推薦者都認為自己推薦的論文是AI人員必讀的經典之作，不知各位讀者怎么看?，F在，我們來看看這次入選的是哪些論文吧！
不過在這之前，我還是向您推薦我們之前的那一篇文章，那篇文章也絕對值得一讀。
推薦論文1：f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization （f-GAN: 使用變分散度最小化訓練生成神經采樣器）- Sebastian Nowozin et al.
https://arxiv.org/pdf/1711.04894.pdf
Alexia提出可以將若干分類器視為估計f散度，于是，GAN可以被解釋為最小化估計和散度。在論文中，Microsoft Research的研究人員詳細介紹了相關工作、論文方法和實驗驗證。閱讀原文獲取更多信息。
推薦論文2：Sobolev GAN - Youssef Mroueh et al.
https://arxiv.org/pdf/1711.04894.pdf
本文將WGAN-GP中的梯度范數懲罰視為約束鑒別器，從而使其unit-ball具有梯度。論文的數學論證極其復雜，但我們只要記住，關鍵在于可以對鑒別器添加各種各樣的約束。這些限制條件可以防止鑒別器過分嚴格。論文中的Table1非常重要，我曾數次翻閱該論文，只為查看Table1，該表顯示了可用的各種不同約束。閱讀原文獲取更多信息。
老實說，我并不會覺得有哪篇論文要比其他論文更重要，因為我認為所有論文都是相互依存的，而科學是協作的成果。但還是要說，就我個人而言，還是會更加偏愛一些論文的，從這些論文中我受益匪淺，但這并不是說其他論文不好。這只意味著，我個人比較喜歡以下兩篇論文。
推薦論文1：Where Do Rewards Come From? （獎勵從何而來？）- Satinder Singh et al.
https://all.cs.umass.edu/pubs/2009/singh_l_b_09.pdf
本文提出了一種通用的獎勵計算框架，在給定適應度函數和環境分布的情況下，該框架給出了最優獎勵函數的概念。實驗結果表明，在此最佳獎勵函數中，傳統的外在和內在行為概念均有體現。閱讀原文了解更多信息。
推薦論文2：Building machines that learn and think like people （讓機器向人類一樣學習與思考）- Brenden Lake et al
本文回顧了認知科學的進展，表明要想實現真正像人類一樣學習和思考的機器，需要當前研究的創新性改進。具體來說，我們認為這樣的機器應具有以下能力：1）建立可解釋的、可理解的世界因果模型，而不僅僅是解決模式識別問題；2）在物理學和心理學層面進行學習，以支持和豐富機器所學知識；3）利用相關性以及學會學習使機器快速獲取知識，并擴展到新的任務和情況。閱讀原文了解更多信息。
推薦論文1：Attention Is All You Need （“笨蛋”，根本問題是注意力）- Ashish Vaswani et al.
https://arxiv.org/abs/1706.03762
在NLP科學家于2017年提出"Attention is All You Need"之后，BERT或GPT-2 / 3等大型預訓練語言模型如雨后春筍般出現。這些模型令人稱奇的結果不僅引起了ML / NLP研究人員的強烈關注，在公眾中也引起波瀾。例如，2019年，OpenAI宣稱GPT-2“太過危險而不能公開”，這說法簡直讓人抓狂，但事實是，GPT-2確實能夠生成與真實新聞無法區分的假新聞。幾周前發布的GPT-3甚至被稱為“自比特幣以來最大的新聞”。閱讀原文了解更多信息。
推薦論文2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data （邁向NLU：關于數據時代的意義，形式和理解）- Emily M. Bender et al.
https://www.aclweb.org/anthology/2020.acl-main.463.pdf
AI大熱，但我希望向你潑點冷水，冷靜下來好好看看2020年7月ACL會議的最佳主題論文-“邁向NLU：關于數據時代的意義，形式和理解”。作者認為，盡管現有模型（例如BERT或GPT）成果豐碩，但與人類相比，很難說它們是理解了語言及其含義。作者解釋道，理解是人們在交流中，根據所說話語明白對話意圖時發生的。這樣，如果僅僅是語言文字，沒有現實生活中的交互作用，則不可能學習和理解語言。換句話說，“從一定形式中是學習不到意義的”，這就是為什么即使巨大且復雜的語言模型也只是學習意義的“映射”，而不能了解意義本身。閱讀原文了解更多信息。
推薦論文1：The Computational Limits of Deep Learning （深度學習中的計算極限）- Johnson et al
https://arxiv.org/abs/2007.05558
麻省理工學院和IBM Watson Lab發表的這篇論文對DL出版文獻進行匯總分析，介紹了DL模型訓練計算量的增加與其性能表現間的相關性。同時論文指出，隨著計算能力的提高，模型性能改善呈放緩趨勢。閱讀原文了解更多信息。
推薦論文2：Survey on deep learning with class imbalance（關于類別不平衡的DL綜述）. Journal of Big Data, 6(1), 27.
該論文匯總介紹了不同DL算法是如何處理類別不平衡問題，該問題存在于信用建模、欺詐檢測或醫學檢測/癌癥檢測等各種工業應用中。論文對不同方法進行比較分析，并著重介紹了各種方法處理類別不平衡數據的差異，為進一步的研究指明方向，閱讀原文了解更多信息。
也許幾年后回頭看，人們會發現2020年似乎是自我監督元年。自監督學習就是用非標注數據進行預訓練，然后在有限標注的下游任務進行微調。僅在2020年6月之前，眾多SOTA被先后打破，包括但不限于PIRL，SimCLR，InfoMin，MOCO，MOCOv2，BYOL，SwAV，SimCLRv2等眾多自監督學習方法引起廣泛關注。通過以下這個例子來感受一下這些方法究竟多么讓人稱奇吧。僅僅使用不帶標簽的ImageNet，然后用1％的標簽進行微調，SimCLRv2模型就可以在ImageNet數據集上實現92.3％的Top-5準確性。很神奇吧，僅僅1％的標注就可以取得這樣令人滿意的結果。對于缺少標注數據的領域如醫學、衛星等來說，自監督學習就是這些領域應用的福音。
推薦論文：A Simple Framework for Contrastive Learning of Visual Representations （一個簡單的圖像表示對比學習框架）- Ting Chen et al
https://www.aclweb.org/anthology/2020.acl-main.463.pdf
優秀的論文不僅實驗嚴密、結果出色，而且還能簡介明了的向讀者清晰的表達自己的關鍵思想。SimCLR就是如此，簡潔明了，效果出色，這使其成為對比學習領域最值得閱讀論文之一。研究表明，在特定數據集中，通過數據增強策略獲得更好的圖像表示，對于對比學習至關重要。希望更多研究者關注到SimCLR，在X射線、MRI、音頻、衛星圖等領域推動該方法進一步的研究與發展。
https://arxiv.org/abs/1908.08593
BERT Transformer結構極大推進了機器對文本數據的表示和理解能力，對于NLP的研究發展具有革命性的意義，可以說這就是NLP的“ImageNet”。Transformer架構的關鍵在于自我注意機制，“BERT揭秘”一文便對注意力的背后原理進行了探討。
更準確地說，這項研究量化了注意力頭捕獲的語言信息，包括句法和語義關系等。此外，論文還進一步研究了自我注意模式的多樣性及其對各種任務的影響。
該論文的研究聚焦于深層次理解強大的transformer架構，不僅利于推動該領域的進一步發展，而且有利于研究人員做出更明智的決策。也就是說，如果知道某些精簡的小型體系結構會產生相似的性能，這就意味著在架構設計和空間占用方面有了更好的選擇。
閱讀原文了解更多信息。
本文從概念到實踐對深度學習進行詳細介紹，對于理解深度學習具有重要幫助。由于黑匣子性質，神經網絡不僅訓練成本高昂，而且不具可解釋性。同時，最近數據保護法規的更改將推動可解釋AI的研究，神經網絡受到挑戰。
盡管如此，在某些商業應用中，只有神經網絡才能有效地完成工作，因此掌握神經網絡技術依然至關重要。在我使用R語言進行一年左右的深度學習研究與實踐中，本書是我的良師益友，指導我熟練地使用神經網絡并完成圖像識別項目。
推薦論文1：Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference（錯誤的真正原因：自然語言推理中的啟發式句法診斷）
我推薦的第一篇論文是MaCoy，Pavlick和Linzen的“錯誤的真正原因：自然語言推理中的啟發式句法診斷”，論文表明transformer架構顯著推動了自然語言推理等NLU任務的進步。在技術研究之外，“錯誤的真正原因”強調了基于當前數據集的系統缺陷，這在NLU任務中是致命漏洞。本論文將提醒AI從業者和研究人員保持清醒與理智。閱讀原文了解更多信息。
我推薦的第二篇論文是關于DL信息瓶頸分析的，也就是Achille和Soatto的研究成果“深度表示中的不變和解耦”，閱讀博客了解詳細信息。
https://montrealethics.ai/the-state-of-ai-ethics-report-june-2020/
推薦論文：The State of AI Ethics Report（AI倫理道德報告）
在蒙特利爾AI倫理研究所，我們一直在關注一些最具影響力的論文，這些論文不僅關注AI倫理的常見問題，而且基于經驗科學并能指導實踐。為此，我們將過去一個季度的工作整理成《 AI倫理道德報告，2020年6月》，用于指導該領域的研究人員和從業人員在實踐過程中遵守AI倫理責任。該報告的內容包括但不限于，NLP模型中對殘疾人的社會偏見，YouTube反饋回路的潛在缺陷，AI治理，即在AI中實施道德規范的整體方法以及對抗性機器學習-行業觀點。閱讀原文了解更多信息。
推薦論文：The Discipline of Machine Learning（機器學習學科建設）
http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf
本文簡要介紹了機器學習學科建設綱要，機器學習要解決的基本問題和與其他科學和社會的關系，以及進一步的發展方向。閱讀原文了解更多信息。
https://en.m.wikipedia.org/wiki/Overfitting
Diego認為AI人員要對“過擬合”有清晰完整的了解。本文涉及內容涵蓋統計推斷，回歸等。閱讀原文了解更多內容。
AI研習社是AI學術青年和AI開發者技術交流的在線社區。我們與高校、學術機構和產業界合作，通過提供學習、實戰和求職服務，為AI學術青年和開發者的交流互助和職業發展打造一站式平臺，致力成為中國最大的科技創新人才聚集地。
如果，你也是位熱愛分享的AI愛好者。歡迎與譯站一起，學習新知，分享成長。
