0
雷鋒網 AI 科技評論按：深度學習的研究者們一直希望給神經網絡加上顯式的泛化能力，以便讓它完成更困難的任務。DeepMind 近期也在這個方向上展開了研究并在 JAIR（Journal of Artificial Intelligence Research）雜志發表了論文，也在博客中以一個踢足球為引子介紹了論文的主要內容。雷鋒網 AI 科技評論把博客內容編譯如下。
假想你在踢足球。球到了你腳下，然后你打算把球傳給沒人盯防的前鋒。這個看起來簡單的動作，其實需要兩種不同的思維。
首先，你需要認識到自己腳下有一個足球。這個認知動作需要直覺式的認識思維：你很難詳細描述你是如何知道腳下有一個足球的，你只是看到了這個球而已。然后，你打算把球傳給某一個前鋒，做出這樣的決策需要概念思維。這個決策是基于你自己的判斷做出的：之所以你打算把球傳給這個前鋒，是因為沒人盯防他。
這兩種思維之間的區別讓 DeepMind 的研究人員們感到非常有趣，因為這兩種不同的思維剛好對應了兩種不同的機器學習方法，那就是深度學習和符號程序生成（symbolic program synthesis）。深度學習的核心是直覺式的認知思維，而符號程序生成關注的是概念式的、基于規則的思維。兩種系統各有所長，深度學習對有噪聲數據的魯棒性不錯，但是難以解釋，并且需要很多數據來訓練；而符號化的系統解釋起來就要簡單得多，需要的訓練數據也少得多，但是處理有噪聲的數據就非常困難。人類的認知過程當然可以無縫銜接這兩種不同的思考方式，但是在單個 AI 系統中同樣實現這兩種思維就不是一件簡單的任務了。
DeepMind 的論文《Learning Explanatory Rules from Noisy Data》就研究了這個問題，表明在一個系統中綜合直覺感知思考和可解釋概念推理是可能的。這篇論文也發表在了 JAIR 雜志上。論文中介紹的系統，「?ILP」，對噪聲魯棒、能高效地利用數據，而且能夠產生可解釋的規則。
在論文中，DeepMind 演示了 ?ILP 在歸納任務中的表現。展示給系統的是成對的數字的圖像，系統要做的是輸出一個標簽（0 或者 1）來表示左側圖中的數字是否小于右側圖中的數字。解決這樣的任務就同時需要前面提到的兩種思維：識別圖像中的具體是哪個數字需要直覺性的認知思維，而足夠泛化地理解「小于」關系則需要概念思維。
對于一個標準的深度學習模型來說（比如帶有 MLP 的卷積神經網絡），如果給它足夠的數據，它也能很快學會解決這個問題。一旦訓練結束，給它看從未見過的對象對，它也能正確分類。可是如果想要它能正確地泛化，還是需要每一對數字都有很多個樣本用來訓練才行。這樣的模型很善于做視覺任務的泛化：只要它看過所有測試集里有的每對數字（如下圖綠色區域），它就能泛化到新的圖像上。但是它做不了符號化思維的泛化：如果有一對數字是它沒有見過的（如下圖藍色區域），它就沒辦法泛化。Gary Marcus 和 Joel Grus 等研究者最近也在文章中指出了這一點，令人深思。
?ILP 和標準神經網絡的不同之處就是在于它能以符號化的方式泛化，而且它也和標準的符號化程序不一樣，它可以泛化它的視覺能力。它從樣本中學習到的顯式程序是可閱讀的、可解釋的、可驗證的。對 ?ILP 來說，給它樣本集中的一部分（和需要的結果），它就能產生一個可以滿足它們的程序。它會用梯度下降搜索整個程序空間。如果程序的輸出和參考數據中得到的理想輸出不一致，系統就會引導程序更新，讓輸出更符合數據。
論文中介紹的系統 ?ILP 可以符號化地泛化。當它看過「x<y」、「y<z」、「x<z」的樣本之后，它就會考慮「<」這個關系有可能是傳遞性的。當它確認了這個通用規則之后，它就可以把它用在一對以前從來沒有見過的數字上。
DeepMind 的研究人員們認為，他們的這項成果某種程度上回答了「在深度神經網絡中實現符號化泛化有沒有可能」這個問題。在未來的研究中，他們還打算把類似 ?ILP 這樣的系統集成到強化學習智能體和更大的深度學習模型中。他們希望賦予智能體新的能力，不僅要能夠推理，還要懂得做出即時反應。
論文地址：http://www.jair.org/media/5714/live-5714-10391-jair.pdf
via DeepMind Blog，雷鋒網 AI 科技評論編譯
相關文章：
李飛飛：在物體識別之后，計算機視覺還要多久才能理解這個世界 | IROS 2017
DeepMind 開源虛擬實驗室 Psychlab，利用認知心理學對智能體進行研究
DeepMind眼中的神經科學研究：人工智能進步的另一個重要支點
