0
| 本文作者： 林少宏 | 編輯：郭奕欣 | 2017-04-26 10:11 | 專題：ICLR 2017 |
雷鋒網AI科技評論按：ICLR 2017 將于4月24-26日在法國土倫舉行，雷鋒網AI科技評論的編輯們也在法國帶來一線報道。在這個深度學習會議舉辦之前，雷鋒網也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報道，敬請期待。
今天介紹的這篇論文由Facebook AI Research兩位大牛Antonie Bordes和 Jason Weston 2016 年發表于arXiv，并當選 ICLR 2017 oral paper。
論文展示了一種即可以做自由對話又可以與知識庫的API調用相結合的聊天機器人，針對目標導向的聊天機器人進行了研究。傳統面向目標的對話系統在應用時的需要做大量的特定領域的手工修正，每擴展到一個新領域也需要做對應的修改。而基于深度學習的目標導向聊天機器人掃除了這一障礙。
面向目標的聊天機器人定義了兩種不同的評價標準：每一次回復和針對每一個目標的一輪完整對話的正確率。該系統期望去理解用戶的需求并通過有限輪次的對話完成明確的目標，文中以餐館預訂為例，目標是通過對話的方式幫助用戶預訂餐館。每個餐館的屬性包括：口味，地點，價格區間，桌子大小，地址，電話，用戶評分7個維度。整個訂餐任務被劃分為5個子任務：
圖1 基于端到端深度學習的目標導向聊天機器人服務示例
任務1. 用戶使用的給定的請求語句，向系統發起預定餐廳的請求，對話系統比對API調用所需的參數，通過提問題的方式向用戶請求缺失的字段信息。
任務2.獲取任務1中得到的字段后，詢問用戶是否更改當前查詢信息，給用戶1~4次修改需求的機會。
任務3. 根據用戶需求調用相應 API查詢知識庫中存儲的餐館信息，并將候選結果按評分由高至低的順序，列舉給用戶，直到用戶接受為止。
任務4. 待用戶選定候選餐廳后，提供該餐廳的其他信息服務，比如提供詳細電話、地址信息。
任務5. 整合所有的對話，返回用戶在第三個任務中選擇的結果。
Facebook團隊把訂餐這個場景，人為得分為了5種不同難度等級的任務，從最簡單的能夠發出API Call，到能夠完成整段對話。這樣拆成5個步驟的對話系統，每個任務的目標都很明確，從而一定程度上避開了對話質難以評估的問題。
團隊還測試目前的模型能夠達到的性能以及未來的研究方向。文中所用數據并非全部為真實數據，Facebook團隊生成了一些模擬的對話數據，5個任務用的都是模擬對話，模擬的方法是用43種語言模式生成用戶會話，用20種語言模式生成聊天機器人會話。也使用了DSTC(Dialog State Tracking Challenge)的訂餐數據，并將DSTC的數據轉換成為了系統所定義的格式。因此，大家并不能直接比較這篇文章和DSTC里其他工作做性能比較。
該系統使用的深度學習網絡結構是 端到端記憶網絡結構(End-to-End Memory Networks)，為了適用目標導向的應用場景，作者對Memory Networks做了如下的擴展：
每一步對話中，當前的用戶語句和系統的回答都需要存入Memory里面（這個Memory不是一般的Memory，而是Facebook 重量級項目Memory Networks的一個特殊設施）；
除此以外，系統還需要存放額外的信息，包括Time Index和目前是誰（用戶還是系統）在說話，有一個注意力機制（Attention Mechanism）來Memory里查找合適的信息。
最后，輸出機制是在一大堆自然語言輸出和API 調用之間進行選擇。
其中Memory Network為了處理新出現的餐廳名等實體詞(OOV)導致缺失word embbeding或者不同電話號碼的embeddings不可區分問題, 作者對實體詞添加7種預定義的類型詞(type word)，取得不錯效果。
在餐廳預定模擬的語料上，為了驗證處理Out-of-Vocabulary等能力, 作者進一步把菜系和地點實體詞分成兩份，然后根據兩份實體詞把KB分成兩個，一個KB用于產生訓練集，測試集和驗證集，另一個KB只產生測試集(OOV test sets)。然后把對話任務分解成5個子任務，在這個模擬語料上訓練，用每一次回復和每一輪完整對話的正確率作為評價標準。為了驗證模型遷移到其他真實場景的能力，作者收集禮賓服務的語料數據。
文章中分別對基于記憶神經網絡的方法、有監督的嵌入模型、基于檢索的方法以及基于規則的方法進行了實驗，實驗表明基于記憶神經網絡的方法優于其他方法。Memory Networks在所有的任務上都有不錯的表現。由于模型定義得非常個性化，在適應性方面，記憶絡網結構相比其他模型有較大差距。
ICLR對這篇文章的的評語：
目前大多數對話系統都是基于自由聊天模型， 本文探討了目標導向的對話系統，類似訂餐館時的對話， 雖然該方法論適應場景少，但這不是本文的主要重點。本文的成果是作者提供了具有創意的對話評估標準和開放的數據集。會議評論者喜歡這篇論文，這篇論文在一個廣泛探索的話題上樹立了很好的口碑，并開辟了一個相當新穎的方向。
Via Learning End-to-End GoalOriented Dialog
專題
本專題其他文章
