1
雷鋒網 AI 科技評論按：在生產和經濟高度全球化的今天，機器翻譯（Machine Translation）是人類面對外語時最渴望擁有的工具，也是神經網絡帶來最大變革的人工智能問題之一。
從最早的基于規則的機器翻譯，到基于概率的機器翻譯，再到現在的基于神經網絡的機器翻譯，機器學習和語言學的研究人員們一起經歷了幾十年的歷程。如今的機器翻譯系統雖然還算不上盡善盡美，但以谷歌翻譯、百度翻譯為代表的，使用神經機器翻譯技術的大規模開放使用的翻譯系統，已經可以時不時地給出一些流暢、明了的雙語互譯結果了。
當然了，在神經網絡/深度學習的沖擊之下，我們也不免看到這樣的調侃：“團隊里每開除一個語言學家，翻譯模型的準確率就可以再提升一點。”在越來越大的語料庫、越來越多的模型設計和訓練技巧的幫助下，來自語言學領域的指導帶來的提升遠不如機器學習領域的新技術成果、甚至已有技術成果的好的實現帶來的提升大。雷鋒網 AI 科技評論的讀者們相信也有這樣的感覺。
機器翻譯，尤其是神經機器翻譯（neural machine translation，NMT）也是清華大學自然語言處理與社會人文計算實驗室重點關注的研究課題之一。為了便于自己研究，也給這個課題的其他研究人員提供參考和指引，清華大學自然語言處理與社會人文計算實驗室機器翻譯小組在 GitHub 上維護著一份神經機器翻譯論文清單，包含了這個領域內他們認為起到重要作用的研究論文。
列表中的神經機器翻譯論文劃分為了模型架構、注意力機制、開放詞庫、訓練目標、解碼、低語言資源翻譯、先驗知識集成、文檔級別翻譯、魯棒性、可視化和可解釋性、語言學解釋、公平性和多樣性、效率、語音翻譯、多模態、集成和重新排序、預訓練、領域適應、質量估計、以人為中心的神經機器翻譯、單詞翻譯及雙語專用語翻譯、詩歌翻譯等主題，內容十分全面細致。除此之外，他們也列出了 10 篇必讀論文。
這 10 篇必讀論文是：
Peter E. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer. 1993. The Mathematics of Statistical Machine Translation: Parameter Estimation. Computational Linguistics. (Citation: 4,965)
Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of ACL 2002. (Citation: 8,507)
Philipp Koehn, Franz J. Och, and Daniel Marcu. 2003. Statistical Phrase-Based Translation. In Proceedings of NAACL 2003. (Citation: 3,514)
Franz Josef Och. 2003. Minimum Error Rate Training in Statistical Machine Translation. In Proceedings of ACL 2003. (Citation: 2,982)
David Chiang. 2007. Hierarchical Phrase-Based Translation. Computational Linguistics. (Citation: 1,192)
Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. 2014. Sequence to Sequence Learning with Neural Networks. In Proceedings of NIPS 2014. (Citation: 5,428)
Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2015. Neural Machine Translation by Jointly Learning to Align and Translate. In Proceedings of ICLR 2015. (Citation: 5,572)
Diederik P. Kingma, Jimmy Ba. 2015. Adam: A Method for Stochastic Optimization. In Proceedings of ICLR 2015. (Citation: 16,572)
Rico Sennrich, Barry Haddow, and Alexandra Birch. 2016. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of ACL 2016. (Citation: 789)
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is All You Need. In Proceedings of NIPS 2017. (Citation: 1,047)
論文列表具體內容請見：https://github.com/THUNLP-MT/MT-Reading-List
另外，在清華大學自然語言處理與社會人文計算實驗室機器翻譯小組的 GitHub 頁面還可以看到他們的開源神經機器翻譯工具包 THUMT （https://github.com/THUNLP-MT/THUMT ）。
祝各位閱讀論文愉快。
雷鋒網 AI 科技評論報道。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
