0
| 本文作者： nebula | 2023-12-12 14:01 |
全球自然語言處理領域的頂級會議EMNLP2023于12月6日-12月10日在新加坡召開，會議共接收4909篇投稿，主會錄用論文1047篇，錄用率21.3%。EMNLP的全稱是Conference on Empirical Methods in Natural Language Processing，由國際計算語言學會ACL組織每年舉辦一次，為自然語言處理領域最具影響力的國際會議之一。本次會議，微信AI團隊有8篇文章被選中。其中，由北京大學和微信AI團隊合作的文章獲得EMNLP錄取文章中最佳長論文獎（Best Long Paper Award），這也是EMNLP會議上國內首篇獲此殊榮的論文。
圖1. 獲獎論文
圖2. 獲獎證書
微信AI團隊榜上有名，參與研究文章獲主會最佳長文
此次獲獎的論文題為“Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning”，研究了 In-context learning（ICL）的工作機制。首次發現了上下文學習中演示示例的標簽詞起著 “錨點” 作用：1）在淺層計算層的處理過程中，語義信息聚集到標簽詞表示中；2）在深層計算層的處理過程中，標簽詞中的聚合的信息為語言模型的最終預測提供參考。基于這些發現，文章進一步提出了 “錨點重新加權” 方法來提高 ICL 的性能，以及用于診斷 ICL 錯誤的分析框架。這項工作也為未來的相關研究指引了新的方向。
圖3. 上下文中演示示例的標簽詞作為“錨點”的示意圖
論文作者來自北京大學孫栩教授團隊和微信AI團隊，其中論文的第一作者王樂安是在微信AI團隊實習的北大研究生（本科為北京大學智能科學與技術系2019級全系第一名），這也是他中稿的第一篇自然語言處理領域主會論文。在論文的研究過程中，北京大學孫栩教授團隊和微信AI團隊緊密合作，在研究方向、核心問題、實驗改進、以及論文修改等方面進行了充分的討論和深入的工作，其中王樂安扎實的數理基礎和專業知識，孫栩教授清晰準確的指導和建議令人印象深刻。
深耕前沿技術，微信AI團隊多項研究可圈可點
微信AI團隊在EMNLP2023的表現充分展示了其在AI領域的專業實力。微信AI團隊保持著小而精的團隊規模，團隊成員幾乎全部來自國內外頂尖高校的碩士或博士，一直保持著人才引入的高標準。除了本次 EMNLP2023 Best Paper (Long) Award，近年來團隊成員參與的研究工作已經獲得了多個重要獎項，包括RecSys2023 Best Paper (Short) Award, ACL2019 Best Paper (Long) Award等。
微信AI團隊在多個領域的研究都取得了顯著的成果。在全球學術界最具權威的機器翻譯比賽（Workshop on Machine Translation，簡稱WMT）2020 ～ 2022連續三年里獲得多個賽道冠軍，比賽參與者包括眾多來自全球的企業、科研機構和高校所組成的頂尖團隊。在2018和2019年的對話系統技術挑戰賽（Dialog System Technology Challenge，簡稱DSTC）中也蟬聯多個賽道冠軍。
微信AI團隊一直致力于業務與學術研究的結合，在業務中挖掘科研課題。他們認為，業務與研究是相互促進的關系：“通過研究來發現更好的方法，最終結果也可以直接應用在業務中。”本次會議中的多項工作已經進一步推動了對話系統、微信翻譯、微信讀書、微信輸入法等多個業務場景的應用。
附：微信AI團隊入選的8篇文章
1. Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning
Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou and Xu Sun.
2. HyperNetwork-based Decoupling to Improve Model Generalization for Few-Shot Relation Extraction
Liang Zhang, Chulun Zhou, Fandong Meng, Jinsong Su, Yidong Chen and Jie Zhou
3. Re3Dial: Retrieve, Reorganize and Rescale Conversations for Long-Turn Open-Domain Dialogue Pre-training
Jiaxin Wen, Hao Zhou, Jian Guan, Jie Zhou, Minlie Huang
4. Multi-Source Probing for Open-Domain Conversational Understanding
Yuanxi Li, Hao Zhou, Jie Zhou, Minlie Huang
5. Explicit Planning Helps Language Models in Logical Reasoning
Hongyu Zhao, Kangrui Wang, Mo Yu, Hongyuan Mei
6. D2TV: Dual Knowledge Distillation and Target-oriented Vision Modeling for Many-to-Many Multimodal Summarization
Yunlong Liang, Fandong Meng, Jiaan Wang, Jinan Xu, Yufeng Chen and Jie Zhou
7. Understanding Translationese in Cross-Lingual Summarization
Jiaan Wang, Fandong Meng, Yunlong Liang, Tingyi Zhang, Jiarong Xu, Zhixu Li and Jie Zhou
8. Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information
Yun Luo, Zhen Yang, Fandong Meng, Yingjie Li, Jie Zhou and Yue Zhang
雷峰網(公眾號：雷峰網)
