今日 Paper | 從純圖像重建世界；層次遞歸網(wǎng)絡(luò)序列；注意力神經(jīng)網(wǎng)絡(luò)；命名實(shí)體識(shí)別等

本文作者： AI研習(xí)社

2020-02-14 11:16

導(dǎo)語(yǔ)：為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊。

今日 Paper | 從純圖像重建世界；層次遞歸網(wǎng)絡(luò)序列；注意力神經(jīng)網(wǎng)絡(luò)；命名實(shí)體識(shí)別等

層次遞歸網(wǎng)絡(luò)序列標(biāo)注的轉(zhuǎn)移學(xué)習(xí)
注意力神經(jīng)網(wǎng)絡(luò)序列標(biāo)記模型中的特征
基于雙向LSTM-CNNs的命名實(shí)體識(shí)別
通過(guò)雙向LSTM-CNNs-CRF進(jìn)行端到端序列標(biāo)記
更好的物體表征，更好地從純圖像重建世界

層次遞歸網(wǎng)絡(luò)序列標(biāo)注的轉(zhuǎn)移學(xué)習(xí)

論文名稱：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS

作者：Zhilin Yang /Ruslan Salakhutdinov

發(fā)表時(shí)間：2017/3/18

論文鏈接：https://paper.yanxishe.com/review/10864?from=leiphonecolumn_paperreview0214

核心問(wèn)題：在序列標(biāo)注問(wèn)題中，為了解決傳統(tǒng)的機(jī)器學(xué)習(xí)存在的需要手動(dòng)構(gòu)建特征的問(wèn)題，這里常常使用神經(jīng)網(wǎng)絡(luò)的方式，但是神經(jīng)網(wǎng)絡(luò)常常需要大量的數(shù)據(jù)才可以，那么現(xiàn)在就面臨一種情況，當(dāng)數(shù)據(jù)量不足的時(shí)候，如何才可以解決這個(gè)問(wèn)題呢？

創(chuàng)新點(diǎn)：在計(jì)算機(jī)視覺(jué)中，當(dāng)面臨數(shù)據(jù)不足的時(shí)候，我們常常使用遷移學(xué)習(xí)的方式，本論文也將探討遷移學(xué)習(xí)的方法，其中使用具有豐富注釋的源任務(wù)來(lái)改善具有較少可用注釋的目標(biāo)任務(wù)的性能

研究意義：通過(guò)這種方式可以將訓(xùn)練的模型參數(shù)和架構(gòu)遷移過(guò)來(lái)，并且取得了不錯(cuò)的效果，事實(shí)上現(xiàn)在nlp中的重要預(yù)訓(xùn)練模型興起，這也一定程度上證明了這種方向的可行性。

注意力神經(jīng)網(wǎng)絡(luò)序列標(biāo)記模型中的特征

論文名稱：Attending to Characters in Neural Sequence Labeling Models

作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo

發(fā)表時(shí)間：2016/11/14

論文鏈接：https://paper.yanxishe.com/review/10863?from=leiphonecolumn_paperreview0214

推薦原因

核心問(wèn)題：序列標(biāo)注問(wèn)題有一個(gè)問(wèn)題需要處理，這個(gè)問(wèn)題就是當(dāng)一句話中出現(xiàn)的單詞是陌生詞的時(shí)候，那么此時(shí)就會(huì)出現(xiàn)問(wèn)題。這種詞稱為OOV問(wèn)題

創(chuàng)新點(diǎn)：創(chuàng)新點(diǎn)就是為了解決這個(gè)問(wèn)題，首先單詞有OOV問(wèn)題，但是字符沒(méi)有OOV問(wèn)題，這里引入了字符級(jí)別的信息。然后引入了注意力機(jī)制，使用經(jīng)典的attention+RNN+CEF的組合方式，這樣通過(guò)將詞級(jí)別和字符級(jí)別的向量相結(jié)合，從而達(dá)到非OVV的詞的字符向量與其詞向量相近。

研究意義：在許多數(shù)據(jù)集上達(dá)到了很好的效果，并且這種模型的參數(shù)較少。

基于雙向LSTM-CNNs的命名實(shí)體識(shí)別

論文名稱：Named Entity Recognition with Bidirectional LSTM-CNNs

作者：Jason P.C. Chiu /Eric Nichols

發(fā)表時(shí)間：2016/7/19

論文鏈接：https://paper.yanxishe.com/review/10862?from=leiphonecolumn_paperreview0214

推薦原因

核心問(wèn)題：本文解決的是命名實(shí)體識(shí)別的任務(wù)，這是nlp中非常具備挑戰(zhàn)性的工作，傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要使用手工的方式，但是這種方式并不好。

創(chuàng)新點(diǎn)：本論文使用的是深度學(xué)習(xí)的方式，和傳統(tǒng)的深度學(xué)習(xí)方法不同的是，這里搭建了一個(gè)新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠自動(dòng)檢測(cè)字級(jí)和字符級(jí)特征使用雙向LSTM和CNN混合架構(gòu)，消除了大多數(shù)特征工程的需要。除此之外本文還提出了一種新的方法，使用這個(gè)方法在神經(jīng)網(wǎng)絡(luò)中對(duì)部分詞典匹配進(jìn)行編碼，可以取得較好的效果。

研究意義：實(shí)驗(yàn)表明，這種模型效果超過(guò)當(dāng)前的模型，并且在多個(gè)數(shù)據(jù)集中取得了最佳的效果。

通過(guò)雙向LSTM-CNNs-CRF進(jìn)行端到端序列標(biāo)記

論文名稱：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

作者：Xuezhe Ma /Eduard Hovy

發(fā)表時(shí)間：2016/5/29

論文鏈接：https://paper.yanxishe.com/review/10861?from=leiphonecolumn_paperreview0214

核心問(wèn)題：本文核心是解決nlp領(lǐng)域中的命名實(shí)體識(shí)別的問(wèn)題

創(chuàng)新點(diǎn)：在之前的常用的模型是LSRM+CRF，本論文搭建了一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)模型，引入了CNN結(jié)構(gòu)，這可以很好的處理局部信息

研究意義：這個(gè)模型的效果超過(guò)之前的模型效果。

更好的物體表征，更好地從純圖像重建世界

論文名稱：Contrastive Learning of Structured World Models

作者：Thomas Kipf /Elise van der Pol /Max Welling

發(fā)表時(shí)間：2019/9/26

論文鏈接：https://paper.yanxishe.com/review/10860?from=leiphonecolumn_paperreview0214

人類可以從眼睛觀察到的視覺(jué)信號(hào)理解還原出世界中的物體、物體間的關(guān)系、層次等等，這是人類認(rèn)知能力的重要組成部分，也是機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算視覺(jué)仍面對(duì)的一大挑戰(zhàn)（從原始的像素輸入還原帶有結(jié)構(gòu)的世界模型）。

維吉尼亞大學(xué)的作者們?cè)谶@篇論文中提出了一個(gè)基于對(duì)比度訓(xùn)練的有結(jié)構(gòu)的世界模型C-SWM，它使用了一種對(duì)比度方法來(lái)用組合式的結(jié)構(gòu)學(xué)習(xí)環(huán)境的表征。它可以不需要直接的監(jiān)督，只通過(guò)對(duì)原始像素的觀察就發(fā)現(xiàn)提取環(huán)境中的物體。

作者們?cè)诤卸鄠€(gè)獨(dú)立、可控制的物體的交互環(huán)境中評(píng)價(jià)了模型的表現(xiàn)，既包括了簡(jiǎn)單的Atari游戲，也包括了多物體的物理仿真環(huán)境。實(shí)驗(yàn)表明，這個(gè)模型可以克服以往的基于像素重建的模型的很多不足，在高度結(jié)構(gòu)化的環(huán)境中也發(fā)揮了比同類表征模型更好的表現(xiàn)，同時(shí)它學(xué)習(xí)到的基于物體的表征還是具有可解釋性的。

這篇論文的方法實(shí)際、效果出色，得到了審稿人的高度評(píng)價(jià)，被ICLR2020接收為口頭報(bào)告論文。

論文作者團(tuán)隊(duì)招募

為了更好地服務(wù)廣大 AI 青年，AI 研習(xí)社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學(xué)生青年的「興趣點(diǎn)」，通過(guò)論文整理推薦、點(diǎn)評(píng)解讀、代碼復(fù)現(xiàn)。致力成為國(guó)內(nèi)外前沿研究成果學(xué)習(xí)討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認(rèn)可。

我們希望熱愛(ài)學(xué)術(shù)的你，可以加入我們的論文作者團(tuán)隊(duì)。

加入論文作者團(tuán)隊(duì)你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學(xué)術(shù)明星

2.豐厚的稿酬

3.AI 名企內(nèi)推、大會(huì)門票福利、獨(dú)家周邊紀(jì)念品等等等。

加入論文作者團(tuán)隊(duì)你需要：

1.將你喜歡的論文推薦給廣大的研習(xí)社社友

2.撰寫論文解讀

如果你已經(jīng)準(zhǔn)備好加入 AI 研習(xí)社的論文兼職作者團(tuán)隊(duì)，可以添加運(yùn)營(yíng)小姐姐的微信，備注“論文兼職作者”

今日 Paper | 從純圖像重建世界；層次遞歸網(wǎng)絡(luò)序列；注意力神經(jīng)網(wǎng)絡(luò)；命名實(shí)體識(shí)別等