今日 Paper | 點云分類框架；多模式Transformer；神經(jīng)網(wǎng)絡(luò)；有序神經(jīng)元等

用于行人重識別的三元組在線實例匹配丟失

用于DSTC8 AVSD挑戰(zhàn)的帶指針網(wǎng)絡(luò)的多模式Transformer

PointAugment：一種自動增強的點云分類框架

尋找稀疏、可訓練的神經(jīng)網(wǎng)絡(luò)

有序神經(jīng)元：將樹結(jié)構(gòu)集成到遞歸神經(jīng)網(wǎng)絡(luò)中

論文名稱：Triplet Online Instance Matching Loss for Person Re-identification

作者：Li Ye /Yin Guangqiang /Liu Chunhui /Yang Xiaoyu /Wang Zhiguo

發(fā)表時間：2020/2/24

論文鏈接：https://paper.yanxishe.com/review/12688?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文要解決的是行人重識別問題。

在線實例匹配（OIM）損失函數(shù)和三元組（Triplet）損失函數(shù)是行人重識別問題的主要方法。但這兩個損失函數(shù)都有缺點，OIM損失對所有樣本均等對待，沒有關(guān)注困難樣本，三重損失以復(fù)雜且繁瑣的方式來處理批處理樣本，因此收斂速度很緩慢。針對這些問題，這篇論文提出了三元組在線實例匹配（TOIM）損失函數(shù)，該函數(shù)能著重于困難樣本并能有效地提高行人重識別模型的準確性。TOIM結(jié)合了OIM損失和Triplet損失的優(yōu)點，并簡化了批處理過程，從而使收斂更快。

論文名稱：Multimodal Transformer with Pointer Network for the DSTC8 AVSD Challenge

作者：Le Hung /Chen Nancy F.

發(fā)表時間：2020/2/25

論文鏈接：https://paper.yanxishe.com/review/12687?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文要解決的是視聽場景感知對話（Audio-Visual Scene-Aware Dialog，AVSD）問題。

視聽場景感知對話要求對話代理生成自然語言響應(yīng)以解決用戶查詢并進行對話。這是一項具有挑戰(zhàn)的任務(wù)，因為其包含多模態(tài)視頻功能，例如包括文本、視覺和音頻特征。對話代理還需要學習用戶話語和系統(tǒng)響應(yīng)之間的語義依賴，以便與人類進行連貫對話。這篇論文介紹該團隊向第八屆對話系統(tǒng)技術(shù)挑戰(zhàn)賽（Dialogue System Technology Challenge）提交的AVSD參賽作品，采用了點積方式來結(jié)合輸入視頻的文本和非文本特征，通過在每個生成步驟中采用指針網(wǎng)絡(luò)指向來自多個源序列的Tokens，進一步增強對話代理的生成能力。

論文名稱：PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

作者：Li Ruihui /Li Xianzhi /Heng Pheng-Ann /Fu Chi-Wing

發(fā)表時間：2020/2/25

論文鏈接：https://paper.yanxishe.com/review/12686?from=leiphonecolumn_paperreview0304

推薦原因

這篇論文被CVPR 2020接收，要解決的是點云分類的問題。

這篇論文提出了一個名為PointAugment的點云分類框架，當訓練分類網(wǎng)絡(luò)時，該框架會自動優(yōu)化和擴充點云樣本以豐富數(shù)據(jù)多樣性。與現(xiàn)有的2D圖像自動增強方法不同，PointAugment具有樣本感知功能，并采用對抗學習策略來共同優(yōu)化增強器網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，學習生成最適合分類器的增強樣本。PointAugment根據(jù)形狀分類器和點位移來構(gòu)造可學習的點增強函數(shù)，并根據(jù)分類器的學習進度精心設(shè)計損失函數(shù)以采用增強樣本。PointAugment在改善形狀分類和檢索中的有效性和魯棒性得到了實驗的驗證。

論文名稱：THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS

作者：Jonathan Frankle /Michael Carbin

發(fā)表時間：2019/3/3

論文鏈接：https://paper.yanxishe.com/review/12586?from=leiphonecolumn_paperreview0304

推薦原因

核心問題：一個標準的剪枝技術(shù)能夠自然地發(fā)現(xiàn)子網(wǎng)絡(luò)結(jié)構(gòu)，這些子網(wǎng)絡(luò)的初始化能夠幫助網(wǎng)絡(luò)更有效地訓練。

創(chuàng)新點：本研究提出一種 lottery ticket hypothesis：對于那些包含子網(wǎng)絡(luò) 結(jié)構(gòu)的密集、隨機初始化前饋網(wǎng)絡(luò)，當單獨訓練這些子網(wǎng)絡(luò)時，通過相似的訓練迭代次數(shù)能夠取得與原始網(wǎng)絡(luò)相當?shù)臏y試性能。而

研究意義：實驗結(jié)果表明，在 MNIST 和 CIFAR-10 數(shù)據(jù)集上，子網(wǎng)絡(luò)的規(guī)模始終比幾種全連接結(jié)構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)小10%-20%。當規(guī)模超過這個范圍時，子網(wǎng)絡(luò)能夠比原始網(wǎng)絡(luò)有更快的學習速度和更好的測試精度表現(xiàn)。

論文名稱：ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS

作者：Yikang Shen /Shawn Tan /Alessandro Sordoni /Aaron Courville

發(fā)表時間：2019/5/8

論文鏈接：https://paper.yanxishe.com/review/12585?from=leiphonecolumn_paperreview0304

推薦原因

核心問題：標準的 LSTM 結(jié)構(gòu)允許不同的神經(jīng)元跟蹤不同時間維度信息，但它對于層級結(jié)構(gòu)建模中的各組成沒有明確的偏向。

創(chuàng)新點：本文提出神經(jīng)元排序策略來添加一個歸納偏置量，當主輸入向量和遺忘門結(jié)構(gòu)確保給定的神經(jīng)網(wǎng)絡(luò)更新時，后續(xù)跟隨的所有神經(jīng)元也將隨之更新。

研究意義：這種集成樹結(jié)構(gòu)的新穎循環(huán)神經(jīng)網(wǎng)絡(luò) ON-LSTM在四種不同的 NLP 任務(wù)：語言建模、無監(jiān)督解析、目標句法評估和邏輯推理上都取得了良好的表現(xiàn)。

為了更好地服務(wù)廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復(fù)現(xiàn)。致力成為國內(nèi)外前沿研究成果學習討論和發(fā)表的聚集地，也讓優(yōu)秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術(shù)的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

    1.署著你名字的文章，將你打造成最耀眼的學術(shù)明星

    2.豐厚的稿酬

    3.AI 名企內(nèi)推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

    1.將你喜歡的論文推薦給廣大的研習社社友

    2.撰寫論文解讀

如果你已經(jīng)準備好加入 AI 研習社的論文兼職作者團隊，可以添加運營小姐姐的微信（ID:julylihuaijiang），備注“論文兼職作者”

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)