「合并」 樣本和標簽? IBM 為多標簽小樣本圖像分類帶來新進展！| CVPR 2019

雷鋒網(wǎng) AI 科技評論按：目前大多數(shù)關(guān)于圖像小樣本分類的研究工作都是研究單標簽場景，每個訓練圖像只包含一個對象，然而現(xiàn)實中的場景中以多對象多標簽居多，因此對于多標簽小樣本的圖像分類研究更 具現(xiàn)實意義。IBM 的研究人員對多標簽小樣本的圖像分類進行了研究，并在 CVPR 2019 大會上進行了論文分享，相關(guān)成果發(fā)表在 IBM 官網(wǎng)博客上，雷鋒網(wǎng) AI 科技評論編譯如下。

當我們將人工智能和機器學習擴展到面向企業(yè)和工業(yè)界應用的更廣泛的任務集時，從更少的數(shù)據(jù)集中學到更多是必要的。數(shù)據(jù)增強是一個重要的工具，特別是在沒有足夠的訓練數(shù)據(jù)的情況下，它通過自動合成新的訓練樣本來改進學習。小樣本學習就是這樣的一個例子，其每個類別只有一個或很少的樣本可用。之前大多數(shù)關(guān)于圖像小樣本分類的研究工作都是研究「單標簽」場景，其中每個訓練圖像只包含一個對象，因此只有一個類別標簽。然而，更具有挑戰(zhàn)性和現(xiàn)實意義的場景是多標簽、小樣本的圖像分類，其訓練數(shù)據(jù)樣本較少，圖像具有多個標簽，而之前的研究工作尚未對該場景進行廣泛的研究探索。

為了研究上述課題，我們在 2019 年 6 月舉行的 IEEE 計算機視覺與模式識別（CVPR 2019）大會上發(fā)表了相關(guān)論文，對多標簽、小樣本圖像分類進行了研究。本論文題目為《LaSO：面向多標簽小樣本學習的標簽設置操作網(wǎng)絡》（「LaSO：Label-Set Operations networks for multi-label few-shot learning」，論文地址：https://www.research.ibm.com/artificial-intelligence/publications/paper/?id=LaSO:-Label-Set-Operations-Networks-for-Multi-label-Few-shot-Learning），提出了一種訓練深度神經(jīng)網(wǎng)絡的新方法，即將圖像樣本對與一定的標簽集相結(jié)合，合成具有「合并」標簽的新樣本。例如，考慮圖 1 中的兩幅圖像，一幅描繪的是「一個人遛羊和狗」，另一幅描繪的是「一個人抱著一只狗和一只貓」。第一張圖片的標簽是「人」、「羊」和「狗」，第二張是「人」、「狗」和「貓」。通過給定的這兩幅圖像，LaSO 網(wǎng)絡合成了新的訓練樣本，這些樣本通過對標簽執(zhí)行聯(lián)合、交叉和減法操作而產(chǎn)生。「聯(lián)合」生成了一個標有「人」、「狗」、「貓」和「羊」的樣本，「交叉」和「減法」生成了分別標有「人」、「狗」和「羊」的多個樣本。LaSO 網(wǎng)絡直接在深度神經(jīng)網(wǎng)絡學習的特征空間進行操作。 

圖 1：在兩幅圖像上進行 LaSO 網(wǎng)絡操作的案例

作為一個單一的多任務網(wǎng)絡，LaSO 網(wǎng)絡通過使用特定的損失函數(shù)共同訓練，以使其操作適應相應的標簽集操作任務（圖 2）。 

圖 2：支持交叉、聯(lián)合和減法操作標簽集的 LaSO 網(wǎng)絡體系結(jié)構(gòu)

多任務網(wǎng)絡是在一個大規(guī)模的多標簽數(shù)據(jù)集上進行訓練的，每個圖像的多個標簽與出現(xiàn)在圖像上的目標相對應。我們通過使用不同的方法對產(chǎn)生的 LaSO 網(wǎng)絡進行了測試，以評估它們在操作多標簽內(nèi)容方面的潛力。這些測試包括使用在真實、留存的多標簽數(shù)據(jù)上經(jīng)過預訓練的分類器對生成的示例進行分類，以及使用 LaSO 網(wǎng)絡合成的特征向量來測試源自留存的測試集的檢索（圖 3）。 

圖 3：基于合成 LaSO 向量進行的圖像檢索的定性結(jié)果

LaSO 網(wǎng)絡被設計成直接在圖像表征進行操作，而不需要任何額外的輸入來控制操作。換句話說，就是不需要人工干預來指示它們要操作哪些標簽。因此，在訓練過程中，它們可以潛在地泛化到包含尚未見過的新類別的圖像上。在這方面，LaSO 網(wǎng)絡可以用來挑戰(zhàn)多標簽小樣本的分類任務。在這種情況下，LaSO 網(wǎng)絡從所提供的訓練樣本隨機對中合成新的訓練樣本。在本文中，我們將 LaSO 網(wǎng)絡的這種能力應用到一個新的多標簽小樣本分類基準中，希望能引起對這一重要問題的更多研究。通過使用 LaSO 網(wǎng)絡在所給出的基準上進行數(shù)據(jù)增強的結(jié)果表明，將其推廣到新的類別具有很強的潛力（圖 4）。

 

圖 4：LaSO 增強表現(xiàn)（底部四行）VS 基準（頂部三行）

多標簽小樣本分類是一項全新的、具有挑戰(zhàn)性和實用性的研究工作。我們?yōu)檫@個研究工作提出了第一個基準。在該基準上利用神經(jīng)網(wǎng)絡對 LaSO 標簽集操作進行了評估，結(jié)果表明 LaSO 具有很好的應用潛力。我們希望本次工作能激勵更多的研究人員去研究這個有趣的問題。

via :  https://www.ibm.com/blogs/research/2019/06/few-shot-learning/   雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。