0
雷鋒網(wǎng)AI科技評論了解到，近期清華信息科學(xué)與技術(shù)聯(lián)合實驗室，智能技術(shù)與系統(tǒng)國家重點實驗室，生物啟發(fā)計算研究中心和清華大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院聯(lián)合發(fā)表的論文《使用對抗性例子提高深度神經(jīng)網(wǎng)絡(luò)性能》，探索了深度神經(jīng)網(wǎng)絡(luò)的內(nèi)部架構(gòu)，并提出了一種方法使人類可以監(jiān)督網(wǎng)絡(luò)的生成和網(wǎng)絡(luò)發(fā)生錯誤的位置。
作者包括 Dong Yingpeng， Hang Su，Jun Zhu和Fan Bao。
原文鏈接：https://arxiv.org/pdf/1708.05493.pdf，雷鋒網(wǎng)AI科技評論編譯。
深度神經(jīng)網(wǎng)絡(luò)（DNNs）在很多領(lǐng)域中都有前所未有的表現(xiàn)，包括語音識別，圖像分類，物體檢測等，但是DNNs的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)產(chǎn)生的參數(shù)對學(xué)者來說一直都是黑匣子，剛開始的幾個網(wǎng)絡(luò)還能看的懂，然而越深度越不可解釋。在很多情況下，由于人類對其認(rèn)知的局限性，包括DNNs如何進(jìn)行判斷和如何行動，深度神經(jīng)網(wǎng)絡(luò)的使用范圍則受到限制，特別是在一些安全性要求非常高的使用場合，比如：醫(yī)院領(lǐng)域和自動駕駛等。研究人員需要理解訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)在判斷時的理論基礎(chǔ)，從而進(jìn)一步的對網(wǎng)絡(luò)進(jìn)行理解、驗證、修改和信任一個學(xué)習(xí)模型，并修正其已產(chǎn)生的和潛在的問題。因此，開發(fā)一種算法，來對產(chǎn)生的神經(jīng)網(wǎng)絡(luò)進(jìn)行深入的剖析則變得非常重要了。在這個方向，很多的研究已經(jīng)在進(jìn)行了。學(xué)者們通過各種方法對機(jī)器產(chǎn)生的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行窺探，包括語義的，圖像的。比如，學(xué)者們發(fā)現(xiàn)，在最大化或多梯度為基礎(chǔ)的算法中，卷積層中的一個神經(jīng)元可以看做是物體/局部的鑒別器。然而，這些嘗試大多建立在一個特定的數(shù)據(jù)庫之上（比如：ImageNET，Place），并且大部分的工作量都用作神經(jīng)網(wǎng)絡(luò)的基本理論解釋，很少有人會將注意力放在DNNs產(chǎn)生錯誤的原因上。
提高神經(jīng)網(wǎng)絡(luò)性能的方法有很多，這篇論文重點分析面對不規(guī)則的例子（如：對抗性的例子）時DNNs的行為并通過跟蹤輸出的特征解釋了神經(jīng)網(wǎng)絡(luò)的預(yù)測原理。特別的是，通過使用對抗性的例子，作者對比之前的研究結(jié)論，發(fā)現(xiàn)使用這種方法可以獲得更好的神經(jīng)網(wǎng)絡(luò)的解釋性能。通過使用“惡意”的對抗圖片，DNNs可以生成如設(shè)計的“錯誤”的預(yù)測結(jié)果。將這種刻意“誤導(dǎo)”的結(jié)果和真實的圖片結(jié)果進(jìn)行對比，從不同的結(jié)果上可以探尋DNNs的工作原理，既可以分析出DNNs如何進(jìn)行正確的判斷，又可以知道DNNs產(chǎn)生錯誤的原因，最終在一定程度上了解DNNs的機(jī)制。采用對抗性的圖像而不是使用真實圖像進(jìn)行“錯誤”的預(yù)測的原因是使用真實圖像產(chǎn)生的誤差是可以容忍的，例如：Tabby Cat和Tiger Cat的錯誤分類結(jié)果跟對Tabby Cat和School Bus的錯誤分類結(jié)果相比，前者在視覺上和語義上都更能讓人容忍。因此，使用完全“不同”的對抗性圖片，可以更好更直觀的區(qū)分和理解DNNs的錯誤判斷來源。
雷鋒網(wǎng)AI科技評論整理后，了解到這篇論文有如下幾個重點問題：
為了更好的研究DNNs，作者建了一套對抗性的數(shù)據(jù)集。使用ILSVRC 2012 驗證數(shù)據(jù)庫對10張圖片分別進(jìn)行不同的標(biāo)注，最終形成了一個500K的對抗性的驗證數(shù)據(jù)庫。使用集成優(yōu)化攻擊算法生成更多的通用對抗圖片，這些圖片具有很強(qiáng)的移植性，可以在其他模型中使用，如圖1（a）。
作者對多個基本架構(gòu)進(jìn)行了，包括AlexNet、VGG、ResNet，并使用了真實的圖片和生成的對抗性圖片。人工監(jiān)控了在輸入不同的圖片時DNNs中神經(jīng)元的反應(yīng)。同時對大量的視覺概念進(jìn)行比對和評估。結(jié)果是很有趣的：（1）真實圖像中具有高語義的神經(jīng)元的表現(xiàn)在輸入對抗性圖像時表現(xiàn)不同；通過這個結(jié)果得出結(jié)論：DNNs中的神經(jīng)元并沒有真正的去檢測語義對象，只把語義對象當(dāng)做是復(fù)發(fā)性判別小圖塊進(jìn)行響應(yīng)。這一點與以前的研究恰恰相反。（2）深度視覺上的表現(xiàn)不是視覺概念的魯棒性分布式編碼，因為盡管視覺上看起來很相近，對抗性的圖片與真實的圖片在很大程度上不一致。如圖1（a）。
對抗性的訓(xùn)練在之前的研究中已經(jīng)被證實可對提高深度神經(jīng)網(wǎng)絡(luò)的魯棒性帶來顯著的效果。在這篇論文中，作者通過引入對抗性的圖片提高了DNNs的性能。除去對抗噪聲，從結(jié)果上可以看出對抗圖片的結(jié)果與真實圖片的結(jié)果很相似。這個過程鼓勵神經(jīng)元學(xué)習(xí)抵抗對抗性擾動的干擾，因此，當(dāng)優(yōu)選對象/部件出現(xiàn)時，神經(jīng)元總是會被激活，而當(dāng)它們消失時，神經(jīng)元則無效，見圖1（b）。通過這個過程，人類學(xué)者可以對該神經(jīng)元進(jìn)行追蹤，從而推測模型的理論預(yù)測原理。同時，這一過程中，人類學(xué)者還可以知道模型產(chǎn)生錯誤的時間和原因，如圖1（c）。
作者通過對ImageNet數(shù)據(jù)庫中的圖片進(jìn)行實驗，實驗首先需要建立一組對抗性圖片，然后將圖片運(yùn)用到生成的模型中，進(jìn)而觀模型的輸出變化進(jìn)行比對。DNNs對對抗性擾動的抵抗力非常脆弱，因此基于這個特性，有些方法已經(jīng)被設(shè)計出來用作這個方面的研究，包括: L-BFGS，F(xiàn)ast Gradient Sign，Deep-Fool等。但是這些方法通常都是為某一個特性的模型設(shè)計的。本文的作者引入了一種新的方法，集成優(yōu)化攻擊算法，這種方法具有更強(qiáng)的通用性。如下：
對AlexNet，VGG-16和RESNET-18模型進(jìn)行攻擊，通過解決上方公式中的優(yōu)化問題，采用Adam優(yōu)化器，5步長，并進(jìn)行10-20次的迭代。由此，得到10張圖片分別進(jìn)行不同的標(biāo)注，最終形成了一個500K的對抗性的驗證數(shù)據(jù)庫。使用集成優(yōu)化攻擊算法生成更多的通用對抗圖片，這些圖片具有很強(qiáng)的移植性，可以在其他模型中使用。
如圖2，作者展現(xiàn)了部分圖片結(jié)果。在第一行中，真實的圖片中神經(jīng)元擁有明確的語義解釋或者人類可以理解的視覺概念，第二行對抗性圖片表現(xiàn)出的語義解釋則不能讓人理解。一般情況系，神經(jīng)元對對抗性圖片中的不同部分更為敏感。在分析神經(jīng)元的表現(xiàn)之后，在真實圖片中具有高語義的神經(jīng)元在處理對抗性圖片時（紅色框）被充分的激活了。然而，視覺表現(xiàn)上則能看出真實圖片和對抗性圖片的明顯不同。另一方面，對抗圖片中相似的部分，則表現(xiàn)出不活躍性，意味著在對抗性圖片中，神經(jīng)元無法檢測出對應(yīng)的物體/部分。如neuron 147 檢測出了真實圖片中的Bird head（鳥頭），但是使用對抗攻擊的算法后，在對抗性圖片中，則框出很多其他的物體，這些物體（紅色框）都是被錯誤的分類為Bird。另外，在對抗性圖片中，網(wǎng)絡(luò)也無法正確的識別出真實的Bird（鳥），這就意味著DNNs并沒有對語義的物體/部分進(jìn)行識別，只是將這些部分當(dāng)做復(fù)發(fā)性判別小圖塊進(jìn)行響應(yīng)。
通過量化的理論分析，可以得知，在對抗性圖片的結(jié)果與真實圖片的結(jié)果無法對應(yīng)。這意味著，DNNs的表現(xiàn)受對抗性擾動的影響嚴(yán)重，并且不是視覺概念的魯棒性分布式編碼方式。這樣的話，DNNs的表現(xiàn)會造成在進(jìn)行物體檢測、視覺問答、視頻處理時的不準(zhǔn)確的判斷。那么什么時候DNNs會犯錯呢？
在上圖實驗中發(fā)生圖片判斷不一致的地方則提供了區(qū)分網(wǎng)絡(luò)判斷錯誤時間的機(jī)會。使用有條件的高斯分布模型（Gaussian distribution）：p(φ(x) | y = i) =N (μ i , Σ i )，通過ILSVRC 2012訓(xùn)練數(shù)據(jù)庫對DNNs發(fā)生錯誤的時間進(jìn)行推測，如下圖：
通過使用對抗性訓(xùn)練，作者實現(xiàn)了對DNNs性能的提高。對抗訓(xùn)練具有訓(xùn)練可讀的DNNs的可能性，因為它使模型在輸入空間上學(xué)習(xí)到更多的Robost概念，產(chǎn)生的對抗圖像的表現(xiàn)類似于通過抑制擾動的原始圖像。要做到這一點，需要引入一個一致的（做匹配用）的誤差。使用這個誤差可以使得當(dāng)神經(jīng)元從表現(xiàn)中的對抗性噪聲恢復(fù)，優(yōu)選的物體/部件出現(xiàn)時，神經(jīng)元一直保持處在激活的狀態(tài)。通過最小化一個對抗性的物體來進(jìn)行DNNs的訓(xùn)練：
然后使用Fast Gradient Sign（FGS）方法生成對抗性圖片：
通過這些步驟，最終可以發(fā)現(xiàn)DNNs的可解釋性得到了顯著的提高，同時又保持了原有的性能（1%~4%的精度下降）。結(jié)果見圖7。
通過使用對抗訓(xùn)練，神經(jīng)元可以檢測圖片中的視覺概念，而不是僅僅是對小圖塊進(jìn)行反應(yīng)了。這種方式的優(yōu)勢在這提供了一種深度神經(jīng)網(wǎng)絡(luò)如何進(jìn)行預(yù)測的方式。根據(jù)這種流程，人類研究者可以一步步的探索DNNs的工作原理，并梳理出一套在決策過程中起決定性作用的神經(jīng)元。
在這篇論文中，作者運(yùn)用集成優(yōu)化算法（ensemble-optimization algorithm）并使用對抗圖片重新審視生成的深度神經(jīng)網(wǎng)絡(luò)。通過實驗發(fā)現(xiàn)：（1）深度神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元并沒有真正的去檢測語義對象，只把語義對象當(dāng)做是復(fù)發(fā)性判別補(bǔ)丁進(jìn)行響應(yīng)；（2）深度視覺上的表現(xiàn)不是視覺概念的魯棒性分布式編碼，因為盡管視覺上看起來很相近，對抗性的圖片與真實的圖片在很大程度上不一致，；這兩點都與以往的發(fā)現(xiàn)有所不同。為了更好了讓研發(fā)人員看懂DNNs的構(gòu)成，作者提出了一種對抗訓(xùn)練方法，引入固定的誤差，從而賦予神經(jīng)元人類解釋的概念。通過這種方法，人們可以對最終產(chǎn)生的結(jié)果進(jìn)行回溯，從而得知深度神經(jīng)網(wǎng)絡(luò)生成的過程，獲取發(fā)生錯誤的時間和原因。
