0
| 本文作者： 任然 | 2018-09-25 19:13 |
雷鋒網(wǎng)消息，Cadence是一家AI行業(yè)參與者，他們的Tensilica IP產(chǎn)品仍然非常引人注目，并且出現(xiàn)在流行的SoC中，如HiSilicon的Kirin陣容或MediaTek的芯片組。隨著業(yè)界試圖將基于云的AI推理轉(zhuǎn)移到邊緣端設(shè)備本身，設(shè)備內(nèi)神經(jīng)網(wǎng)絡(luò)推理的市場正在爆炸式增長，以實現(xiàn)更低的功率和更低的延遲。
雷鋒網(wǎng)了解到，Cadence于本周展示了從物聯(lián)網(wǎng)、移動、AR/VR到智能監(jiān)控和汽車應(yīng)用等各個領(lǐng)域的廣泛性能需求，并公布了更多有望加速邊緣端神經(jīng)網(wǎng)絡(luò)推理的產(chǎn)品，并宣布推出一種新的專用“AI”IP，專注于滿足各種各樣需求的性能和擴展，擴展比以前更高，性能有望達到100 TMACs（萬億矩陣積累操作）。
Cadence表示，在汽車動力等應(yīng)用中將擁有大量傳感器，包括攝像頭，激光雷達和超聲波等，對于推理性能的需求非常急迫。 標準DSP將處理信號處理的主要任務(wù)，但實際上對數(shù)據(jù)有意義的任務(wù)將被移交給神經(jīng)網(wǎng)絡(luò)加速器，例如處理感知和決策制定任務(wù)的DNA 100。
Cadence宣稱與具有類似尺寸的MAC引擎的競爭解決方案相比，DNA 100具有高達4.7倍的性能優(yōu)勢。Cadence通過它的稀疏計算架構(gòu)實現(xiàn)了這一點，這意味著它只計算非零激活和權(quán)重，并實現(xiàn)了比競爭對手更高的硬件MAC利用率。
“神經(jīng)網(wǎng)絡(luò)的特點是固有的權(quán)重和激活的稀疏性，這會導致其他處理器中的MAC通過加載和乘零而不必要地消耗性能。DNA 100處理器的專用硬件計算引擎消除了這兩個問題，允許利用這種稀疏性來提高效率和減少計算量。神經(jīng)網(wǎng)絡(luò)的再訓練有助于增加網(wǎng)絡(luò)的稀疏性，并通過DNA 100處理器的稀疏計算引擎實現(xiàn)最大性能。”
在架構(gòu)方面， DNA 100與其他推理加速器看起來很相似，其最重要的處理能力在于Cadence稱之為“可擴展稀疏計算引擎”的MAC引擎，它們處理卷積階段以及完全連接的分類層的任務(wù)。
MACs是本地的8位整數(shù)，能夠在全吞吐量的量化模型上操作，但它也提供了半速率的16位整數(shù)和四分之一吞吐量的16位浮點操作。單個MAC引擎/稀疏計算引擎在256/512/1024 MAC中都是可伸縮的，之后IP可以通過添加更多引擎進行擴展，最多可達4個。這意味著最大配置的單個DNA 100硬件塊最多包含4096個MAC。
Cadence仍然非常清楚，有些應(yīng)用場景或神經(jīng)網(wǎng)絡(luò)模型可能無法由固定函數(shù)IP處理，并且仍然提供了將DNA 100與現(xiàn)有DSP IP耦合的可能性。這兩種產(chǎn)品緊密耦合，DSP可以有效地處理更多特殊的的NN層，將內(nèi)核傳遞回DNA 100，從而使解決方案具有未來的可擴展性，并可擴展到客戶希望的定制層。
帶寬是神經(jīng)網(wǎng)絡(luò)推理硬件中的一個關(guān)鍵瓶頸，因此為了獲得最佳性能并且不受平臺限制，壓縮是必不可少的。DNA 100除了通過壓縮權(quán)重和激活來提供帶寬減少功能，在原始帶寬方面，IP還提供1到4個AXI 128或256位接口的非常寬的接口選項，這意味著在最寬的配置中最高可達1024位總線寬度。
要將IP擴展到4096MACs以上，只需將多個硬件塊并排放置到SoC上，就可以大大提高理論計算能力。軟件在這里扮演了一個關(guān)鍵角色，因為它能夠在不同的塊之間正確地分配工作負載。Cadence解釋說，這種方式也可以用來加速單個內(nèi)核/推理，此外他們還設(shè)想通過芯片到芯片通信實現(xiàn)可能的多芯片擴展。
就DNA 100的性能而言，Cadence再次強調(diào)其架構(gòu)的實際性能明顯高于具有相同數(shù)量MAC的等效競爭架構(gòu)。這里的“有效TMACs”是一個奇怪的指標，以雷鋒網(wǎng)獲取的信息來看，根據(jù)權(quán)重和激活數(shù)據(jù)是否經(jīng)過編譯器和培訓的修剪，有效性能也在2倍到3倍之間浮動。
Cadence展示了ResNet50的性能，其DNA 100配置為最大4K MAC配置，具有4TMAC的原始硬件性能。根據(jù)官方數(shù)據(jù)，DNA 100的性能比競爭解決方案高出4.7倍，它的性能達到了2550fps，而競爭對手的性能為538fps。在能耗比方面，DNA 100相比競爭解決方案也具有2.3倍的優(yōu)勢。當然，測試中的網(wǎng)絡(luò)經(jīng)過了修剪，以在DNA 100上達到最好結(jié)果。
在軟件方面，Cadence提供了一個完整的軟件棧和神經(jīng)網(wǎng)絡(luò)編譯器來充分利用硬件，包括網(wǎng)絡(luò)分析器和優(yōu)化器以及所需的設(shè)備驅(qū)動程序。Cadence最近還宣布，它將支持Facebook的Glow編譯器（一個跨硬件平臺的機器學習編譯器）。
DNA 100的硬件IP將在2019年初獲得許可，產(chǎn)品最早將在2020年底左右面世。
via：Anandtech
