谷歌剛發(fā)布的深度學(xué)習(xí)動(dòng)態(tài)計(jì)算圖工具TensorFlow Fold是什么？

2 月 7 日，谷歌通過博客正式發(fā)布了 TensorFlow Fold，該庫針對(duì) TensorFlow 1.0 框架量身打造，可以幫助深度學(xué)習(xí)開發(fā)者根據(jù)不同結(jié)構(gòu)的輸入數(shù)據(jù)建立動(dòng)態(tài)的計(jì)算圖（Dynamic Computation Graphs），簡化了模型訓(xùn)練階段對(duì)輸入數(shù)據(jù)的預(yù)處理過程，提升了系統(tǒng)的運(yùn)行效率。

一般而言，大部分的深度學(xué)習(xí)項(xiàng)目都需要對(duì)模型的訓(xùn)練數(shù)據(jù)進(jìn)行一定程度的預(yù)處理。在這個(gè)過程中，各種不同規(guī)模和結(jié)構(gòu)的輸入數(shù)據(jù)（例如不同分辨率的圖片數(shù)據(jù)）將被裁剪成相同的維度和尺寸，然后被壓入棧，等待模型訓(xùn)練階段的批處理流程。這一步驟之所以至關(guān)重要，是因?yàn)樗沟?TensorFlow 等高性能的深度學(xué)習(xí)框架可以并行地針對(duì)不同的輸入數(shù)據(jù)運(yùn)行同一個(gè)計(jì)算圖，加上當(dāng)前的 GPU 和多核 CPU 普遍支持的 SIMD（Single Instruction Multiple Data，單指令多數(shù)據(jù)流） 等加速技術(shù)，大大提升了深度學(xué)習(xí)模型的運(yùn)算速度。

然而，依然存在諸多問題域無法進(jìn)行一般的預(yù)處理，因此模型必須針對(duì)不同的輸入數(shù)據(jù)建立不同的計(jì)算圖。例如自然語言理解中的解析樹（parse trees），源代碼中的抽象語法樹（abstract syntax trees）以及網(wǎng)頁中的 DOM 樹等等。在這些問題中，不同的輸入數(shù)據(jù)具有不同的計(jì)算圖，而且這些計(jì)算圖并不能劃分到同一個(gè)批處理流程中，因而也就無法實(shí)現(xiàn)對(duì)處理器、內(nèi)存和高速緩存的最高效利用。

谷歌此次發(fā)布的 TensorFlow Fold 完美解決了這一問題。按照谷歌官方博客的介紹，TensorFlow Fold 庫會(huì)根據(jù)每個(gè)不同的輸入數(shù)據(jù)建立單獨(dú)的計(jì)算圖，因?yàn)楦鱾€(gè)輸入數(shù)據(jù)都可能具有各自不同的規(guī)模和結(jié)構(gòu)，因此計(jì)算圖也應(yīng)該各不相同。此后，動(dòng)態(tài)批處理功能將自動(dòng)組合這些計(jì)算圖，以實(shí)現(xiàn)在輸入數(shù)據(jù)內(nèi)部和不同輸入數(shù)據(jù)之間的批處理操作，同時(shí)還可以通過插入一些附加指令來實(shí)現(xiàn)不同批處理操作之間的數(shù)據(jù)互通。更重要的是，相比于其他實(shí)現(xiàn)，TensorFlow Fold 將 CPU 的速度提高了 10 倍以上，GPU 的速度提高了 100 倍。

更全面的原理介紹詳見《DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS》，論文鏈接如下：  https://openreview.net/pdf?id=ryrGawqex

上圖的動(dòng)畫展示了一個(gè)利用動(dòng)態(tài)批處理運(yùn)行的遞歸神經(jīng)網(wǎng)絡(luò)。相同顏色的操作被劃分到同一次批處理中，這使得 TensorFlow 能夠更高效地運(yùn)行。其中Embed操作負(fù)責(zé)將單詞轉(zhuǎn)換為向量表示，F(xiàn)C（完全連接，F(xiàn)ully Connected）操作負(fù)責(zé)將單詞向量組合為短語的向量。該網(wǎng)絡(luò)最后的輸出是一個(gè)完整句子的向量表示。雖然這里只展示了一個(gè)針對(duì)單一語句的解析樹，但實(shí)際上該網(wǎng)絡(luò)可以在任意形狀和大小的多個(gè)解析樹上并行地進(jìn)行動(dòng)態(tài)批處理。

目前，谷歌已經(jīng)在 Github 平臺(tái)開源了 TensorFlow Fold 庫的源代碼。需要注意的是，目前 TensorFlow Fold 只在 Linux 平臺(tái)進(jìn)行了測試，而且由于API接口的變化，TensorFlow Fold 目前也只適配了 TensorFlow 1.0 。另外，TensorFlow Fold 兼容 Python 2.7 和 3.3+ 版本。詳細(xì)的安裝和文檔說明請(qǐng)見 Github 頁面： https://github.com/tensorflow/fold 

來源：googleblog，雷鋒網(wǎng)編譯雷鋒網(wǎng)雷鋒網(wǎng)