0
| 本文作者： 程弢 | 2017-03-28 11:41 |
今天，騰訊正式發(fā)布了旗下深度學(xué)習(xí)平臺DI-X（Data Intelligence X），這是繼今年1月推出FPGA云服務(wù)器之后，騰訊在人工智能領(lǐng)域的又一重大舉措。據(jù)雷鋒網(wǎng)了解，DI-X將基于騰訊云的大數(shù)據(jù)存儲與處理能力，為其用戶提供一站式的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)服務(wù)。
馬化騰曾表示：“人工智能、物聯(lián)網(wǎng)，甚至未來的無人駕駛、機(jī)器人等等，它的后臺的核心一定有一顆在云端的大腦。”而對于騰訊而言，馬化騰所提及的云端大腦正是構(gòu)建與其騰訊云服務(wù)之上。
隨著DI-X深度學(xué)習(xí)平臺已經(jīng)上線，騰訊云在人工智能領(lǐng)域產(chǎn)品線已經(jīng)覆蓋了IaaS基礎(chǔ)設(shè)施、AI平臺服務(wù)、AI基礎(chǔ)服務(wù)、AI應(yīng)用服務(wù)以及垂直解決方案。
那么最新推出的DI-X和騰訊去年開源的大數(shù)據(jù)框架Angel以及Mariana究竟有何聯(lián)系？和其它平臺相比，DI-X又有何特點(diǎn)呢？為此，雷鋒網(wǎng)采訪了騰訊T4專家、騰訊云機(jī)器學(xué)習(xí)平臺技術(shù)負(fù)責(zé)人Andy。
騰訊內(nèi)部有一個機(jī)器學(xué)習(xí)平臺，從2015年的10月份就開始啟動了。因為公司有很多的算法工程師和數(shù)據(jù)科學(xué)家，大家做的事情都很類似，迫切需要一個這樣的平臺來承載大家的需求，在上面方便的進(jìn)行各種組件，算法和模型的配置，快速的判斷模型效果，并應(yīng)用到生產(chǎn)上。之前公司內(nèi)部的大數(shù)據(jù)平臺，包括存儲，計算和分析……都已經(jīng)日趨成熟了，在此之上，需要往上再走一步，進(jìn)行機(jī)器學(xué)習(xí)和人工智能，所以這樣的平臺就應(yīng)運(yùn)而生了。
平臺在內(nèi)部運(yùn)行1年左右之后，效果還不錯，于是騰訊云就啟動了這個項目（DI-X），將內(nèi)部平臺遷移到騰訊云上。在今年的3月份上旬，GPU云服務(wù)器產(chǎn)品也對外開放了，所以DI-X剛好和它對接上，主攻深度學(xué)習(xí)，希望能幫助到更多的騰訊云的中小用戶，接入AI的快車道。
項目是由SNG騰訊云的數(shù)據(jù)產(chǎn)品團(tuán)隊和TEG數(shù)據(jù)平臺部的機(jī)器學(xué)習(xí)團(tuán)隊聯(lián)合而成，人不多，就十幾個。我們相信小團(tuán)隊比較適合快速的迭代，產(chǎn)品現(xiàn)在還很年輕，需要快速的成長。
機(jī)器學(xué)習(xí)平臺的設(shè)計，其實(shí)即便是Azure，都有很多不完善的地方，而這個平臺是一開始就是要服務(wù)內(nèi)部用戶的，所以會面對很多用戶奇奇怪怪的需求，而這時如何去將這些需求化解為真正對平臺有通用意義的功能，是需要有很強(qiáng)的理解力和把控力的，這個是對這個產(chǎn)品最大的挑戰(zhàn)之一。
這個平臺面對的另外一個挑戰(zhàn)，就是人工智能和機(jī)器學(xué)習(xí)的發(fā)展太快了，很多新的功能和需求，不停的出現(xiàn)，也有新的更好的平臺值得借鑒。我們需要更快的走完前人走的路，還要跟上后來者的節(jié)奏，這個對團(tuán)隊的快速迭代能力，也有很高的要求。
DI-X的設(shè)計理念是打造一個一站式的機(jī)器學(xué)習(xí)平臺，集開發(fā)、調(diào)試、訓(xùn)練、預(yù)測、部署于一體, 讓算法工程師和數(shù)據(jù)科學(xué)家，無須關(guān)注機(jī)器學(xué)習(xí)（尤其是深度學(xué)習(xí)）的底層工程繁瑣的細(xì)節(jié)和資源，專注于模型和算法調(diào)優(yōu)。
DI-X的最終目的是成為一個時尚，強(qiáng)大而智能的機(jī)器學(xué)習(xí)平臺，讓機(jī)器學(xué)習(xí)充滿樂趣，助力人工智能。
伴隨著機(jī)器學(xué)習(xí)和人工智能的發(fā)展，對騰訊這樣大體量的公司來說需要一個這樣的平臺來支持內(nèi)部算法工程師的需求。DI-X目前已經(jīng)在騰訊內(nèi)部廣泛使用，一開始的目的也是支撐內(nèi)部。隨著系統(tǒng)成熟，我們覺得可以通過騰訊云，把這個能力開放出來。
整體上來看，DI-X和阿里數(shù)加，Azure是競品，大家會各有所長。
主要體現(xiàn)在以下三個方面：
1. 易用性：可視化的拖拽式任務(wù)流設(shè)計界面，配備了輸入、組件、算法、模型、輸出5類模塊，靈活組合，可以做到無須任何編碼而完成復(fù)雜機(jī)器學(xué)習(xí)任務(wù)。
2. 靈活性：用戶既支持使用集成的機(jī)器學(xué)習(xí)算法，也能在業(yè)界的各種機(jī)器學(xué)習(xí)組件上提交自己算法。
3. 重點(diǎn)支持深度學(xué)習(xí)：目前支持TensorFlow，Caffe，Torch3種框架組件，后續(xù)會提供更多深度學(xué)習(xí)框架和針對性優(yōu)化。
Angel是一個高緯度的機(jī)器學(xué)習(xí)框架，可以作為一個獨(dú)立的機(jī)器學(xué)習(xí)組件，也可以作為PS-Service（參數(shù)服務(wù)器服務(wù)），支持Spark和其它深度學(xué)習(xí)框架。內(nèi)部已經(jīng)在試用了，開源之后也會發(fā)布到DI-X上面，讓用戶方便的使用和接入。
Mariana主要是一個針對GPU，基于Caffe進(jìn)行了數(shù)據(jù)并行和模型并行能力升級的一個分布式GPU計算框架，也是可以在DI-X上運(yùn)行的一個框架組件。我們在內(nèi)部版本的TeslaML上，都有這個組件的存在，但是對外的話，我們計劃是將它融合到Angel之中，作為一個整體開放。
DI-X在騰訊內(nèi)部服務(wù)一段時間了，大部分的場景都是比較大的數(shù)據(jù)量的，所以會適合工業(yè)界一些。對于學(xué)術(shù)界是否合適，我覺得要用戶來評判。當(dāng)然我們很歡迎學(xué)術(shù)界的朋友來試用。
DI-X目前剛剛推出，比起之前的產(chǎn)品有一些的時間距離，這是劣勢，也是優(yōu)勢。相比之下，成熟度會弱一點(diǎn)，但是我們借鑒了之前產(chǎn)品的特點(diǎn)和經(jīng)驗，并做了一些改進(jìn)和創(chuàng)新。尤其是算法的“小尾巴”設(shè)計上，和之前的產(chǎn)品設(shè)計都不太一樣，在模型的收藏，使用，預(yù)測，部署上，都會有很多的優(yōu)勢，對深度學(xué)習(xí)更加的友好。
目前的各個深度學(xué)習(xí)組件，我們都是使用業(yè)界的開源最新版本，打通和COS的交互。后續(xù)在多機(jī)多卡的加速上，我們會借助Angel，提供更強(qiáng)的性能支持。
DI-X解決的問題，主要是用戶在騰訊云有了資源之后，可以降低開發(fā)和使用機(jī)器學(xué)習(xí)的門檻。假如你購買了GPU的計算集群，你需要到上面自己去安裝各種組件，上傳作業(yè)，調(diào)度運(yùn)行，關(guān)注告警；但是有了DI-X，你只要點(diǎn)幾下鼠標(biāo)，對接上GPU資源后，就能把一個深度學(xué)習(xí)算法跑起來了，無論是你自己開發(fā)的還是業(yè)界現(xiàn)有的，這樣的一站式平臺，都能夠降低算法工程師和數(shù)據(jù)科學(xué)家的門檻，他們不用操心很多工程上的細(xì)節(jié)，可以專心的調(diào)算法和參數(shù)，把模型訓(xùn)練好。
目前DI-X在騰訊內(nèi)部，應(yīng)用廣泛，例如游戲流失率預(yù)測、用戶標(biāo)簽傳播以及廣告點(diǎn)擊行為預(yù)測，這些應(yīng)用背后都有DI-X的支持。以用戶行為預(yù)測為例，借助DI-X平臺，可以方便的拖拽出一個BRNN Encoder模型（雙向循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器），從用戶自身和用戶圈子好友的行為序列數(shù)據(jù)中提取出基礎(chǔ)特征，進(jìn)行棧式自編碼（Stacked Auto-Encoder）模型的訓(xùn)練，充分利用RNN的模型特點(diǎn)，得到比常規(guī)模型更精準(zhǔn)的行為預(yù)測效果。
對于騰訊云來說，DI-X是補(bǔ)上了重要的一環(huán)，讓騰訊云的智能云能力，更加的完備，并充分發(fā)揮GPU計算集群的產(chǎn)品能力，是一對很好的搭檔產(chǎn)品。
使用DI-X，對于中小企業(yè)來說，某種程度上是開上了機(jī)器學(xué)習(xí)和人工智能的快車道，這個是我們的期望。不需要重復(fù)的搭建類似的系統(tǒng)，可以一鍵式的完成算法和模型的開發(fā)、調(diào)試、評估、部署和預(yù)測，快速的完成閉環(huán)，并對接生產(chǎn)系統(tǒng)。
未來，我們希望能夠幫助到更多的AI創(chuàng)業(yè)公司和客戶，降低他們的創(chuàng)業(yè)門檻，更快的專注于有創(chuàng)意的業(yè)務(wù)上，而無須擔(dān)心底層。另外我們也希望能夠?qū)Ⅱv訊的成熟的數(shù)據(jù)，算法，模型開放出來，幫助到需要的小公司，讓它們能夠快速成長。
當(dāng)然，DI-X仍然不是一款成熟的產(chǎn)品，和現(xiàn)有的平臺相比顯然還有一定的差距，這對產(chǎn)品團(tuán)隊的技術(shù)水平是一次考驗。Andy告訴雷鋒網(wǎng)，在后續(xù)的版本當(dāng)中，他們還會做一系列的優(yōu)化：
首先，會把其它的機(jī)器學(xué)習(xí)組件補(bǔ)齊，包括Spark、xgBoost，甚至于Python、R，我們都會一一加上，讓DI-X更加完整；
其次，要把深度學(xué)習(xí)的特性做進(jìn)一步的產(chǎn)品優(yōu)化，使得它能夠在模型的超參數(shù)調(diào)節(jié)，效果可視化上，具有更好的競爭力。
毋庸置疑，人工智能基礎(chǔ)服務(wù)已經(jīng)成為互聯(lián)網(wǎng)巨頭必爭之地，作為騰訊“云端大腦”的一部分，DI-X上線后的表現(xiàn)如何，我們拭目以待！
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
