百度組建全球最大深度機(jī)器學(xué)習(xí)開源平臺(tái)

百度發(fā)起的全球最大分布式深度機(jī)器學(xué)習(xí)開源平臺(tái)近期正式面向公眾開放。據(jù)介紹，該平臺(tái)隸屬于“深盟”開源組織，核心開發(fā)者來自百度深度學(xué)習(xí)研究院(IDL)，微軟亞洲研究院、華盛頓大學(xué)、紐約大學(xué)、香港科技大學(xué)，卡耐基·梅隴大學(xué)等公司和高校。通過這一平臺(tái)，開發(fā)者們可以免費(fèi)獲得分布式機(jī)器學(xué)習(xí)算法源碼，從而降低開發(fā)和部署分布式機(jī)器學(xué)習(xí)系統(tǒng)及相關(guān)應(yīng)用的門檻。

“此次我們推出的深度機(jī)器學(xué)習(xí)開源平臺(tái)，和其他開源軟件一樣沒有任何使用限制，個(gè)人和機(jī)構(gòu)均可以自由使用”，深盟項(xiàng)目負(fù)責(zé)人之一、百度深度學(xué)習(xí)研究院李沐稱，目前業(yè)內(nèi)流行的分布式平臺(tái)例如Spark都基于JAVA語言，開發(fā)難度雖然較低，但通常在性能上有所缺陷。而此次“深盟”推出的深度機(jī)器學(xué)習(xí)開源平臺(tái)，其核心則完全采用C++語言，加之所開放的算法經(jīng)過了多家公司的實(shí)踐，因此性能穩(wěn)定，達(dá)到了工業(yè)級(jí)應(yīng)用水平。同時(shí)也希望能吸引更多的開發(fā)者和項(xiàng)目的加入。

百度方面表示，機(jī)器學(xué)習(xí)是人工智能研究領(lǐng)域中的重要方向，而深度學(xué)習(xí)則是近年機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)突破。2013年，百度組建了百度IDL(深度學(xué)習(xí)研究院)，嘗試將深度學(xué)習(xí)應(yīng)用于語音識(shí)別和圖像識(shí)別、檢索，以及廣告CTR預(yù)估等領(lǐng)域。目前有超過8項(xiàng)深度學(xué)習(xí)技術(shù)在其產(chǎn)品上線，用于GPU提升計(jì)算效率，處理海量訓(xùn)練數(shù)據(jù)，語音識(shí)別，OCR識(shí)別，人臉識(shí)別，圖像搜索等。

據(jù)介紹，現(xiàn)在“深盟”分布式深度機(jī)器學(xué)習(xí)開源平臺(tái)的已有組件已成功覆蓋三類最常用的機(jī)器學(xué)習(xí)算法，包括被廣泛用于排序的決策樹模型(GBDT)，用于點(diǎn)擊預(yù)測(cè)的稀疏線性模型，以及深度學(xué)習(xí)。

目前，“深盟”的重點(diǎn)開發(fā)項(xiàng)目被命名為“蟲洞”，其將成為所有深盟項(xiàng)目的統(tǒng)一入口。蟲洞將自動(dòng)構(gòu)建深盟所有項(xiàng)目，為對(duì)所有組件提供一致的數(shù)據(jù)流支持，無論數(shù)據(jù)是以何種格式存在網(wǎng)絡(luò)共享磁盤，HDFS，還是Amazon S3， 此外，它還提供統(tǒng)一腳本來編譯和運(yùn)行所有組件，使得用戶即可以在方便的本地集群運(yùn)行任何一個(gè)分布式組件，又可以將任務(wù)提交到任何一個(gè)包括Amazon EC2，Microsfot Azure, Google Compute Engine在內(nèi)的云計(jì)算平臺(tái)，并提供自動(dòng)的容災(zāi)管理。

作者：新浪科技 童郜

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。