0
| 本文作者： 三川 | 2017-02-14 07:48 |
雅虎昨日宣布開源 TensorFlowOnSpark。
它使得深度學習框架 TensorFlow 能與 Apache Spark 中的數據集兼容。對于使用 Spark 來處理不同類型數據的機構和開發者來說，這無疑是一個好消息。TensorFlowOnSpark 的開源代碼，已基于 Apache 2.0 協議在 GitHub 上發布。
眾所周知，深度學習有海量數據需求。雷鋒網了解到，許多業內公司利用 Spark 對超大規模的數據集進行管理。讓深度學習框架直接、方便地獲取這部分數據，將為 ML 開發提供極大助力。
雅虎在官方博客中宣布了這一消息，并解釋了此前雅虎 Big ML 開發團隊遇到的問題：
“現有的深度學習框架，往往需要設立單獨的深度學習數據組。這強迫我們為同一個機器學習流水線創建多個程序。維護多個獨立的數據組，要求我們在它們之間傳輸海量數據集——這導致不必要的系統復雜性和端到端的學習延遲。”
為解決這一問題，雅虎此前開發了 CaffeOnSpark。它使得基于 Caffe 機器學習框架開發的程序，能與 Apache Spark 兼容。雷鋒網了解到，雅虎已將基于 CaffeOnSpark 的程序，用于鑒別搜索中的不恰當搜索結果，以及自動探測電子競技游戲直播視頻中的關鍵看點。
雅虎去年開源了 CaffeOnSpark。如今它對 TensorFlow 做了同樣的工作。兩者的原理幾乎相同，只是把機器學習框架換成了 TensorFlow。
雅虎表示，把 TensorFlow 程序移植到 TensorFlowOnSpark 相對方便，并經過反公司內部的反復驗證。
“這通常只需要修改十行以內的 Python 代碼。許多使用 TensorFlow 的雅虎開發者已輕松地把 TensorFlow 程序，移植到 TensorFlowOnSpark 執行。”
雷鋒網獲知，雅虎會持續為 TensorFlowOnSpark 和 CaffeOnSpark 提供支持，并歡迎開源社區對兩者進行改進。對于 TensorFlowOnSpark 工作原理的詳細解釋，請參考雅虎博客。
via yahoo，siliconangle，venturebeat
相關文章：
谷歌剛發布的深度學習動態計算圖工具TensorFlow Fold是什么？
TensorFlow 1.0 要來了！它將帶來哪些革命性變化？
