0
雷鋒網 AI 科技評論消息：5 月 22 日，為響應國家人工智能戰略規劃以及教育部關于人工智能相關建設與發展的號召，微軟亞洲研究院宣布，聯手北京大學、中國科學技術大學、西安交通大學和浙江大學四所國內頂級院校，共建新一代人工智能開放科研教育平臺。雷鋒網 AI 科技評論對本次平臺啟動儀式的內容整理如下。從學術開發和企業活動上看，MSRA 在雷鋒網學術頻道 AI 科技評論旗下數據庫項目「AI 影響因子」中有不錯的表現。MSRA 近期承辦了 2018 微軟人工智能大會，微軟中英新聞翻譯達到人類水平，成績斐然，希望MSRA之后有更好的表現。
微軟全球資深副總裁、微軟亞太研發集團主席兼微軟亞洲研究院院長洪小文表示：「微軟亞洲研究院在人工智能基礎研究方面有著 20 年的積累，此次攜手國內頂級高校共建新一代人工智能開放科研教育平臺，我們的愿景在于進一步將微軟的技術優勢付諸平臺實踐，提升中國新一代人工智能領域的研發創新、人才培養、科學研究、社會服務能力。我們希望此次平臺成立翻開產學研各界開放共贏的新開篇，并期待更多后續合作高校的加入」
到 2020 年，平臺計劃開展超過 100 個聯合科研項目，開設超過 200 個人工智能課程，幫助 2000 位以上的教師提升專業技能，并為超過 2 萬名學生提供實踐實訓的機會。
新一代人工智能開放科研教育平臺將深度聚焦科研、教學與生態，面向中國高校提供技術支撐平臺、工具、數據和課程四大核心資源和服務。
支撐平臺：在新一代人工智能開放科研教育平臺的合作框架下，微軟將推出 Open Platform for AI（Open PAI）人工智能管理和調度平臺，這是國內首個針對深度學習領域由多方共同開發的開源平臺解決方案。合作各方將利用 Open PAI 開放、開源、兼容的特性，以及微軟強大的計算能力和資源，建立屬于自己的人工智能基礎支撐平臺，并享有自主產權和創新成果，為各自學校內部提供人工智能領域的創新和教育服務支持工作。
工具：為了幫助平臺合作高校更輕松地享受到人工智能領域中間技術層和深入業務的上層應用這兩層關鍵技術能力帶來的益處，微軟將提供業界第一款針對人工智能全生命周期集成開發的環境——Tools For AI，以及微軟在語音、語言、視覺等核心技術范疇內的開源工具。同時，平臺還將集成高校在各自領域里的優質開源工具。
數據：在平臺合作框架下，微軟將開放自身人工智能領域的數據集供合作高校科研和教育使用，各高校也將通過平臺貢獻各自在多個領域的數據集，如中國科學技術大學國家類腦實驗室的海量類腦數據等。
課程：微軟將積極整合自身人工智能的技術和專家積累，兼顧實戰和知識，開發并開放一套人工智能模塊化課程，同時平臺還將聯合高校專家，共同合作開發一系列具有推廣和示范性意義的、符合高校教學理念的人工智能系列課程。平臺合作高校也將根據自身學校學科建設和人才培養方案，定制出具有國際化水平的人工智能專業和實踐課程。
微軟亞洲研究院為新一代人工智能開放科研教育平臺提供的三大關鍵技術之一，Open Platform for AI（OpenPAI）備受矚目。
OpenPAI 是由微軟亞洲研究院和微軟（亞洲）互聯網工程院聯合研發的，支持多種深度學習、機器學習及大數據任務，可提供大規模 GPU 集群調度、集群監控、任務監控、分布式存儲等功能。
OpenPAI 的架構如下圖所示，用戶通過 Web Portal 調用 REST Server 的 API 提交作業（Job）和監控集群，其他第三方工具也可通過該 API 進行任務管理。隨后 REST Server 與 Launcher 交互，以執行各種作業，再由 Launcher Server 處理作業請求并將其提交至 Hadoop YARN 進行資源分配與調度。可以看到，OpenPAI 給 YARN 添加了 GPU 支持，使其能將 GPU 作為可計算資源調度，助力深度學習。其中，YARN 負責作業的管理，其他靜態資源（下圖藍色方框所示）則由 Kubernetes 進行管理。
OpenPAI 完全基于微服務架構，所有的 OpenPAI 服務和 AI Job 均在容器中運行，這樣的設計讓 OpenPAI 的部署更加簡單，無論是在 Ubuntu 裸機集群還是在云服務器上，僅需運行幾個腳本即可完成部署。這同時也使其能夠支持多種不同類型的 AI 任務，如 CNTK、TensorFlow、PyTorch 等不同的深度學習框架。此外，用戶通過自定義 Job 容器即可支持新的深度學習框架和其他機器學習、大數據等 AI 任務，具有很強的擴展性。
在運維方面，OpenPAI 提供了 AI 任務在線調試、錯誤報警、日志管理、性能檢測等功能，顯著降低了 AI 平臺的日常運維難度。同時，它還支持 MPI、RDMA 網絡，可滿足企業對大規模深度學習任務的性能要求。
不僅如此，OpenPAI 還實現了與 Visual Studio 的集成。Visual Studio Tools for AI 是微軟 Visual Studio 2017 IDE 的擴展，用戶在 Visual Studio 中就可以開發、調試和部署深度學習和 AI 解決方案。集成后，用戶在 Visual Studio 中調試好的模型可便捷地部署到 OpenPAI 集群中。
由上文可見 OpenPAI 具有如下五大優勢。
為深度學習量身定做，可擴展支撐更多 AI 和大數據框架
通過創新的 PAI 運行環境支持，幾乎所有深度學習框架如 CNTK，TensorFlow, PyTorch 等無需修改即可運行；其基于 Docker 的架構則讓用戶可以方便地擴展更多 AI 與大數據框架。
容器與微服務化，讓 AI 流水線實現 DevOps
OpenPAI 100% 基于微服務架構，讓 AI 平臺以及開發便于實現 DevOps 的開發運維模式。
支持 GPU 多租，可統籌集群資源調度與服務管理能力
在深度學習負載下，GPU 逐漸成為資源調度的一等公民，OpenPAI 提供了針對 GPU 優化的調度算法，豐富的端口管理，支持 Virtual Cluster 多租機制，可通過 Launcher Server 為服務作業的運行保駕護航。
提供豐富的運營、監控、調試功能，降低運維復雜度
OpenPAI 為運營人員提供了硬件、服務、作業的多級監控，同時開發者還可以通過日志，ssh 等方便調試作業。
兼容AI開發工具生態
平臺實現了與 Visual Studio Tools for AI 等開發工具的深度集成，用戶可以一站式進行 AI 開發。
本次會議微軟亞洲研究院還為大家提供了 OpenPAI 的入門教程。
首先是平臺部署：
編譯支持 GPU 調度的 Hadoop AI 容器，詳見https://github.com/Microsoft/pai/blob/master/hadoop-ai/README.md
部署 Kubernetes 以及系統服務（如 drivers、zookeeper、REST Server 等）。詳見https://github.com/Microsoft/pai/blob/master/pai-management/README.md
訪問 Web Portal 進行任務提交和集群管理。
然后是提交深度學習 Job 示例
將你的數據和代碼上傳至 HDFS：如用 hdfs 命令行將數據上傳至hdfs://host:port/path/tensorflow-distributed-jobguid/data
準備 Job 配置文件：詳見https://github.com/Microsoft/pai/tree/master/job-tutorial
瀏覽 Web Portal，點擊"Submit Job"上傳配置文件，即可提交你的 Job。
具體學習和體驗 OpenPAI，請點擊https://github.com/Microsoft/pai
以上就是雷鋒網 AI 科技評論對本次 MSRA 承辦的新一代人工智能開放科研教育平臺啟動儀式的全部報道。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
