1
雷鋒網按：本文為雷鋒字幕組編譯的技術博客，原標題Releasing “Supervisely Person” dataset for teaching machines to segment humans，作者為Supervise.ly。
翻譯 | 郭乃嶠 汪寧 張虎 整理 | 凡江 吳璇
我們非常自豪地在這里宣布，Supervisely人像數據集正式發布。它是公開的并且免費，僅出于學術的目的。
要讓AI全民共享， 我們不僅需要開源，還要一場強有力的“開放數據”運動。——吳恩達
我們當然同意他的看法，并讓我們擴展一下這個想法。對于語義分割的人物，有很多深層神經網絡的研究。但是，大多數情況下，收集數據要比開發和應用算法去運行數據更困難和昂貴。
這就是為什么我們需要專門設計的平臺，這個平臺可以覆蓋全部的機器學習的工作流，從開發訓練數據集到訓練和部署神經網絡。
幾個例子來自"Supervisely人像數據集"
我們認為，我們的工作將會幫助開發者、研究者和商人們。為了更快地創建大型訓練數據集，我們的工作不僅可以看作一個公開的數據集，而且可以被視為一套創新的方法和工具。
接下來，我們將介紹關于如何從頭建立這個數據集，讓我來展示一些有趣的事實：
數據集由5711張圖片組成，有6884個高質量的標注的人體實例。
下面的所有步驟在Supervisely內部完成的，沒有任何編碼。
更重要的是，這些步驟是被我內部的注釋器執行的，沒有任何機器學習專業知識。數據科學家僅僅只是控制和管理這過程。
注釋組由兩名成員組成并且這整個過程只花了4天。
Supervisely 是包含數據科學的智慧機器學習平臺。它允許數據科學家專注于真正的創新，并將日常工作留給其他人（是的，訓練眾所周知的神經網絡架構也是一項常規工作）。
要解決的問題
在許多真實世界的應用中，人像檢測是分析人類圖像中的關鍵任務，在動作識別、自動駕駛汽車、視頻監控、移動應用等方面均有使用。
我們在DeepSystems公司進行了內部研究，這讓我們意識到人體檢測任務缺乏數據。你會問我們：那COCO、Pascal、Mapillary 等公共數據集呢？為了回答這個問題，我會更好地向你展示幾個例子：
幾個來自COCO數據集的人類標注示例
大多數公共數據集中人體檢測數據的質量不符合我們的要求，我們必須創建自己的數據集，并提供高質量的注釋，我會告訴你我們是如何做到的。
步驟0：將公共數據集上傳和準備，作為初始點來訓練初始神經網絡
將公共數據集上傳到系統：PascalVoc，Mapillary。我們的“導入”模塊支持大多數公共數據集，并將它們轉換為統一的基于json-based的格式，稱為Supervisely格式 :)
我們執行DTL（“數據轉換語言”）查詢以執行一些操作：合并數據集 - >跳過沒有人物的圖像 - >從圖像裁剪每個人 - >按寬度和高度過濾它們 - >分割為訓練/測試集。
合并，裁剪和過濾公共數據集后的原始數據
似乎有很多公開可用的數據，但我們在前面提到過，存在一些隱藏的問題：注釋質量低，分辨率低等等。
因此，我們構建了第一個訓練數據集。
步驟1：訓練神經網絡
我們將對 UNet-like 架構進行稍微定制
Unet_v2架構
損失= 二進制損失熵+(1 -隨機數)。
該網絡訓練速度快，它非常準確，易于實施和定制。它允許我們進行大量的實驗。Supervisely可以分布在集群中的多個節點上。
因此我們可以同時訓練幾個神經網絡。同樣所有的神經網絡都支持我們平臺上的多GPU訓練。每個訓練試驗的輸入分辨率為256 * 256，且都不超過15分鐘。
步驟2：準備數據進行注釋
我們沒有收集未標記的圖像，所以我們決定從網上下載它。我們在github上實現了這個項目，從而可以從優秀的照片庫中下載數據 ，由Pexels完成（感謝他，這真的很酷的工作）。
因此，我們下載了大約15k的圖片，其中包含與我們的任務相關的標簽，并將其上傳到Supervisely并通過DTL查詢執行調整大小操作，因為它們具有超高分辨率。
步驟3：將神經網絡應用于未標記的圖像
過去的架構不支持實例分段。 因此我們沒有使用Mask-RCNN，因為靠近物體邊緣的分割質量很低。
這就是為什么我們決定做兩步計劃：應用Faster-RCNN（基于NasNet）來檢測圖像上的所有人，然后為每個人定界框應用分割網絡來分割支配對象。 這種方法保證我們既模擬實例分割又準確地分割對象邊緣。
應用模型和手動修正檢測的3分鐘視頻
我們嘗試了不同的分辨率：我們傳遞給NN的分辨率越高，它產生的結果就越好。 我們并不關心總推理時間，因為Supervisely支持分布在多臺機器上的推理。 對于自動預標注任務來說，這已經足夠了。
步驟4：手動驗證和糾錯
所有推斷結果都會實時顯示在儀表板中。 我們的操作員預覽所有結果并使用幾個標簽標記圖像：不良預測、預測糾正、良好預測。 這個過程是快速的，因為他們需要很少的鍵盤快捷鍵“下一個圖像”和“分配標簽圖像”。
我們如何標記圖像：左 - 不良預測，中 - 預測需要輕度手動校正，右 - 好預測。
標記為“不良預測”的圖像被跳過。 進一步的工作繼續是處理我們需要糾正的圖像。
如何校正神經網絡預測
手動校正所需的時間比從頭開始的注釋少得多。
步驟5：將結果添加到訓練數據集并轉到第1步
完成！
一些提示：
當我們應用僅對公共數據進行訓練的NN時，“合適”圖像（標記為“良好預測”和“預測正確”）的百分比約為20％。
經過樹型快速迭代后，這個數字增加到70％。我們總共完成了6次迭代，最終的NN變得相當準確:-)
在訓練之前，我們在物體邊緣添加了小波段以平滑鋸齒狀邊緣并執行多種增強：翻轉，隨機裁剪，隨機角度旋轉和顏色轉換。正如您所看到的，即使您需要在圖像上注釋多個對象類，這種方法也適用于許多計算機視覺任務。
獎勵
這個數據集幫助我們改進AI支持的注釋工具 - 定制化的用它來檢測人類。 在我們的最新版本中，我們添加了在系統內部訓練NN的能力。 以下是基于類別的工具與其定制版本的比較。 它是可用的，你可以試試你的數據。
如何訪問數據集
注冊Supervisely，進入“Import” tab -> “Datasets library”。 點擊“Supervisely Person”數據集，為新項目編寫名稱。 然后點擊“three dots”按鈕 - >“下載為json格式” - >“Start”按鈕。 就這樣， 總下載時間可能需要15分鐘(~ 7 GB）。
如何下載結果
結論
看看沒有任何ML背景的人如何完成所有這些步驟是非常有趣的。 我們作為深度學習專家節省了大量時間，我們的注釋團隊在注釋速度和質量方面變得更加高效。
我們希望，Supervisely平臺將幫助每個深度學習團隊更快更輕松地制作AI產品。
讓我列出我們在這項工作中使用的最有價值的Supervisely功能：
1. “Import”模塊可以上傳所有公共數據集
2. “Data Transformation Language”來操作，合并和增強數據集
3.“ NN”模塊使用Faster-RCNN和UnetV2
3. “Statistics”模塊自動從我們擁有的數據中獲得有用的見解
4. “Annotation”就像Photoshop一樣用于訓練數據“協作”功能，允許將工作人員與注釋團隊相結合，為他們分配任務并控制整個過程。
雷鋒網相關推薦 雷鋒網
雷鋒字幕組正在招募中
掃描下方二維碼
備注“雷鋒字幕組+姓名”加入我們吧
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
