美圖推出業界最大規模教程類行為數據集 | CVPR 2019

雷鋒網 AI 科技評論按，計算機視覺頂會 CVPR 2019 即將于 6 月在美國長灘召開，今年有超過 5165 篇的大會論文投稿，最終錄取 1299 篇。隨著會議臨近，各大公司紛紛揭曉自家被收錄論文。

美圖公司社交產品事業群視覺算法組與清華大學自動化系智能視覺實驗室合作，推出了業界最大規模教程類行為數據集 COIN（COmprehensive INstructional video analysis），相關論文（COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis）已被 CVPR 2019 錄用。

COIN 數據集概覽

教程類行為視頻（Instructional Video）可以幫助使用者獲取完成各種行為任務的知識，但是現有教程類行為視頻數據集在規模性和多樣性上都存在較大的局限性，難以應用于現實生活中的復雜場景。為此，美圖公司社交產品事業群視覺算法組與清華大學自動化系智能視覺實驗室合作提出了名為 COIN 的大規模教程類數據集，用于更全面的教程類行為視頻分析。

COIN 數據集在標注結構上采用分層的組織結構，第一層是領域（Domain）、第二層是任務（Task）、第三層是步驟（Step），其中包含與日常生活相關的 11827 個視頻，涉及交通工具、電器維修和家具裝修等 12 個領域的 180 個任務，共 778 個步驟。

COIN 數據集的分層結構

COIN 數據集的設計人員還開發了創新性的標注工具，可以更高效更準確地標注視頻行為的步驟信息。此外，為了給數據集提供更準確的基準指標，數據集開發人員還使用了 SSN、R-C3D 等評價方法對 COIN 數據集進行了測評。

COIN 數據集的步驟定位準確率分析

論文地址：https://arxiv.org/abs/1903.02874

GitHub地址：https://coin-dataset.github.io