AAAI 2023實(shí)用AI挑戰(zhàn)賽：打通學(xué)術(shù)與落地的橋梁

本文作者：嘉嘉

2022-11-18 14:23

導(dǎo)語(yǔ)：近年來(lái)，人工智能行業(yè)發(fā)展迅速，熱度居高不下，各種性能強(qiáng)大的算法和硬件層出不窮。但在“光鮮”外表之下，人工智能算法“落地難”的問(wèn)題卻一直為人所詬病。歸根究底，是學(xué)

近年來(lái)，人工智能行業(yè)發(fā)展迅速，熱度居高不下，各種性能強(qiáng)大的算法和硬件層出不窮。但在“光鮮”外表之下，人工智能算法“落地難”的問(wèn)題卻一直為人所詬病。歸根究底，是學(xué)術(shù)界在追求模型理論性能提升的同時(shí)，對(duì)于算法在實(shí)際工業(yè)場(chǎng)景的落地實(shí)踐有所欠缺，忽視了模型在不同硬件上的能力邊界。

為此，商湯科技聯(lián)合北航劉祥龍教授團(tuán)隊(duì)，攜手安徽合肥數(shù)據(jù)空間研究院、天數(shù)智芯、科大訊飛、OpenI 啟智新一代人工智能開(kāi)源開(kāi)放平臺(tái)等機(jī)構(gòu)與企業(yè)，在國(guó)際頂級(jí)人工智能會(huì)議AAAI 2023上舉辦實(shí)用AI挑戰(zhàn)賽，旨在搭建一座連通學(xué)術(shù)與工業(yè)化落地的橋梁，篩選出效果好、效率高、魯棒性強(qiáng)的模型設(shè)計(jì)，推動(dòng)人工智能領(lǐng)域朝實(shí)用方向發(fā)展。

AAAI 2023實(shí)用AI挑戰(zhàn)賽：打通學(xué)術(shù)與落地的橋梁

依托商湯AI大裝置，商湯科技內(nèi)部自研的模型全生命周期效率提升工具-模型工廠，也將于本次比賽期間首次對(duì)外開(kāi)放部分能力，其全流程、自動(dòng)化、多硬件的人工智能部署和測(cè)試平臺(tái)，可用于評(píng)估包括算法速度、精度等多維度的實(shí)用性，快速篩選出高性能的人工智能模型。

在本次比賽中，我們選擇了在智慧安防、自動(dòng)駕駛、手機(jī)、云計(jì)算四個(gè)熱門人工智能落地場(chǎng)景下使用的7個(gè)不同硬件平臺(tái)，這些硬件平臺(tái)在算力、算子支持和模型量化方案等方面各有不同。參賽隊(duì)伍將基于7個(gè)指定平臺(tái)展開(kāi)角逐，充分考慮硬件特性，針對(duì)交通燈和交通標(biāo)志識(shí)別任務(wù)，嘗試找出在各個(gè)平臺(tái)表現(xiàn)最優(yōu)異的模型，也可以嘗試設(shè)計(jì)多平臺(tái)通用的“全能”模型！

本次大賽依托“AAAI 2023 Workshop: Practical Deep Learning in the Wild”展開(kāi)。獲獎(jiǎng)隊(duì)伍將獲得豐厚獎(jiǎng)金，還將受邀在workshop分享冠軍方案。大賽已正式啟動(dòng)，查看文末網(wǎng)址或點(diǎn)擊閱讀原文，即刻報(bào)名參與。

賽題詳情

本次比賽共包含兩個(gè)賽道：?jiǎn)纹脚_(tái)高性能魯棒結(jié)構(gòu)設(shè)計(jì)和跨平臺(tái)高性能魯棒結(jié)構(gòu)設(shè)計(jì)。

賽道一：?jiǎn)纹脚_(tái)高性能魯棒結(jié)構(gòu)設(shè)計(jì)

針對(duì)單一硬件平臺(tái)的最優(yōu)模型：不同的芯片支持的算子和數(shù)據(jù)類型以及算子的底層優(yōu)化機(jī)制均不相同，因此該賽道鼓勵(lì)參賽團(tuán)隊(duì)根據(jù)不同的硬件芯片的特性，選擇特定芯片設(shè)計(jì)硬件相關(guān)的高性能網(wǎng)絡(luò)結(jié)構(gòu)。

賽道二：跨平臺(tái)高性能魯棒結(jié)構(gòu)設(shè)計(jì)

針對(duì)全部硬件平臺(tái)找到一個(gè)通用的高效魯棒模型：希望參賽團(tuán)隊(duì)能夠綜合考慮不同芯片的硬件特性，設(shè)計(jì)一個(gè)在全部七個(gè)平臺(tái)通用的，高效魯棒模型結(jié)構(gòu)。

賽題覆蓋多種場(chǎng)景和硬件架構(gòu)，涉及的硬件平臺(tái)包括：

· 安防芯片：華為Atlas 300 / 瑞芯微 RV1126

· 云端GPU芯片：英偉達(dá) Tesla T4

· 手機(jī)芯片：高通SNPE GPU、DSP

· 自動(dòng)駕駛芯片：德州儀器TDA4VM

· 商湯自研推理芯片：商湯STPU S1

在數(shù)據(jù)集方面，基于商湯在自動(dòng)駕駛領(lǐng)域多年積累，開(kāi)放部分交通標(biāo)志和信號(hào)燈數(shù)據(jù)集，聚焦真實(shí)場(chǎng)景問(wèn)題。

比賽規(guī)則

比賽將系統(tǒng)評(píng)估模型的速度、精度和魯棒性三個(gè)方面。

比賽早期會(huì)分別釋放訓(xùn)練數(shù)據(jù)，選手們僅能使用該階段提供的訓(xùn)練數(shù)據(jù)對(duì)其設(shè)計(jì)的模型進(jìn)行訓(xùn)練，并用A榜驗(yàn)證集評(píng)估模型在其實(shí)驗(yàn)環(huán)境下的精度表現(xiàn)。為了篩選出具備魯棒性的參賽方案，最終排名會(huì)使用B榜測(cè)試集，該測(cè)試集包含硬件平臺(tái)自身的系統(tǒng)噪聲以及真實(shí)生活場(chǎng)景的自然噪聲。每個(gè)平臺(tái)會(huì)單獨(dú)評(píng)估選手提交模型的精度(presicion)和速度(latency)，并計(jì)算相對(duì)的精度得分和速度得分。

得益于商湯AI大裝置能力，比賽開(kāi)放模型的速度測(cè)試和精度測(cè)試入口，選手每天可以通過(guò)比賽提供的測(cè)速服務(wù)和精度測(cè)試服務(wù)，快速驗(yàn)證其設(shè)計(jì)的結(jié)構(gòu)在不同硬件平臺(tái)的真實(shí)推理速度和精度。

獎(jiǎng)項(xiàng)設(shè)置

比賽提供了總額達(dá)1.7萬(wàn)美元的豐厚獎(jiǎng)金池。

AAAI 2023實(shí)用AI挑戰(zhàn)賽：打通學(xué)術(shù)與落地的橋梁

賽道1：?jiǎn)纹脚_(tái)賽道

*本獎(jiǎng)項(xiàng)共涉及7個(gè)硬件平臺(tái)，每個(gè)硬件平臺(tái)的冠軍隊(duì)伍均可獲得1000美元的獎(jiǎng)勵(lì)。

AAAI 2023實(shí)用AI挑戰(zhàn)賽：打通學(xué)術(shù)與落地的橋梁

賽道2：多平臺(tái)賽道

注：參賽隊(duì)伍不能同時(shí)獲得兩個(gè)賽道的獎(jiǎng)金，若在兩賽道均排名靠前，獎(jiǎng)金取數(shù)額大者發(fā)放。

參賽樣例

為了降低參賽門檻、方便參賽隊(duì)伍快速上手，提供了包含從訓(xùn)練到測(cè)試的完整樣例 (https://github.com/ModelTC/AAAI2023_EAMPD)，每個(gè)人都可以跟隨教程，完成提交。同時(shí)還能享受到來(lái)自O(shè)penI的免費(fèi)算力資源。