0
| 本文作者： 愷歌 | 2023-03-15 10:19 |
3月14日，商湯科技發布多模態多任務通用大模型“書生（INTERN）2.5”，在多模態多任務處理能力方面實現多項全新突破，其卓越的圖文跨模態開放任務處理能力可為自動駕駛、機器人等通用場景任務提供高效精準的感知和理解能力支持，向通用人工智能邁出堅實的一步。“書生（INTERN）”最初版本由商湯科技、上海人工智能實驗室、清華大學、香港中文大學、上海交通大學在2021年11月首次共同發布，并持續聯合研發。
“書生2.5”擁有30億參數，不僅是世界上開源模型中ImageNet準確度最高、規模最大的模型，也是物體檢測標桿數據集COCO中唯一超過65.0 mAP的模型。目前，“書生2.5”多模態通用大模型已在通用視覺開源平臺OpenGVLab開源（https://github.com/OpenGVLab/InternImage），為學術界和產業界的多模態通用模型研發提供有力支撐。
當前，人工智能技術的發展正面臨著大量跨模態任務的挑戰，為滿足快速增長的各式應用場景需求，發展更為通用的人工智能模型已成為科技前沿的核心焦點問題。此次全新發布的“書生2.5”致力于多模態多任務通用模型的構建，可接收處理各種不同模態的輸入，并采用統一的模型架構和參數處理各種不同的任務，促進不同模態和任務之間在表示學習方面的協作，逐步實現通用人工智能領域的融會貫通。
在當今快速增長的各式應用場景需求下，傳統計算機視覺已無法處理真實世界中數不勝數的特定任務和場景需求。我們迫切需要一種具備通用場景感知和復雜問題處理能力的高級視覺系統。
“書生2.5”實現了通過文本來定義任務，從而可以靈活地定義不同場景的任務需求，并根據給定視覺圖像和任務的提示性語句，給出相應的指令或作答，進而具備通用場景下的高級感知和復雜問題處理能力，比如圖像描述、視覺問答、視覺推理和文字識別等。
在自動駕駛和居家機器人等通用場景下，“書生2.5”可輔助處理各種復雜任務。例如在自動駕駛場景下，可以大幅提升場景感知理解能力，準確地輔助車輛判斷交通信號燈狀態、道路標志牌等信息，為車輛的決策規劃提供有效信息輸入。
利用多模態多任務通用大模型輔助完成自動駕駛場景中各類復雜任務
利用多模態多任務通用大模型輔助完成居家機器人場景中各類復雜任務
除了解決例如自動駕駛和居家機器人這類復雜問題的能力，“書生2.5”通用大模型也可以解決紛繁復雜的日常生活中的常見任務，滿足各種需求。
除了全圖級別的以圖生文，“書生2.5”通用大模型同樣可以根據物體邊框更精細化定位任務需求。
“書生2.5”同時具備AIGC“以文生圖”的能力，可根據用戶提出的文本創作需求，利用擴散模型生成算法，生成高質量、自然的寫實圖像。例如借助“書生2.5”的以文生圖能力幫助自動駕駛技術研發，通過生成各類真實的道路交通場景，如繁忙的城市街道、雨天擁擠的車道、馬路上奔跑的狗等，生成寫實的Corner Case訓練數據，進而訓練自動駕駛系統對Corner Case場景的感知能力上限。
“書生2.5”還可根據文本快速檢索出視覺內容。例如，可在相冊中返回文本所指定的相關圖像，或是在視頻中，檢索出與文本描述最相關的幀，提高視頻中時間定位任務的效率。此外還支持引入物體檢測框，根據文本返回最相關的物體，可實現開放世界視頻或圖像中物體檢測及視覺定位。
“書生2.5”在圖文跨模態領域卓越的性能表現來自于視覺、語言及多任務建模三大模型能力的有效融合，即InternImage-G通用視覺大模型、用于文本理解的超大語言預訓練模型（LLM）和用于多任務的兼容解碼建模大模型（Uni-Perceiver）。
其中，InternImage-G通用視覺大模型能夠基于動態稀疏卷積算子自適應地調整卷積的位置和組合方式，從而為多功能視覺感知提供強大的表示。超大語言模型通過在超大規模豐富文本語料庫上進行預訓練提供強大可靠的文本特征。Uni-Perceiver通才任務解碼建模通過將不同模態的數據編碼到統一的表示空間，將不同任務統一為相同的任務范式，從而能夠以相同的架構和共享的模型參數同時處理各種模態和任務。此外，“書生2.5”還創新性地引入了任務級別的稀疏激活機制，使其具備高效的多任務協作能力。
在視覺主流圖像分類數據集ImageNet上，該模型僅基于公開數據便達到了90.1%的Top-1準確率。這是除谷歌與微軟之外，唯一準確率超過90.0%的模型，值得一提的是，谷歌與微軟均未公開模型及額外數據集。“書生2.5”同時也是世界上開源模型中ImageNet準確度最高、規模最大的模型。
除了高精確度的語義理解能力外，“書生2.5”在目標定位性能上同樣有著出色的表現。在物體檢測標桿數據集COCO上，其取得了65.4的mAP，是世界上唯一超過65.0 mAP的模型。“書生2.5”也在包括圖像分類、物體檢測、語義分割、圖像描述、圖文檢索等20+個不同場景、不同任務的單模態和跨模態公開數據集中都取得了最佳成績。
在20余個不同場景、不同任務的單模態和跨模態公開數據集中都取得了最佳成績
即日起，“書生2.5”多模態通用大模型已在通用視覺開源平臺OpenGVLab開源，成為目前開源模型社區能提供的性能最強的多模態大模型。
OpenGVLab致力于通用視覺模型的開源社區建設，開源項目覆蓋數據、模型、評測基準全鏈路，為學術界和產業界的多模態通用模型研發提供了堅實的支撐。在數據方面，OpenGVLab構建了千萬級超大規模精標注數據集，涵蓋了圖像分類、目標檢測等視覺核心任務的標注，同時包括各類圖像中的屬性、狀態等的精細標注，顯著降低了數據的采集成本。在模型方面，OpenGVLab的開源項目全方位覆蓋了通用模型架構、高效訓練框架及超高性能的預訓練模型，助力社區用極低的數據量快速滿足多場景、多任務、高性能的AI模型訓練，并供所有對人工智能技術感興趣的人士自由體驗。
OpenGVLab還提供了多任務、多模態的通用視覺評測基準，可以提供權威的評測結果，推動基于統一標準的公平和準確評測，加快通用視覺模型的產業化應用步伐。通過開源社區的建設，OpenGVLab幫助開發者顯著降低通用視覺模型的開發門檻，用更低成本快速開發用于成百上千種視覺任務、視覺場景的算法模型，高效實現對長尾場景的覆蓋，推動通用AI技術的規模化應用。
當前，“書生”還在持續學習、不斷進步，致力于實現多模態多任務通用模型技術的突破，驅動通用人工智能技術的創新應用生態，為推動人工智能學術、產業發展做出貢獻。
