AI 能看懂漫畫嗎？它的腦補能力比人類差遠了

本文作者：劉子榆

2016-11-25 11:24

導語： UMCP 調查結果顯示，讀漫畫對人工智能而言難如登天。

讀漫畫對人工智能太難了

隨著人工智能的不斷發展，它似乎已經在很多方面趕超了人類——面部識別、物體識別，還有象棋、圍棋、各種視頻游戲。

人們不禁要問，還有什么事是 AI 做不好的呢？它在哪方面比不過人類？現在，馬里蘭大學帕克分校 ( UMCP ) 的一項研究告訴你，讀漫畫可能就是其中之一。

據國外媒體報道，馬里蘭大學 Mohit Iyyer 教授對 AI 讀漫畫書的能力進行了測試。結果顯示 AI 在這一領域遠遠比不過人類。

AI 能看懂漫畫嗎？它的腦補能力比人類差遠了

漫畫由一系列單獨的圖畫構成，每部分都搭配文字解釋，圖文符合度很高。這樣一來，如果單獨看某一張圖片或是某一句文本是很難理解到漫畫意思的。

除此之外，不同作者的繪畫風格、語言風格不同，排版也存在巨大的差異。而且漫畫與視頻不同，每張圖畫之間的時間和空間是不連貫的，中間的大量情節需要讀者發揮想象力去腦補，這種對人類是輕而易舉的事情，對 AI 卻是難如登天。

Iyyer 教授用 4000 本漫畫書創造了一個由 120 萬張漫畫畫格組成的圖庫，每張畫格配有對應的文本對話框。由于涉及版權問題，圖庫中的漫畫全部來源于 20 世紀 30 年代到 50 年代的作品。

為了弄清楚 AI 理解漫畫的能力如何，研究人員進行了讓人工智能程序依靠之前見過的圖畫預測下一個畫格的實驗。首先研究小組先讓 AI 學習漫畫的創作過程，將漫畫中的一個畫格及其對應的文本投給不同的機器算法，讓它們學習一組漫畫中的每個畫格之間是如何相互關聯的。在大量訓練之后，研究人員把一組AI 之前沒有見過的短篇漫畫集對它進行測試，并要求它預測出下一張圖畫或者文本的內容。結果發現，人類預測的正確率高達 80 %，而 AI 卻與人類水準相差甚遠。

Iyyer 教授解釋，“雖然如今的 AI 已經在圖像識別、文本識別上取得了不凡的成就，但是對于看漫畫這種需要人類大腦進行邏輯推理和想象力思考的活動，它還是遠遠不及人類。不過，這也是我們今后努力的方向。”

Via technology

【招聘】雷鋒網(公眾號：雷鋒網)堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫療等領域第一時間提供海外科技動態與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優良的外翻編輯加入。工作地點深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實習均可。