0
雷鋒網 AI 科技評論報道：位于日本的國際電氣通信基礎技術研究所（ATR）的計算神經科學實驗室和京都大學日前聯合發布了一篇論文，他們可以借助 fMRI（功能性磁共振成像）技術和基于深度學習的算法根據人的大腦活動重建人類看到的圖像。雷鋒網 AI 科技評論把論文簡介如下
在論文《Deep image reconstruction from human brain activity》（根據人類大腦活動進行深度圖像重建）中，作者們介紹道：「這個重建算法可以從一張隨機圖像出發，迭代地優化其中的像素值，最終讓這張圖像經過深度神經網絡之后產生的特征和大腦活動經過特征解碼后得到的多層特征類似。最終得到的優化圖像就可以看作是對大腦活動的重建。」
為了收集訓練數據，研究員們讓被試者觀看圖像，用 fMRI 記錄下他們當時的大腦活動。觀看的圖像樣本包括幾何圖形、自然世界照片和字母；采集數據前后共花了 10 個月時間。
重建出的部分圖像請見下方動圖。
作者們用了許多不同的圖像輸入做了測試。可以看到每個類別的重建結果都和原圖差別不小，但已經體現出了不小的區分度。考慮到 fMRI 能采集到的信息有限，同時人的視覺皮層的工作機理也還沒完全研究明了，這樣的結果已經足以令人眼前一亮了。
原論文地址：https://www.biorxiv.org/content/early/2017/12/30/240317
論文摘要：用基于機器學習的方法分析人類 fMRI 的圖樣模式已經讓可視化人類意識中的內容變得可能。不過，之前的研究都僅限于低層次的基礎圖像元素，或者只是成功匹配了典型樣例。近期的一些工作已經展現出，人類大腦視覺皮層的活動可以被解碼（翻譯）為深度神經網絡的不同層級的特征，這就給利用層次化視覺特征帶來了新的方法。
在這篇論文中，作者們展示了一種全新的圖像重建方法：在采集人類大腦活動并將其解碼為多層特征之后，可以用優化手段生成新的圖像，讓新的圖像的深度神經網絡特征和前面解碼出的特征相似。作者們發現，這樣優化得到的圖像和輸入圖像（fMRI 成像期間給人類測試者看的刺激圖像）很類似，不僅圖像本身的外觀類似，對圖像中內容的主觀理解也類似。盡管作者們僅僅使用了日常照片訓練模型，他們的方法還是可以成功泛化到人造形狀的重建中，這表明他們的方法確實可以根據人腦活動「重建」或者「生成」圖像，而不是簡單匹配了典型樣例。在生成圖像過程中，生成模型附加了一些讓重建的圖像更且像自然圖像的限制，這樣就以一種高效的方法讓重建的圖像帶有了具有語意意義的細節。根據人類觀察的反饋，綜合神經網絡中多個不同的層的特征形成的圖像比只用單個層的圖像具有更高的視覺質量。總的來說，這項研究表明人類大腦的層級化視覺信息可以被高效地綜合利用，重建出感知性的、主觀的圖像。
via NVIDIA Developer News，雷鋒網 AI 科技評論編譯
相關文章：
DARPA 撥款 6500 萬美元用于腦機接口研發，一起來看各頂尖研究機構的腦洞
近距離接觸類腦計算，看腦機接口如何走向腦機融合|CCF-ADL 新課報名中
專訪腦機接口研究先驅米格爾 ? 尼科萊利斯：馬斯克的觀點我不同意
