0
| 本文作者： 大壯旅 | 2016-07-25 20:42 |
最近大火的應用Prisma恐怕擊中了不少人的軟肋，那種讓普通照片變身藝術作品的感覺確實非同凡響。不過，加個濾鏡誰都會，但能將抽象變得具體恐怕就不那么容易了。眼下，在荷蘭研究者的努力下，這一概念正在變成現實。
荷蘭內梅亨大學的四位神經科學家正在利用深度神經網絡打造新的模型，利用該模型，用戶可以將普通的面部素描作品變成逼真的圖片。這項名為卷積素描反轉（Convolutional Sketch Inversion）的研究開始登陸了在線論文預印平臺arXiv（未經同行評審的論文），不過現在已經得到了歐洲計算機視覺會議的首肯。
神經科學家們表示，他們的模型可以兼容各種藝術品，將自畫像轉換成普通照片。不過，恐怕其最大的受益者還是警方，因為原本不甚清晰的目擊者描述終于可以變成正常的照片了。
“我們做出這個模型也是受了neural style（讓機器模仿已有畫作的繪畫風格來把一張圖片重新繪制的算法）的啟發，”參與研究的神經科學家Ya?mur Gü?lütürk和Umut Gü?lü說道。
此前，他們曾將一張德國蒂賓根市的風景圖轉換成了類似梵高名作《星夜》風格的油畫。“這次經歷讓我們有了新的思考，反過來轉換會如何呢？梵高的《星夜》又會變成什么模樣？”Gü?lütürk和Gü?lü寫道。
在研究論文中，Gü?lütürk和Gü?lü講解了他們類神經網絡軟件的工作方式：
“下面，我們來解釋下類神經網絡是如何將素描轉換成普通照片的。首先，我需要搭建一個龐大的數據集，并為其填充各種素描和照片（成對的）。隨后，我開始向類神經網絡展示素描，并要求它轉換成照片。起初，類神經網絡的準確度一般。將其轉換的圖片與數據庫進行對比后，我會指出類神經網絡的失誤。根據這些反饋，類神經網絡需要不斷調整策略并最終給出精確的轉換圖片。”
圖注：類神經網絡的作品，左邊的圖片是原版，中間為素描，右側的則是算法轉換出的圖片，精確度確實相當高。
熟能生巧，只要不斷地進行重復，該模型就學會了匹配素描和圖片。
“我們不斷重復最后兩步，”Gü?lütürk和Gü?lü說道。“最終，類神經網絡終于能轉換出較為完美的圖片了。如果一切順利，未來類神經網絡不但可以轉換看到過的素描，在轉換全新素描時也能有相當高的準確度。”
為了不斷訓練并測試這一算法，神經科學家還用上了電腦生成的素描，這些素描主要基于CelebA數據集（大規模名人人臉標注數據集，包含20萬+的名人圖片）和LFW數據集（13000+網絡圖片）。
除了拿自己的臉部素描做實驗，神經科學家們還用了三個荷蘭著名藝術家的自畫像（倫勃朗、梵高和埃舍爾）。
圖注：三位著名藝術家自畫像的轉換
眼下，Gü?lütürk和Gü?lü正考慮如何將該技術推向市場。據悉，藝術市場和法庭可能是首批沐浴新技術的領域。Gü?lütürk和Gü?lü表示：“我們的子公司已經開始了前期準備，希望能盡快將該技術推向市場。”
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
