0
雷鋒網按：本文由雷鋒字幕組編譯，原標題New AI Imaging Technique Reconstructs Photos with Realistic Results，作者為Nvidia Developer News Center。
翻譯 | 李誠 孫啟超 整理 | 凡江
日前，英偉達公司由 Guilin Liu 領導的研發團隊發布了一種最先進的深度學習算法，可以編輯圖像或復原那些像素有缺失的圖像。
該方法還可以通過刪除圖像的部分內容再進行填充的方式，來重新編輯圖像。
這種“圖像修復”功能應用在照片編輯軟件中，先摳掉圖像中不需要的內容，同時用算法生成的真實數據來填充。
論文中寫道：“以前類似的深度學習方法重點放在位于圖像中心的矩形區域，并且經常依賴于復雜的后處理操作，而我們的新模型有更好的效果。它可以魯棒地處理任何形狀、位置的馬賽克遮擋。 并且未來可以更平滑地處理更大的區域。”
在著手訓練神經網絡之前，首先生成了 55,116 個具有隨機紋理和任意形狀、大小的馬賽克形狀作為訓練集。他們還生成了近 25,000 個馬賽克圖形作為測試數據集。 為了提高圖像重建的準確度，根據馬賽克形狀的相對大小把這些圖像進一步分成了六類。
為了訓練生成的馬賽克例子
團隊通過將生成的馬賽克圖案覆蓋在 ImageNet，Places2 和 CelebA-HQ 數據集的圖像上，使用 NVIDIA Tesla V100 GPU 和經過 cuDNN 加速的 PyTorch 深度學習框架來訓練神經網絡。
在訓練階段，將空白或缺失部分引入上述數據集完整的訓練集中，使神經網絡能夠學習復原缺失的像素。在測試階段，將與訓練階段不同形狀的馬賽克圖案應用于測試集的圖像中，從而提高復原精度的范化能力。
現有的基于深度學習的圖像修復方法效果受限，是因為受損像素的輸出一定依賴于這些像素提供給神經網絡的輸入。這導致圖像中產生了顏色偏差和模糊的偽信息。
為了解決這個問題，研究團隊開發了一種方法，確保受損像素的輸出不依賴于因這些像素產生的輸入值。這個方法是使用“部分卷積”層，根據其感受野的有效性對每個輸出進行重新歸一化 。這種重新歸一化的方法可確保輸出值與每個感受野中受損像素的值相互獨立無關。該模型由UNet架構實現的部分卷積功能。使用一組損失函數來訓練模型，匹配VGG模型的特征損失和風格損失以產生逼真的輸出。
研發人員也在論文中引用到，相同的網絡框架可以來完成高分辨率圖像的處理任務。
論文參考：https://arxiv.org/pdf/1804.07723.pdf
雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
