「你的名字」電影上映，同款濾鏡火爆的背后

《你的名字》今日在國內上映，不到24小時，票房突破 6000 萬，沖到了今日票房榜首。一同火爆的還有與電影同名的濾鏡。電影上映前一周，「你的名字」濾鏡就刷爆了朋友圈。而這也是繼 Prisma 之后，又一款備受推崇的“人工智能”濾鏡。與 Prisma 不同的是，「你的名字」濾鏡主打日系動漫風格。

據了解，「你的名字」濾鏡出自上海時光無線科技有限公司，在這款濾鏡火爆之前，他們的產品主要是時光相冊 App。雷鋒網聯系到了這家公司的負責人沈振宇，為大家解密這款濾鏡背后的故事。

時光相冊 App 主要為手機內存儲的照片提供云存儲服務，并可以根據照片的主題，對照片進行智能分類管理以及簡單的編輯處理。沈振宇告訴雷鋒網：“公司創(chuàng)立時主要就是想將人工智能技術運用在圖片分類處理類 App 中，日活在百萬左右，公司 80% 左右的員工都是工程師，但「你的名字」濾鏡的火爆程度卻是始料未及的。”

構想之初，受到 Prisma 的啟發(fā)，時光相冊也想做一款可以把照片風格化處理的濾鏡，但沈振宇認為，油畫的風格并不符合中國絕大多數人的審美習慣，想嘗試一種大家都比較喜歡的風格，于是選擇了日系動漫。用了近兩個月的時間，嘗試了許多不同的算法，讓機器去學習新海誠動漫中作品中的紋理特征，不斷的調教參數，最后達到了「你的名字」濾鏡現在的效果。用戶只需要上傳照片，選擇濾鏡，就可以得到一張充滿新海誠畫風的照片。

「你的名字」濾鏡的核心技術在于對圖片中天空的處理，可以讓任何一張照片中看起來平淡、或是沒有色彩的天空部分，成功貼合成為新海誠動漫中的效果。沈振宇介紹說，濾鏡會對圖片中的天際線進行智能識別，然后將天空部分摳掉，換上電影里的藍天白云。“藍天白云”的素材都是從新海誠電影的正版片源中截取的，且已獲得官方授權。

據沈振宇介紹，濾鏡取材的電影有《秒速五厘米》、《言葉之庭》以及《你的名字》，開始時選取了幾十張的天空素材，但發(fā)現一些素材的貼合效果并不是很好，最后挑選了 20 張左右的天空素材，作為最終濾鏡可以呈現的效果。

問起在處理技術上與 Prisma 是否有不同之處。時光相冊 App 的工程師告訴雷鋒網， Prisma 將神經網絡用作端到端的生成模型，直接修改圖片的像素顏色值或者輸出最終的像素顏色值，這樣可以生成一些與原照片差異較大，風格很奇特的圖片，但自然程度和美感可能會不夠好。而“你的名字濾鏡”對機器學習和神經網絡的應用主要在于算法參數的學習和圖像的分割，這些機器學習的預測輸出會作為圖像處理算法的輸入，而真正對圖像做直接處理的算法是受約束和可解釋的。另外，為了在用戶上傳的美感和質量不高的照片中營造整體的“新海誠氛圍”, 濾鏡還使用了傳統圖像增強方法和基于圖像的渲染 ( IBR ) 方法對圖像進行預處理和后處理。

與圖普科技一位研究圖像風格化算法工程師分析的相同。這位工程師告訴雷鋒網，“Prisma 的本質是放棄原圖的細節(jié)，保留結構信息，然后將風格圖經常出現的模式與原圖合成。因此，僅用現有的深度學習方法暫時無法這樣對細節(jié)進行精挑細選的處理。所以時光相冊是采用了深度學習跟傳統計算機視覺的技術結合，先用深度學習做像素分割，再結合傳統計算機視覺的方法做濾鏡處理。”

濾鏡完成后，先上線了 H5 版本，計劃在小范圍內進行測試，用一周時間完成推廣以及在時光相冊 App 上線，但結果卻超預期。沈振宇說，“一夜過后，服務器基本上癱瘓了，于是調用了上百臺的 TPU 服務器來支持后臺運作，提前在時光相冊 App 上線。 每天都會新增30萬左右用戶。”

現在，時光相冊 App 仍在配合發(fā)行方進行相關的電影宣傳工作。 App 中的濾鏡也還在不斷地更新中，上線了「星空」濾鏡、「古銅」濾鏡以及「花木」濾鏡。其中「星空」濾鏡延續(xù)了日系動漫風格，技術原理大致相同，但模型是“重新”訓練過的，天空素材與「你的名字」濾鏡也與不同，前景風格也不同。

而「古銅」濾鏡與「花木」濾鏡同屬于油畫風格。沈振宇說，這兩款濾鏡的處理技術與 Prisma 相同，但做了一些性能優(yōu)化，提高了圖片渲染速度。新濾鏡的上線主要是為了避免用戶使用你的名字濾鏡過于單調的問題，后續(xù)也會接著嘗試新的繪畫風格 。

對于新濾鏡以及時光相冊 App 今后的運營狀況，沈振宇并沒有更高的預期。顯然，沈振宇深諳“現象級應用”的宿命，也想極力想擺脫這種宿命。

注：除電影海報，文中圖片所有權為作者所有。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。