「你的名字」電影上映，同款濾鏡火爆的背后

《你的名字》今日在國內(nèi)上映，不到24小時，票房突破 6000 萬，沖到了今日票房榜首。一同火爆的還有與電影同名的濾鏡。電影上映前一周，「你的名字」濾鏡就刷爆了朋友圈。而這也是繼 Prisma 之后，又一款備受推崇的“人工智能”濾鏡。與 Prisma 不同的是，「你的名字」濾鏡主打日系動漫風(fēng)格。

據(jù)了解，「你的名字」濾鏡出自上海時光無線科技有限公司，在這款濾鏡火爆之前，他們的產(chǎn)品主要是時光相冊 App。雷鋒網(wǎng)聯(lián)系到了這家公司的負(fù)責(zé)人沈振宇，為大家解密這款濾鏡背后的故事。

時光相冊 App 主要為手機(jī)內(nèi)存儲的照片提供云存儲服務(wù)，并可以根據(jù)照片的主題，對照片進(jìn)行智能分類管理以及簡單的編輯處理。沈振宇告訴雷鋒網(wǎng)：“公司創(chuàng)立時主要就是想將人工智能技術(shù)運用在圖片分類處理類 App 中，日活在百萬左右，公司 80% 左右的員工都是工程師，但「你的名字」濾鏡的火爆程度卻是始料未及的。”

構(gòu)想之初，受到 Prisma 的啟發(fā)，時光相冊也想做一款可以把照片風(fēng)格化處理的濾鏡，但沈振宇認(rèn)為，油畫的風(fēng)格并不符合中國絕大多數(shù)人的審美習(xí)慣，想嘗試一種大家都比較喜歡的風(fēng)格，于是選擇了日系動漫。用了近兩個月的時間，嘗試了許多不同的算法，讓機(jī)器去學(xué)習(xí)新海誠動漫中作品中的紋理特征，不斷的調(diào)教參數(shù)，最后達(dá)到了「你的名字」濾鏡現(xiàn)在的效果。用戶只需要上傳照片，選擇濾鏡，就可以得到一張充滿新海誠畫風(fēng)的照片。

「你的名字」濾鏡的核心技術(shù)在于對圖片中天空的處理，可以讓任何一張照片中看起來平淡、或是沒有色彩的天空部分，成功貼合成為新海誠動漫中的效果。沈振宇介紹說，濾鏡會對圖片中的天際線進(jìn)行智能識別，然后將天空部分摳掉，換上電影里的藍(lán)天白云。“藍(lán)天白云”的素材都是從新海誠電影的正版片源中截取的，且已獲得官方授權(quán)。

據(jù)沈振宇介紹，濾鏡取材的電影有《秒速五厘米》、《言葉之庭》以及《你的名字》，開始時選取了幾十張的天空素材，但發(fā)現(xiàn)一些素材的貼合效果并不是很好，最后挑選了 20 張左右的天空素材，作為最終濾鏡可以呈現(xiàn)的效果。

問起在處理技術(shù)上與 Prisma 是否有不同之處。時光相冊 App 的工程師告訴雷鋒網(wǎng)， Prisma 將神經(jīng)網(wǎng)絡(luò)用作端到端的生成模型，直接修改圖片的像素顏色值或者輸出最終的像素顏色值，這樣可以生成一些與原照片差異較大，風(fēng)格很奇特的圖片，但自然程度和美感可能會不夠好。而“你的名字濾鏡”對機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的應(yīng)用主要在于算法參數(shù)的學(xué)習(xí)和圖像的分割，這些機(jī)器學(xué)習(xí)的預(yù)測輸出會作為圖像處理算法的輸入，而真正對圖像做直接處理的算法是受約束和可解釋的。另外，為了在用戶上傳的美感和質(zhì)量不高的照片中營造整體的“新海誠氛圍”, 濾鏡還使用了傳統(tǒng)圖像增強(qiáng)方法和基于圖像的渲染 ( IBR ) 方法對圖像進(jìn)行預(yù)處理和后處理。

與圖普科技一位研究圖像風(fēng)格化算法工程師分析的相同。這位工程師告訴雷鋒網(wǎng)，“Prisma 的本質(zhì)是放棄原圖的細(xì)節(jié)，保留結(jié)構(gòu)信息，然后將風(fēng)格圖經(jīng)常出現(xiàn)的模式與原圖合成。因此，僅用現(xiàn)有的深度學(xué)習(xí)方法暫時無法這樣對細(xì)節(jié)進(jìn)行精挑細(xì)選的處理。所以時光相冊是采用了深度學(xué)習(xí)跟傳統(tǒng)計算機(jī)視覺的技術(shù)結(jié)合，先用深度學(xué)習(xí)做像素分割，再結(jié)合傳統(tǒng)計算機(jī)視覺的方法做濾鏡處理。”

濾鏡完成后，先上線了 H5 版本，計劃在小范圍內(nèi)進(jìn)行測試，用一周時間完成推廣以及在時光相冊 App 上線，但結(jié)果卻超預(yù)期。沈振宇說，“一夜過后，服務(wù)器基本上癱瘓了，于是調(diào)用了上百臺的 TPU 服務(wù)器來支持后臺運作，提前在時光相冊 App 上線。 每天都會新增30萬左右用戶。”

現(xiàn)在，時光相冊 App 仍在配合發(fā)行方進(jìn)行相關(guān)的電影宣傳工作。 App 中的濾鏡也還在不斷地更新中，上線了「星空」濾鏡、「古銅」濾鏡以及「花木」濾鏡。其中「星空」濾鏡延續(xù)了日系動漫風(fēng)格，技術(shù)原理大致相同，但模型是“重新”訓(xùn)練過的，天空素材與「你的名字」濾鏡也與不同，前景風(fēng)格也不同。

而「古銅」濾鏡與「花木」濾鏡同屬于油畫風(fēng)格。沈振宇說，這兩款濾鏡的處理技術(shù)與 Prisma 相同，但做了一些性能優(yōu)化，提高了圖片渲染速度。新濾鏡的上線主要是為了避免用戶使用你的名字濾鏡過于單調(diào)的問題，后續(xù)也會接著嘗試新的繪畫風(fēng)格 。

對于新濾鏡以及時光相冊 App 今后的運營狀況，沈振宇并沒有更高的預(yù)期。顯然，沈振宇深諳“現(xiàn)象級應(yīng)用”的宿命，也想極力想擺脫這種宿命。

注：除電影海報，文中圖片所有權(quán)為作者所有。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。