AI 賦能游戲工業(yè)化，網(wǎng)易互娛AI Lab動捕去噪新方法入選 SIGGRAPH 2021

AI 科技評論報道

編輯 | 陳大鑫

當(dāng)游戲行業(yè)仍在聚焦探討如何讓 AI 真正落地、協(xié)助游戲的工業(yè)化制作時，網(wǎng)易互娛 AI Lab 已基于游戲研發(fā)制作中的痛點交出了一份令人驚艷的答卷。

在游戲中，各個角色存在大量動作動畫資源制作的需求，而讓游戲角色獲得如同真人一般流暢自然的動作歷來是制作者們孜孜不倦追求的目標(biāo)。近年來，伴隨著游戲工業(yè)化的趨勢，光學(xué)動捕憑借其真實性和效率替代了傳統(tǒng)的關(guān)鍵幀制作方式，成為許多大制作端游和手游的首選方案。然而，光學(xué)動捕最大的弊端之一便是動捕數(shù)據(jù)清理所帶來的巨大工作量，該過程需要依賴人工完成，因此在整個流程中成本占比也最高。盡管此前已有學(xué)者提出了基于深度人工神經(jīng)網(wǎng)絡(luò)的光學(xué)動捕數(shù)據(jù)自動清洗和解算方案，但該方法的性能還無法滿足實際生產(chǎn)環(huán)境的要求，且針對動作細(xì)節(jié)的保真度也存在一定問題。

針對這一實際生產(chǎn)環(huán)境中的痛點，網(wǎng)易互娛 AI Lab 提出了一種針對光學(xué)動捕數(shù)據(jù)的自動清洗和解算方法，可以直接從包含錯誤和噪音的 raw markers 中預(yù)測出與之對應(yīng)的clean markers和骨骼動畫數(shù)據(jù)。

算法精度和魯棒性都超越育碧研究院（Ubisoft La Forge）發(fā)表在 SIGGRAPH 2018 的方法，技術(shù)創(chuàng)新性處于國際領(lǐng)先水平。利用該方法，傳統(tǒng)光學(xué)動捕流程中所需的人工工作量可以被大幅降低。

近日，網(wǎng)易互娛 AI Lab 與清華大學(xué)合作對該方案進(jìn)行了系統(tǒng)性技術(shù)梳理，并撰寫論文《MoCap-Solver：A Neural Solver for Optical Motion Capture Data》，該文章已被 SIGGRAPH 2021 收錄。

論文地址：https://dl.acm.org/doi/abs/10.1145/3450626.3459681

項目地址：https://netease-gameai.github.io/MoCapSolver

1

技術(shù)背景

運(yùn)動捕捉（Motion Capture），簡稱動捕（MoCap），指的是將真實演員的肢體動作轉(zhuǎn)換為三維虛擬角色骨骼動畫的技術(shù)。相比于傳統(tǒng)的關(guān)鍵幀動畫制作方式，運(yùn)動捕捉技術(shù)有著巨大的優(yōu)勢，既提升了三維動作資源的真實度，又提升了其生產(chǎn)效率，也因此成為了當(dāng)前影視、游戲行業(yè)三維人形動畫的標(biāo)準(zhǔn)制作方式。

從技術(shù)原理上劃分，運(yùn)動捕捉設(shè)備可以分成兩種類型，慣性動捕設(shè)備和光學(xué)動捕設(shè)備。其中慣性動捕設(shè)備利用固定在演員關(guān)節(jié)上的加速度傳感器來獲取演員各個關(guān)節(jié)的相對運(yùn)動量；而光學(xué)動捕設(shè)備則通過大量不同視角的高速相機(jī)同步拍攝演員動作，并利用多視角三維重建技術(shù)計算貼在演員身上的一批特殊標(biāo)記點（marker）的三維坐標(biāo)，之后再基于這些坐標(biāo)解算出演員每個關(guān)節(jié)點的位置和旋轉(zhuǎn)信息。

慣性動捕設(shè)備成本較低，但是由于受到慣性傳感器的精度限制，其動作捕捉的精度也明顯低于光學(xué)動捕設(shè)備。此外，由于慣性動捕設(shè)備記錄的是每個關(guān)節(jié)相對于上一時刻的相對值，無法獲取演員在三維空間中的絕對坐標(biāo)，這一特性導(dǎo)致慣性動捕設(shè)備無法應(yīng)用于多人同時動捕的場景，因為其無法定位不同演員之間的相對位置關(guān)系。由于以上原因，雖然光學(xué)動捕設(shè)備成本高昂，但卻在運(yùn)動捕捉領(lǐng)域占據(jù)絕對統(tǒng)治地位。

利用光學(xué)動捕設(shè)備進(jìn)行動捕的流程分為以下幾個步驟：

1. 演員裝扮：演員穿著緊身動捕服裝，并在衣服表面需要捕捉的關(guān)節(jié)附近粘貼一定數(shù)量的marker點（標(biāo)記點），marker點總數(shù)以及每個marker點粘貼的位置構(gòu)成一套marker configuration；
2. 演員標(biāo)定：構(gòu)建一個與演員體型相適配的人形模版模型，并獲取粘貼在真實演員衣服上的每個marker在該人形模版模型上的位置，模版模型的骨架結(jié)構(gòu)叫template skeleton。構(gòu)建方式一般為捕捉一小段該演員的簡單動作，然后用算法自動去擬合模版模型和marker位置，這個過程也叫range of motion（ROM）標(biāo)定。當(dāng)然也可以在motion builder等軟件中人工進(jìn)行這種標(biāo)定。
3. 動作捕捉：演員在被一圈高速紅外相機(jī)圍繞的動捕場景內(nèi)按照劇本表演出規(guī)定的動作，所有相機(jī)同步進(jìn)行拍攝，然后動捕軟件利用多視角幾何和目標(biāo)跟蹤算法，計算出每一個時刻演員身上每個marker點在三維空間中的坐標(biāo)；
4. 動捕數(shù)據(jù)清洗：由于遮擋、傳感器測量誤差、重建和跟蹤算法本身的誤差等原因，上一步動捕軟件輸出的marker坐標(biāo)中往往存在很多錯誤，需要人工對這些錯誤進(jìn)行修復(fù)，這個步驟也叫動捕數(shù)據(jù)清洗。清洗過程需要耗費(fèi)大量人力，因此該步驟也是傳統(tǒng)光學(xué)動捕流程中成本最高的部分。
5. 動捕解算：利用動捕解算軟件、基于步驟2中的演員標(biāo)定信息，從捕捉到的marker序列中恢復(fù)人體各個骨骼關(guān)節(jié)的位置和旋轉(zhuǎn)信息，從而得到三維骨骼動畫數(shù)據(jù)（也叫skeletal motion或簡稱motion）。下圖對比了從不經(jīng)過人工清洗的marker數(shù)據(jù)（左，也叫raw markers）和經(jīng)過人工清洗的marker數(shù)據(jù)（右，也叫clean markers）中解算得到的骨骼動畫的差別。

6、動作重定向：將解算得到的骨骼動畫數(shù)據(jù)重定向到不同體型的三維虛擬角色上，變成對應(yīng)角色的動畫資源。

目前業(yè)界對光學(xué)動捕數(shù)據(jù)的清洗和解算主要依賴 Vicon Blade、Vicon shogun、Autodesk MotionBuilder 等商業(yè)軟件提供內(nèi)置工具，處理流程與前文技術(shù)背景中描述一致，其特點為高度依賴人工對動捕marker數(shù)據(jù)中的錯誤進(jìn)行修正，否則解算出的骨骼動畫數(shù)據(jù)會存在明顯的缺陷。典型的處理流程為，先對raw markers進(jìn)行自動解算得到存在缺陷的骨骼動畫，人工對得到的動畫進(jìn)行逐幀預(yù)覽，尋找存在問題的區(qū)間，然后人工糾正該區(qū)間內(nèi)導(dǎo)致解算結(jié)果異常的marker點。不斷重復(fù)這一過程，直到整個動捕動作序列都能被正確解算。

為了解決這一實際生產(chǎn)環(huán)境中的痛點，育碧研究院（Ubisoft La Forge）的研究員 Daniel Holden 在2018年首次提出了一種基于深度人工神經(jīng)網(wǎng)絡(luò)的光學(xué)動捕數(shù)據(jù)自動清洗和解算方案，并發(fā)表在圖形學(xué)頂級期刊TOG上（在SIGGRAPH 2018展示）。然而，育碧的方案雖然可以自動清洗和解算，但是該方法的性能還無法滿足實際生產(chǎn)環(huán)境的要求。

一方面，該方法的魯棒性不足。該方法高度依賴粘貼在演員軀干上（環(huán)繞胸部和腹部的兩圈）的少量關(guān)鍵marker（也叫參考marker）的質(zhì)量。一旦輸入的raw markers中包含參考marker的錯誤，該方法的解算結(jié)果就會出現(xiàn)明顯錯誤。而在實際動捕環(huán)境下，這些參考marker很容易因為被四肢遮擋而導(dǎo)致捕捉錯誤。

另一方面，該方法對動作細(xì)節(jié)的保真度也存在一定問題。本質(zhì)上來說，該方法基于逐幀處理的算法框架，沒有考慮相鄰動作幀之間在時間和空間上的連續(xù)性，導(dǎo)致其輸出的動畫存在明顯的抖動。為了解決這個問題，該方法引入了一個后處理操作對輸出的動畫進(jìn)行平滑、從而抑制抖動。但是，這個平滑操作在消除抖動的同時也會抹去動作本身的運(yùn)動細(xì)節(jié)，降低保真度。

2

技術(shù)思路

針對育碧方案存在的問題，網(wǎng)易互娛AI Lab提出了一種全新的算法框架。由于clean markers在三維空間中的位置是由演員體型、動捕marker在演員身體(貼在動捕服)上的分布和演員的動作三方面因素決定的，得到這三個信息，就可以通過前向動力學(xué)（forward kinematics, FK）和線性蒙皮運(yùn)算（linear blend skinning, LBS）完全恢復(fù)出對應(yīng)的clean markers。

基于這一觀察，網(wǎng)易互娛 AI Lab 的核心思路為：利用大量動捕數(shù)據(jù)，訓(xùn)練一個從raw markers預(yù)測上述三方面信息的深度人工神經(jīng)網(wǎng)絡(luò)。

為了更好的實現(xiàn)這一目標(biāo)，網(wǎng)易互娛AI Lab首先設(shè)計了一個自編碼器（MoCap-Encoders）結(jié)構(gòu)，該自編碼器包含template skeleton、marker configuration和motion三個分支，分別對應(yīng)了演員的體型、marker在動捕服裝上的分布、以及演員動作。在大量動捕數(shù)據(jù)上進(jìn)行訓(xùn)練后，該自編碼器可以將將 template skeleton、marker configuration和motion三種數(shù)據(jù)編碼成低維空間的隱向量，也可以從隱向量中恢復(fù)出對應(yīng)的原始數(shù)據(jù)。

也就是說，MoCap-Encoders從大量數(shù)據(jù)中學(xué)習(xí)出了一種關(guān)于這三方面數(shù)據(jù)的更為高效、緊湊的表達(dá)。之后，網(wǎng)易互娛AI Lab再訓(xùn)練一個從raw markers預(yù)測這三個分支隱向量的網(wǎng)絡(luò)（MoCap-Solver），從預(yù)測出的隱向量中可以解碼出對應(yīng)的 template skeleton、marker configuration和motion。其中的motion就是需要解算的骨骼動畫，再通過前向動力學(xué)（forward kinematics, FK）和線性蒙皮運(yùn)算（linear blend skinning, LBS）就可以計算出對應(yīng)的清洗后的clean markers。

此外，作者還從真實數(shù)據(jù)中訓(xùn)練了一個對關(guān)鍵參考 marker 的質(zhì)量進(jìn)行評估的深度人工神經(jīng)網(wǎng)絡(luò)，利用該網(wǎng)絡(luò)挑選raw markers中參考marker可靠性高的幀做剛體對齊，有效避免了算法精度過渡依賴少量參考marker質(zhì)量的問題，大幅提升了算法的魯棒性。

3

技術(shù)實現(xiàn)

該方法包含訓(xùn)練階段和預(yù)測階段，預(yù)測階段直接以光學(xué)動捕的raw markers為輸入，自動輸出清洗后的clean markers和解算出的骨骼動畫。這里主要介紹訓(xùn)練階段的做法，訓(xùn)練階段包含三個重點步驟：數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)規(guī)范化（normalization），以及深度人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建和訓(xùn)練。

1、數(shù)據(jù)準(zhǔn)備

本方法需要準(zhǔn)備的數(shù)據(jù)如上圖所示。每個演員的運(yùn)動捕捉都會涉及5種類型的數(shù)據(jù)：

• Template Skeleton:  與演員骨骼長度對應(yīng)的人形模板骨骼，維度為， J為骨骼點的數(shù)量，每個骨骼點需要記錄其在三維空間中相對父節(jié)點的偏移量；
• Marker Configuration:  演員動捕服上每個marker點相對于對應(yīng)骨骼點的偏移量，一個演員可能有多套不同的Marker Configuration，因為每次演員裝扮時粘貼的位置會有區(qū)別，維度為，為marker的數(shù)量，每個marker需要記錄其相對每個骨骼點在三維空間的便宜量；
• Raw Markers: 每個動作被光學(xué)動捕設(shè)備采集到的原始marker序列，維度為，記錄了一幀個marker在三維空間中的位置，為該動作包含的幀數(shù)
• Clean Markers:  每個動作被清洗后的marker序列，維度與Raw Markers一致
• Motion: 每個動作的捕捉結(jié)果，也就是從Clean Markers中解算出來的骨骼動畫，維度為 ，記錄了每一幀每個骨骼點相對于父骨骼點的局部旋轉(zhuǎn)（四元數(shù)表示），以及根骨骼點在世界空間的全局平移

2、數(shù)據(jù)規(guī)范化

由于真實運(yùn)動包含很多人物根骨骼的全局位移和全局旋轉(zhuǎn)，這極大增加了后續(xù)人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的復(fù)雜度。例如，同樣的動作在不同的位置、朝著不同的方向做，會導(dǎo)致捕捉的marker點三維坐標(biāo)存在巨大差距。此外，由于遮擋原因，真實動補(bǔ)數(shù)據(jù)中包含很多跟蹤失敗的點，其表現(xiàn)為保持在最后一次被成功跟蹤的位置不動，隨著人物遠(yuǎn)離該位置，這些點就會變成毫無規(guī)律的離群點，也會給后續(xù)網(wǎng)絡(luò)的學(xué)習(xí)造成干擾。所以數(shù)據(jù)規(guī)范化的目標(biāo)有兩個：離群marker的處理和坐標(biāo)系規(guī)范化。

為了處理離群marker，網(wǎng)易互娛 AI Lab 首先提取序列中每一幀所有marker之間的距離矩陣（如上圖），該矩陣記錄了所有marker兩兩之間的歐式距離，然后選擇距離矩陣最接近所有幀的距離矩陣平均值的那一幀作為序列的參考幀。之后，將每一幀與參考幀的距離矩陣進(jìn)行對比，所有導(dǎo)致該幀的距離矩陣與參考幀的距離矩陣存在30厘米以上差異的marker點都被標(biāo)記為離群marker點。離群marker點的坐標(biāo)會被替換成新的位置，新的位置可以使對應(yīng)幀的距離矩陣與參考幀的盡量接近。這些新的位置可以通過簡單的數(shù)學(xué)優(yōu)化方法得到。

坐標(biāo)系規(guī)范化的目的是消除根骨骼全局平移和旋轉(zhuǎn)，因此需要marker的坐標(biāo)由世界坐標(biāo)系轉(zhuǎn)換到局部坐標(biāo)系。為此，作者參考了[1]中的做法，以軀干附近（環(huán)繞胸部和腹部的兩圈）的一批marker為參考marker（如下圖），然后對序列整體的全局平移和旋轉(zhuǎn)進(jìn)行修正。方法為在序列中選定一個參考幀，計算一個剛體變換使得參考幀的這批參考marker的位置與T-pose下的參考marker的位置盡量對齊（也叫剛體對齊）。通過這個操作，序列中所有幀的坐標(biāo)系就由世界坐標(biāo)系變換到了由T-pose定義的局部坐標(biāo)系。

但是，這個操作高度依賴參考幀中的那批參考marker的質(zhì)量，一旦參考幀的參考marker中存在噪音和錯誤，坐標(biāo)系規(guī)范化的效果就會大打折扣，整套算法的精度和魯棒性都會大幅降低。為了解決這個問題，本文發(fā)明訓(xùn)練了一個對參考marker的質(zhì)量進(jìn)行評估的深度人工神經(jīng)網(wǎng)絡(luò)，并利用這個網(wǎng)絡(luò)挑選參考marker可靠性高的幀做參考幀進(jìn)行剛體對齊。

該網(wǎng)絡(luò)的結(jié)構(gòu)如下：

其中為輸入的raw markers，為參考marker的可靠性分?jǐn)?shù)組成的向量，其定義為：

為第i個參考 marker 在原始數(shù)據(jù) raw markers 中和清洗后數(shù)據(jù)clean markers中的距離變化值。以交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練后，該網(wǎng)絡(luò)可以預(yù)測每一幀 raw markers 中每個參考 marker 的可靠度評分，如果某一幀的所有參考 marker 的評分都大于0.8，則認(rèn)為該幀是可靠的。參考幀只會在可靠的幀中產(chǎn)生，有效避免了算法精度過渡依賴少量參考 marker 質(zhì)量的問題，大幅提升了算法的魯棒性。

3、深度人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建和訓(xùn)練

接下來，作者利用上述數(shù)據(jù)和規(guī)范化方法訓(xùn)練一個深度人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)包含兩個模塊，如下圖所示：

其中MoCap-Encoders為一個自編碼器，包括三個分支，分別對應(yīng)template skeleton、marker configuration和motion。訓(xùn)練完成的自編碼器既可以將 template skeleton、marker configuration 和 motion 三種數(shù)據(jù)編碼成低維空間的隱向量，也可以從隱向量中恢復(fù)出對應(yīng)的原始數(shù)據(jù)。

MoCap-Encoders的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

訓(xùn)練該網(wǎng)絡(luò)的三個分支的損失函數(shù)分別為：

template skeleton:  

marker configuration:  motion:  

其中X和Y分別代表原始數(shù)據(jù)和網(wǎng)絡(luò)重構(gòu)后的數(shù)據(jù)，D為帶權(quán)L1距離(頭，肩, 手臂, 手腕, 軀干, 大腿和腳上的marker點的權(quán)重分別為

8 : 4 : 6 : 10 : 4 : 6 : 10) ，F(xiàn)K和 LBS 分別為骨骼動畫理論中的前向動力學(xué)運(yùn)算和線性蒙皮運(yùn)算，，和為權(quán)重系數(shù)，分別為1，100，1 和2。

另一個模塊 MoCap-Solver 的任務(wù)為從 raw markers 預(yù)測這個三個分支的隱向量和，之后利用訓(xùn)練完成的 MoCap-Encoders 就可以從這三個隱向量中解碼出對應(yīng)的 marker configuration、template skeleton 和 motion。其中的motion 就是需要解算的骨骼動畫，通過蒙皮（skinning）運(yùn)算，可以從這三個數(shù)據(jù)中計算出對應(yīng)的清洗后的clean markers，從而完成對光學(xué)動補(bǔ)數(shù)據(jù)raw markers的清洗和解算任務(wù)。

MoCap-Encoders 的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

4

應(yīng)用/效果展示

本項目的訓(xùn)練數(shù)據(jù)來源于公司采集的大規(guī)模真實動捕數(shù)據(jù)，可以大于 30fps 的速度對光學(xué)動捕數(shù)據(jù)進(jìn)行自動清洗和解算，滿足了工業(yè)上速度要求，解算得到的骨骼動畫的骨骼點平均位置誤差小于 1cm，平均旋轉(zhuǎn)誤差小于4度，滿足了游戲動畫制作的精度要求。

相比于目前業(yè)界領(lǐng)先算法，本項目算法在動作保真度和重構(gòu) marker 點精度上領(lǐng)先，統(tǒng)計得到本算法的預(yù)測結(jié)果只有 低于 1% 的幀出現(xiàn)了工業(yè)生產(chǎn)不可接受的視覺瑕疵，而目前業(yè)界領(lǐng)先算法則為10%。

另外，本算法的魯棒性優(yōu)于業(yè)界領(lǐng)先算法，實驗結(jié)果表明本算法對演員軀干附近關(guān)鍵 marker 點精度的魯棒性比目前業(yè)界領(lǐng)先方法好。目前本項目算法已經(jīng)集成在公司動捕數(shù)據(jù)處理的工作流中。

視頻：

贈書福利 

AI科技評論本次聯(lián)合【圖靈教育】為大家?guī)?strong>10本《算法（第四版）》正版新書。

AI科技評論將一共選出 10名讀者，每人送出《算法（第四版）》一本。

在2021年8月8日二條文章《贈書 | 看不懂《算法導(dǎo)論》？先讀完豆瓣評分 9.4 的算法入門巨著》留言區(qū)留言，歡迎大家暢所欲言，談一談你對本書的看法和期待。在綜合留言質(zhì)量（留言是敷衍還是走心）和留言點贊最高（注：點贊最高的前10不意味著一定會中獎）的讀者中選出10位讀者獲得贈書。獲得贈書的讀者請聯(lián)系 AI 科技評論客服（aitechreview）。

• 留言內(nèi)容會有篩選，例如“選我上去”、“這書寫的很棒（僅僅幾個字）”等內(nèi)容將不會被篩選，亦不會中獎。

• 留言送書活動時間為2021年8月8日 - 2021年8月12日（23:00），活動推送時間內(nèi)僅允許贈書福利中獎一次。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。