火山語音首個超寫實(shí)數(shù)字人小燦正式亮相

10月18日，火山語音首個超寫實(shí)數(shù)字員工小燦正式亮相。在最新發(fā)布的品牌TVC中，小燦以虛擬產(chǎn)品經(jīng)理的身份入職火山語音團(tuán)隊(duì)。初入職場的小燦就像普通新人一樣，也會為自己能否順利入職而糾結(jié)，更會在入職第一天整裝待發(fā)，對美好的實(shí)習(xí)生活充滿期待。TVC中，她陽光可愛，與同事們穿梭在日常職場中絲毫不顯違和，會因開會而緊張，更希望被大家認(rèn)可并看重自我成長，在短短的一分鐘故事短片內(nèi)，展示了虛擬數(shù)字人豐富的情感世界，直觀近如眼前。

據(jù)了解，小燦由火山語音聯(lián)合朝夕光年江南團(tuán)隊(duì)共同打造，其形象融合了藝術(shù)美感。無論從數(shù)字人的外形與動作出發(fā)，還是細(xì)致到面部微表情、皮膚肌理，甚至是發(fā)絲材質(zhì)上都做到了高度逼真。伴隨小燦的發(fā)布，火山語音團(tuán)隊(duì)已經(jīng)具備3D超寫實(shí)數(shù)字人整套形象設(shè)計、資產(chǎn)制作、高成本影視級cg管線視頻內(nèi)容的制作能力。

從外在的制作能力深入到內(nèi)在的數(shù)字人AI驅(qū)動角度，火山語音團(tuán)隊(duì)具備豐富且領(lǐng)先的技術(shù)儲備，例如AI驅(qū)動口型方向，團(tuán)隊(duì)通過使用行業(yè)領(lǐng)先的非自回歸模型的唇形生成網(wǎng)絡(luò)，合成與輸入文本或語音完全匹配的唇形，準(zhǔn)確率高達(dá)98.55%。

AI驅(qū)動動作層面，團(tuán)隊(duì)基于創(chuàng)新的Motion Blening技術(shù)，在動作切換時可生成過度幀，使得數(shù)字人在切換各類動作時不僅可以做到毫秒級切換，同時平滑效果自然無感知；除此之外還在AI表情口型聯(lián)合建模，基于語音語義的動作生成即co speech技術(shù)上，都有具有前瞻性的預(yù)研工作并已取得階段性成果，后續(xù)將全部應(yīng)用于數(shù)字人視頻創(chuàng)作、交互以及直播等場景。

值得一提的是，本次發(fā)布的超寫實(shí)數(shù)字人還具備“一條音頻秒級別音色復(fù)刻”技術(shù)（zero shot TTS），可以做到高保真還原真人音色、說話風(fēng)格以及聲學(xué)環(huán)境等特點(diǎn)，在核心技術(shù)架構(gòu)全自研的基礎(chǔ)上，關(guān)鍵指標(biāo)均保持業(yè)界前沿。此外韻律模塊基于自回歸GPT類大模型，目前訓(xùn)練數(shù)據(jù)超過20萬個小時，架構(gòu)可擴(kuò)展性很強(qiáng)，未來預(yù)計可支持100萬小時以上數(shù)據(jù)訓(xùn)練；模塊支持code-switch，即無論prompt為中文或者英文，都可支持直接輸出中文、英文及混合內(nèi)容。

原始音頻

生成-中文效果

生成-英文效果

如今火山語音團(tuán)隊(duì)已建立了包括2D、3D卡通和3D超寫實(shí)在內(nèi)的虛擬數(shù)字人產(chǎn)品矩陣，涵蓋“播報型數(shù)字人”和“交互型數(shù)字人”兩種類型，其中播報型數(shù)字人，即輸入文本或語音，就可生成自然生動的數(shù)字人播報視頻；交互數(shù)字人作為播報型數(shù)字人的形態(tài)升級，依托于火山語音長期積累的成熟語音交互技術(shù)，可以做到“善聽”、“會說”、“能想”，與用戶面對面實(shí)時交互。“交互數(shù)字人集成了全雙工語音交互鏈路，前向兼容語音以及文本輸入，后向兼容2D與3D數(shù)字人表現(xiàn)力，整體端到端交互延遲在500ms左右，性能效果超前。”團(tuán)隊(duì)總結(jié)道。

2022年6月，火山引擎虛擬人數(shù)字平臺已獲得信通院首批數(shù)字人系統(tǒng)基礎(chǔ)能力認(rèn)證。在“實(shí)時高逼真孿生數(shù)字人關(guān)鍵技術(shù)研發(fā)與應(yīng)用示范”項(xiàng)目建設(shè)中，火山語音團(tuán)隊(duì)?wèi){借業(yè)內(nèi)優(yōu)勢的AI語音技術(shù)以及全棧語音產(chǎn)品解決方案能力，參與到該項(xiàng)目課題三“實(shí)時高保真孿生數(shù)字人通用開發(fā)平臺”的建設(shè)中，并與江南游戲工作室合作，通過整合交互理解、智能對話管理、智能驅(qū)動三大模塊，構(gòu)建支持定制化并適用于多樣場景的數(shù)字人智能“對話”系統(tǒng)，實(shí)現(xiàn)多模態(tài)交互對話。

一直以來，火山語音技術(shù)支持下的虛擬數(shù)字人專注播報、交互、直播三大核心領(lǐng)域，通過火山引擎面向金融、汽車、傳媒等多個核心行業(yè)，提供涵蓋“金融客服”、“智慧導(dǎo)覽”、“智能助理”、“虛擬直播”等場景細(xì)分解決方案，并可落地在內(nèi)容生產(chǎn)、視頻直播、車載環(huán)境等諸多場景中，為用戶帶來全新的互動服務(wù)和專業(yè)智能體驗(yàn)。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))