凌海濱：未來AR要實現(xiàn)非平面的識別和跟蹤 | 微軟亞洲研究院院友會 |

11月14日下午，微軟亞洲研究院院友會在微軟大廈成立。活動上，亮風臺的首席科學家凌海濱介紹了關(guān)于AR的一些情況，他表示，傳統(tǒng)的AR主要基于較為簡單的平面跟蹤，未來在技術(shù)層面上還需要實現(xiàn)非平面的跟蹤。

亮風臺首席科學家凌海濱

凌海濱回憶自己2001年離開研究院，現(xiàn)在已經(jīng)有15年時間了。他在2012年成立了專注于AR技術(shù)的公司亮風臺。今年，關(guān)于AR方面，最具有標志性的兩件事是AR游戲Pokemon GO，和騰訊QQ的AR火炬?zhèn)鬟f。以往AR多數(shù)應用在 toB 領(lǐng)域，而這兩件事讓AR大規(guī)模地應用在 toC 領(lǐng)域。

QQ的AR火炬?zhèn)鬟f由他們提供技術(shù)支持，能實現(xiàn)2D平面的相機追蹤，算法精確度很高，但局限于平面上。Pokemon Go用到了類似slam技術(shù)，但很弱，還有很多提高到的余地。同時，這兩件事也說明了AR技術(shù)還有待提高，不過從市場層面看，AR一定程度上到了爆發(fā)點，“好的產(chǎn)品設(shè)計和內(nèi)容，和相對弱的AR技術(shù)結(jié)合，可能也會非常成功”。

QQ火炬宣傳圖

在他看來，傳統(tǒng)AR基于較簡單的平面，像Hololens、Tango都是基于多模態(tài)聯(lián)合會更精準。另外，傳統(tǒng)AR上，很多語義沒有接入，主要因為一是發(fā)展的慣性，其次是語義理解很大程度上依賴于計算機視覺的發(fā)展，計算機視覺近年來發(fā)展也很快，可是AR的特點是集中在移動端。而移動端計算能力不夠，如他們參與的QQ火炬?zhèn)鬟f，當時要求在iPhone 4上實現(xiàn)實時，所以語義理解上面還有待提高。

隨后，他介紹到AR算法的基本原理。

先是通過攝像機拍到真實世界的視頻后，加入傳感器，如一些深度傳感器。接著完整的AR系統(tǒng)要做兩方面的理解，一是對環(huán)境的理解，二是作為閉環(huán)系統(tǒng)，要有交互理解，知道用戶想干什么，才能去做交互。再有就是虛擬世界的3D模型，其實泛指就是內(nèi)容部分，然后把模型根據(jù)理解在合適的地方放上去，也就是做渲染這塊，合成視頻，最后傳到人的感知系統(tǒng)里面。這是AR的一個基本工作原理。

目前的AR項目，包括他們自己做的項目，大部分還是2D平面的識別和跟蹤。跟蹤平面很簡單，但真實世界是3D的，如果對真實世界能有實時、精準的跟蹤，就不需要對2D平面跟蹤。

這也說明，AR技術(shù)公司需要努力的一些方向。從2D到3D的突破，他介紹到亮風臺現(xiàn)在主要是做非平面物體的識別和跟蹤，以及對真實環(huán)境實時的理解感知。他也介紹到，公司在slam技術(shù)上的一些進展。

發(fā)布會上的AR演示

不久前，他們在北京剛剛發(fā)布了新的AR眼鏡HiAR Galsses，雷鋒網(wǎng)在文中曾寫到他們slam技術(shù)上的三個特性。首先，能在移動端如手機上實時運行；保證流暢，因為沒有系統(tǒng)能保證在跟蹤過程中不丟，如果丟了，可以快速重新定位，讓用戶感覺不到；多平面檢測建模。

同時，在非平面物體識別跟蹤方面，由于手機要考慮到速度，模型不能太大，他們現(xiàn)在采用了簡化版的深度學習算法，能實現(xiàn)實時。最后，他解釋到，以前用平面幾何體來承載AR內(nèi)容，我們對世界的理解不僅是平面立體的東西，還有語義，比如我知道是人臉、臉上的眼角等等。現(xiàn)在他們?nèi)四樅褪謩萆厦嬗幸欢ǖ倪M展。人臉方面，最新研發(fā)171個定位點，被應用到美圖手機上。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。