凌海濱：未來AR要實(shí)現(xiàn)非平面的識(shí)別和跟蹤 | 微軟亞洲研究院院友會(huì) |

11月14日下午，微軟亞洲研究院院友會(huì)在微軟大廈成立。活動(dòng)上，亮風(fēng)臺(tái)的首席科學(xué)家凌海濱介紹了關(guān)于AR的一些情況，他表示，傳統(tǒng)的AR主要基于較為簡單的平面跟蹤，未來在技術(shù)層面上還需要實(shí)現(xiàn)非平面的跟蹤。

亮風(fēng)臺(tái)首席科學(xué)家凌海濱

凌海濱回憶自己2001年離開研究院，現(xiàn)在已經(jīng)有15年時(shí)間了。他在2012年成立了專注于AR技術(shù)的公司亮風(fēng)臺(tái)。今年，關(guān)于AR方面，最具有標(biāo)志性的兩件事是AR游戲Pokemon GO，和騰訊QQ的AR火炬?zhèn)鬟f。以往AR多數(shù)應(yīng)用在 toB 領(lǐng)域，而這兩件事讓AR大規(guī)模地應(yīng)用在 toC 領(lǐng)域。

QQ的AR火炬?zhèn)鬟f由他們提供技術(shù)支持，能實(shí)現(xiàn)2D平面的相機(jī)追蹤，算法精確度很高，但局限于平面上。Pokemon Go用到了類似slam技術(shù)，但很弱，還有很多提高到的余地。同時(shí)，這兩件事也說明了AR技術(shù)還有待提高，不過從市場層面看，AR一定程度上到了爆發(fā)點(diǎn)，“好的產(chǎn)品設(shè)計(jì)和內(nèi)容，和相對弱的AR技術(shù)結(jié)合，可能也會(huì)非常成功”。

QQ火炬宣傳圖

在他看來，傳統(tǒng)AR基于較簡單的平面，像Hololens、Tango都是基于多模態(tài)聯(lián)合會(huì)更精準(zhǔn)。另外，傳統(tǒng)AR上，很多語義沒有接入，主要因?yàn)橐皇前l(fā)展的慣性，其次是語義理解很大程度上依賴于計(jì)算機(jī)視覺的發(fā)展，計(jì)算機(jī)視覺近年來發(fā)展也很快，可是AR的特點(diǎn)是集中在移動(dòng)端。而移動(dòng)端計(jì)算能力不夠，如他們參與的QQ火炬?zhèn)鬟f，當(dāng)時(shí)要求在iPhone 4上實(shí)現(xiàn)實(shí)時(shí)，所以語義理解上面還有待提高。

隨后，他介紹到AR算法的基本原理。

先是通過攝像機(jī)拍到真實(shí)世界的視頻后，加入傳感器，如一些深度傳感器。接著完整的AR系統(tǒng)要做兩方面的理解，一是對環(huán)境的理解，二是作為閉環(huán)系統(tǒng)，要有交互理解，知道用戶想干什么，才能去做交互。再有就是虛擬世界的3D模型，其實(shí)泛指就是內(nèi)容部分，然后把模型根據(jù)理解在合適的地方放上去，也就是做渲染這塊，合成視頻，最后傳到人的感知系統(tǒng)里面。這是AR的一個(gè)基本工作原理。

目前的AR項(xiàng)目，包括他們自己做的項(xiàng)目，大部分還是2D平面的識(shí)別和跟蹤。跟蹤平面很簡單，但真實(shí)世界是3D的，如果對真實(shí)世界能有實(shí)時(shí)、精準(zhǔn)的跟蹤，就不需要對2D平面跟蹤。

這也說明，AR技術(shù)公司需要努力的一些方向。從2D到3D的突破，他介紹到亮風(fēng)臺(tái)現(xiàn)在主要是做非平面物體的識(shí)別和跟蹤，以及對真實(shí)環(huán)境實(shí)時(shí)的理解感知。他也介紹到，公司在slam技術(shù)上的一些進(jìn)展。

發(fā)布會(huì)上的AR演示

不久前，他們在北京剛剛發(fā)布了新的AR眼鏡HiAR Galsses，雷鋒網(wǎng)在文中曾寫到他們slam技術(shù)上的三個(gè)特性。首先，能在移動(dòng)端如手機(jī)上實(shí)時(shí)運(yùn)行；保證流暢，因?yàn)闆]有系統(tǒng)能保證在跟蹤過程中不丟，如果丟了，可以快速重新定位，讓用戶感覺不到；多平面檢測建模。

同時(shí)，在非平面物體識(shí)別跟蹤方面，由于手機(jī)要考慮到速度，模型不能太大，他們現(xiàn)在采用了簡化版的深度學(xué)習(xí)算法，能實(shí)現(xiàn)實(shí)時(shí)。最后，他解釋到，以前用平面幾何體來承載AR內(nèi)容，我們對世界的理解不僅是平面立體的東西，還有語義，比如我知道是人臉、臉上的眼角等等。現(xiàn)在他們?nèi)四樅褪謩萆厦嬗幸欢ǖ倪M(jìn)展。人臉方面，最新研發(fā)171個(gè)定位點(diǎn)，被應(yīng)用到美圖手機(jī)上。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。