uSens凌感CTO費(fèi)越受邀出席SVVR 詳解人機(jī)交互追蹤技術(shù)

    4月27到29日，硅谷本土專注于虛擬現(xiàn)實(shí)領(lǐng)域的專業(yè)峰會(huì)SVVR（Silicon Valley VR Expo）持續(xù)三天在美國(guó)加州圣荷西會(huì)議中心舉行。uSens凌感聯(lián)合創(chuàng)始人、CTO費(fèi)越博士，受主辦方邀請(qǐng)，就虛擬現(xiàn)實(shí)中人機(jī)交互的演變發(fā)表演講。

    4月27到29日，硅谷本土專注于虛擬現(xiàn)實(shí)領(lǐng)域的專業(yè)峰會(huì)SVVR持續(xù)三天在美國(guó)加州圣荷西會(huì)議中心舉行。uSens凌感聯(lián)合創(chuàng)始人、CTO費(fèi)越博士，受主辦方邀請(qǐng)，就虛擬現(xiàn)實(shí)中人機(jī)交互的演變發(fā)表演講。SVVR創(chuàng)始人Karl Krantz曾親自拜訪uSens凌感辦公室，體驗(yàn)過(guò)demo后，Karl非常驚訝，表示“這是我迄今為止見(jiàn)過(guò)的最好的inside-out tracking！”，這也是此次受邀演講的緣起。此次費(fèi)越博士深入剖析了追蹤技術(shù)如何一步步進(jìn)化為inside-out的追蹤方式，并指出目前存在的技術(shù)難題與解決前景。

    在三維人機(jī)交互領(lǐng)域從事前沿研究已有十余年的計(jì)算機(jī)視覺(jué)資深專家費(fèi)越博士，首先梳理了VR發(fā)展的脈絡(luò)，指出為了讓虛擬現(xiàn)實(shí)從門檻頗高的專業(yè)術(shù)語(yǔ)進(jìn)入到被大眾消費(fèi)者接受的親民概念，這個(gè)產(chǎn)業(yè)經(jīng)過(guò)了從三維桌面，到房間級(jí)VR，到桌面級(jí)VR，再到頭戴式VR的四個(gè)階段。

    首先，我們來(lái)看三維桌面。在二維數(shù)字環(huán)境中關(guān)于三維的嘗試可以追溯到在windows系統(tǒng)中的三維桌面，諸如1991年P(guān)ARC公司的Information Visualizer，2000年微軟研究中心的TaskGallery，2003年Sun Microsystems的Project Looking Glass, 以及費(fèi)越博士在2003年攻讀博士期間利用業(yè)余時(shí)間創(chuàng)辦的Infinite 3D公司的產(chǎn)品Cube。（Cube是世界上第一個(gè)具有交互的三維用戶界面，允許用戶將屏幕進(jìn)行沉浸式的360度全方位旋轉(zhuǎn)，類似于近十年后才實(shí)現(xiàn)的虛擬現(xiàn)實(shí)頭盔。截止至2004年，已有超過(guò)一百萬(wàn)用戶下載了Cube，其中不乏一些大公司的研究實(shí)驗(yàn)室）。2009年，時(shí)任松下硅谷實(shí)驗(yàn)室作為項(xiàng)目經(jīng)理的費(fèi)越將交互三維桌面的嘗試挪到了電視上，開(kāi)發(fā)出了基于觸感的電視遙控器和交互系統(tǒng)。

    之后，開(kāi)始進(jìn)入房間級(jí)VR的探索，這里值得一提的是CAVE systems，但費(fèi)越認(rèn)為，這種系統(tǒng)雖然追蹤精度很高，但是自由度頗低，無(wú)法追蹤手與手指的動(dòng)作。2010年，費(fèi)越與松下硅谷實(shí)驗(yàn)室開(kāi)發(fā)了Natural Interaction system，這套系統(tǒng)擁有更高的自由度追蹤，交互體驗(yàn)更加自然與豐富，這套系統(tǒng)推動(dòng)了這種VR從商用引用到了民用。

    VR的發(fā)展逐步推進(jìn)，從房間級(jí)挪移到桌面級(jí)VR。桌面級(jí)VR的嘗試包括微軟的Surface以及ZSpace的產(chǎn)品，其中后者擁有高精度的VR視覺(jué)與交互，因此可以作商業(yè)設(shè)計(jì)之用，但是卻不夠自然。而費(fèi)越在2012年開(kāi)發(fā)的Tavola桌面VR系統(tǒng)，不僅擁有自然的三維手勢(shì)交互，更擁有120度視角以及六自由度頭部追蹤。六自由度（三維直線運(yùn)動(dòng)+三維旋轉(zhuǎn)運(yùn)動(dòng)）頭部追蹤技術(shù)是基于外部紅外感應(yīng)（IR）鏡頭（Oculus Rift DK2和Crescent Bay都在使用類似的技術(shù)）與虛擬現(xiàn)實(shí)立體聲渲染結(jié)合的技術(shù)，以求實(shí)現(xiàn)沉浸式全息影像的視覺(jué)體驗(yàn)。而三維手勢(shì)跟蹤是基于計(jì)算機(jī)視覺(jué)（computer vision）算法和空間深度感測(cè)(depth sensing)鏡頭的技術(shù)，用戶可以直接通過(guò)手部動(dòng)作與三維虛擬物體進(jìn)行直接互動(dòng)。

    在此之后，VR終于進(jìn)入了頭顯設(shè)備的形式，也就是現(xiàn)在大家普遍看到的樣態(tài)。而這種形式之所以會(huì)爆發(fā)的原因，費(fèi)越認(rèn)為核心正是追蹤技術(shù)，因?yàn)檫@種技術(shù)更加豐富、更高質(zhì)量、也更具有交互性。目前，業(yè)內(nèi)認(rèn)為更容易被大眾市場(chǎng)接受的是具有輕交互的移動(dòng)VR，同時(shí)需要提供更自然的交互。費(fèi)越指出，移動(dòng)VR交互應(yīng)該可以做到三維自然手勢(shì)交互、三維頭部追蹤、增強(qiáng)現(xiàn)實(shí)功能、甚至在未來(lái)做到全身追蹤。基于移動(dòng)的特性，這些追蹤都應(yīng)該是由內(nèi)而外進(jìn)行的，無(wú)需外部設(shè)備。同時(shí)，移動(dòng)VR在以下四個(gè)方面有非常大的需求：簡(jiǎn)易安裝、輕耗電、低CPU/GPU用量以及輕重量，而這四點(diǎn)，幾乎都是阻礙可以實(shí)現(xiàn)inside-out tracking的技術(shù)難題。但是在uSens凌感，移動(dòng)VR的inside-out tracking，已經(jīng)實(shí)現(xiàn)了。而這背后，就是uSens凌感核心技術(shù)之一：超低延遲的精準(zhǔn)的骨骼追蹤。此外，uSens凌感的基于inside-out方式的位移檢測(cè)與AR功能也已實(shí)現(xiàn)。    最后，費(fèi)博根據(jù)目前VR的技術(shù)難題指出了解決這些難題的技術(shù)趨勢(shì)，那就是從信號(hào)處理到計(jì)算機(jī)視覺(jué)，再到人工智能。目前，費(fèi)博帶領(lǐng)的uSens凌感研發(fā)團(tuán)隊(duì)正在快速壯大，也歡迎共同志向的有識(shí)之士加入。

    注解：何謂inside-out tracking技術(shù)？我們將腦洞移至皮克斯最佳動(dòng)畫《頭腦特工隊(duì)》，并把其中的五位情緒控制人員替換為一對(duì)人工智能“小眼睛”，這對(duì)機(jī)器小眼睛被“植入”到你頭戴的顯示設(shè)備中，負(fù)責(zé)追蹤你和現(xiàn)實(shí)世界中的一舉一動(dòng)，并通過(guò)計(jì)算機(jī)視覺(jué)算法同步到眼前的VR/AR環(huán)境中，實(shí)現(xiàn)實(shí)時(shí)的多維度人機(jī)交互。他們能夠取代外置的追蹤設(shè)備，就像你的大腦一樣工作，由內(nèi)而外，就此模糊了虛擬與現(xiàn)實(shí)的界線。

    關(guān)于uSens凌感：

    uSens凌感是2013年創(chuàng)立于硅谷的高科技公司，專為AR / VR 提供三維人機(jī)交互解決方案。創(chuàng)始人及核心研發(fā)團(tuán)隊(duì)成員，均為在美十余年的業(yè)內(nèi)資深專家，分別曾就職于Intel、亞馬遜、松下、蘋果、三星等巨頭科技公司，在人工智能、三維圖像識(shí)別等方面，業(yè)內(nèi)知名。uSens凌感掌握基于移動(dòng)vr的26自由度三維手勢(shì)交互、6自由度位移監(jiān)測(cè)以及AR疊加等先進(jìn)技術(shù)，全球領(lǐng)先。