拒絕抖動(dòng)眩暈 亮亮視野AR防抖算法上線

    “對(duì)方腦袋一動(dòng)，畫面就抖的不行，讓人感覺眩暈想嘔吐”，遠(yuǎn)程專家在觀看AR第一視角畫面時(shí)吐槽到，“遠(yuǎn)程協(xié)作控制在幾分鐘內(nèi)還行，時(shí)間長(zhǎng)了受不了�！盇R眼鏡作為下一代交互方式，仍然還有不少技術(shù)不成熟之處，極大的影響了用戶體驗(yàn)，其中，攝像頭畫面抖動(dòng)產(chǎn)生的暈動(dòng)癥就是最普遍的問題。

    為了解決這個(gè)難題，不少?gòu)S商正在進(jìn)行各種努力，而現(xiàn)在，亮亮視野已經(jīng)成功研究出防抖算法，其能降低視頻畫面的抖動(dòng)，從而降低暈動(dòng)癥的產(chǎn)生。該技術(shù)已經(jīng)在部分客戶中進(jìn)行測(cè)試，目前表現(xiàn)穩(wěn)定，亮亮視野計(jì)劃于9月10日在ARISE企業(yè)服務(wù)平臺(tái)中上線該技術(shù)，屆時(shí)ARISE用戶均可免費(fèi)使用。

    為什么不能照搬手機(jī)防抖技術(shù)？

    談及AR眼鏡攝像頭防抖問題，想必很多人第一時(shí)間的反應(yīng)是，手機(jī)攝像頭防抖性能這么好，硬件、算法都這么成熟了，直接用在AR眼鏡上不就行了么？

    防抖算法負(fù)責(zé)人表示，雖然都是小型、輕薄化的產(chǎn)品，但要把手機(jī)上使用的攝像頭直接照搬過來，基本上是不可能的事情。主要存在兩類技術(shù)難點(diǎn)：

    其一，AR眼鏡首先要考慮輕量化、輕薄化、省電化，而光學(xué)防抖又或是傳感器防抖攝像頭體積都較大，功耗也比較高，這與AR眼鏡的核心設(shè)計(jì)相違背；

    光學(xué)防抖攝像頭厚度和體積都過大

    其二，手機(jī)防抖算法和AR眼鏡防抖算法的要求存在差異，前者是因拍攝者手持不穩(wěn)定造成的高頻低幅度抖動(dòng)，而AR眼鏡則是因頭動(dòng)產(chǎn)生的大幅度、大角度防抖，可以說兩者看似都在解決防抖問題，但在技術(shù)層面上完全是差以千里。

    正是由于這兩點(diǎn)的存在，既沒有現(xiàn)成的硬件可用，算法還需要重新研究，給AR眼鏡場(chǎng)景防抖帶來了嚴(yán)峻的考驗(yàn)。

    亮亮視野AR防抖算法亮點(diǎn)在哪？

    自2012年Google Glass帶著文藝的科技范兒與濃重的未來感襲來至今已經(jīng)有9年光景了，為什么AR防抖算法才真正有了突破？亮亮視野表示，AR防抖算法不僅要解決AR眼鏡使用下的大幅度運(yùn)動(dòng)防抖準(zhǔn)確性問題，更關(guān)鍵的是對(duì)低功耗的技術(shù)挑戰(zhàn)非常之大，功耗控制不好即意味著發(fā)熱量控制不住，這是頭戴設(shè)備萬萬不被允許的。

    最終，亮亮視野科研團(tuán)隊(duì)基于神經(jīng)網(wǎng)絡(luò)，改進(jìn)了ECCV頂會(huì)算法，采用了自監(jiān)督學(xué)習(xí)進(jìn)行運(yùn)動(dòng)估計(jì)，終于探索出具有低功耗、低延時(shí)、大角度旋轉(zhuǎn)適應(yīng)能力三方面優(yōu)勢(shì)的AR防抖算法。具體表現(xiàn)為：

    低功耗：亮亮視野防抖算法使用輕量卷積神經(jīng)網(wǎng)絡(luò)算法，僅需要7-10ms。而傳統(tǒng)的基于特征點(diǎn)檢測(cè)和光流的運(yùn)動(dòng)估計(jì)算法通常需要20+ms的耗時(shí)，功耗得到了極大程度的控制；

    低延時(shí)：大多數(shù)防抖算法通常需要使用未來多幀或全部視頻幀以達(dá)到當(dāng)前幀的防抖效果，使視頻展示有較為明顯的延時(shí)。亮亮視野防抖算法僅需未來1幀即可達(dá)到當(dāng)前幀的防抖目的，實(shí)現(xiàn)算法低延時(shí)運(yùn)行。

    旋轉(zhuǎn)，高速運(yùn)動(dòng)：常規(guī)的防抖算法最多能解決1-2度每幀的旋轉(zhuǎn)，亮亮視野防抖算法可以對(duì)3-5度/幀的視頻達(dá)到較好的防抖效果。

    負(fù)責(zé)人還介紹道，這一算法還將在不遠(yuǎn)的未來部署在Movidius VPU芯片上，發(fā)揮VPU和Laffe框架計(jì)算效能比優(yōu)勢(shì)，令其防抖和低功耗表現(xiàn)更優(yōu)。

    至今，亮亮視野科研團(tuán)隊(duì)通過技術(shù)探索，已成功解決了陣列光波導(dǎo)模組量產(chǎn)難題、打造了AR專屬AI引擎、提升了AR眼鏡散熱和續(xù)航表現(xiàn)等等一系列棘手的問題，并研究出AI小樣本學(xué)習(xí)、車道線識(shí)別、弱監(jiān)督目標(biāo)定位、視覺追蹤、AR防抖等人工智能技術(shù)，為現(xiàn)實(shí)世界問題提供了更多實(shí)用的AI解決方案，一系列成果距離實(shí)現(xiàn)打通人與數(shù)據(jù)最后一厘米的愿景越來越近。