專家視角 | AR/VR 與智能制造實(shí)踐

    借助頭盔、眼鏡、耳機(jī)等虛擬現(xiàn)實(shí)設(shè)備，人們可以“穿越”到硝煙彌漫的古戰(zhàn)場，融入浩瀚無邊的太空旅行，將科幻小說、電影里的場景移至眼前……虛擬現(xiàn)實(shí)早已進(jìn)入我們的生活。

    誠然，如今AR/VR技術(shù)正褪去“神秘感”，實(shí)實(shí)在在地落地到應(yīng)用中。在工業(yè)領(lǐng)域，虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)和其他三維可視化技術(shù)的融合，為產(chǎn)品研發(fā)、生產(chǎn)制造帶來了前所未有的變革。

    近日，由黃培、許之穎，張荷芳編撰的《智能制造實(shí)踐》即將出版，特別剖析了AR/VR 在智能制造領(lǐng)域的應(yīng)用和發(fā)展趨勢，其中不少內(nèi)容與當(dāng)前ALVA 的技術(shù)場景不謀而合。

    今天就引用書中相關(guān)內(nèi)容，和大家一起從專家視角，展開探討 AR/VR 與智能制造實(shí)踐。

    1.虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)的定義

    虛擬現(xiàn)實(shí)（virtual reality，VR）技術(shù)利用三維建模等技術(shù)，建立一個虛擬的空間，再利用虛擬現(xiàn)實(shí)設(shè)備，提供視覺、聽覺、甚至觸覺和嗅覺的感官模擬，能夠使用戶身臨其境地沉浸在這樣的虛擬的合成環(huán)境中，VR的虛擬眼鏡使用戶在此環(huán)境中無限地觀察虛擬空間中的事物，穿戴設(shè)備還會給身體不同方位的振動反饋。

    虛擬現(xiàn)實(shí)技術(shù)最早應(yīng)用在航空航天領(lǐng)域，集中在美國軍方對飛行員的模擬訓(xùn)練，飛行員在飛行模擬器中就好像在真的飛機(jī)上一樣，在屏幕上操作各種儀表設(shè)備，視景窗可以實(shí)時生成座艙外的景象，如機(jī)場與跑道、建筑物、河流、云層等。

    虛擬現(xiàn)實(shí)技術(shù)是仿真技術(shù)的一個重要方向，是仿真技術(shù)與計(jì)算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)和網(wǎng)絡(luò)技術(shù)等多種尖端技術(shù)相結(jié)合而成。虛擬現(xiàn)實(shí)有4個關(guān)鍵要素：想象（imagination）、交互（interaction）、沉浸（immersion）和行為（behavior）[1]。

    增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）也是一種計(jì)算機(jī)建模的技術(shù)，它通過捕獲攝像機(jī)的位置，計(jì)算出影像物體的角度和位置來進(jìn)行建模，當(dāng)完成建模后，在此位置上增加一些虛擬的圖像、視頻或者更為立體的3D模型，這些虛擬的對象和攝像機(jī)捕捉到的真實(shí)對象融合在一起，讓用戶可以通過攝像頭就看到真實(shí)和虛擬兩種影像。

    目前，在工業(yè)應(yīng)用上，AR 技術(shù)側(cè)重于精密儀器制造和維修、工程設(shè)備的維修、在醫(yī)療上用于解剖和訓(xùn)練、在軍事上用于作戰(zhàn)指揮、偵查、同時AR技術(shù)還應(yīng)用在教學(xué)的培訓(xùn)和搶修救災(zāi)等場景。

    案例分享

    ALVASystems，#AR虛擬實(shí)訓(xùn) 應(yīng)用已適配HoloLens眼鏡，復(fù)雜操作培訓(xùn)也可以很直觀，誤操作從此無處遁形！

    混合現(xiàn)實(shí)（mixed reality，MR）技術(shù)則是虛擬現(xiàn)實(shí)技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)的混合應(yīng)用，在建筑、工業(yè)、展覽、醫(yī)療等行業(yè)都有成熟的應(yīng)用案例。

    1）虛擬/增強(qiáng)現(xiàn)實(shí)的關(guān)鍵要素

    （1）沉浸

    沉浸指通過視覺、聽覺等使得用戶有身臨其境的感覺，來增加虛擬世界的真實(shí)性。理想的虛擬環(huán)境應(yīng)該達(dá)到使用戶難以分辨真假的程度，甚至超越真實(shí)，如實(shí)現(xiàn)比現(xiàn)實(shí)更逼真的照明和音響效果等。

    （2）交互

    交互指計(jì)算機(jī)通過各種各樣的傳感器捕捉用戶的動作等信息，經(jīng)過處理后與人產(chǎn)生相互作用。交互是沉浸感的重要影響因素，交互的實(shí)時性和交互的可操作程度都很關(guān)鍵。同時，交互的實(shí)時性對于硬件要求很高。

    （3）行為

    行為是交互的表達(dá)方式。大多行為通過硬件來完成，比如頭戴式設(shè)備，主要限于視覺體驗(yàn)�，F(xiàn)在，越來越多的傳感器，諸如手柄、激光定位器、追蹤器、運(yùn)動傳感器，以及VR座椅、VR跑步機(jī)等硬件的出現(xiàn)，呈現(xiàn)出更多樣化的行為體驗(yàn)。

    （4）想象

    想象指虛擬場景由設(shè)計(jì)者想象出來，既可以是真實(shí)現(xiàn)象的重現(xiàn)，也可以加入想象的內(nèi)容。想象主導(dǎo)著虛擬現(xiàn)實(shí)（VR）的內(nèi)容，為精品內(nèi)容的出現(xiàn)提供了可能，也為新的交互方式、新的行為方式提供了靈感。

    2）虛擬/增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)

    虛擬/增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)主要包含：

    （1）環(huán)境建模技術(shù)：即虛擬環(huán)境的建立，目的是獲取實(shí)際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。

    （2）立體聲合成和立體顯示技術(shù)：在虛擬現(xiàn)實(shí)系統(tǒng)中消除聲音的方向與用戶頭部運(yùn)動的相關(guān)性，同時在復(fù)雜的場景中實(shí)時生成立體圖形。

    （3）觸覺反饋技術(shù)：在虛擬現(xiàn)實(shí)系統(tǒng)中讓用戶能夠直接操作虛擬物體并感覺到虛擬物體的反作用力，從而產(chǎn)生身臨其境的感覺。

    （4）交互技術(shù)：虛擬現(xiàn)實(shí)技術(shù)中的人機(jī)交互遠(yuǎn)遠(yuǎn)超出了鍵盤和鼠標(biāo)的傳統(tǒng)模式，利用數(shù)字頭盔、數(shù)字手套等復(fù)雜的傳感器設(shè)備，以及三維交互技術(shù)與語音識別、語音輸入技術(shù)成為重要的人機(jī)交互手段。

    （5）系統(tǒng)集成技術(shù)：由于虛擬現(xiàn)實(shí)系統(tǒng)中包括大量的感知信息和模型，因此系統(tǒng)的集成技術(shù)為重中之重。這些信息包括信息同步技術(shù)、模型標(biāo)定技術(shù)、數(shù)據(jù)轉(zhuǎn)換技術(shù)、識別和合成技術(shù)等等。

    推薦應(yīng)用

    針對AR應(yīng)用的3D建模，ALVA 能夠?yàn)榭蛻籼峁╅_箱即用的 AR模型創(chuàng)建發(fā)布平臺，歡迎點(diǎn)擊圖片了解詳情。

    2.虛擬/增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展綜述

    虛擬現(xiàn)實(shí)技術(shù)的概念最早來源于美國，其研究水平基本上代表國際發(fā)展的水平。目前該技術(shù)在美國的基礎(chǔ)研究主要集中在感知、用戶界面、后臺軟件和硬件四個方面。研究機(jī)構(gòu)則主要集中于航空航天及大學(xué)實(shí)驗(yàn)室，如NASA的Ames實(shí)驗(yàn)室研究主要集中在：將數(shù)據(jù)手套工程化，使其成為可用性較高的產(chǎn)品；在約翰遜空間中心完成空間站操縱的實(shí)時仿真；大量運(yùn)用面向座艙的飛行模擬技術(shù)；對哈勃太空望遠(yuǎn)鏡進(jìn)行仿真。

    麻省理工學(xué)院（MIT）是研究人工智能、機(jī)器人和計(jì)算機(jī)圖形學(xué)及動畫的先鋒，這些技術(shù)都是虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)，其他國家也有不同程度的發(fā)展，如英國在分布式并行處理、輔助設(shè)備（包括觸覺反饋）設(shè)計(jì)和應(yīng)用研究方面全球領(lǐng)先，日本主要致力于建立大規(guī)模虛擬現(xiàn)實(shí)（VR）知識庫的研究，在虛擬現(xiàn)實(shí)游戲方面的研究也處于領(lǐng)先地位。下圖就顯示了虛擬現(xiàn)實(shí)技術(shù)發(fā)展歷程。

虛擬現(xiàn)實(shí)技術(shù)發(fā)展歷程（來源：《虛擬現(xiàn)實(shí)技術(shù)發(fā)展歷程及發(fā)展趨勢分析》，產(chǎn)業(yè)研究智庫）

    我國虛擬現(xiàn)實(shí)技術(shù)研究起步較晚，與發(fā)達(dá)國家相比還有較大差距。北京航空航天大學(xué)計(jì)算機(jī)系是國內(nèi)最早進(jìn)行虛擬現(xiàn)實(shí)（VR）研究的單位之一，在虛擬環(huán)境中物體物理特性的表示與處理、虛擬現(xiàn)實(shí)中視覺接口方面軟硬件、分布式虛擬環(huán)境網(wǎng)絡(luò)設(shè)計(jì)方面成果突出；浙江大學(xué)CAD&CG國家重點(diǎn)實(shí)驗(yàn)室開發(fā)出了一套桌面型虛擬建筑環(huán)境實(shí)時漫游系統(tǒng)，還研制出了在虛擬環(huán)境中一種新的快速漫游算法和一種遞進(jìn)網(wǎng)格的快速生成算法；哈爾濱工業(yè)大學(xué)已經(jīng)成功地虛擬出人的高級行為中特定人臉圖像的合成、表情的合成和唇動的合成等技術(shù)問題；清華大學(xué)計(jì)算機(jī)科學(xué)和技術(shù)系對虛擬現(xiàn)實(shí)和臨場感的方面進(jìn)行了研究；西安交通大學(xué)信息工程研究所對虛擬現(xiàn)實(shí)中的關(guān)鍵技術(shù)——立體顯示技術(shù)進(jìn)行了研究，提出了一種基于JPEG標(biāo)準(zhǔn)壓縮編碼新方案，獲得了較高的壓縮比、信噪比以及解壓速度。

    近幾年，GPU技術(shù)、立體眼鏡和頭顯技術(shù)的進(jìn)步，促使VR/AR技術(shù)在個人消費(fèi)市場的爆發(fā)，在制造領(lǐng)域的應(yīng)用場景也在加速落地。工信部在《虛擬現(xiàn)實(shí)產(chǎn)業(yè)白皮書（2019）》中指出，虛擬現(xiàn)實(shí)在制造業(yè)的應(yīng)用主要包括虛擬研發(fā)、虛擬裝配、設(shè)備維護(hù)檢修等，已經(jīng)在大型裝備制造中實(shí)現(xiàn)初步應(yīng)用。但虛擬現(xiàn)實(shí)（VR）設(shè)備的標(biāo)準(zhǔn)體系不完善，虛擬現(xiàn)實(shí)技術(shù)、產(chǎn)品和系統(tǒng)評價指標(biāo)體系尚不健全，產(chǎn)品性能和質(zhì)量缺乏標(biāo)準(zhǔn)規(guī)范，硬件、系統(tǒng)和內(nèi)容之間兼容性差等，這些對于工業(yè)領(lǐng)域大范圍的使用制造了障礙。縱觀虛擬現(xiàn)實(shí)（VR）技術(shù)多年來的發(fā)展歷程，以及未來在工業(yè)領(lǐng)域更為廣泛的應(yīng)用，VR/AR技術(shù)的研究將遵循“低成本、高性能”原則，分別有以下主要方向的發(fā)展趨勢[2] [3]。

    1）動態(tài)環(huán)境建模技術(shù)

    虛擬環(huán)境的建立是虛擬現(xiàn)實(shí)（VR）技術(shù)的核心內(nèi)容，動態(tài)環(huán)境建模技術(shù)的目的是獲取實(shí)際環(huán)境的三維數(shù)據(jù)，在不降低三維模型的質(zhì)量和復(fù)雜程度的前提下，實(shí)時建立相應(yīng)的虛擬環(huán)境模型。該技術(shù)強(qiáng)調(diào)實(shí)時的數(shù)據(jù)傳感、超高清顯示技術(shù)，以及提高刷新頻率、提升系統(tǒng)性能，減少暈眩和提高真實(shí)感。

    針對環(huán)境的實(shí)時動態(tài)建模，在礦業(yè)、風(fēng)電等應(yīng)用場景中十分具有現(xiàn)實(shí)意義，能夠增強(qiáng)巡檢效率，對于場地大、分布廣的工廠來說，能夠顯著提升運(yùn)維效率 ，想了解相關(guān)案例詳情，歡迎點(diǎn)擊“閱讀原文”。

    因此，一是需要提升傳感器性能，提高視覺傳感、體感識別、眼球追蹤、觸覺反饋等能力，增強(qiáng)數(shù)據(jù)采集能力，從而精確、精準(zhǔn)定位，快速反饋周圍環(huán)境。二是突破CPU、GPU等數(shù)據(jù)處理單元的性能水平。虛擬建模技術(shù)需要對運(yùn)動中大規(guī)模的數(shù)據(jù)模型進(jìn)行重建，要求硬件能處理較大的并行視頻數(shù)據(jù)，在虛擬世界中同步現(xiàn)實(shí)世界，提升用戶體驗(yàn)。

    2）近眼顯示技術(shù)

    顯示延遲、暈眩、視場角狹窄是目前虛擬現(xiàn)實(shí)技術(shù)普遍存在的問題，為了進(jìn)一步提升虛擬現(xiàn)實(shí)的真實(shí)感、沉浸感，顯示技術(shù)還有較大的提升空間。未來，近眼顯示技術(shù)將以沉浸感提升與眩暈控制為主要發(fā)展趨勢。

    高角分辨率與廣視場角顯示成為提升虛擬現(xiàn)實(shí)沉浸感的重要切入點(diǎn)。隨著虛擬現(xiàn)實(shí)（VR）頭顯在近眼顯示上對清晰度提出了更高要求，分辨率將達(dá)到4K以上。增強(qiáng)現(xiàn)實(shí)強(qiáng)調(diào)與現(xiàn)實(shí)環(huán)境的人機(jī)交互，由于顯示信息多為基于真實(shí)場景的提示性、補(bǔ)充性內(nèi)容，現(xiàn)階段增強(qiáng)現(xiàn)實(shí)顯示技術(shù)以廣視場角等高交互性（而非高分辨率等畫質(zhì)提升）為首要發(fā)展方向。

    目前，虛擬現(xiàn)實(shí)眩暈產(chǎn)生機(jī)理尚未完全為人所知，因此，在顯示技術(shù)方面眩暈控制成為虛擬現(xiàn)實(shí)在近眼顯示方面的發(fā)展難點(diǎn)，發(fā)展非固定焦深的多焦點(diǎn)顯示、可變焦顯示與光場顯示成為業(yè)界在近眼顯示眩暈控制方面的重中之重。

    此外，在硬件方面，AMOLED、LCOS/OLEDoS成為近眼顯示屏幕技術(shù)的主導(dǎo)路線，分別在響應(yīng)時間、藍(lán)光輻射量、功耗、輕便程度等方面具備優(yōu)勢。

    3）感知交互技術(shù)

    感知交互技術(shù)聚焦于追蹤定位、環(huán)境理解與多通道交互等熱點(diǎn)領(lǐng)域。

    追蹤定位將成為虛擬現(xiàn)實(shí)（VR） 與增強(qiáng)現(xiàn)實(shí)在感知交互領(lǐng)域的核心技術(shù)，該技術(shù)的發(fā)展趨勢為由外向內(nèi)的空間位姿跟蹤向由內(nèi)向外的空間位姿跟蹤的轉(zhuǎn)變。

    手部體感交互呈現(xiàn)由手勢識別向手部姿態(tài)估計(jì)/跟蹤的發(fā)展趨勢。傳統(tǒng)的手勢識別是讓靜態(tài)手型或動態(tài)手勢與確定的控制指令進(jìn)行映射，觸發(fā)對應(yīng)的控制指令，這種方式需要用戶學(xué)習(xí)和適應(yīng)才能掌握。而手部姿態(tài)估計(jì)與跟蹤技術(shù)不需判斷手部形態(tài)實(shí)際含義，通過還原手部26個自由度的關(guān)節(jié)點(diǎn)姿態(tài)信息，虛擬手與現(xiàn)實(shí)世界中雙手的活動保持一致，用戶像使用真實(shí)手操作現(xiàn)實(shí)物體一樣對虛擬信息進(jìn)行操作，這種技術(shù)學(xué)習(xí)成本低，可實(shí)現(xiàn)更多、更復(fù)雜、更自然的交互動作。

    增強(qiáng)現(xiàn)實(shí)（AR）感知交互的發(fā)展趨勢側(cè)重于基于機(jī)器視覺的環(huán)境理解。環(huán)境理解呈現(xiàn)由有標(biāo)識點(diǎn)識別向無標(biāo)識點(diǎn)的場景分割與重建的方向發(fā)展�；�于機(jī)器視覺的環(huán)境理解成為AR感知交互的技術(shù)焦點(diǎn)，隨著深度學(xué)習(xí)和定位重建技術(shù)的發(fā)展，機(jī)器識別會逐漸拓展到對現(xiàn)實(shí)場景的語義與幾何理解。虛擬現(xiàn)實(shí)（VR） 感知交互的發(fā)展趨勢則側(cè)重于多通道交互的一致性，即通過視覺、聽覺、觸覺等感官的一致性，以及主動行為與動作反饋的一致性�；�于用戶眩暈控制與沉浸體驗(yàn)方面的特性要求，浸入式聲場、眼球追蹤、觸覺反饋、語音交互等交互技術(shù)成為虛擬現(xiàn)實(shí)的剛性需求。

    4）軟件技術(shù)

    虛擬現(xiàn)實(shí)技術(shù)除了硬件能力上的提升外，還需要加強(qiáng)軟件開發(fā)能力。需要鼓勵應(yīng)用程序開發(fā)者研發(fā)通用化、易用性高的虛擬現(xiàn)實(shí)軟件，使AR/VR技術(shù)更容易與移動設(shè)備相結(jié)合，用戶可以更方便地創(chuàng)建各種增強(qiáng)現(xiàn)實(shí)應(yīng)用，降低開發(fā)費(fèi)用，從而降低虛擬現(xiàn)實(shí)系統(tǒng)的購買成本和使用成本。

    此外，AR/VR技術(shù)需要與企業(yè)級系統(tǒng)結(jié)合，利用PLM系統(tǒng)中的三維模型、BOM和產(chǎn)品信息以及SLM系統(tǒng)中的維修服務(wù)信息，形成產(chǎn)品維修服務(wù)、培訓(xùn)指導(dǎo)的實(shí)時交互的能力。

    通過與企業(yè)系統(tǒng)平臺的打通，ALVA 助力制造企業(yè)實(shí)現(xiàn)IoT數(shù)據(jù)的實(shí)時、立體、可視化展示。

    5）分布式虛擬現(xiàn)實(shí)技術(shù)

    網(wǎng)絡(luò)分布式虛擬現(xiàn)實(shí)將分散的虛擬現(xiàn)實(shí)系統(tǒng)或仿真器通過網(wǎng)絡(luò)聯(lián)結(jié)起來，采用協(xié)調(diào)一致的結(jié)構(gòu)、標(biāo)準(zhǔn)、協(xié)議和數(shù)據(jù)庫，形成一個在時間和空間上互相耦合、虛擬、合成的環(huán)境，參與者可自由地進(jìn)行交互作用。目前，分布式虛擬交互仿真已成為國際上的研究熱點(diǎn)，相繼推出了DIS、mA等相關(guān)標(biāo)準(zhǔn)。

    此外，虛擬現(xiàn)實(shí)的沉浸感還需要大幅提升端到端網(wǎng)絡(luò)傳輸性能。虛擬現(xiàn)實(shí)涉及接入網(wǎng)、承載網(wǎng)、數(shù)據(jù)中心網(wǎng)絡(luò)、網(wǎng)絡(luò)傳輸運(yùn)維與監(jiān)控以及投影、編碼壓縮等多種網(wǎng)絡(luò)傳輸和數(shù)據(jù)處理技術(shù)，在利用虛擬現(xiàn)實(shí)仿真的過程中會產(chǎn)生大量的實(shí)時數(shù)據(jù)，因此，網(wǎng)絡(luò)傳輸技術(shù)呈現(xiàn)出大帶寬、低時延、高容量、多業(yè)務(wù)隔離的發(fā)展趨勢。

    參考文獻(xiàn)

    [1] 李巍.虛擬現(xiàn)實(shí)技術(shù)的分類及應(yīng)用[J].無線互聯(lián)科技,2018,15(08):138-139.

    [2] 劉華益,汪莉,單磊,等.虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展白皮書[R].北京:中國電子技術(shù)標(biāo)準(zhǔn)化研究院,2016.

    [3] 中國信息通信研究院.虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（2017年）[R].北京:中國信息通信研究院，華為技術(shù)有限公司,2016.