微美全息科學院：虛擬現(xiàn)實中基于眼電的人機交互技術

    虛擬現(xiàn)實技術作為一種先進的計算機仿真模擬技術，目前已經(jīng)在多個領域得到了廣泛的應用。例如，在軍事領域，通過虛擬現(xiàn)實技術進行軍事仿真演練，能以低廉的成本、逼真的效果最大程度地代替實戰(zhàn)訓練，在讓官兵盡快熟悉武器裝備系統(tǒng)、提升部隊戰(zhàn)斗力、節(jié)省開支、優(yōu)化資源配置、提高指揮決策水平等。

    在醫(yī)療與康復領域，對于肢體受傷的殘障患者，基于虛擬現(xiàn)實的康復訓練可以為其提供有趣味性的綜合性訓練、精確的感覺回饋、安全的訓練環(huán)境。根據(jù)患者的心理狀態(tài)和病情，虛擬現(xiàn)實技術可以選擇相應的康復訓練場景和任務，以多種反饋形式激發(fā)和維持患者康復訓練的主動性，提高康復效果。

    沉浸感、交互性和構想性是虛擬現(xiàn)實系統(tǒng)的三個基本特征。傳統(tǒng)的虛擬現(xiàn)實交互方式主要有VR手柄、數(shù)據(jù)手套、動作捕捉等。隨著信息技術的不斷發(fā)展，虛擬現(xiàn)實的人機交互技術出現(xiàn)了一些新的方法，例如，基于腦電、肌電等神經(jīng)電信號的交互方式。這些不斷涌現(xiàn)的人機交互技術大大增強了虛擬現(xiàn)實的沉浸式體驗。作為納斯達克上市企業(yè)“微美全息US.WIMI”旗下研究機構“微美全息科學院”的科學家們對一種新型的虛擬現(xiàn)實交互技術-基于眼電（EOG）的交互技術進行介紹。

    基于眼電的虛擬現(xiàn)實交互技術

    基于EOG信號的虛擬現(xiàn)實交互系統(tǒng)主要包括三個部分，分別是信號采集部分、眼電信號處理部分和虛擬現(xiàn)實場景部分，系統(tǒng)結構圖如圖1所示。系統(tǒng)工作時，用戶實時接收來自虛擬現(xiàn)實場景的激勵信號，用戶根據(jù)激勵信號做出相應的眼部動作，信號采集設備實時采集用戶的EOG信號，然后通過一系列的信號處理，轉換成對虛擬現(xiàn)實場景的控制指令，使虛擬現(xiàn)實場景執(zhí)行相對應的命令，同時以視覺的方式向用戶進行反饋。

圖1. 基于眼電的虛擬現(xiàn)實交互系統(tǒng)

    1.1眼電信號采集

    眼電信號是由角膜和視網(wǎng)膜之間的電勢差而引起，可以用于反映眼球的運動，其幅值一般在0.4到10mV之間。相對于腦電信號來說，對眼電信號的采集較為簡單方便，通常只需要少量的幾個電極即可完成。如圖2所示，可以使用6個電極來采集眼電信號。其中，電極A和電極D分布在眼球周圍的上方和下方的位置，用于采集垂直方向上的眼電信號，其主要是由于眼球的上下運動或者眨眼而產(chǎn)生，電極B和電極C分布在眼球周圍的左側和右側的位置，用于采集水平方向上的眼電信號，其主要是由于眼球的左右運動而產(chǎn)生。人體眼球在進行各種不同種類的運動時，會產(chǎn)生不同特征的EOG信號，可以通過設計相應的算法對EOG信號的特征進行識別從而將其轉化為外部設備的控制命令，構建出基于EOG的人機交互系統(tǒng)。EOG信號相對于腦電信號而言，通常具有更高的幅值和更穩(wěn)定的波形形狀，因此，對EOG信號的檢測要更為容易。

圖2. 眼電電極分布示意

    1.2 眼電信號處理

    眼電信號處理主要包含信號預處理、特征提取、波形檢測和分類識別等幾大大步驟。

    （1）信號預處理

    對原始眼電信號進行預處理的方法有很多，包括信號放大、基線校準、偽跡去除、下采樣等方法。眼電信號所處的頻段較低，且原始的眼電信號中一般混雜有人體其它生物電信號和外界電力工頻噪聲的干擾信號，故在預處理環(huán)節(jié)，一般通過低通濾波、小波變換等方法來減弱或消除基線漂移和高頻噪聲帶來的干擾。

    （2）波形檢測

    波形檢測的基本原理是通過在上述預處理之后所得到的特征向量F（即差分后的眼電信號波形）的幅度和信號持續(xù)時間來判斷受試者是否執(zhí)行了有效的單次眨眼動作。在圖3中可以觀察到，差分眼電信號波形中存在著非常明顯的峰-谷特性，且波谷出現(xiàn)在波峰之后。

圖3. 單次眨眼動作產(chǎn)生的典型眼電信號波形差分前后對比圖

    對每一次激勵信號后的提取出的特征向量F波形檢測時，首先需要在F中找到波峰波谷的位置（具體方法為將特征向量F的極值點中數(shù)值最大的視為波峰，波峰對應的時間點設為tpeak；極值點中數(shù)值最小的視為波谷，波谷對應的時間點設為tvalley），然后對得到的對應于不同激勵信號的特征向量F，分別計算每個特征向量中波峰和波谷之間的間隔時間tinterval和累積能量e，它們的計算方法如下式：

    最后，通過如下公式來判斷是否存在眨眼動作：

其中，Tmin和Tmax為眨眼時間的上下閾值，E為眨眼能量閾值。

    （3）特征提取

    在進行特征提取之前，一般要先提取出單個的眼電信號數(shù)據(jù)段，數(shù)據(jù)段的長度根據(jù)實際情況進行設計，特征向量一般也針對單個周期的眼電信號進行提取。需要注意的是，所提取的特征向量要能有效地代表眼電信號的特征，具有良好的區(qū)分性和獨立性，而且要易于計算。眼電信號特征提取的方法有基于信號波形的形狀特征提取法、小波變換法等等。

    （4）分類識別

    目前最常見的用于對眼電信號的特征進行分類的方法莫過于閾值法，此外，像支持向量機、BP 神經(jīng)網(wǎng)絡、線性判別分析等方法也可以應用到眼電信號的特征分類識別中來。每種方法都有各自的優(yōu)點和局限性，應當根據(jù)實際情況選擇最合適的處理方法。

    2. 結束語

    虛擬現(xiàn)實技術至今已有40年左右的發(fā)展歷程，傳統(tǒng)的虛擬現(xiàn)實交互方式主要有手柄、數(shù)據(jù)手套、動作捕捉等。近些年來，一些研究開始把基于生物電信號（包括眼電、腦電等）的人機交互和虛擬現(xiàn)實相結合。結合的方式通常是設計一個虛擬沉浸式的三維圖形界面和反饋系統(tǒng)，其中用戶可以使用人體生物電信號作為通信媒介與虛擬環(huán)境進行實時交互。這種基于生物電信號的虛擬現(xiàn)實交互技術的潛在發(fā)展前景主要包含兩個方面。一方面，生物電可以作為虛擬現(xiàn)實系統(tǒng)的一種新型輸入信號，改變了傳統(tǒng)的與虛擬環(huán)境交互的方式。與傳統(tǒng)設備相比，基于生物電信號的交互方式不需要依賴任何動作和語言，交互過程更為簡單、直接。另一方面，虛擬現(xiàn)實技術也可以作為提高人機交互系統(tǒng)性能的一個有用工具。傳統(tǒng)的人機交互系統(tǒng)中，用戶界面通常是顯示在屏幕上的一些簡單的二維圖形，與之相比，虛擬現(xiàn)實可以為用戶提供更豐富多彩、更具有激勵性的刺激與反饋信息，有助于提高系統(tǒng)的性能與易用性。此外，虛擬現(xiàn)實也可以為各種人機交互技術的應用原型提供一個安全、靈活的訓練和測試平臺。