四、交互技術

（一）語音交互

與虛擬世界進行語音交互是虛擬現實系統的一個高級目標，虛擬現實系統中的語音技術包括語音識別和語音合成。

（1）語音識別也叫自動語音識別（Automatic Speech Recognition, ASR），是指將人說話的語音信號轉換為可被計算機程序所識別的文字信息，進而分析出說話人的語音指令和語意內容。語音識別一般包括參數提取、參考模式建立、模式識別等過程。以事先建立的樣本庫為基礎，當用戶通過話筒將一個聲音信號輸入系統中，系統把它轉換成數據文件后，語音識別軟件便開始將輸入的聲音樣本與事先儲存好的聲音樣本進行對比；聲音對比工作完成之后，系統就會找到一個它認為最“像”的聲音樣本序號，由此可以知道輸入者剛才念的聲音是什么意義，進而執行此命令。語音識別技術可以解放用戶的雙手，同時讓用戶利用語音這一自然交流方式和系統進行交互。語音識別技術的應用領域十分廣泛，例如，語音文檔錄入、語音導航等，尤其在電信業、汽車業、移動應用領域中的使用有著快速的增長。例如，蘋果公司發布的Siri是安裝在iPhone上的語音助手，支持基于自然語音輸入的地圖搜索、備忘錄提醒、日程安排等功能。

（2）語音合成（Text To Speech, TTS）是指將文本信息轉變為語音數據，并以語音方式播放。在語音合成技術中，首先需要對文本進行分析，并對它進行韻律建模；然后從原始語音庫中取出相應的語音基元，對語音基元進行韻律調整和修改，最終合成出符合要求的語音。

在虛擬現實系統中，如果將語音合成和語音識別技術結合起來，可以使用戶與計算機所創建的虛擬環境進行簡單的語音交流，這也是真正的人機自然交互。因此，這種技術在虛擬環境中具有突出的應用價值。

（二）手勢交互

手勢是一種較為簡單、方便的交互方式。如果將虛擬世界中常用的指令定義為一系列手勢集合，那么虛擬現實系統只需跟蹤用戶手的位置以及手指的夾角就有可能判斷出用戶的輸入指令。利用這些手勢，參與者就可以完成諸如導航、拾取物體、釋放物體等操作了。

目前，手勢識別系統根據輸入設備的不同，主要分為基于數據手套的識別和基于視覺（圖像）的手勢識別系統兩種。

（1）基于數據手套的手勢識別系統就是利用數據手套和空間位置跟蹤定位設備來捕捉手勢的空間運動軌跡和時序信息。它能夠對較為復雜的手部動作進行檢測，包括手的位置、方向和手指彎曲度等，并可根據這些信息對手勢進行分類，因而較為實用。這種方法的優點是系統識別率高，缺點是用戶需要穿戴復雜的數據手套和空間位置跟蹤定位設備，相對限制了人手的自由運動，并且數據手套、空間位置跟蹤定位等輸入設備的價格比較昂貴。

（2）基于視覺的手勢識別是通過攝像機連續拍攝手部的運動圖像，然后采用圖像處理技術提取出圖像中的手部輪廓，進而分析出手勢形態。大致流程包括手勢分割、手勢建模和特征匹配，如圖2-20所示。根據不同的識別對象，識別方法有靜態手勢識別和動態手勢識別兩種。

靜態手勢識別是針對單幀的手勢圖片做識別。在手勢分割的過程中主要使用膚色模型（色彩聚類特征）、輪廓邊緣（Canny檢測）等；在做手勢建模時主要使用一些圖像屬性（輪廓，圖像矩，特征，直方圖）；特征匹配時使用模板匹配法、神經網絡法等。

動態手勢識別針對視頻序列，手勢分割涉及運動區域檢測，場景建模等。在做手勢分割時經常用到的運動跟蹤方法有差值圖像分割，卡爾曼跟蹤預測，背景剪除法等。在做手勢建模時主要使用一些運動序列（計算運動光流，抽取運動軌跡）來估算。特征匹配時使用類似隱馬爾科夫模型法、動態時間規劃法等。

手勢交互的最大優勢在于用戶可以自始至終采用同一種輸入設備（通常是數據手套）與虛擬世界進行交互。這樣，用戶就可以將注意力集中于虛擬世界，從而降低對輸入設備的額外關注。

（三）表情交互與人臉識別

面部表情識別在人與人交流過程中傳遞信息時發揮重要作用。如果計算機或虛擬場景中的人物角色能夠像人類那樣具有理解和表達情感的能力，并能夠自主適應環境，那么就能從根本上改變人與計算機之間的關系。然而要讓計算機能看懂人的表情卻不是一件很容易的事情，迄今為止，計算機的表情識別能力還與人們的期望相差較遠。目前，計算機面部表情識別技術通常包括三個步驟：人臉圖像的檢測與定位、表情特征提取、表情分類。

人臉圖像的檢測與定位就是在輸入圖像中找到人臉的確切位置，它是人臉表情識別的第一步。人臉檢測的基本思想是建立人臉模型，比較輸入圖像中所有可能的待檢測區域與人臉模型的匹配程度，從而得到可能存在人臉的區域。根據對人臉知識利用方式的不同，可以將人臉檢測方法分為兩大類：基于特征的人臉檢測方法和基于圖像的人臉檢測方法。第一類方法直接利用人臉信息，比如人臉膚色、人臉的幾何結構等，這類方法大多用模式識別的經典理論，應用較多。第二類方法并不直接利用人臉信息，而是將人臉檢測問題看作一般的模式識別問題，待檢測圖像被直接作為系統輸入，中間不需特征提取和分析，直接利用訓練算法將學習樣本分為人臉類和非人臉類，檢測人臉時只要比較這兩類與可能的人臉區域，即可判斷檢測區域是否為人臉。

表情特征提取是指從人臉圖像或圖像序列中提取能夠表征表情本質的信息，例如，五官的相對位置、嘴角形態、眼角形態等。表情特征選擇的依據如下所述。盡可能多地攜帶人臉面部表情特征，即信息量豐富；盡可能容易提取；信息相對穩定，受光照變化等外界的影響小。

表情分類是指分析表情特征，將其分類到某個相應的類別。在這一步開始之前，系統需要為每個要識別的目標表情建立一個模板。在識別過程中，將待測表情與各種表情模板進行匹配；匹配度越高，則待測表情與該種表情越相似。圖2-21顯示了一種簡單的人臉表情分類模板，該模板的組織為二叉樹結構。在表情識別過程中系統從根節點開始，逐級將待測表情和二叉樹中的節點進行匹配，直到葉子節點，從而判斷出目標表情。

在表情分類步驟中，除了模板匹配方法，人們還提出了基于神經網絡的方法、基于概率模型的方法等新技術。

（四）眼動跟蹤技術

在虛擬現實系統中，將視線的移動作為人機交互方式不但可以彌補頭部跟蹤技術的不足，同時還可以簡化傳統交互過程中的步驟，使交互更為直接。例如，視線交互可以代替鼠標的點擊操作，如果用戶盯著感興趣的目標，計算機便能“自動”將光標置于其上。早期的視線跟蹤技術首先應用于心理學研究等領域，目前，多用于軍事（如飛行員觀察記錄等）、閱讀以及幫助殘疾人進行交互等領域。

支持視線移動交互的相關技術稱為視線跟蹤技術，也稱眼動跟蹤技術，主要有強迫式與非強迫式、穿戴式與非穿戴式、接觸式與非接觸式之分。它的主要實現手段包括以硬件為基礎和以軟件為基礎兩類。以硬件為基礎的跟蹤技術需要用戶戴上特制頭盔、特殊隱形眼鏡，或者使用頭部固定架、置于用戶頭頂的攝像機等。這種方式識別精度高，但對用戶的干擾很大。為了克服眼動跟蹤裝置對人的干擾，近年來人們提出了以軟件為主，實現對用戶無干擾的眼動跟蹤方法，其基本工作原理是先利用攝像機獲取人眼或臉部圖像，然后用圖像處理算法實現圖像中人臉和人眼的檢測、定位與跟蹤，從而估算用戶的注視位置。

在眼動跟蹤技術的發展過程中，人們提出了很多跟蹤眼睛運動的方法。從一開始的直接觀察法、機械記錄法，到后來的電磁感應法、電流記錄法及接觸鏡法、角膜反射跟蹤法、虹膜-鞏膜邊緣跟蹤技術、瞳孔-角膜跟蹤法等。但是，目前所有的眼動跟蹤技術都存在一定的缺陷，將其應用于人機交互中還有一定的局限性，具體表現為精度與自由度的問題、“米達斯接觸”問題以及算法問題。

（1）首先是精度與自由度的問題。以硬件為基礎的視線跟蹤技術與以軟件為基礎的視線跟蹤技術相比，其精度較高，但由于使用的設備限制了人的自由度，所以對人有較大干擾，使用起來不太方便；以軟件為基礎的視線跟蹤技術，雖然降低了對用戶的限制，但其精度相對而言低得多，要想得到準確的注視焦點比較困難。精度與自由度目前是一對尖銳矛盾。

（2）其次是“米達斯接觸”問題。用戶視線的移動往往是隨意的，并不總有一定的意義，移動視線不代表就要發出一條計算機命令。因此，如果屏幕上的計算機鼠標指針總是隨著用戶的視線移動，很可能會引起用戶的厭煩。如果能夠在用戶希望發出控制時，界面及時地處理用戶的視線輸入，相反時則忽略視線的移動，則可以很好地解決這個問題。遺憾的是，一般無法區分這兩種情況，較好的解決手段是需要鍵盤等其他設備的配合。

（3）再次是算法問題。眼動中的抖動、眨眼易造成數據中斷，這種干擾信號使得獲取注視焦點的屏幕投影以及眼動數據都存在一定困難。

（五）其他感覺器官的反饋技術

目前，虛擬現實系統的反饋形式主要集中在視覺和聽覺方面，對其他感覺器官的反饋技術還不夠成熟。

在觸覺方面，由于人的觸覺相當敏感，一般精度的裝置根本無法滿足要求，所以對觸覺與力覺的反饋研究還相當困難。例如接觸感，現在的系統已能夠給身體提供很好的提示，但卻不夠真實；對于溫度感，雖然可以利用一些微型電熱泵在局部區域產生冷熱感，但這類系統還很昂貴；對于力量感覺，很多力反饋設備被做成骨架形式，從而既能檢測方位，又能產生移動阻力和有效的抵抗阻力，但是這些產品大多還是粗糙的、實驗性的，距離實用尚有一定距離。

在味覺、嗅覺和體感等器官感覺方面，人們至今仍然對它們的理論知之甚少，有關產品相對較少，對這些方面的研究都還處于探索階段。

總之，虛擬現實技術的發展是要使人機交互系統從精確、二維的交互向非精確、三維的交互轉變。因此，盡管手勢語言、眼動跟蹤、面部表情識別以及其他感官的自然交互技術在現階段還很不完善，但對它們的研究具有非常重要的意義。