三、呈現(xiàn)技術(shù)

（一）視覺呈現(xiàn)技術(shù)

1．真實感圖形繪制技術(shù)

虛擬現(xiàn)實系統(tǒng)要求虛擬場景具有一定的真實感，這樣用戶才能有身臨其境的感覺。所謂圖形的真實感，是指計算機所生成的圖形反映客觀世界的程度。長期以來，圖形真實感問題一直是計算機圖形學研究的一個主要課題，主要方法如下所述。

（1）紋理映射（圖2-11）。紋理映射是真實感圖像制作的一個重要部分，紋理映射是將紋理圖像貼在簡單物體的幾何表面上，以近似描述物體表面的紋理細節(jié)。運用它可以方便地制作出極具真實感的圖形而不必花過多時間來考慮物體的表面細節(jié)，它是一種改善真實性的簡單措施。

（2）環(huán)境映射。在計算機圖形學中，環(huán)境映射是模仿現(xiàn)實生活中鏡面反射現(xiàn)象的技術(shù)。環(huán)境映射是指將物體所處位置的全景圖貼在其表面上，從而表達該物體表面的鏡面反射效果和規(guī)則投射效果。這種技術(shù)能夠極大提高圖形圖像的真實感。

（3）反走樣。走樣是指由于光柵顯示器的離散特性，引起幾何模型邊緣的鋸齒性失真現(xiàn)象，反走樣技術(shù)的目標就是消除這種現(xiàn)象。一個簡單的方法就是，以兩倍分辨率繪制圖形，然后通過平均求值的方式計算正常分辨率的圖形；另一個方法是對相鄰像素值進行加權(quán)求和，得到最終像素值。

除了上述簡單方法，其他復雜的真實感繪制技術(shù)還包括物體表面的各種光照建模方法，例如，簡單光照模型、局部光照模型、全局光照模型等。從繪制算法上看，還包括模擬光線實際傳播過程的光線跟蹤算法，模擬能量傳播的輻射度算法等。

2．實時動態(tài)繪制技術(shù)

實時動態(tài)繪制技術(shù)是指利用計算機為用戶提供一個能從任意視點及方向?qū)崟r觀察三維場景的手段。它要求當用戶視點改變時，圖形顯示速度必須跟得上視點的改變速度。所以，實時動態(tài)繪制技術(shù)所期望的是圖像幀速高而等待時間短。一般來說，實時動態(tài)繪制技術(shù)可分為基于圖形和基于圖像的兩種繪制技術(shù)。

1）基于圖形的實時動態(tài)繪制技術(shù)

為了保證圖形顯示的刷新率不低于20～30幀/秒，除了在硬件方面采用高性能的計算機外，還必須選擇合適的算法來降低場景的復雜度（即降低圖形系統(tǒng)處理的多邊形數(shù)目）。

目前，用于降低場景的復雜度以提高三維場景的動態(tài)顯示速度的常用方法有場景分塊、可見消隱、細節(jié)層次模型等。

場景分塊是指把一個復雜的場景劃分為多個相互之間幾乎或完全不可見的子場景，在某一時刻只需對一個子場景進行繪制。例如，把一個建筑物按房間劃分成多個子部分，當觀察者處在某個房間時僅能看到該房間內(nèi)的場景，所以只需繪制當前房間的模型即可。場景分塊的方法能有效地減少在某一時刻所需要顯示的多邊形數(shù)目，從而有效降低了場景的復雜度。

可見消隱是根據(jù)給定的視點和視線方向，判斷場景中哪些物體的表面是可見的，哪些是被遮擋而不可見的。使用此方法能使系統(tǒng)僅顯示用戶當前能“看見”的場景。當用戶僅能看到整個場景中很小部分時，由于系統(tǒng)僅顯示相應場景，此時可大大減少所需顯示的多邊形數(shù)目。

細節(jié)層次模型（Level Of Detail, LOD）是指對同一個場景或場景中的物體使用具有不同細節(jié)的描述方法得到的一組模型。在實時繪制時，可對場景中不同的物體或物體的不同部分采用不同的細節(jié)層次模型。如果一個物體離視點比較遠，或者這個物體比較小，就要采用較粗的LOD模型繪制；反之，如果這個物體離視點比較近時，或者物體比較大時，就必須采用較精細的LOD模型來繪制。同樣，如果場景中有運動的物體，也可以采用類似的方法，對處于運動速度快或處在運動中的物體，采用較粗的LOD模型；而對于靜止的物體采用較精細的LOD模型。圖2-12所示為LOD模型示意圖。

2）基于圖像的實時動態(tài)繪制技術(shù)

基于圖像的繪制技術(shù)（Image Based Rendering, IBR）是指針對某一場景，首先準備好一系列預先生成的場景畫面；在進行場景漫游時，系統(tǒng)對接近于視點或視線方向的場景畫面進行變換、插值與變形，從而快速得到當前視點處的場景畫面。可見，這種技術(shù)完全摒棄了先建模、后確定光照效果的繪制方法，而是直接由一系列已知圖像生成未知視角的圖像。傳統(tǒng)圖形繪制技術(shù)均是面向景物幾何而設計的，它具有一定的優(yōu)點，例如，觀察點和觀察方向可以隨意改變，不受限制。它同時也存在一些問題，如三維建模費時費力、工程量大；繪制過程涉及復雜的建模、消隱和光亮度計算，對計算機硬件有較高的要求；漫游時，在每個觀察點及視角實時生成的數(shù)據(jù)量較大。因此，為實現(xiàn)在具有普通計算能力的計算機上實現(xiàn)真實感圖形的實時繪制，近年來很多學者開始研究基于圖像的實時動態(tài)繪制技術(shù)。該技術(shù)基于一些預先生成的圖像（或環(huán)境映照）來生成不同視點的場景畫面，與傳統(tǒng)繪制技術(shù)相比，它有著鮮明的特點：

· 圖形繪制獨立于場景復雜性，僅與所要生成畫面的分辨率有關(guān)。

· 預先存儲的圖像（或環(huán)境映照）既可以是計算機合成的，也可以是實際拍攝的畫面，而且兩者可以混合使用。

· 該繪制技術(shù)對計算資源的要求不高，因而可以在普通工作站和個人計算機上實現(xiàn)復雜場景的實時顯示。

IBR技術(shù)是新興的研究領(lǐng)域，它將改變?nèi)藗儗τ嬎銠C圖形學的傳統(tǒng)認識。與基于圖形的傳統(tǒng)繪制技術(shù)相比，基于圖像的實時繪制技術(shù)的優(yōu)勢在于對計算機的資源要求不高，可以在普通工作站和個人計算機上實現(xiàn)復雜場景的實時顯示；繪制速度與場景復雜性無關(guān)，僅與所要生成畫面的分辨率有關(guān)；圖像中包含豐富的色彩信息，能夠提高場景的真實感。目前，基于圖像的繪制技術(shù)主要包括全景技術(shù)、圖像插值及視圖變換技術(shù)。

全景技術(shù)是指為一個場景中的某個觀察點構(gòu)造一幅全景圖，用戶在該觀察點處瀏覽時，可以任意旋轉(zhuǎn)視角，觀察全景圖的各個部分。全景圖的準備可以采用圖像拼接方法，例如，在觀察點處用相機每旋轉(zhuǎn)一定的角度拍攝一張照片，從而得到一組照片，再用各種工具軟件將其拼接成一幅全景圖。在場景瀏覽時，如果事先準備了多張全景圖，那么還可以通過添加熱點的方式進行視點切換。全景技術(shù)所形成的數(shù)據(jù)較小，對計算機配置要求低，適用于桌面式虛擬現(xiàn)實系統(tǒng)。

圖像的插值及視圖變換技術(shù)是指針對事先準備好的同一場景中的多張圖像，計算出圖像之間的關(guān)聯(lián)關(guān)系，例如，像素點之間的對應關(guān)系、像素點的深度信息、圖像的投影參數(shù)等，然后，根據(jù)這些信息并采用像素插值或三維變換方法，就可以構(gòu)造出未知視點的圖像。

3．三維立體顯示技術(shù)

立體視覺對虛擬現(xiàn)實系統(tǒng)至關(guān)重要。兩只眼睛的視差是實現(xiàn)立體視覺的基礎。為了實現(xiàn)立體顯示效果，首先需要對同一場景分別產(chǎn)生相應于左右眼的不同圖像，讓它們之間具有一定的視差；然后，借助相關(guān)技術(shù)，使左右雙眼只能看到與之相應的圖像。這樣，用戶才能感受到立體效果。

從時間特點上來講，目前的立體顯示技術(shù)可以分為同時顯示（Frame Parallel）技術(shù)和分時顯示（Frame Sequential）技術(shù)兩類。同時顯示是指在屏幕上同時顯示出對應于左右雙眼的兩幅圖像；分時顯示是指以一定的頻率交替顯示兩幅圖像。

從設備特點上來講，立體顯示技術(shù)可以分為眼鏡式和裸眼式立體顯示兩類。其中，眼鏡式又可細分為主動立體眼鏡和被動立體眼鏡兩類。主動立體眼鏡是指有源眼鏡，它通過“快門”來控制鏡片的透光性，被動立體眼鏡是指無源眼鏡，它通過濾波技術(shù)來控制鏡片的透光性，具體說明如下：

1）眼鏡式立體顯示

（1）彩色眼鏡。這種眼鏡屬于被動立體眼鏡，主要用于同時顯示技術(shù)中。它的基本原理是，將左右眼圖像用紅綠兩種補色在同一屏幕上同時顯示出來，用戶佩戴相應的補色眼鏡（一個鏡片為紅色，另一個鏡片為綠色）進行觀察。這樣每個濾色鏡片吸收來自相反圖像的光線，從而使雙眼只看到同色的圖像。這種方法會造成用戶的色覺不平衡，產(chǎn)生視覺疲勞。

（2）偏振光眼鏡。這種眼鏡同樣屬于被動立體眼鏡，主要用于同時顯示技術(shù)中。它的基本原理是，將左右眼圖像用偏振方向垂直的光線在同一屏幕上同時顯示出來，用戶佩戴相應的偏振光眼鏡（兩個鏡片的偏振方向垂直）進行觀察。這樣每個鏡片阻擋相反圖像的光波，從而使雙眼只能看到相應的圖像。

（3）液晶光閥眼鏡。這種眼鏡屬于主動立體眼鏡，主要用于分時顯示技術(shù)中。它的基本原理是，顯示屏分時顯示左右眼的視差圖，并通過同步信號發(fā)射器及同步信號接收器控制觀看者所佩戴的液晶光閥眼鏡。當顯示屏顯示左（右）眼視差圖像時，左（右）眼鏡片透光而右（左）眼鏡片不透光，這樣雙眼就只能看到相應的圖像。這種方法的主要特點是要求顯示器的幀頻為普通顯示器的兩倍，一般需要達到120Hz。

（4）立體頭盔。它也是眼鏡的一種，這種方法是在觀看者雙眼前各放置一個顯示屏，觀看者的左右眼只能看到相應顯示屏上的視差圖像。頭盔顯示器可以進一步分為同時顯示和分時顯示兩種，前者的價格更加昂貴。這種立體顯示存在單用戶性、顯示屏分辨率低、頭盔沉重以及易給眼睛帶來不適感等固有缺點。

2）裸眼式立體顯示

這種方法不需要用戶佩戴任何裝置，直接觀看顯示設備就可感受到立體效果，是立體顯示的未來發(fā)展方向。這種方法又可細分為三類：光柵式自由立體顯示、體顯示、全息投影顯示。

（1）光柵式自由立體顯示。這種顯示設備主要是由平板顯示屏和光柵組合而成，左右眼視差圖像按一定規(guī)律排列并顯示在平板顯示屏上，然后利用光柵的分光作用將左右眼視差圖像的光線向不同方向傳播。當觀看者位于合適的觀看區(qū)域時，其左右眼分別觀看到相應的視差圖像，從而獲得立體視覺效果。常見的光柵類型包括狹縫光柵和柱透鏡光柵兩類。

狹縫光柵包括前置式狹縫光柵和后置式狹縫光柵兩種，其原理分別如圖2-13（a）、（b）所示。圖2-13（a）中的狹縫光柵置于平板顯示屏與觀看者之間，觀看者左右眼透過狹縫光柵的透光部分只能看到對應的左右眼視差圖像，由此產(chǎn)生立體視覺。圖2-13（b）的中狹縫光柵置于平板顯示屏與背光源之間，用來將背光源調(diào)制成狹縫光源。當觀看者位于合適的觀看區(qū)域時，從左（右）眼處只能看到顯示屏上的左（右）眼狹縫被光源照亮處。所以，觀看者左右眼只能看到對應的視差圖像，由此產(chǎn)生立體視覺。

柱透鏡光柵自立體顯示原理如圖2-14所示，它利用柱透鏡陣列的折射作用，將左右眼視差圖像分別提供給觀看者的左右眼，從而產(chǎn)生立體視覺效果。

可見，光柵式自由立體顯示技術(shù)的本質(zhì)是使用光柵等濾光器替代立體眼鏡。但是，由于兩種光柵都是在平板顯示器上同時顯示兩幅視差圖像，所以會導致立體圖像的分辨率降低。

（2）體顯示。它的基本原理是通過特殊顯示設備將三維物體的各個側(cè)面圖像同時顯示出來。圖2-15說明了一種基于掃描的體顯示方法，它以半圓形顯示屏作為投影面，通過一個電動機帶動其高速旋轉(zhuǎn)，形成一個半球形的成像區(qū)域。在旋轉(zhuǎn)過程中，投影機會把同一物體的多幅不同側(cè)面的二維圖像閃投在顯示屏上。這樣，由于人眼的視覺暫留原理，就會看到一個似乎飄浮在空中的三維物體。

圖2-16說明了一種基于點陣的體顯示方法。圖中所示立方體是添加了發(fā)光物質(zhì)的透明熒光體，它是由一系列點陣組成的。如果水平和垂直方向的兩束不可見波長的光線同時聚焦到同一個熒光點上，那么該點就會發(fā)出可見光。顯示立體圖像時，首先需要把三維物體分解為一系列點陣，然后由兩束光波依次掃描立方體中的各個熒光點，使得與三維物體相對應的熒光點發(fā)光，而其他熒光點不發(fā)光。這樣，觀看者就可以看到立體模型了。

體顯示方法可供多個觀看者同時從不同角度觀看同一立體場景，且兼顧了人眼的調(diào)節(jié)和會聚特性，不會引起視覺疲勞。

（3）全息投影顯示。全息投影技術(shù)是利用光的干涉和衍射原理記錄并再現(xiàn)真實物體三維圖像的技術(shù)。首先，利用干涉原理記錄物體的光波信息，這是拍攝過程，被攝物體在激光輻照下形成漫射式的物光束；另一部分激光作為參考光束射到全息底片上，和物光束疊加產(chǎn)生干涉；干涉條紋間的反差和間隔就將物體光波的全部信息記錄下來。記錄著干涉條紋的底片經(jīng)過顯影、定影等處理程序后，便成為一張全息圖（或稱全息照片）。

然后，利用衍射原理再現(xiàn)物體光波信息，這是成像過程。當膠片沖洗完成后，它就記錄了原始物體上每一點的衍射光柵。如果將參考光束重新照射膠片時，那么原始物體上每一點的衍射光柵都可以衍射部分參考光線，重建出原始點的散射光線。當原始物體上所有點的衍射光柵所形成的衍射光線疊加在一起以后，就可以重建出整個物體的立體影像了。

近年來，隨著計算機技術(shù)的發(fā)展和高分辨率電荷耦合成像器件（Charge Couple Device, CCD）的出現(xiàn)，數(shù)字全息技術(shù)得到迅速發(fā)展。與傳統(tǒng)全息不同的是，數(shù)字全息用CCD代替普通全息材料記錄全息圖，用計算機模擬取代光學衍射來實現(xiàn)物體再現(xiàn)，實現(xiàn)了全息圖記錄、存儲、處理和再現(xiàn)全過程的數(shù)字化。

全息投影技術(shù)再現(xiàn)的三維圖像立體感強，具有真實的視覺效應。觀看者可以在其前后左右觀看，是真正意義上的立體顯示。圖2-17為HOLOCUBE公司開發(fā)的一款桌面全息顯示器。

（二）聽覺呈現(xiàn)技術(shù)

為使用戶產(chǎn)生身臨其境的感受，除視覺沉浸外，虛擬現(xiàn)實系統(tǒng)還應考慮聽覺沉浸。三維虛擬聲音的體驗類似于一個球形空間，所以聽者可以感受到整個球形空間任何地方的聲音。在這個立體聲場中，能根據(jù)三維虛擬聲音的類型、強度和方位迅速做出相應判斷，如圖2-18所示。所以，我們把在虛擬場景中能使用戶準確地判斷出聲源的精確位置、符合人們在真實境界中聽覺方式的聲音處理技術(shù)稱為三維虛擬聲音技術(shù)。

1．三維虛擬聲音的作用

在虛擬現(xiàn)實系統(tǒng)中加入與視覺并行的三維虛擬聲音，一方面可以在很大程度上增強用戶在虛擬世界中的沉浸感和交互性，另一方面也可以減弱大腦對于視覺的依賴性，降低沉浸感對視覺信息的要求，使用戶體驗視覺感受、聽覺感受帶來的雙重信息享受。總體來說，聲音的作用有如下幾點：

· 聲音可以作為用戶和虛擬環(huán)境的一種交互方法，我們可以通過語音交流與虛擬世界取得聯(lián)系。

· 增強用戶體驗，數(shù)據(jù)驅(qū)動的聲音能傳遞對象的基本屬性信息。

· 增強空間信息，特別是當空間超出了視覺范圍，這時就完全要靠聲音來識別。

2．三維虛擬聲音的特征

三維虛擬聲音主要的特征有全向三維定位特征、三維實時跟蹤特性以及沉浸感與交互性。下面對它們分別進行介紹。

（1）全向三維定位特性是指在三維虛擬空間中把實際聲音信號定位到特定虛擬專用源的能力。它能使用戶準確判斷出聲源的位置，非常符合我們在現(xiàn)實生活中的聽覺感受。舉個例子來說，在現(xiàn)實生活中，一般都是先聽到聲響，然后再用眼睛去看這個地方，三維聲音系統(tǒng)允許用戶根據(jù)眼睛注視的方向以及根據(jù)所有可能的位置來監(jiān)視和識別各種信息源，由此可以看出，三維聲音系統(tǒng)可以利用粗調(diào)的機制引導較為細調(diào)的視覺能力的注意。在有視覺干擾的虛擬環(huán)境中，這一點尤其重要，這個時候，我們一般會通過聽覺感受來引導肉眼對于目標位置的搜索，這種方法肯定要優(yōu)于沒有任何輔助而直接用肉眼搜索目標。即使是對處于視野中心的物體也是如此，這就是聲學信號的全向特性。

（2）三維實時跟蹤特性是指在三維虛擬空間中實時跟蹤虛擬聲源位置變化或景象變化的能力。比如說，當用戶的頭部轉(zhuǎn)動時，雖然虛擬聲源在虛擬場景中的絕對位置沒有發(fā)生改變，但是它相對于用戶頭部的位置發(fā)生了變化，所以用戶的聽覺感受也應該發(fā)生變化，從而使用戶感受到聲源位置的固定性。而當虛擬發(fā)聲物體移動位置時，用戶的聽覺感受也應隨之改變。只有聲音效果與實時變化的視覺相一致，才能產(chǎn)生視覺與聽覺的疊加與同步效應。如果三維虛擬聲音系統(tǒng)不具備這樣的實時變化能力，看到的景象與聽到的聲音就會相互矛盾，聽覺就會削弱視覺的沉浸感。

（3）三維虛擬聲音的沉浸感就是指在三維場景中加入三維虛擬聲音后，能夠使用戶在聽覺與視覺交互的同時有身臨其境的感覺，使人沉浸在虛擬世界中，有助于增強臨場效果。三維聲音的交互特性是指隨用戶的運動而產(chǎn)生的臨場反應和實時響應的能力。

3．三維虛擬聲音的建模方法

為了建立具有真實感的三維虛擬聲音，一般從最簡單的單耳聲源開始，然后通過專門的三維虛擬聲音系統(tǒng)的處理，生成分離的左右信號，分別傳入聽者的左右耳朵，以此來使聽者準確定位聲音的位置。構(gòu)建一個完善的三維虛擬聲音系統(tǒng)是一個極其復雜的過程。在設計時，必須仔細考慮聽者精確定位聲源所需的聲學信息，認真分析確定聲源方向的理論，這樣才能為三維虛擬聲音系統(tǒng)建立正確的人類聽覺模型。目前，常用的聽覺模型包括頭部相關(guān)傳遞函數(shù)、房間聲學模型、增強現(xiàn)實中的聲音顯示。

（1）頭部相關(guān)傳遞函數(shù)。有很多致力于研究從聲源發(fā)出的聲波是如何傳到人耳中的，聲波從聲源處到鼓膜處的變化其實可以看作是人的雙耳對聲波的濾波作用，它主要表現(xiàn)為人的頭、軀干和外耳構(gòu)成的復雜外形對聲波產(chǎn)生的散射、折射和吸收作用，人們將聲波從自由場傳到鼓膜處的變換函數(shù)稱之為與頭部相關(guān)的傳遞函數(shù)HRTF（Head-Related Transfer Function）。由于每個人的頭、耳的大小和形狀各不相同，所以HRTF也因人而異。但是這些函數(shù)通常是從一群人獲得的，因而它是一組平均特征值。獲取HRTF的一般方法是：通過測量外界聲音及人耳鼓膜上的聲音頻譜差異，即可獲得聲音在人耳附近發(fā)生的頻譜波形；隨后利用這些數(shù)據(jù)對聲波與人耳的交互方式進行編碼，即可得出HRTF，并確定雙耳的信號傳播延遲特點。

HRTF受到很多因素的影響，除了耳廓是最主要的因素，還有頭部、耳道、肩膀、軀體等。這些影響因素可以分為兩類，一種是與方向有關(guān)的因素，包括軀體影響、肩膀反射等；還有一種是與方向無關(guān)的因素，包括耳腔共振以及耳道與鼓膜的阻抗，示例圖如2-19所示。

在虛擬現(xiàn)實系統(tǒng)中，當無回聲聲音信號由HRTF處理后，再通過與聲源纏繞在一起的濾波器驅(qū)動一組耳機，就可以在傳統(tǒng)耳機上形成有真實感的三維聲音了。

（2）房間聲學模型。房間聲學模型的目標是計算第二聲源的空間圖，也就是為初始聲源計算一組離散的第二聲源（回聲）。因為在聲音的傳輸過程中，如果能夠模擬聲音與虛擬場景的反射效果，那么即使只有少量的一階和二階反射，也可以增加聲音效果的真實性。對于第二聲源可以由三個主要特性描述：距離上有延遲，相對第一聲源的頻譜有改變（空氣吸收、表面發(fā)射等），與聽者的入射方向有變化。

通常找到第二聲源有兩種方法：鏡面圖像法和射線跟蹤法。鏡面圖像法能夠保證找到所有幾何正確的聲音路徑，不過由于該算法是遞歸的，所以不容易改變尺度。射線跟蹤法使用一系列射線的反射和折射尋找第二聲源，主要優(yōu)點是即使處理時間短，也能產(chǎn)生不錯的、合理的聽覺效果，而且通過調(diào)節(jié)可用射線的數(shù)目，很容易以給定的幀頻工作。

（3）增強現(xiàn)實中的聲音顯示。在許多應用中需要將計算機合成的聲音信號與采樣的真實聲音信號疊加在一起，這種系統(tǒng)稱為聲音增強現(xiàn)實系統(tǒng)。真實的聲音信號可以由定位麥克風采樣得到，可以是當?shù)丨h(huán)境的，也可以是借助遙控操作系統(tǒng)來自遠地環(huán)境的。這個聲音增強系統(tǒng)應該是能夠接收任何環(huán)境中麥克風接收的信號，用來適應給定情況變化的這些信號，然后把它們疊加到虛擬現(xiàn)實系統(tǒng)提供的聲音信號上。當前，聲音增強現(xiàn)實系統(tǒng)最典型的應用是使沉浸在某種虛擬現(xiàn)實任務中的用戶同時處理真實世界中的重要事件（如真實世界中的警告信號）。

4．三維虛擬聲音技術(shù)有待解決的問題

就目前虛擬聲音技術(shù)的發(fā)展情況來看，有些地方確實還存在著很多問題，列舉如下：

（1）聽覺定位的混淆問題。無論應用哪一種聽覺定位方法，通過耳機定位，常常導致定位聲音的前后顛倒和上下顛倒，所以會大大降低立體定位的性能和聲源形象化，這主要是因為耳機掩蔽了聽覺輔助器官的作用而形成的一個聽覺定位錐。

（2）虛擬聲音環(huán)境的可視化問題。虛擬聲音通常與視頻技術(shù)結(jié)合創(chuàng)造一個虛擬視聽環(huán)境并達成視聽同步。如果把視覺背景作為聽覺補償，可以提高聲音環(huán)境的逼真度和降低聽覺定位混淆。但是，如果聽覺通道信息與視覺通道信息互相沖突，反而會降低虛擬視聽環(huán)境的逼真度，所以，視聽同步、頭部運動補償?shù)葐栴}都會影響虛擬聲音。視聽同步不僅包括聲音事件與運動事件在時間上的同步，而且與聲音控制系統(tǒng)參數(shù)保持同步映射關(guān)系。

（3）聽覺心理學和聽覺生理學的限制。相對而言，對外圍聽覺系統(tǒng)的研究比較充分，而對于聽覺通路及中樞聽覺的研究則很不充分。由于聽覺系統(tǒng)的復雜性，目前對于它的機理還有很多不清楚。從生理學來看，聽覺系統(tǒng)對于聲音的頻率、強度以及各種不同聲音之間的關(guān)系表現(xiàn)出外圍聽覺系統(tǒng)處理的非線性，從而要用響度、音調(diào)以及臨界帶寬等加以描述。至于更高層次，要涉及聽者的認知系統(tǒng)以及各種知識源的相互作用。因此，對于聽覺系統(tǒng)還需進行廣泛而深入的研究。