如何創造亦真亦幻的世界

元宇宙在當下能激發我們對未來的想象，首要原因是它承諾創造一個亦真亦幻的世界，讓我們可以自由自在地生活在其中。這也是為什么虛擬現實與增強現實是人們說起元宇宙時首先想到的。Facebook、騰訊、微軟、英偉達這些科技公司告訴我們的也是同樣的技術路線——構建虛擬（增強）現實的技術基礎設施與應用。

自1990年年初互聯網商業化開始，我們已經逐漸地進入了數字世界：我們在電腦或手機屏幕上看到圖文化的信息，與之交互互動。

探索最終匯集到元宇宙，這些探索給我們展示這樣的未來：你可以擺脫屏幕，看到更逼真的世界，身處其中，與之互動。圖2-2是一張簡圖，展示當下從創造一個亦真亦幻的世界所需的輸出、輸入與交互控制。

輸出：用戶看到的用戶界面

第一，我們希望能夠有一個逼近真實的數字世界呈現在我們面前。前面講過，輸出，也就是界面體驗方式有四種：戴上頭盔看到的虛擬現實（VR），強調沉浸體驗；戴上眼鏡看到的增強現實（AR），強調現實與數字信息融合；將接近真實的圖像疊加到實體世界上或反之，形成讓我們通過肉眼可看到的混合現實（MR）；以及實時模擬現實（SR），強調實時生成畫面的真實度。

虛擬現實、增強現實、混合現實、模擬現實其實是相通的。在我們能夠用芯片與算法實時生成接近現實的畫面后，這些畫面可以在VR頭盔中顯示，可以疊加在增強現實的鏡片中顯示，也可以通過光場技術投射在我們眼前。當然，還可以成為電影院中我們觀看的電影。

輸入：生成輸出所需的數據、模型與通信

第二，呈現在我們眼前的畫面是計算機生成的，是根據眾多輸入組合而成。目前看，輸入的來源包括六個方面：數據、建模、攝像、計算、通信、社交。

以Facebook、微軟等公司已經在反復提及的虛擬現實在線會議場景為例，我們來設想一下用到的輸入。

當我們在會議軟件中預定一個會議，上傳會議要用的文檔，這些動作形成會議的基礎數據的輸入。參會者之間的社交關系也自然地被納入進來，我們將共同參與一次會議討論。會議開始了，我們打開攝像頭，攝像頭拍攝的參會者真實的畫面與背景融合起來，呈現到其他人面前。

按Facebook與微軟的設想，我們也可以用模型建模出來的3D個人形象參會。攝像頭捕捉我們的動作，個人電腦或服務器進行計算，讓我們的3D個人形象相應地做出動作。

參加在線會議，參會者身處世界各地，圖像、聲音、數據的傳遞需要快速的通信基礎設施支持，5G及未來的大容量通信開啟了更多可能性。

元宇宙已來，至少它的雛形已經在我們身邊。當你在騰訊會議等軟件中用到這些功能時，一個與真實略有不同的你出現在參會者面前：你的臉部可能已經被軟件缺省加上了美白特效。你用漂亮的圖片替換掉自己身后可能雜亂的背景。如果你使用如黃鸝智聲等降噪耳機，耳機可以用算法過濾噪音和環境音，讓別人只能聽到你的說話聲。

交互控制：用戶控制數字世界中的自己

第三，我們不只是想被動地體驗數字世界，我們要與之互動，這就需要交互控制。

與數字世界的交互控制方式一直在進化。最早，與計算機的交互只能通過打孔卡片，后來有了鍵盤，再之后有了較為自然的鼠標。

在過去十多年，隨著大屏智能手機的普及，人們已經習慣了用手指觸摸來交互。這是一種非常自然的交互，連小孩子都可以自然地使用。這個創新交互的大規模應用曾出現在蘋果iPad上。當時，一個科技作家記錄了這樣一段經歷。他三歲的女兒每天都在用iPad，習慣了點擊看圖片、放大。當她去看紙質版圖畫書時，她也想用雙指拉動放大，她抱怨說：“這個書壞了！”

現在，對身體控制、聲音控制、眼球追蹤也分別有一些探索，但仍局限在特定的使用場景。微軟的體感技術Kinect實現了身體就是控制器，你可以在電視機前面跳舞，游戲里的人物隨著你的身姿起舞。我們可以用聲音（如蘋果的Siri）調用應用軟件，或者安裝一些智能家居設備之后，我們回到家可以說：“幫我打開窗簾。”眼球控制則主要使用在醫療輔助等少數場景中。著名物理學家霍金在世時就曾經與英特爾合作，為他這樣全身都無法動的人士開發用眼球控制軟件的技術。

在虛擬（增強）現實領域，當前主流的交互控制借鑒自游戲的手柄。VR產業目前的四種實用的交互控制手段——眼球追蹤、語音、手勢、手柄中，手柄的技術最為成熟，效果好而且成本較低。

對于交互控制的未來，科幻小說般的大膽設想是腦機接口，也就是用大腦直接控制計算機。用意念控制機器，是科技的終極夢想。通常來講，腦機接口分兩類：第一類是在人的大腦中植入芯片，這是所謂的侵入式；第二類是用設備比如功能核磁共振成像捕獲人的腦電圖，這是所謂的非侵入式。腦機接口目前還處在非常早期的探索階段。

要創造一個我們真正可以生活和工作在其中的元宇宙，交互上的持續改進是一大關鍵。在我們看來，交互的進化不會直接躍遷到諸如眼球追蹤甚至腦機接口，而多半會是漸進的。從電腦鼠標到智能手機觸摸，看似是我們拋棄了鼠標，實際是我們用屏幕加手指“組成”了鼠標。在線會議這類應用引入了聲音與攝像頭，也可以說是交互控制的進步。在這類場景中，我們不需要機器理解我們的聲音與動作，對面的參會者可以很容易地理解聲音與畫面，并對應地做出互動。接下來，機器的理解能力會發展到能理解聲音與動作的程度，聲音與攝像頭可能是下一個主流交互控制方式。

總的來說，為了在我們眼前創造一個亦真亦幻的世界，并讓我們身臨其境，人們持續在輸入、輸出、交互控制三個方面探索著。迄今為止互聯網的重心在輸入和交互上，而在輸出呈現上它就簡單地以網頁和App界面的形式呈現在我們面前。在各項技術逐漸成熟后，虛擬（增強）現實則啟發人們去探索更自然、更真實的視覺呈現。這或許能將我們從電腦屏幕和手機屏幕上解脫開，帶給我們三維立體的互聯網，我們的身體或數字化身在其中自由活動。

［知識塊］　技術趨勢：VR輕薄化，AR光波導

2021年11月，騰訊研究院、騰訊多媒體實驗室等在報告《拐點已至，全真將到：虛擬（增強）現實產業發展十大趨勢（2021）》中對于VR、AR的未來技術演進做了分析。

如圖2-3所示，當前，對于虛擬現實頭盔，雙眼分辨率4k+的菲涅爾透鏡是主流，而超短焦開始被部分使用。比如，Oculus Quest 2的分辨率為4K，刷新率為90Hz，屏幕是Fast-LCD，光學方案是菲涅爾透鏡。

資料來源：《拐點已至，全真將到：虛擬（增強）現實產業發展十大趨勢（2021）》，騰訊研究院、騰訊多媒體實驗室等，2021年11月。作者摘選了部分圖表組合成上圖。

對于增強現實眼鏡，光學模組是核心，當前的光學模組方案主要是BirdBath光學結構，而下一代的方案是光波導（optical waveguide）。光波導是引導光波在其中傳播的介質裝置，又稱介質光波導。采用光波導顯示方案后，AR光學的參數對比如圖2-3所示，其中FOV（field of view）指的是顯示設備邊緣與觀察點（眼睛）連線的夾角，即你能清晰看見畫面和余光掃到的內容，它代表你所看到的全景角度，角度越大沉浸感越強。