從虛擬現實到實時的真實

用虛擬現實技術塑造出能超越實體的世界，是人們一直以來想用計算機做的事之一。狹義的元宇宙，通常指的就是視覺上讓我們感覺身臨其境的虛擬世界，但我們又明確知道，它是“假的”或“人造的”。最初，這樣的計算機制造的世界，首先是由目鏡在我們的眼前塑造出來的3D虛擬現實影像。這個領域中的典型公司是Facebook收購的Oculus虛擬現實頭盔公司，它已經推出多代Oculus Quest頭盔產品。

之后又逐漸演化，變成實體與屏幕的結合。谷歌眼鏡（Google Glass）展示了在眼鏡上疊加信息的可行性，這就是把計算機信息疊加在眼睛看到的現實景象之上，形成所謂的增強現實（augmented reality，AR）的場景。這激發了一系列應用，當前真正實地應用的多是這一類，工程師戴著增強現實眼鏡可以看到工廠里機器的實際運行數據，安防人員戴著專用的眼鏡進行人的識別、鎖定可疑目標。

微軟公司則用全息顯示設備Hololens試圖實現所謂的混合現實（mixed reality，MR），在電腦生成的接近真實的虛擬場景上疊加真實世界的場景。但是這種分類并不嚴格，在真實場景中疊加虛擬場景有時候也被稱為混合現實。按微軟的說法，它更強調將人體全息影像、高保真全息3D模型及周圍的現實世界結合起來。在電影《星球大戰》中，我們看到過類似的未來想象：在通話時，萊婭公主的全息影像出現在主角天行者盧克面前。

另外，很多人曾經看過獲得谷歌投資的Magic Leap所展示的視頻，在視頻中，人們無須佩戴任何設備，肉眼就可以看到鯨魚從體育場中躍起。這是用“光場”（light field）投射技術取代屏幕呈現，光場投射出的、由機器生成的人工場景可以和現實場景疊加，讓你以為那些物體就在那兒。微軟的Hololens和Magic Leap都是采用光場投射技術，后者官網首頁現在寫著：“元宇宙已在這里。”

隨著數據、算法與芯片的優化，近年來讓人激動的新進展是，用機器實時模擬出現實。如果你未仔細辨認，你會認為你聽到、看到的是真的。有些初級的應用已經在我們身邊，比如幾年前我們就能在導航軟件中體驗到，人工智能算法（更準確地說是機器學習算法）可以對一個人的語音進行學習，模擬出他的聲音說導航引導。在2020年，北京人民廣播電臺的一位主持人給我聽人工智能做的音樂節目播音，我根本聽不出那是一個機器合成的人的聲音，那是“比真實還真實”的電臺主持。

現在，計算機已經可以渲染出真實的人物與場景畫面，欺騙過比耳朵要求高得多的眼睛。2020年5月，芯片公司英偉達（Nvidia）創始人黃仁勛做過一次視頻演講，其中有14秒視頻的背景與演講人都是由計算機生成的。雖然故意留有蛛絲馬跡，但當時所有人都沒能發現。一年后，當他們在計算機學術會議上公布背后的算法、系統和工程實踐時，人們驚呼：“老黃欺騙了世人！”

或許有人會問，好萊塢不早就實現了這些嗎？從盧卡斯的工業光魔到喬布斯的皮克斯電影公司，它們早就能在大熒幕上以最精細的方式展示沖擊我們眼睛的畫面。

這一次不一樣。之前，電影工業做的是，事先進行大量的渲染、剪輯、特效，合成出比真實還真實的畫面。現在，計算機圖形學、機器學習算法和芯片的算力共同展示的可能性是，也許在不久的將來，計算機可以實時在你眼前繪制出比真實還真實的畫面。

在電影《阿凡達》中，數字技術渲染出來的人或角色無比逼真。但是，現在我們對逼真度不如電影的“數字虛擬人”充滿好奇，是因為他們已經能做到（當然非常勉強地）與我們交談，能夠做到實時互動。最早在2007年，日本Crypton Future Media公司用雅馬哈的語音合成程序推出合成聲音的數字歌手“初音未來”，后來她逐漸地有了自己的具象形象、全息形象，甚至過去十年每年舉辦演唱會。近年來，隨著人工智能技術的發展，一些公司甚至創造數字虛擬人員工。2021年9月8日，阿里巴巴宣布AYAYI成為首位數字員工，并擔任天貓超級品牌日營銷活動的首位數字主理人（見圖2-1）。

資料來源：天貓超級品牌日微博。

我們這里類似地造詞，把這種能夠實時計算生成視覺與聲音稱為模擬現實（simulated reality），它的關鍵詞是“實時”。實時地生成與疊加，才能真正變成可用的日常應用，而不僅僅是展示。過去，我們可以拍攝一些視頻，然后，用后期制作的方式加上信息框展示數據，增強現實眼鏡現在能做的是，實時地在你的眼前呈現數據與信息。隨著技術的進步，實時生產的虛擬影像可能會逐漸地投入應用。電影與視頻展示的是未來可能性，而當技術能夠達到實時后，應用就能進入我們的生活。