第1章　什么是混合現實

1.1　混合現實的概念

參考文檔：https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality。

混合現實（Mixed Reality,MR）的概念最早是由加拿大人Paul Milgram和日本人Fumio Kishino在其論文《混合現實視覺顯示的分類》中共同提出來的，文章中提出：虛擬現實（VR）技術經常與各種其他環境相關聯使用，不一定完全是沉浸式的體驗，而是處于真實與虛擬之間的虛擬連續體（Virtuality Continuum,VC）上的（見圖1.1）。這種將“虛擬”與“真實”合并的技術，我們將其統稱為混合現實（MR）。

混合現實技術是真實世界與數字世界互相融合的結果，也是人、計算機及環境之間相互作用、不斷演化的結果。在過去的幾十年中，人們不斷探索人與計算機的輸入和輸入關系，即所謂的人機交互。我們通常可以通過鼠標、鍵盤、觸摸屏、聲音，或者類似Kinect這樣的體感設備等與計算機進行交互。甚至隨著傳感器技術的發展，讓計算機能夠根據不同類型的傳感器輸入，有效地理解或感知環境。比如，感知環境的邊界、表面、光照、聲音，識別對象和對象的位置等。圖1.2所表達的就是這種人與環境、計算機之間的相互作用。

在今天，總的來說，計算機不但可以接收到人的輸入，還可接收到環境的輸入。這是混合現實體驗的基礎，有了這些技術，我們才能將物理世界的信息轉化為數字信息。例如，當一臺混合現實設備發現真實環境中有一個球在運動時，馬上將球的運動狀態轉換為虛擬的球運動。這就相當于環境對計算機進行了輸入，如果沒有環境的輸入，這種轉換是不可能實現的。

AR（增強現實）和MR（混合現實）的區別是什么？這是我經常會遇到的問題。這個問題很難準確回答，因為MR并不是一個有明確邊界的概念。因此我給出的答案大部分情況下都不能讓提問者滿意，但是依然可以嘗試解釋一下。

·AR（增強現實）：不具有環境感知能力，僅僅將圖形疊加于物理世界的視頻流上。注意這里的“疊加”一詞，說明AR無法形成圖形與真實環境的混合體驗，比如不能與真實環境產生互相的遮擋關系。

·VR（虛擬現實）：完全沉浸式的體驗，無法知道真實世界發生了什么，或者說，你根本看不到真實世界。

·MR（混合現實）：處于AR與MR中間的狀態。

由于MR是一個中間狀態，在其兩端，左為物理世界，右為數字世界。如圖1.3所示，從左到右依次為：物理現實，增強現實，虛擬現實，數字現實。這個圖譜又稱為混合現實光譜（mixed reality spectrum）。

今天我們能夠看到的大多數設備都只實現了這個圖譜上非常小的一部分，目前沒有哪一個設備可以呈現整個光譜上的體驗。但是相信隨著時間的推移，技術的進步，MR設備也將擴展其在圖譜中的適用范圍。雖說路漫漫，但我們仍然堅信未來屬于MR。