1.2　Intel RealSense技術(shù)

Intel RealSense技術(shù)是Intel公司于2012年開發(fā)的、用于自然人機(jī)交互的技術(shù)，是在深入剖析從人類傳感到交互的實(shí)現(xiàn)過程基礎(chǔ)上，為計(jì)算設(shè)備添加“類人”感官而進(jìn)行的技術(shù)創(chuàng)新。人類參與交互的部位包括眼、耳、手、嘴等，如圖1-1所示。

人類感知世界主要以眼和耳為輸入器官，通過對(duì)視覺、聲音的獲取，并經(jīng)過人類大腦的相關(guān)感知區(qū)域識(shí)別、處理，最終形成人對(duì)外界事物的認(rèn)知與判斷。其中，人類大腦就是中央處理器，在眼、耳感官基礎(chǔ)上進(jìn)行手勢(shì)、表情、自然語言分析等復(fù)雜的認(rèn)知。計(jì)算設(shè)備類似人類大腦，Intel RealSense技術(shù)的核心就是為計(jì)算設(shè)備添加視覺、聽覺等“類人”感官的硬件及軟件庫，使計(jì)算設(shè)備能夠像人一樣對(duì)外界進(jìn)行反應(yīng)，與外界交互。

在感知硬件中，視覺傳感器是信息量最大的輸入手段。視覺傳感器從最初的幾十萬像素已經(jīng)逐步發(fā)展到高清、超高清。但傳統(tǒng)視覺傳感器所提供的2D圖像與真實(shí)世界中的景象與物體還是有很大差異的。用普通攝像頭拍照或錄像，只能把真實(shí)世界的景象投影到2D平面。這樣2D平面圖像就缺失了真實(shí)世界的深度信息，使其身臨其境感大打折扣，如圖1-2所示。人眼是通過雙眼視差來獲得深度信息的。深度信息對(duì)于物體識(shí)別、運(yùn)動(dòng)估計(jì)等深層次視覺任務(wù)至關(guān)重要。Intel RealSense攝像頭是3D攝像頭，利用紅外成像技術(shù)在普通彩色攝像頭的基礎(chǔ)上提供了深度信息。Intel RealSense攝像頭不僅可以像微軟Kinect、LeapMotion等設(shè)備那樣作為獨(dú)立設(shè)備使用，甚至可以嵌入筆記本電腦、PAD、手機(jī)等設(shè)備中，這就大大拓展了3D攝像頭的應(yīng)用范圍。Intel RealSense 3D攝像頭能實(shí)時(shí)提供彩色圖像及其深度圖，手部圖像示例如圖1-3所示。這樣可以輕松地把真實(shí)的3D世界捕捉到數(shù)字的3D世界，并且重現(xiàn)每個(gè)像素點(diǎn)的真實(shí)（x，y，z）。可以預(yù)見，RealSense技術(shù)一定會(huì)占據(jù)重要的市場(chǎng)地位。

1.Intel RealSense 3D攝像頭

目前有兩類Intel RealSense 3D攝像頭，一類是主要用于近距離場(chǎng)景的3D攝像頭，型號(hào)為F200、SR300；一類是主要用于遠(yuǎn)距離場(chǎng)景的3D攝像頭，型號(hào)為R200。

外置式的近距F200攝像頭如圖1-4所示。其技術(shù)規(guī)格如下：

• 前置攝像頭（0.2~1.2米，僅限室內(nèi)使用）
• 景深/IR：640×480，分辨率@60fps
• RGB：1080p@30fps
• USB 3.0
• 開發(fā)人員套件規(guī)格：150毫米×30毫米×58毫米
• 支持Microsoft Windows 8.1（64位）

2.F200

近距的F200通常集成在筆記本電腦等設(shè)備的前面板，聚焦個(gè)人設(shè)備交互，如手、面部表情，其作用范圍與距離如圖1-5所示。

如圖1-6所示是F200的內(nèi)部構(gòu)造圖，可以看到F200包含內(nèi)置的實(shí)感圖像處理芯片、紅外傳感器、彩色傳感器、紅外激光發(fā)射器等主要部件（從左至右）。紅外激光發(fā)射器按預(yù)定的模式投射紅外光到視場(chǎng)中，紅外光經(jīng)物體反射后由紅外傳感器接收，并由實(shí)感圖像處理芯片計(jì)算得出深度場(chǎng)。彩色傳感器則提供2D平面圖像信息。模組最后通過USB3.0輸出RGBD（紅、綠、藍(lán)及深度）信息。通過UV map來把深度信息D映射到相應(yīng)的RGB像素點(diǎn)上。這樣每個(gè)像素點(diǎn)都可以計(jì)算出相應(yīng)的3D世界坐標(biāo)（x，y，z）。所有這一切功能都集成在110.0mm×12.5mm×3.75mm尺寸的模組上，通過USB直接供電，最大限度地節(jié)約了空間和功耗，使得將Intel RealSense 3D攝像頭集成在移動(dòng)設(shè)備上成為可能。

SR300是Intel最新推出的F200升級(jí)版近距離3D攝像頭。相對(duì)于F200的主要性能SR300在以下方面有所改進(jìn)：

• 距離和檢測(cè)速度提升
• 低照度條件下的彩色圖像質(zhì)量提高
• 彩色和深度數(shù)據(jù)流的同步提升
• 更低的功耗

3.R200攝像頭

圖1-7是外置式的遠(yuǎn)距R200攝像頭，其技術(shù)規(guī)格如下：

• 景深攝像頭外設(shè)
• 遠(yuǎn)距3D攝像頭（室內(nèi)3~4米，室外距離更遠(yuǎn)）
• 景深/IR：640×480，分辨率@60fps
• RGB：1080p@30fps
• USB 3.0
• 開發(fā)人員套件規(guī)格：130毫米×20毫米×7毫米
• 支持Microsoft Windows 8.1及更高版本（64位版本）、Android Linux

遠(yuǎn)距的R200攝像頭通常集成在PAD、手機(jī)等智能設(shè)備的后板上，聚焦環(huán)境交互，其作用范圍與距離如圖1-8所示。

圖1-9是R200攝像頭的內(nèi)部構(gòu)造圖。R200主要用于遠(yuǎn)距離場(chǎng)景，利用雙目視差原理進(jìn)行兩路紅外傳感接收，從而提高遠(yuǎn)距離測(cè)距的準(zhǔn)確性。可以看到R200包含內(nèi)置的左紅外傳感器、色彩傳感器、紅外激光發(fā)射器、右紅外傳感器、實(shí)感圖像處理芯片等主要部件（從左至右）。紅外激光發(fā)射器發(fā)射出固定的散斑，由左右紅外傳感器來接收信息，通過三角定位原理，實(shí)時(shí)計(jì)算出每個(gè)像素點(diǎn)的深度信息。同時(shí)色彩傳感器獲得正常的高質(zhì)量RGB信息。模組最后通過USB 3.0輸出RGBD信息。通過UV map來把深度信息D映射到相應(yīng)的RGB像素點(diǎn)上，這樣每個(gè)像素點(diǎn)都可以計(jì)算出相應(yīng)的3D世界坐標(biāo)（x,y,z）。R200將所有的器件高度集成在101.6mm×9.6mm×3.8mm尺寸的模組上，通過USB直接供電，最大限度地節(jié)約了空間和功耗，使得集成RealSense 3D攝像頭不僅在平板電腦、手機(jī)等移動(dòng)設(shè)備上成為可能，而且能拓展到機(jī)器人、無人機(jī)等智能設(shè)備的視覺領(lǐng)域。

4.Intel RealSense SDK

為了更加方便開發(fā)者利用高度集成的Intel RealSense攝像頭，Intel RealSense技術(shù)還提供了豐富的SDK，包含預(yù)先開發(fā)好的各類計(jì)算機(jī)視覺算法，以支持應(yīng)用程序的自然人機(jī)交互，表1-1總結(jié)了Intel RealSense SDK for Windows支持的特性。SDK支持C++、C#、JavaScript、Java、Unity等多種編程語言，限于篇幅，書中例子均以C語言為主。