2.2 視覺傳感器

視覺傳感器主要用攝像頭代替人眼，對目標（車輛、行人、交通標志）進行檢測、跟蹤和識別，感知車輛周邊的障礙物和可行駛區域，理解交通標志和道路地面標線的語義，從而對當前的駕駛場景進行理解。相對于其他傳感器，攝像頭的價格相對低廉，并且擁有識別車道線、交通信號燈、行人、車輛等目標物體的基本功能，攝像頭在汽車的ADAS（Advanced Driving Assistant System，高級駕駛輔助系統）市場已經被大規模應用。

視覺傳感器的主要參數包括：像素、幀率、靶面尺寸、感光度、信噪比和電子快門等。

（1）像素：圖像傳感器上有許多感光單元，可以將光線轉換成電荷，從而形成與景物對應的電子圖像。而在傳感器中，每一個感光單元都對應一個像素點。單位面積內的像素點越多，代表能夠檢測到的物體細節越豐富，圖像也就越清晰。

（2）幀率：代表單位時間所記錄或者播放的圖片數量。連續播放一系列的圖片就會產生動畫效果，根據人的視覺系統，當播放圖片速度大于15幀/秒的時候，人眼就基本看不出圖片的跳躍；當達到24～30幀/秒的時候，人眼就已經覺察不到閃爍的現象。每秒的幀數或者說幀率，表示的是圖形傳感器在處理場景時每秒能夠更新的次數。幀率越高，視覺體驗就會越流暢、越逼真。

（3）靶面尺寸：代表圖像傳感器感光部分的大小，一般用英寸（1英寸=0.0254米）來表示其單位。通常這個數據指圖像傳感器的對角線長度，如常見的有1/3英寸，靶面尺寸越大意味著通光量越大，靶面尺寸越小則容易獲得更大的景深。

（4）感光度：代表通過CCD（Charge Coupled Device，電荷耦合器件）或CMOS（Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體）以及相關的電子線路感應入射光線的強弱。感光度越高，感光面對光的敏感度就越高，快門速度就越快，在拍攝運動車輛和進行夜間監控的時候，感光度顯得尤其重要。

（5）信噪比：指信號電壓與噪聲電壓的比值，單位為分貝（dB）。一般攝像機給出的信噪比均是自動增益控制（Automatic Gain Control，AGC）關閉時的值，因為當AGC接通時，會對小信號進行提升，使得噪聲電平也相應提高。信噪比的典型值為45～55 dB，若信噪比為50 dB則圖像有少量噪聲，但圖像質量良好；若信噪比為60 dB則圖像質量優良。信噪比越大，說明對噪聲控制得越好。

（6）電子快門：用來控制圖像傳感器的感光時間。由于圖像傳感器的感光值就是信號電荷的積累，感光時間越長，信號電荷積累時間也就越長，輸出信號電流的幅值也越大。電子快門越快，感光度越低，越適合在強光下拍攝。

在硬件方面，計算機視覺所需的工業攝像頭在技術層面相對成熟，具有較高的圖像穩定性、傳輸能力和抗干擾能力，且單個攝像頭成本已降到200元以下，因此一輛智能駕駛汽車上可以配備6～8個攝像頭，從而覆蓋不同角度。

工業攝像頭又稱工業相機，其按照芯片類型可以分為CCD相機和CMOS相機；按照傳感器的結構特性可以分為線陣相機和面陣相機；按照掃描方式可以分為隔行掃描相機和逐行掃描相機；按照分辨率大小可以分為普通分辨率相機和高分辨率相機；按照輸出信號速度可以分為普通速度相機和高速相機；按照響應頻率范圍可以分為可見光（普通）相機、紅外相機和紫外相機等。

CCD相機是目前視覺傳感器中最常用的圖像傳感器，它集光電轉換及電荷存儲、電荷轉移、信號讀取于一體，是典型的固體成像器件。CCD的突出特點是以電荷為信號，通過光電轉換形成電荷包，然后在脈沖驅動的作用下轉移、放大輸出圖像信號。典型的CCD相機由光學鏡頭、時序及同步信號發生器、垂直驅動器、模/數信號處理電路組成，一般可分為線陣CCD相機和面陣CCD相機兩種。

CMOS相機是使用CMOS感光芯片作為圖像傳感器的相機，它將光敏元件陣列、圖像信號放大器、信號讀取電路、模/數轉換電路、圖像信號處理器，以及控制器集成在一塊芯片上，同時還具有局部像素編程隨機訪問的優點。CMOS圖像傳感器以其良好的集成性、低功耗、高速傳輸和寬動態范圍等特點在高分辨率和高速場合中得到了廣泛的應用。CCD相機與CMOS相機圖像傳感器的對比如表2-2所示。

視覺傳感器一般具有比較明顯的幾個缺點：一是在逆光或光線復雜的地方，視覺傳感器檢測識別效果較差；二是視覺傳感器較大程度地依賴于訓練樣本，能否辨別出物體類別完全依賴于樣本的訓練，樣本未覆蓋的物體類別將無法辨別；三是視覺傳感器對行人的識別結果具有不穩定性，因為行人的動作、服裝、身體各部分變化要素很多，而且還要將行人與駕駛環境中的建筑、汽車、樹木等背景圖案區分開來。例如，Mobileye公司在日本、德國、美國、以色列等國家的城市所進行的一系列道路測試結果顯示，視覺傳感器對行人的檢測成功率為93.5%，距離實現完全無人駕駛還有很大差距；再如，對于穿著吉祥物套裝或是所穿衣服顏色與背景相似的人，或搬運東西的人，有可能無法被視覺傳感器識別。