第1章　人類視覺系統(tǒng)及其建模

1.1　人類視覺系統(tǒng)概述

計算機(jī)視覺的研究對象之一是如何利用二維投影圖像恢復(fù)三維景物世界，其基本目的可以歸結(jié)為從單幅或多幅二維投影圖像（或視頻序列）計算出觀察點和目標(biāo)對象之間的空間位置關(guān)系及目標(biāo)對象的物理屬性。例如，包括目標(biāo)對象與觀察點的距離（即深度信息）、目標(biāo)對象的運動特性和表面物理特性等。計算機(jī)視覺最終的目標(biāo)就是實現(xiàn)計算機(jī)對于客觀世界的理解，從而使得計算機(jī)可實現(xiàn)人類視覺系統(tǒng)的某些功能。

人類視覺系統(tǒng)（Human Visual System，HVS）是一個非常復(fù)雜的系統(tǒng)，至今還沒有被完全地理解，而且大多數(shù)的人類視覺系統(tǒng)視覺特性不是憑直覺獲知的。人類視覺系統(tǒng)是人們理解和認(rèn)知自然世界的關(guān)鍵工具，是揭示大腦秘密的一個突破點。所以，了解人類視覺系統(tǒng)的生理結(jié)構(gòu)，分析信息在大腦中的傳遞過程和形成處理過程是研究計算機(jī)視覺的必要前提。深入研究人類視覺系統(tǒng)對視覺刺激的處理機(jī)制，合理地利用這種人眼視覺特性，才有可能在更高層次上研究真正意義的計算機(jī)視覺算法和系統(tǒng)。

正因為如此，才使得腦科學(xué)成為目前研究界的熱點。在大腦接收來自外部世界的大量信息中，絕大部分是通過視覺系統(tǒng)進(jìn)行加工處理的。視覺信息加工機(jī)制是心理學(xué)、神經(jīng)科學(xué)、計算機(jī)科學(xué)等學(xué)科研究的重大課題之一。人類的視覺系統(tǒng)是目前已知的功能最完備、機(jī)制最復(fù)雜的信息加工系統(tǒng)之一，對它的研究無疑對了解人類自身信息加工的能力和機(jī)理，對理解大腦中所表達(dá)的信息和外部物質(zhì)世界的關(guān)系等問題具有重大的意義。此外，計算機(jī)科學(xué)的發(fā)展突飛猛進(jìn)，創(chuàng)造具有人類大腦那樣的智能計算機(jī)是研究者最大的期望之一。為使這一期望成為現(xiàn)實，首先就要使計算機(jī)具有大腦那樣處理大量復(fù)雜信息（特別是視覺信息）的能力。這個重大課題雖然經(jīng)過計算機(jī)科學(xué)家們幾十年的努力但仍未得到解決，其中最重要的原因之一就是迄今為止我們?nèi)匀粵]有透徹了解人類視覺系統(tǒng)的工作機(jī)制。

不過，隨著腦科學(xué)的蓬勃發(fā)展，人類對自身視覺系統(tǒng)的研究逐步深入，從初級視覺皮層到高級視覺區(qū)域，從視覺感知到高級視知覺機(jī)理等，都取得了許多重要的研究成果。

現(xiàn)代腦科學(xué)和神經(jīng)科學(xué)的發(fā)展使得我們得以更進(jìn)一步地了解人類視覺系統(tǒng)的構(gòu)造以及功能。視網(wǎng)膜引出的視覺神經(jīng)的傳遞路徑及外側(cè)膝狀體、視覺皮層的很多工作機(jī)理已經(jīng)逐漸為人們所了解。初級視覺皮層中神經(jīng)細(xì)胞的感受及相應(yīng)的神經(jīng)編碼機(jī)理也已經(jīng)被揭示出來。視覺系統(tǒng)提供給我們的信號是經(jīng)過多級處理的，在處理的過程中，丟失了相當(dāng)多的信息，剩下的信息在尺度和強(qiáng)度上與視網(wǎng)膜神經(jīng)細(xì)胞感受到的信息有著顯著的不同。

視覺生理學(xué)研究已經(jīng)表明，視覺信息處理過程包括4個方面：光學(xué)處理、視網(wǎng)膜處理、外側(cè)膝狀體（LGN）處理和視覺皮層處理，其原理圖如圖1.1所示。

光學(xué)處理是通過眼睛完成的，眼睛的感光系統(tǒng)如圖1.2所示。它的主要功能相當(dāng)于“相機(jī)”。相應(yīng)地，鞏膜類似于球形相機(jī)的保護(hù)殼和暗箱，把眼球整個包圍起來。同時角膜在集中照明上扮演著重要的角色。虹膜被認(rèn)為是一個孔徑，控制著瞳孔的大小，瞳孔負(fù)責(zé)調(diào)節(jié)視網(wǎng)膜上的亮度，同時也影響著系統(tǒng)的焦距。鏡頭就像晶狀體，視網(wǎng)膜相當(dāng)于膠卷。最后，光線集中在視網(wǎng)膜上，形成一個清晰的物體圖像?，F(xiàn)代相機(jī)的各個功能部件都可以在人眼中找到相對應(yīng)的部分，但人眼遠(yuǎn)比相機(jī)科學(xué)、靈活。例如，人眼可以靠直接調(diào)整透鏡的曲率來調(diào)整焦距，也可以通過眼球外側(cè)的6塊肌肉的運動來控制眼球的視線指向，產(chǎn)生雙目視差以形成深度知覺。

研究顯示，視網(wǎng)膜主要由三種神經(jīng)細(xì)胞構(gòu)成，即感光細(xì)胞、雙極細(xì)胞和神經(jīng)節(jié)細(xì)胞，它們負(fù)責(zé)光、電轉(zhuǎn)換和信息傳輸。感光細(xì)胞主要包括視錐細(xì)胞和視桿細(xì)胞，視錐細(xì)胞主要在強(qiáng)光下辨別強(qiáng)光信息，稱為明視覺；而視桿細(xì)胞主要對低照度的景物較敏感，稱為暗視覺。人類的明視覺和暗視覺的特性不同，表現(xiàn)在人眼對明、暗視覺下最敏感的可見光波長不同。雙極細(xì)胞的作用是負(fù)責(zé)聯(lián)絡(luò)視細(xì)胞，即可以使多個視細(xì)胞相互聯(lián)系。神經(jīng)節(jié)細(xì)胞位于最內(nèi)層，專門負(fù)責(zé)傳導(dǎo)。這種細(xì)胞與細(xì)胞之間的聯(lián)系，以及視覺信號通過眼睛最后在大腦中形成影像并理解影像內(nèi)容的處理流程就成為計算機(jī)視覺的一個重要參考標(biāo)準(zhǔn)。神經(jīng)網(wǎng)絡(luò)，包括現(xiàn)在流行的深度學(xué)習(xí)技術(shù)，都是對這種流程進(jìn)行模擬的嘗試，并在近幾年中，取得了很好的效果，如深度學(xué)習(xí)在圖像分類、目標(biāo)檢測與跟蹤、行為分析與理解等方面都獲得了空前的成功。

通過視網(wǎng)膜，光信號被編碼為電壓脈沖，再以調(diào)頻形式傳遞給LGN。LGN作為信號從視網(wǎng)膜到視覺皮層的傳輸站，同時對控制信息數(shù)量起著重要作用。最后，視覺皮層實現(xiàn)了對物體的識別、感知與理解的過程。

總體來說，外界物體在視網(wǎng)膜成像時，實際過程是：光線這個刺激因素被視網(wǎng)膜的感光細(xì)胞（視桿細(xì)胞和視錐細(xì)胞）轉(zhuǎn)變?yōu)殡娦盘?，后者?jīng)視網(wǎng)膜內(nèi)雙極細(xì)胞傳到神經(jīng)節(jié)細(xì)胞形成神經(jīng)沖動，即視覺信息，視覺信息再經(jīng)視神經(jīng)傳向大腦。雙極細(xì)胞可以看成視覺傳導(dǎo)通路的第1級神經(jīng)元，神經(jīng)節(jié)細(xì)胞是第2級神經(jīng)元，很多神經(jīng)節(jié)細(xì)胞發(fā)出的神經(jīng)纖維可以組成較粗大的視神經(jīng)。LGN是視覺信息的中轉(zhuǎn)站，視輻射可由LGN中含有的第3級神經(jīng)元組成，最后將這些神經(jīng)纖維投射到視覺皮層中。視覺傳導(dǎo)神經(jīng)通路如圖1.3所示。

視覺皮層中17區(qū)被稱為第一視區(qū)（V1）或紋狀皮層。它接受外側(cè)膝狀體的直接輸入，因此也被稱為初級視覺皮層。對視覺皮層的功能研究大多數(shù)是在這一級皮層進(jìn)行的。這是大腦皮層處理視覺信息的起點，從初級視覺皮層開始，視覺信息通過多個通道把視覺信息傳入更高級的皮層進(jìn)行處理。V1區(qū)主要包括兩類神經(jīng)細(xì)胞：具有朝向選擇性的簡單細(xì)胞和對位置不敏感的復(fù)雜細(xì)胞。作為整個視覺皮層的底層部分，V1區(qū)的神經(jīng)細(xì)胞的功能是，將底層視路的信息轉(zhuǎn)換成初級視覺信息表示，并且直接向高級視覺皮層輸送視覺信息?，F(xiàn)代計算機(jī)視覺和視覺信息的表示都是基于人類這種視覺特性而進(jìn)行構(gòu)建的，兩者都是對人類視覺系統(tǒng)的模擬。如在計算機(jī)視覺中，采用RGB三基色來表示自然界的各種顏色，實際上，其基本原理就來于感光細(xì)胞中的三類細(xì)胞：紅敏細(xì)胞、綠敏細(xì)胞和藍(lán)敏細(xì)胞。并且綠敏細(xì)胞的數(shù)量是最多的，因此在任何顏色空間的轉(zhuǎn)換中，亮度信號中綠色分量也就是G分量對應(yīng)的系數(shù)是最大的。

基于對人類視覺系統(tǒng)生理上的不斷理解和深入研究，所獲得的新的認(rèn)知原理都可能應(yīng)用在計算機(jī)視覺的各個方面，從而使得新型計算機(jī)視覺技術(shù)更加適應(yīng)人類的認(rèn)知習(xí)慣，更加符合人類的感知特性。例如，在3D視覺中，3D電影和電視近年來不斷刷新人類的認(rèn)知，但大家普遍感覺戴3D眼鏡來觀看3D電影并不是一種很好的體驗，尤其是長時間觀看3D電影，可能會對人類的視覺造成損傷。這表明目前的3D電影雖然也是通過模擬人類視覺系統(tǒng)來進(jìn)行研究并設(shè)計的產(chǎn)品，但可能對于人類與此有關(guān)的一些視覺特性并沒有研究透徹。因此促使研究者更加深入地研究這個問題，目的是能設(shè)計出更符合人類視覺特性的3D電影和電視?？梢灶A(yù)見，隨著技術(shù)的進(jìn)步，計算機(jī)視覺系統(tǒng)的設(shè)計將會越來越更真實地模擬人類的視覺功能，并在實際應(yīng)用中更加體現(xiàn)出超越人類的性能。