2.3.1　圖像和視頻

圖像和視頻是計算機視覺的基石，沒有圖片和視頻就談不上視覺。因此，下面先來了解一下圖像與視頻的相關概念。

1. 圖像

一幅圖像包含維數、高度、寬度、深度、通道數、顏色格式、數據首地址、結束地址、數據量等。

（1）圖像深度。

圖像深度是指存儲每個像素所用的位數（bits）。當一個像素占用的位數越多時，它能表現的顏色就更多、更豐富。假設有一幅400像素×400像素的8位圖，那么這幅圖的原始數據量是多少？像素值如果是整型的話，那么取值范圍是多少？

? 原始數據量計算：400×400×(8/8)B=160000B。

? 取值范圍：0到2的8次方，即0～255。

（2）圖像格式與壓縮。

常見的圖像格式有JPEG、PNG、BMP等，本質上都是圖像的一種壓縮編碼方式，如JPEG壓縮。

? 將原始圖像分為8×8的小塊，每個小塊里有64像素。

? 將圖像中每個8×8的小塊進行DCT變換（越是復雜的圖像，越不容易被壓縮）。

? 不同的圖像被分割后，每個小塊的復雜度不一樣，因此，最終的壓縮結果也不一樣。

2. 視頻

原始視頻=圖像序列，視頻中的每幅有序圖像稱為幀。壓縮后的視頻會采取各種算法減小數據的容量，其中IPB就是最常見的算法。

? I帖：表示關鍵幀，可以理解為這一幅畫面的完整保留；解碼時只需本幀數據就可以完成（因為包含完整畫面）。

? P幀：表示這一幀跟之前的一個I幀（或P幀）的差別，解碼時需要用之前緩存的畫面疊加上本幀定義的差別來生成最終畫面。也就是說，P幀沒有完整畫面數據，而只有與前一幀畫面相比的差別數據。

? B幀：表示雙向差別幀，記錄本幀與前后幀的差別（具體比較復雜，有4種情況）。換言之，要解碼B幀，不僅要取得之前的緩存畫面，還要解碼之后的畫面，要通過前后畫面與本幀數據的疊加取得最終畫面。B幀壓縮率高，但是解碼比較麻煩。

? 碼率：碼率越大，體積越大；碼率越小，體積越小。

碼率就是數據傳輸時單位時間傳送的數據位數，一般用的單位是kbps，即取樣率（并不等同于采樣率，采樣率用的單位是Hz，表示單位時間采樣的次數）。碼率越高，精度就越高，處理出來的文件就越接近原始文件，但是文件體積與碼率是成正比的，因此，幾乎所有的編碼格式重視的都是如何用最低的碼率達到最小的失真，圍繞這個核心衍生出來了cbr（固定碼率）與vbr（可變碼率）。碼率越高越清晰，反之則畫面粗糙且多馬賽克。

? 幀率：影響畫面流暢度，與畫面流暢度成正比，幀率越高，畫面越流暢；幀率越低，畫面越有跳動感。如果碼率為變量，則幀率也會影響體積，幀率越高，每秒鐘經過的畫面就越多，需要的碼率也越高，體積也越大。

幀率就是在一秒鐘時間里傳輸的圖像的幀數，也可以理解為圖形處理器每秒鐘刷新的次數。

? 分辨率：影響圖像大小，與圖像大小成正比，即分辨率越高，圖像越大；分辨率越低，圖像越小。

? 清晰度：在碼率一定的情況下，分辨率與清晰度成反比，即分辨率越高，圖像越不清晰，分辨率越低，圖像越清晰。

在分辨率一定的情況下，碼率與清晰度成正比，即碼率越高，圖像越清晰；碼率越低，圖像越不清晰。

? 帶寬。例如，在ADSL線路上傳輸圖像，上行帶寬只有512kbps，但要傳輸4路CIF分辨率的圖像。按照常規，CIF分辨率建議碼率是512kbps，照此計算就只能傳輸1路，降低碼率勢必會影響圖像質量。此時，為了確保圖像質量，就必須降低幀率，這樣一來，即便降低碼率也不會影響圖像質量，但在圖像的連貫性上會有影響。