1.4.1 攝像機與激光雷達的聯合標定

多傳感器標定是智能網聯汽車實現的基本需求。良好的標定是多傳感器信息融合的基礎。一輛車上裝了多個（多種）傳感器，而它們之間的坐標關系是需要確定的，不同傳感器有著獨立的坐標系和不同的采集頻率，必須把不同坐標系的數據轉換到同一坐標系并進行時間配準，才能實現融合。對于激光雷達和相機的聯合標定，其基本原理就是得到激光雷達和相機數據之間的轉換關系[18]，即找到同一時刻激光點云數據和圖像中對應的像素點。

激光雷達坐標系可以描述物體與激光雷達的相對位置，表示為［X_L，Y_L，Z_L］。其中，原點為激光雷達幾何中心，X_L軸水平向前，Y_L軸水平向左，Z_L軸豎直向上，符合右手坐標系規則。相機系統中存在三個坐標系：像素坐標系、圖像坐標系和相機坐標系。像素坐標系表示為［u，v］。其中，原點為圖像左上角，u軸水平向右，v軸豎直向下。圖像坐標系指在圖像像素坐標系下建立以物理單位（如毫米）表示的坐標系，使像素尺度具有物理意義，表示為［x，y］。其中，原點為相機主點，即相機光軸與圖像平面的交點，一般位于圖像平面中心；x軸與u軸平行，y軸與v軸平行。相機坐標系可以描述物體與相機的相對位置，表示為［X_C，Y_C，Z_C］。其中，原點為相機光心O點，X_C軸與x軸平行，Y_C軸與y軸平行，Z_C軸與攝像機光軸平行，與圖像平面垂直。坐標變換流程框圖如圖1-25所示。

坐標變換過程一般可以分成三個步驟：

步驟1 從激光雷達坐標系變換為相機坐標系，可以用旋轉矩陣R和平移矩陣T表示。其中，R是大小為3×3的矩陣，表示空間坐標旋轉；T是大小為3 ×1的矩陣，表示空間坐標平移。變換公式為

步驟2 從相機坐標系到圖像坐標系的變換，是從三維坐標系變換為二維坐標系的過程，屬于透視投影關系，滿足三角形的相似定理。其中，f為相機焦距。變換公式為

步驟3 從圖像坐標系到像素坐標系的變換，此時不存在旋轉變換，但是坐標原點位置不同，單位長度不同，主要涉及伸縮變換和平移變換。變換公式為

綜上所述，激光雷達和相機的坐標轉換關系可以表示為

通過最終的變換將激光點云數據投影到圖像上，通過張正友標定法[19]可以得到坐標變換關系，實現激光雷達和相機的空間聯合標定。

激光雷達的采集頻率大約為35Hz，而相機的為15Hz。那么，當攝像頭采集到一幀圖像數據時，對應的時間標簽為t₁，激光雷達采集數據幀對應的時間標簽為t₂，這兩個時間分為對應計算機采集到數據時的記錄時間，這就造成了兩者在時間空間上的不一致。也就是說，由于傳感器的采集頻率不同，圖像數據時間和激光雷達數據時間并不相同。采集數據時間盡管不同，但仍然可以用于激光雷達和相機的聯合標定。但是，一旦當智能車輛高速運動時，這兩者間的時間差就將會影響最后的檢測，所以，如何減少相機和激光雷達傳感器的同步問題是實現數據融合的又一關鍵問題。簡言之，可以認為空間聯合標定是相機和激光雷達數據空間上的標定，而時間同步標定則是相機和激光雷達時間上的標定，只有在“時”與“空”上都完整進行標定，才能使最后的實驗結果更精確。時間上的標定，可采用時間最近鄰匹配的方法，找到與每一幀激光雷達數據時間間隔最小的圖像數據進行處理，實現激光雷達和相機的時間配準。