1.2　無人駕駛與機器學習

1.2.1　無人駕駛的歷史

無人駕駛是指通過軟件算法代替人類操作過程使交通工具能夠自行完成行駛過程的整套流程。本書介紹的無人駕駛軟件算法主要針對汽車主體，無人駕駛智能汽車是能夠完成通過車載傳感系統感知道路環境，自動規劃行車路線并控制車輛到達預定目標的汽車。無人駕駛智能汽車利用車載傳感器來感知車輛周圍的環境，并根據感知所獲得的道路、車輛位置和障礙物信息控制車輛的轉向和速度，從而使車輛能夠安全、可靠地在道路上行駛。

無人駕駛技術集自動控制、體系結構、人工智能、視覺計算等眾多技術于一體，是計算機科學、模式識別和智能控制技術高度發展的產物。通常在業界將車輛自動駕駛的水平分為Level 0~Level5共6個級別，分別說明如下。

• Level 0（無自動化）:由人類駕駛者全權操作汽車，在行駛過程中可以得到警告和保護系統的輔助。
• Level 1（駕駛支援）:通過駕駛環境對方向盤和加減速中的一項操作提供駕駛支援，其他的駕駛動作都由人類駕駛員進行操作。
• Level 2（部分自動化）：通過駕駛環境對方向盤和加減速中的多項操作提供駕駛支援，其他的駕駛動作都由人類駕駛員進行操作。
• Level 3（有條件自動化）:由無人駕駛系統完成所有的駕駛操作。根據系統請求，人類駕駛者提供適當的應答。
• Level 4（高度自動化）:由無人駕駛系統完成所有的駕駛操作。根據系統請求，人類駕駛者不一定需要對所有的系統請求做出應答、限定道路和環境條件等。
• Level 5（完全自動化）：由無人駕駛系統完成所有的駕駛操作。人類駕駛者在可能的情況下接管。在所有的道路和環境條件下駕駛。

自動駕駛的算法和工程實踐探索幾乎貫穿了20世紀的整個歷史，在21世紀的發展更加突出商業化特點。世界上第一臺自動駕駛車輛（非乘用汽車）大約是在1912年出現的，發明家約翰·哈蒙德（John Hammond）和本杰明·梅森納（Benjamin Miessner）使用一個電子回路和一對光感性硒光電管作為自動駕駛核心單元自動引導旅行箱大小的一輛小車。當車上的光感性電管受到光線照射時，會發送前進方向給底層控制系統，控制系統進行轉向操作從而使小車朝向光源方向行駛，通過測定比對兩側感光電管的數據，達到不偏離行駛路線的目的。設計師給這一粗糙的自動駕駛車輛起了一個兇悍的名字—“戰爭狗”，因為這一設備的研發初衷是應用于軍事領域。戰爭狗的設計理念簡單明了，在靠近敵人防線的地方投放出去，它能自動執行破壞性任務，無須人類指引。

在乘用汽車上的自動駕駛研究起步也很早。在汽車問世不久之后，發明家們就開始研究自動駕駛汽車了。1925年，發明家Francis Houdina展示了一輛無線電控制的汽車，他的車在沒有人控制方向盤的情況下在曼哈頓的街道上行駛。根據《紐約時報》的報道，這種無線電控制的車輛可以發動引擎、轉動齒輪，并按響它的喇叭。報道使用了形象的比喻“就好像一只幽靈的手在方向盤上”來說明自動駕駛給公共大眾的最初感覺。

1969年，人工智能的創始人之一約翰麥卡錫在一篇名為“電腦控制汽車”的文章中描述了與現代自動駕駛汽車類似的想法。麥卡錫提出的想法是關于一名“自動司機”可以通過“電視攝像機輸入數據，并使用與人類司機相同的視覺輸入”來幫助車輛進行道路導航。他在文章中寫道，用戶應該可以通過使用鍵盤輸入的目的地來驅使汽車立即自動前往目的地。同時，存在額外的命令可以讓用戶改變目的地，例如在休息室或餐廳停留時可以放慢速度或者在緊急情況下加速。雖然沒有這樣的車輛存在，但麥卡錫的文章為其他研究人員的任務設計提供了幫助。

20世紀90年代初，卡內基梅隆大學的研究人員Dean Pomerleau寫了一篇描述神經網絡如何讓自動駕駛汽車實時從公路獲取原始圖像來實現和輸出方向控制的博士論文。Pomerleau并不是唯一一個研究自動駕駛汽車的研究人員，但他使用神經網絡的方法比其他嘗試手動將圖像劃分為“道路”和“非道路”類別的嘗試更有效。

進入21世紀，工程化的實踐需求逐漸浮出水面，當然開始來自于學術界。2002年，美國國防高級研究計劃局（Defense Advanced Research Projects Agency, DARPA）宣布了一項重大挑戰，他們為頂級研究機構的研究人員設立的條件是：如果能夠建造一輛在莫哈維沙漠行駛142英里的無人駕駛汽車，他們將提供100萬美元的獎金。當2004年挑戰開始時，15個競爭者中沒有一個完成任務。“勝利”號在著火之前，幾小時內只能跑不到8英里的路程?？磥淼谝淮伪荣悤r，DARPA設置的標準似乎太高。2005年10月，他們舉行另一場比賽時，23支參賽隊伍中有5支完成了132英里的路程，剩下的只有一支隊伍未能完成一年前的7.4英里的記錄。斯坦福大學教授塞巴斯蒂安·特倫（Sebastian Thrun）所領導的Stanley獲得了第一名，卡內基梅隆大學的Sandstorm排名第二。Stanley是一輛使用了現代標準攝像頭、雷達和激光掃描儀的大眾Touareg，在很大程度上依靠機器學習來理解其收集到的數據以及決定如何行駛。Sebastian Thrun在自動駕駛領域自此開始嶄露頭角，并且逐年水漲船高。從2009年開始，谷歌開始秘密開發無人駕駛汽車項目，該項目就是現在大名鼎鼎的Waymo。該項目最初就是由Sebastian Thrun領導的。

隨著機器學習開始嶄露頭角，汽車公司開始基于機器學習實踐推出了各種L2~L3級自動駕駛服務。豐田公司的日本普銳斯混合動力車從2003年開始提供自動停車輔助服務，而雷克薩斯很快就為其雷克薩斯LS轎車添加了類似的系統。福特也在2009年加入了自動泊車輔助系統。一年后，寶馬推出了自己的平行泊車助手。

1.2.2　為什么要在無人駕駛中應用機器學習

斯坦福大學教授Sebastian Thrun能夠成為業界的著名人物，不只是完成了無人駕駛汽車的挑戰，更重要的是他率領團隊重新定義了無人駕駛成功路徑的構造方式，這種構造方式主要是指最大程度強調軟件的自身識別和決策能力，從實際來說，他們很大程度上放棄了當時盛行的基于規則的人工智能軟件，而使用機器學習的策略來完成核心軟件決策部分。關于這種抉擇，特倫本人曾對其產生的原因做了深入的分析。

“許多參賽者非常關注硬件，于是許多車隊研發出了獨家的機器人汽車來參賽。我們則認為，比賽重點不在于機器人的力量強弱或汽車底盤的設計優劣。從能力來考慮，如果是人類駕駛，那么任何車都能夠順利通過這段普通的沙漠賽道。于是，我們決定僅研究人工智能，把一臺計算機安裝在車內，為車子安裝眼睛和耳朵，打造出一輛智能化汽車。在汽車智能化的研發中，我們發現簡單的規則不足以指導軟件完成駕駛，需要成百上千條代碼指令才足以應付多種意外情況。某天的測試中，公路旁有一群鳥。當汽車靠近時，鳥群飛起。這時我們才發現在機器人的“眼睛”里無法識別鳥類和巖石！于是我們不得不提高汽車的智能化程度，把鳥和石頭區分開來。后來，我們依靠所謂的機器學習或大數據來驅動汽車：與其寫出所有的程序，不如用人類學習駕駛的方法來教機器人。我們來到沙漠，我開車，機器人“觀看”并“模仿”我所有的動作。后來，我們直接讓機器人來駕駛，當它犯錯的時候，我們返回數據中解釋錯誤原因，給機器人機會改正錯誤?！?/p>

要搞清楚為什么特倫的機器學習在當時被稱為一項重大創新，就需要解釋當時十分流行的符號型人工智能的工作原理和機器學習工作原理的不同。最大的不同是算法和數據的上下游關系，基于指令的符號型人工智能是自上而下的，數據驅動型人工智能是自下而上的。自上而下的符號型人工智能要求開發人員完全理解人工智能業務的細節，然后基于自身的理解首先搭建出完整的理論模型，最后通過一系列應對各種狀況的指令集合與模型產生交流，產生最終的駕駛決策。不同的是，自下而上的機器學習人工智能依賴于數據集合的表現，因此需要采用大量的數據算法并使用相應的技術進行數據處理，最終使得汽車軟件無須人類監管也能自主學習并“識別”固定的模式。

在2005年DARPA挑戰賽中，某支參賽隊伍花費數月時間，編寫了整套邏輯指令來處理傳感器輸出的數據流。他們希望當車輛前方的路況數據增長時，系統控制軟件能夠指示車輛轉向，繞開障礙物。經過數月的艱苦努力，他們創建了數據量巨大、詳細的數據庫。遺憾的是，這支車隊贏取百萬獎金的旅程停止在比賽途中。他們的車輛由于制動不及時，在隧道入口發生碰撞。對此，該車隊表示他們在預先編寫中缺乏應對隧道的特殊指令，團隊在賽前準備時沒有預料到這種狀況。在缺乏清晰指令的情況下，系統只能根據數據胡亂猜測：隧道頂部很高，且赫然出現在車道中央，于是系統軟件將其判斷為一座巨大的高墻。在這樣的誤解下，系統做出自認為對的處理：踩下剎車，拒絕前進直等到工作人員到來，將它帶回安全地段。

假如我們能夠統攬前面一屆比賽的結果，就能在很大程度上理解特倫團隊選擇的核心動機。自動駕駛不是兩三條指令可以做到的事，需要成百上千條指令方可成事，并且如果指令固定化，從某種意義上來說場景本身就是固定的。指令數量多以及多個場景的細微差異需要的決策的可變化性帶來的編程挑戰很難通過傳統軟件開發的方式完整寫出來。哪怕在一條空曠的賽道上，也可能發生無數人們始料未及的新狀況。因此，使用機器學習完成無人駕駛工作具有先天優越特性。對于自動駕駛的典型場景接下來會概括地討論一下，包括使用卷積神經網絡進行駕駛感知和使用循環神經網絡進行駕駛預測。

（1）使用卷積神經網絡進行駕駛感知

車輛在行駛過程中不可避免地會和障礙物打交道，障礙物一般包括靜態和動態兩類。靜態障礙物包括墻壁、樹木、交通障礙等，動態障礙物包括行人、非機動車及其他機動車輛。我們的感知程序需要檢測到所有的障礙物，并且按照一定規則對障礙物進行分類。通過不同的障礙物類型最終決定程序的控制策略。比如我們可能會選擇繞過前面的車輛，而對于墻壁必須執行停車策略。因此，程序使用一個卷積神經網絡來確定物體在攝像頭圖片中的位置，然后通過另一個神經網絡來完成上一個神經網絡提取的物體的分類工作。當然，我們也可以使用一個核心神經網絡來完成全部工作，只需要定制兩種不同的輸出層架構就能完成這個工作。卷積網絡有很多變體，比如基于其中的一個變體YOLO網絡結構建立車輛檢測模型，判斷圖片中是否有車輛及車輛在圖片中的位置，判斷被檢測車輛與攝像頭的相對方位及運動趨勢，判斷被檢測車輛對自身車輛的相對關系。

（2）使用循環神經網絡進行駕駛預測

循環神經網絡通常用來處理時序數據，在時序數據中的數據是按照先后順序組織在一起的，車輛的行駛過程數據就是一個完美的時序數據模型，比如要完成轉彎動作，整個過程就包括準備、轉彎和方向的回復，這些過程有著明確的先后順序，過程中的相關障礙物車道等也能夠擁有這種時序特征，因此我們可以使用循環神經網絡來預測駕駛路徑和方向等。舉例來說，比如使用循環神經網絡預測車輛的目標車道的算法。它為車道序列提供一個循環神經網絡模型，為障礙物提供另一個循環神經網絡模型，Apollo連接這兩個循環神經網絡的輸出，并將它們的反饋輸入到另一個神經網絡，該網絡會估算每個車道序列的概率，具有最高概率的序列就是預測目標車輛將遵循的序列。

1.2.3　無人駕駛商業化的優勢

無人駕駛系統的應用將會全面改變整個乘用車和商用車領域的人車關系，在乘用車領域強化人的乘坐屬性，最大限度地發揮車輛的媒體終端屬性，比如在乘坐過程中根據位置的不同推薦飲食、購物場地。對于商用領域，我們能夠對開放道路的L2和封閉區域的L4分別提取核心商用場景或者綜合商用場景，提升運輸等商業活動的效率，減少相應的人力成本。綜合各種應用場景，無人駕駛的商業優勢主要表現在增強高速公路安全、緩解交通擁堵、減少空氣污染上。研究表明，無人車會使這3個領域有大幅改善。

1. 增強高速公路安全

高速公路事故死亡是全世界面臨的重大問題。在美國，每年估計有35000人死于車禍，中國這一數字約為260000，日本每年高速公路事故死亡人數為4000左右。根據世界衛生組織統計，全世界每年有124萬人死于高速公路事故。據估計，致命車禍每年造成2600億美元的損失，而車禍致傷帶來3650億美元的損失。高速公路傷亡每年導致6250億美元的損失。美國蘭德公司研究顯示，2011年車禍死亡中39%涉及酒駕。幾乎可以肯定，在這方面，無人駕駛汽車將帶來大幅改善，避免車禍傷亡。在中國，約60%的交通事故和騎車人、行人或電動自行車與小轎車和卡車相撞有關。在美國的機動車事故中，94%與人為失誤有關，因此可以得到有效避免。美國高速公路安全保險研究所的一項研究表明，全部安裝自動安全裝置能使高速公路事故死亡數量減少31%，每年將挽救11000條生命。這類裝置包括前部碰撞警告體系、碰撞制動、車道偏離警告和盲點探測。

2. 緩解交通擁堵

交通擁堵是幾乎每個大都市都面臨的問題。以美國為例，每位司機平均遇到40個小時的交通堵塞，年均成本為1210億美元。在莫斯科、伊斯坦布爾、墨西哥城或里約熱內盧，浪費的時間更長，每位司機每年將在交通擁堵中度過超過100小時。在中國，汽車數量超過100萬的城市有35個，超過200萬的有10個。在最繁忙的市區，約75%的道路會出現高峰擁堵。中國私家車總數已達1.26億輛，僅北京就有560萬輛汽車。Donald Shoup的研究發現，都市區30%的交通是由于司機為了尋找附近的停車場而在商務區繞圈造成的，這是交通擁擠、空氣污染和環境惡化的重要原因。另外，根據估算都市交通擁堵中有23%~45%發生在道路交叉處。交通燈和停車標志不能發揮作用，因為它們是靜止的，無法將交通流量考慮其中。綠燈或紅燈是按照固定間隔提前設定好的，無論某個方向的車流量有多大。一旦無人駕駛汽車逐漸投入使用，并占到車流量比較大的比例，車載感應器將能夠與智能交通系統聯合工作，優化道路交叉口的車流量。紅綠燈的間隔也將是動態的，根據道路車流量實時變動。這樣可以提高車輛通行效率，緩解擁堵。

3. 減少空氣污染

汽車是造成空氣質量下降的主要原因之一。蘭德公司研究表明，無人駕駛技術能提高燃料效率，通過更順暢的加速、減速，比手動駕駛提高4%~10%。由于工業區的煙霧與汽車數量有關，增加無無人駕駛汽車的數量能減少空氣污染。一項2016年的研究估計，等紅燈或交通擁堵時汽車造成的污染比車輛行駛時高40%。無人駕駛汽車共享系統也能帶來減排和節能的好處。德克薩斯大學奧斯汀分校的研究人員研究了二氧化硫、一氧化碳、氮氧化物、揮發性有機化合物、溫室氣體和細小顆粒物。結果發現，使用無人駕駛汽車共享系統不僅節省能源，還能減少各種污染物的排放。約車公司Uber發現，該公司在舊金山和洛杉磯的車輛出行中分別有50%和30%是多乘客拼車。在全球范圍內，這一數字為20%。無論是傳統車，還是自動駕駛車，拼車越多，對環境越好，也越能緩解交通擁堵。改變一車一人的模式將能大大改善空氣質量。

1.2.4　無人駕駛商業化的進展

幾十年來，現代汽車行業由于核心零部件關系復雜和零部件供應商的排他關系造成了比較大的行業門檻，將許多專注于產品模塊功能和體量較小的競爭者擋在門外。隨著汽車智能網聯化的基礎日益增強，通過整車遠程升級（Firmware Over-The-Air, FOTA）不斷加強汽車終端化特性，用戶也在駕駛使用過程中逐漸增加媒體使用特征。正如我們現在選擇智能手機，最重要的可能已經不是聲音大不大、按鍵靈不靈，而是操作系統及其版本號，以及手機生產商對這種能力的保證情況。在這種變化的大環境下，軟件公司在汽車業逐漸嶄露頭角，無人駕駛作為一項軟件復雜度和算法先進性并存的汽車核心需求，以Waymo為首的自動駕駛公司近幾年發展迅速。下面列舉一些自動駕駛獨角獸企業和汽車制造企業的產品定位和商業規劃。

1. Waymo

網約車、物流、私家車和公共交通是Waymo確立的4個無人駕駛技術部署應用的目標領域，因為這樣的商業路線，摩根士丹利將Waymo的估值上調到1750億美元。Waymo無人駕駛車隊的大本營是一座面積為7萬平方英尺（約65031平方米，1平方英尺≈0.0929平方米）的車庫，由技術人員、工程師、機械師、客服代表和產品經理組成的團隊就是在這里進行車隊維護和管理的。數百輛克萊斯勒（Pacifica）全部裝備有先進的無人駕駛硬件和軟件，無須人類駕駛員的支持即可安全上路行駛。

過去一年里，Waymo一直在為其“早期乘客項目”（Early Rider）的400名參與者提供出行服務，他們使用Waymo的網約車App即可免費預約乘車前往在菲尼克斯運行區域內的任何地點。不久之后，Waymo即將面向公眾提供這項服務，當然也會開始收費。在全自動駕駛交通服務運營初期，Waymo仍然準備在車內安排一位工作人員隨行。如果順利的話，這將是全世界最先推出的全自動駕駛網約車服務。

盡管自動駕駛汽車仍然飽受質疑，但還是有很多人期待其能從根本上改變交通運輸方式。車隊管理是被很多人忽視的一項重要挑戰，這項工作將直接影響Waymo無人駕駛技術的成敗。無人駕駛汽車裝備的傳感器、計算機芯片和其他系統使其能在沒有人類駕駛員的情況下安全抵達目的地，而為了解決這些技術設備的成本，車隊中的所有車輛都將幾乎不間斷地在路上行駛。這意味著它們的行駛里程會達到數十萬公里（遠遠高于人類駕駛汽車），以此來保障其在經濟上的可行性。

2. 特斯拉

Autopilot（自動輔助駕駛）的進化史是“硬件先行，軟件后更新”——每一臺特斯拉都會配置當時最新的硬件，然后通過整車遠程升級不斷更新固件，獲得更完善的駕駛輔助或自動駕駛功能。龐大的用戶群可以源源不斷地供給真實路況的駕駛數據，幫助Autopilot訓練和迭代算法。

2014年10月，Autopilot首發時采用了1.0版硬件，傳感器使用了一個前置攝像頭、一個前向毫米波雷達以及車身一周的12個超聲波雷達。官方在召開發布會時介紹，這套硬件及其配套的軟件算法最終不能實現全自動駕駛，Autopilot只是提升舒適性和安全性的輔助功能，車輛的控制權仍然在駕駛員。

從Enhanced Autopilot（增強自動輔助駕駛）開始，特斯拉使用了2.0版硬件，這也是大家常常把增強自動輔助駕駛稱為Autopilot 2.0的原因。馬斯克在發布會上宣布，2.0版硬件（8個攝像頭、1個毫米波雷達、12個超聲波雷達以及NVIDIA Drive PX2計算平臺）在固件更新后，可以開啟全自動駕駛功能。雖然馬斯克一直表示不會使用激光雷達，但特斯拉“毫米波雷達+攝像頭”全自動駕駛傳感器方案還是在行業內引發了熱議。

馬斯克最新表示，預計2020年會有Robotaxi（無人駕駛出租車）投入運營，特斯拉汽車車主可以將他們的汽車加入這項服務中。車主可以選擇只將自己的車共享給自己的朋友、同事或社交媒體上的好友，同時他們還可以在特定時間限制Tesla Network的可用性。

3. 通用汽車

通用汽車公司在自動駕駛領域的步伐并不慢，大規模的車隊測試自不用說，他們還在2018年1月發布了L4級別名為Cruise AV的全自動駕駛車，這輛車基于雪佛蘭Bolt純電動車打造，最大的特點是座艙內完全沒有方向盤存在，按照通用汽車公司的說法，這是人類有史以來第一次大規模量產無人駕駛汽車，對于通用汽車公司而言，這將具有里程碑的意義。

另外，具備L2級別的駕駛輔助系統Super Cruise超級智能駕駛系統，目前北美上市的2018款凱迪拉克CT6上可以選配。在2018 CES AISA展上，凱迪拉克宣布將會在中國市場投放搭載Super Cruise超級巡航系統的CT6車型，并且在2020年會將該技術拓展至凱迪拉克品牌下的所有車型上。

由此可見，通用汽車公司選擇兩條腿走路，協同進擊自動駕駛商業化的想法很實際，Super Cruise可以有效促進通用傳統汽車的銷售，還能夠起到教育用戶的作用，讓更多的用戶對自動駕駛技術產生客觀公正的認知，為今后的自動駕駛汽車落地打好基礎。

4. Navya

Navya（納維亞）的自動駕駛著力點為自動駕駛巴士，目的是為城市和私人場所帶來更多的流動性。在城市或私人場所，Navya設想的航天飛機擁有一個創新、有效、清潔和智能的移動解決方案。由于其溫和的導航，自動駕駛穿梭車保證了自動運輸的性能，以及在第一英里和最后一英里的舒適旅行。AUTONOM接駁巴士可以搭載多達15人，它結合了許多優勢。自動駕駛穿梭車隊使運營商有可能提高私人場所的生產率，并緩解城市中心的道路擁堵。乘客在充分利用旅行時間的同時，也可以享受一次愉快的旅行。AUTONOM接駁巴士既沒有方向盤又沒有踏板，它采用了有效的制導和探測系統，結合了各種先進技術，激光雷達傳感器、攝像機、GPS RTK、IMU、測程等數據融合在一起，通過深度學習程序進行駕駛控制。接駁巴士可以高效地移動，并做出熟練的決策。

5. 圖森未來

圖森未來研發的L4級別自動駕駛技術以攝像頭為主要傳感器，并融合激光雷達、毫米波雷達等其他傳感器，配合自主研發的核心算法，能夠實現環境感知、定位導航、決策控制等自動駕駛核心功能。圖森未來宣稱感知技術上已實現對1000米范圍內的可視環境進行像素級辨識。圖森未來自主研發區域L4級別自動駕駛技術能夠實現貨運卡車在高速公路貨運和港內集裝箱碼頭運輸以及相似場景下的全無人駕駛。