自動(dòng)駕駛的大幕

人類對自動(dòng)駕駛的夢想甚至早于汽車的誕生。16世紀(jì)，達(dá)·芬奇就試圖以高強(qiáng)力彈簧為動(dòng)力讓車輛在規(guī)劃好的路線上自動(dòng)駕駛�，F(xiàn)代社會(huì)真正讓自動(dòng)駕駛引起世人關(guān)注是通過美國國防部高級研究計(jì)劃局(Defense Advanced Research Projects Agency，DARPA)在2004年啟動(dòng)的自動(dòng)駕駛挑戰(zhàn)賽Grand Challenge。2005年，自動(dòng)駕駛越野賽的冠軍是斯坦福大學(xué)的Stanley； 2007年，自動(dòng)駕駛城市賽的冠軍是卡內(nèi)基�裁仿〈髮W(xué)的Boss。

DARPA的比賽不僅從學(xué)術(shù)上促進(jìn)了大學(xué)的科研，也誕生了數(shù)家后來的自動(dòng)駕駛頭部企業(yè)。2009年，谷歌公司收購了斯坦福大學(xué)的自動(dòng)駕駛團(tuán)隊(duì)，也就是谷歌子公司W(wǎng)aymo的前身。2015年，優(yōu)步也逐漸把卡內(nèi)基�裁仿〈髮W(xué)自動(dòng)駕駛團(tuán)隊(duì)收編。在這一年，特斯拉發(fā)布了Autopilot，雖然名字上感覺是自動(dòng)駕駛L4，但其實(shí)還是輔助駕駛L2。通過DARPA競賽還成就了一家公司，就是生產(chǎn)64線機(jī)械式激光雷達(dá)的Velodyne。

自動(dòng)駕駛技術(shù)的研發(fā)現(xiàn)狀

自動(dòng)駕駛的發(fā)展基本存在兩條技術(shù)路線。一條是跨越式開發(fā)技術(shù)路線，即直接做L4級別的自動(dòng)駕駛系統(tǒng)，以高科技公司谷歌和百度為主，它們對車企行業(yè)了解不深，而直接把機(jī)器人研發(fā)的模式用于自動(dòng)駕駛車輛。這條技術(shù)路線多半不計(jì)成本，采用高清地圖和高精密度慣導(dǎo)定位，可沒有地圖的地方也很難運(yùn)營(不需要和導(dǎo)航地圖接口，直接采用高清地圖進(jìn)行規(guī)劃，對于大規(guī)模導(dǎo)航區(qū)域的高清地圖下載和全局規(guī)劃的計(jì)算復(fù)雜度缺乏認(rèn)識(shí))，安裝激光雷達(dá)這種最好、最昂貴的傳感器(當(dāng)時(shí)視覺的深度學(xué)習(xí)技術(shù)比較初級)，采用最強(qiáng)的計(jì)算平臺(tái)(因?yàn)椴皇橇慨a(chǎn)，一些L4自動(dòng)駕駛公司直接采用工控機(jī)作為支撐，不需要考慮平臺(tái)移植的工程難度)，面對Robotaxi的落地，雖然還沒有針對任意場景，但在測試的高速和城市街道場景中，基于較可靠的感知性能，的確提供了面向復(fù)雜交通環(huán)境下最強(qiáng)的規(guī)劃決策能力。目前看到的基于數(shù)據(jù)驅(qū)動(dòng)開發(fā)的規(guī)劃決策算法，多半來自L4公司，而且其中幾個(gè)還舉辦了這方面的競賽(基于本身提供的開源數(shù)據(jù)集)。在仿真平臺(tái)的建設(shè)上，L4公司也是遠(yuǎn)遠(yuǎn)走在前面(特斯拉基本已經(jīng)具備L4開發(fā)落地能力)，包括數(shù)據(jù)重放和單點(diǎn)測試的可視化能力。高清地圖方面，L4公司的技術(shù)也比較成熟。收集的傳感器數(shù)據(jù)，L4公司在包括激光雷達(dá)和車輛定位軌跡等方面也高于一般的L2公司。

另一條技術(shù)路線是漸進(jìn)式開發(fā)，即先從L2的輔助自動(dòng)駕駛系統(tǒng)起步，然后逐漸適應(yīng)更復(fù)雜的交通環(huán)境，從高速、高架慢慢過渡到有閘道、有收費(fèi)站的場景，最后進(jìn)入城市的大街和小路，自動(dòng)駕駛系統(tǒng)的級別也慢慢演進(jìn)到L2 、L3、L3 和L4水平（最近看到一種新趨勢，即L4自動(dòng)駕駛的開發(fā)公司、L2自動(dòng)駕駛的主機(jī)廠和Tier��1合作，共同開發(fā)L2 的量產(chǎn)級別車輛）。漸進(jìn)式開發(fā)的技術(shù)路線，一般是主機(jī)廠和Tier��1采用，它們首先會(huì)考慮成本、車規(guī)和量產(chǎn)用戶的ODD（運(yùn)行設(shè)計(jì)域）定義。早先以Mobileye為主要供應(yīng)商，之后特斯拉和英偉達(dá)的開發(fā)模式成為主流。限于成本，這條路線多采用攝像頭為主傳感器，加上車企已經(jīng)接受的毫米波雷達(dá)為輔助。相對來說，這條路線的前沿水平(如特斯拉)，所采用的視覺感知技術(shù)具有明顯的優(yōu)勢。因?yàn)樵谌诤现欣走_(dá)出現(xiàn)大量虛警信號(hào)，特斯拉甚至在自動(dòng)駕駛感知模塊中放棄了它。以前泊車自動(dòng)駕駛采用超聲波傳感器，逐漸也和魚眼攝像頭結(jié)合提供泊車輔助、記憶泊車甚至代客泊車的應(yīng)用。特斯拉也采用超聲波提供擁擠交通場景的感知。也許是成本的壓力，漸進(jìn)式開發(fā)路線一般是重感知、輕高清地圖的模式，甚至已經(jīng)在BEV網(wǎng)絡(luò)模型中實(shí)現(xiàn)了感知和在線地圖及定位的端到端集成（如特斯拉）。作為行業(yè)領(lǐng)軍企業(yè)的特斯拉，慢慢完善了數(shù)據(jù)驅(qū)動(dòng)的開發(fā)工具鏈，實(shí)現(xiàn)了一個(gè)包括數(shù)據(jù)篩選、數(shù)據(jù)標(biāo)注、仿真模擬、模型迭代、場景測試評估和模型部署等的數(shù)據(jù)閉環(huán)。基于自動(dòng)駕駛的長尾問題和AI模型的不確定問題，谷歌公司也有類似的框架，但特斯拉將其發(fā)揮到極致，在量產(chǎn)的用戶車輛上實(shí)現(xiàn)了良性循環(huán)，目前也已經(jīng)推出L4的自動(dòng)駕駛版本FSD。

自動(dòng)駕駛基本存在1．0和2．0兩個(gè)發(fā)展階段。自動(dòng)駕駛1．0階段采用多種傳感器構(gòu)成感知輸入，如激光雷達(dá)(lidar)、視覺相機(jī)、雷達(dá)(radar)、慣導(dǎo)IMU、輪速計(jì)和GPS/差分GPS等，各個(gè)傳感器在感知能力上存在差異，針對性地用多模態(tài)傳感器融合架構(gòu)，目前多是采用后融合策略，把各個(gè)傳感器在相關(guān)任務(wù)中的結(jié)果進(jìn)行一次濾波，達(dá)到互補(bǔ)或者冗余的效果。這方面存在兩條路線，一條路線是依靠激光雷達(dá)加高清地圖的做法，成本高，主要是Robotaxi等L4公司采用； 另一條路線是視覺為主、輕高清地圖的做法，成本低，多是L2/L2 自動(dòng)駕駛公司為量產(chǎn)落地的思路。兩條路線都會(huì)有很傳統(tǒng)的后處理步驟(特別是視覺)，大量調(diào)試工作和問題也來自于此。另外，這個(gè)階段的規(guī)劃決策多是采用基于規(guī)則的方法，實(shí)際上沒有數(shù)據(jù)驅(qū)動(dòng)的模型，如開源的Autoware和百度Apollo。由于L4公司的運(yùn)行場景在一些具備高清地圖的固定地區(qū)，本身感知投入的傳感器精度較高，已經(jīng)做過數(shù)據(jù)訓(xùn)練規(guī)劃決策模型的探索； 相對來說，L2/L2 公司還沒有建立數(shù)據(jù)驅(qū)動(dòng)的規(guī)劃決策模塊開發(fā)模式，多是采用優(yōu)化理論的解決方案，普遍從高速場景入手，升級到特斯拉那種閘道�查l道的模式，很少能支持城市自動(dòng)駕駛的復(fù)雜場景(如環(huán)島路口和無保護(hù)左拐彎操作等)。

自動(dòng)駕駛2．0階段應(yīng)該是以數(shù)據(jù)驅(qū)動(dòng)為標(biāo)志，同時(shí)對于1．0階段的感知框架也有比較大的改進(jìn)。數(shù)據(jù)驅(qū)動(dòng)的開發(fā)模式傾向于端到端的模型設(shè)計(jì)和訓(xùn)練，對于規(guī)劃決策而言就是需要大量的駕駛數(shù)據(jù)去學(xué)習(xí)老司機(jī)的駕駛行為，包括行為克隆的模仿學(xué)習(xí)，以及通過基于模型強(qiáng)化學(xué)習(xí)(M�睷L) 估計(jì)行為�膊呗缘穆�(lián)合分布等，不再靠各種約束條件下的最優(yōu)問題求解。其中軌跡預(yù)測是一個(gè)重要的前奏，需要對智體交互行為進(jìn)行良好的建模，并分析存在的不確定性影響。對于感知而言，2．0時(shí)代需要考慮機(jī)器學(xué)習(xí)模型取代哪種傳統(tǒng)視覺或信號(hào)處理(濾波)的部分，真正做到采集數(shù)據(jù)來解決問題的開發(fā)模式。例如特斯拉最近的BEV（鳥瞰視圖）和Occupancy Network（占用網(wǎng)絡(luò)），都直接通過深度學(xué)習(xí)模型實(shí)現(xiàn)所需信息輸出，而不是采用傳統(tǒng)視覺和融合理論去二次處理模型輸出。傳感器融合理論也從后融合升級到模型中特征融合甚至數(shù)據(jù)融合(如果同步和標(biāo)定有一定的先驗(yàn)知識(shí))。這里可以看到Transformer網(wǎng)絡(luò)在這個(gè)感知框架下扮演著重要的角色，同時(shí)也給計(jì)算平臺(tái)提出了更高的要求�；�于這種數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)駕駛平臺(tái)需求，大模型的設(shè)計(jì)思路也被引入，因?yàn)榇罅繑?shù)據(jù)的獲取，包括高效的數(shù)據(jù)篩選、自動(dòng)標(biāo)注和仿真技術(shù)輔助，需要在服務(wù)器端維護(hù)一個(gè)教師大型模型，以支持布署到車端的學(xué)生小型模型的訓(xùn)練和迭代更新。

自動(dòng)駕駛的挑戰(zhàn)和未來

汽車產(chǎn)業(yè)的轉(zhuǎn)型面臨的挑戰(zhàn)之一是轉(zhuǎn)型到軟件定義汽車的新模式。自動(dòng)駕駛的軟件代碼量將超過5億行，是非常復(fù)雜的軟件系統(tǒng)之一，相比之下，波音787有650萬行代碼、Android有1500萬行代碼、Windows 11有5000萬行代碼、Facebook有6200萬行代碼、現(xiàn)代汽車有1億行代碼。同時(shí)，智能汽車的軟件也是現(xiàn)代軟件的集大成者，包含了實(shí)時(shí)嵌入式軟件、云計(jì)算軟件、消費(fèi)者軟件、仿真軟件、AI算法和大規(guī)模多智體協(xié)同系統(tǒng)軟件。而且，這么龐大和復(fù)雜的軟件系統(tǒng)對安全性、可靠性的要求也極高，因?yàn)檐浖�的失效�?huì)導(dǎo)致性命攸關(guān)的嚴(yán)重后果。因此，智能汽車軟件需要使用軟件工程和軟件測試驗(yàn)證最先進(jìn)的理論及實(shí)踐。

同時(shí)，自動(dòng)駕駛的進(jìn)步依賴于人工智能技術(shù)的發(fā)展。雖然人工智能下圍棋已經(jīng)戰(zhàn)勝了人類，但是圍棋是一個(gè)封閉環(huán)境，棋盤格式和下棋規(guī)則2000多年都沒有變化。而依靠數(shù)據(jù)訓(xùn)練的機(jī)器學(xué)習(xí)技術(shù)很難解決行駛環(huán)境中無窮盡的開放場景。例如，小朋友很容易理解的兒歌我在馬路邊撿到一分錢，把它交到警察叔叔手里邊，人工智能技術(shù)要理解就要解決很多問題。比如為什么撿到一分錢是合理的而撿到一億元是不合理的，為什么要交給警察，等等。人在生長過程中積累的大量已知的不安全（known unsafe），再加上交通開放場景的未知的不安全（unknown unsafe），是自動(dòng)駕駛難以解決的長尾問題。當(dāng)然，自動(dòng)駕駛要解決的技術(shù)難點(diǎn)很多，這將在本書里進(jìn)行逐一闡述。

雖然實(shí)現(xiàn)自動(dòng)駕駛的挑戰(zhàn)很多，但是新一代智能汽車能為社會(huì)帶來幾乎零排放、零事故、零成本的交通出行系統(tǒng)。2020年以來，售價(jià)約15 000美元、單次充電行駛里程400千米以上電動(dòng)汽車的規(guī)模上市，可以完全對標(biāo)主流燃油汽車的性能和使用成本，標(biāo)志著電動(dòng)汽車已經(jīng)到達(dá)超越燃油車的臨界點(diǎn)。未來 10 年，電動(dòng)汽車的普及將使全球石油消耗量減少約 30%，汽車產(chǎn)業(yè)零排放的目標(biāo)指日可期。此外，隨著自動(dòng)駕駛帶來安全性的提升，最終達(dá)到零事故出行的愿景。目前，全世界每年有 135 萬人死于交通事故，相當(dāng)于每 24 秒就有 1 人因交通事故喪命，與交通事故相關(guān)的成本約占全球GDP的0．5%。根據(jù)Waymo公司的最新研究，目前其自動(dòng)駕駛技術(shù)能夠規(guī)避75%的碰撞事故發(fā)生，減少93%的嚴(yán)重受傷，高于理想狀態(tài)下人類司機(jī)模型的62．5%和84%。并且，電動(dòng)汽車的維護(hù)保養(yǎng)和行駛成本相比燃油車可以大幅度降低，甚至趨近于零。首先，電動(dòng)汽車的運(yùn)動(dòng)部件少于 200 個(gè)，而燃油汽車的運(yùn)動(dòng)部件超過 2000 個(gè)，電動(dòng)汽車在生命周期內(nèi)的保養(yǎng)成本不到燃油車的一半。電動(dòng)汽車的電機(jī)驅(qū)動(dòng)和車身設(shè)計(jì)可以支撐160萬千米運(yùn)行，在正常情況下行駛，電池可以支持50萬~80萬千米的行駛距離，也可以通過更換電池持續(xù)使用，是燃油汽車使用壽命的10倍以上，其生命周期內(nèi)的折舊費(fèi)用也可以減少到原來的1/10�；�于換電技術(shù)，電池即服務(wù)(battery as a service) 帶來了另一個(gè)維度的降低出行成本的方法，尤其在商用車領(lǐng)域，換電服務(wù)可以降低因?yàn)槌潆姇r(shí)間帶來的服務(wù)中斷，電池倉可以通過大規(guī)模的標(biāo)準(zhǔn)化降低電池采購成本，并且也可以優(yōu)化電池維護(hù)和保養(yǎng)，換電還可以更好地利用電網(wǎng)的價(jià)格低谷。綜上所述，電動(dòng)汽車的折舊成本、維護(hù)成本和使用成本都相當(dāng)于傳統(tǒng)燃油車的1/10，在共享出行的場景，每千米成本從今天的1元左右，降低到0．1元。共享出行的另一個(gè)主要開支是軟件使用費(fèi)用，未來自動(dòng)駕駛模式趨于成熟，按照目前特斯拉自動(dòng)駕駛訂閱模式，每月為1400元，假設(shè)共享出行的每月里程為6000千米，則每千米的AI司機(jī)費(fèi)用約為0．02元。綜合上述數(shù)據(jù)，通過電動(dòng)化和自動(dòng)駕駛，共享出行的成本可以從今天的1．5元降低到0．12元，百公里出行的成本為12元，如果是多人一起出行，則成本進(jìn)一步降低，和水、電、網(wǎng)絡(luò)服務(wù)的使用成本基本相同。

本書的寫作目的

在自動(dòng)駕駛發(fā)展方興未艾時(shí)，越來越多的公司、工程師、科學(xué)家和學(xué)生進(jìn)入或打算進(jìn)入這個(gè)賽道。筆者希望給讀者介紹一下當(dāng)今自動(dòng)駕駛前沿的技術(shù)理論。

本書主要包括以下內(nèi)容。

�r 簡要介紹自動(dòng)駕駛的概論，包括自動(dòng)駕駛的分級方法、兩種不同的開發(fā)結(jié)構(gòu)(模塊化和端到端)、自動(dòng)駕駛的應(yīng)用場景分類和數(shù)據(jù)閉環(huán)概念等。

�r 在展開前沿技術(shù)介紹之前，鋪墊了涉及的基礎(chǔ)理論，如計(jì)算機(jī)視覺、圖像處理、優(yōu)化理論、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等。

�r 在開始本書的重點(diǎn)之前，讀者需要對自動(dòng)駕駛的軟硬件平臺(tái)有初步了解，硬件部分有傳感器(攝像頭、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)和車聯(lián)網(wǎng)等)、計(jì)算平臺(tái)、線控底盤和電子電氣架構(gòu)等，軟件部分有軟件架構(gòu)(如AUTOSAR和aSPICE)、軟件開發(fā)V�材Ｐ秃筒僮飨到y(tǒng)。

�r 本書真正的重頭戲是第5~9章，即感知、高清地圖、定位、規(guī)劃和控制。感知部分涉及了多種傳感器標(biāo)定、單目測距、深度圖估計(jì)、3D障礙物檢測和跟蹤、傳感器融合(數(shù)據(jù)級和任務(wù)級)、車道線檢測、交通標(biāo)志檢測識(shí)別、交通信號(hào)燈檢測識(shí)別、雙目視覺、駕駛區(qū)域分割、人體姿態(tài)估計(jì)、駕駛?cè)吮O(jiān)控系統(tǒng)和新一代BEV感知框架等； 高清地圖部分介紹了高清地圖的結(jié)構(gòu)、語義地圖的構(gòu)建、基于車道線地圖和基于深度學(xué)習(xí)的SLAM等； 定位部分和高清地圖部分不可分，包括基于車道線地圖的定位、基于激光雷達(dá)的地圖定位、傳感器融合的混合式定位以及基于深度學(xué)習(xí)的定位方法； 規(guī)劃部分涉及基本的規(guī)劃理論、對駕駛行為的建模預(yù)測、行人行為的建模預(yù)測和基于深度學(xué)習(xí)的模仿學(xué)習(xí)等； 控制方法相對來說比較傳統(tǒng)，但是在回顧經(jīng)典的車輛運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)模型、控制理論（如PID和MPC）之外，也討論了基于深度學(xué)習(xí)的控制理論。

�r 本書也討論了自動(dòng)駕駛研發(fā)重要的一個(gè)環(huán)節(jié)： 模擬仿真，介紹了傳感器仿真，交通模擬模型、汽車/行人仿真模型、可視化平臺(tái)以及數(shù)字孿生和安全�簿o要場景數(shù)據(jù)生成等。

�r 作為自動(dòng)駕駛不可分的一部分是安全理論，本書涉及著名的NHTSA的安全要素、國際標(biāo)準(zhǔn)化組織功能安全標(biāo)準(zhǔn)ISO 26262和預(yù)期功能安全標(biāo)準(zhǔn)ISO 21448(SOTIF)、網(wǎng)絡(luò)安全、自動(dòng)駕駛的安全隱患和解決方法以及系統(tǒng)的驗(yàn)證和確認(rèn)(V&V)技術(shù)，還附加了Intel Mobileye的責(zé)任敏感性安全模型。

�r 目前自動(dòng)駕駛技術(shù)最接近商業(yè)落地的一個(gè)場景是自動(dòng)自主泊車。本書專門具體討論了泊車系統(tǒng)的視覺系統(tǒng)標(biāo)定、停車位檢測、運(yùn)動(dòng)規(guī)劃、傳感器融合(超聲波和環(huán)視攝像系統(tǒng))和自主泊車系統(tǒng)，特別討論了停車場的地圖制作和基于深度學(xué)習(xí)的泊車規(guī)劃方法。

�r 車聯(lián)網(wǎng)是自動(dòng)駕駛的一個(gè)重要輔助，可以看作傳感器的延伸。本書還討論了車聯(lián)網(wǎng)技術(shù)的應(yīng)用，如車�猜穮f(xié)同、車輛協(xié)同感知和車輛編隊(duì)的規(guī)劃及控制等。

�r 針對當(dāng)前比較熱門的兩種技術(shù)，本書也單獨(dú)給予分析討論。一是神經(jīng)渲染，其中包括神經(jīng)輻射場模型(NeRF)的基礎(chǔ)、算法加速、泛化和擴(kuò)展技術(shù)； 二是擴(kuò)散模型，一種性能最優(yōu)的內(nèi)容生成模型，介紹其基礎(chǔ)理論、改進(jìn)方法以及在圖像合成、圖像�矆D像翻譯和文本�矆D像生成等方面的應(yīng)用。

讀者對象

本書讀者需要有一定基礎(chǔ)，如具備在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)(甚至深度學(xué)習(xí))方面的理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn)。本書并不是給初學(xué)者一個(gè)了解自動(dòng)駕駛的窗口，而是真正深入地進(jìn)入自動(dòng)駕駛面臨的難題之中，給讀者一個(gè)全面的認(rèn)識(shí)。本書提供了很多自動(dòng)駕駛前沿技術(shù)的一手資料，希望能夠啟發(fā)和觸動(dòng)自動(dòng)駕駛一線的研發(fā)人員，在遇到問題和困難時(shí)開闊思路并發(fā)現(xiàn)新的解決方法。

為便于讀者閱讀和理解，將書中部分彩圖以在線圖片的形式呈現(xiàn)，請先掃描封底刮刮卡內(nèi)二維碼，再掃描章名旁的二維碼查看。

由于筆者水平有限，書中不當(dāng)之處在所難免，歡迎廣大同行和讀者批評指正。

黃浴楊子江2024年1月