昨天，我們分享了關(guān)于Apollo 3.0的介紹（點(diǎn)此閱讀），在本次技術(shù)沙龍中，來(lái)自Apollo團(tuán)隊(duì)的高級(jí)產(chǎn)品經(jīng)理-王石峰老師帶了關(guān)于自動(dòng)駕駛硬件系統(tǒng)和Apollo硬件開(kāi)發(fā)平臺(tái)的介紹。

這里，我們將整理后的公開(kāi)課視頻和資料分享給大家，沒(méi)能到達(dá)現(xiàn)場(chǎng)的開(kāi)發(fā)者可以通過(guò)視頻和PPT資料來(lái)詳細(xì)了解課程內(nèi)容。

演講概要：

本次演講將分享傳感器、計(jì)算單元、車(chē)輛線控、Apollo 硬件開(kāi)發(fā)平臺(tái)的部分原理和簡(jiǎn)介，并介紹自動(dòng)駕駛系統(tǒng)中感知、決策、控制三大系統(tǒng)對(duì)應(yīng)的硬件。使開(kāi)發(fā)者能根據(jù)自動(dòng)駕駛汽車(chē)的 ODD（Operational Design Domain）選擇更加適用的硬件選型和方案。

自動(dòng)駕駛硬件系統(tǒng)及 Apollo 硬件開(kāi)發(fā)平臺(tái)簡(jiǎn)介

1自動(dòng)駕駛汽車(chē)的事故分析

首先分析一個(gè)事故案例。今年3月，北美有一個(gè)自動(dòng)駕駛車(chē)肇事撞人致死的一個(gè)事故，6月22日，美國(guó)公路交通安全委員會(huì)發(fā)布了這個(gè)事故報(bào)告。報(bào)告中顯示，在碰撞發(fā)生前6秒傳感器已經(jīng)探測(cè)到了，碰撞發(fā)生前1.5秒，原車(chē)的AEB功能已經(jīng)啟動(dòng)，但其執(zhí)行機(jī)構(gòu)并沒(méi)有自動(dòng)采取相應(yīng)制動(dòng)措施，導(dǎo)致整個(gè)系統(tǒng)沒(méi)有閉環(huán)。

另外，該事故在交互設(shè)計(jì)上也有缺陷。當(dāng)事故發(fā)生前，傳感器探測(cè)到這個(gè)人時(shí)，并沒(méi)有提供警報(bào)，司機(jī)正在低頭看手機(jī)視頻，當(dāng)他抬頭看到這個(gè)行人的時(shí)候再處理事故已經(jīng)來(lái)不及了。從事故視碰撞前四秒鐘的截圖可以看出，路面照明不足導(dǎo)致司機(jī)很難看到有人過(guò)馬路。

目前，自動(dòng)駕駛的車(chē)輛以法律法規(guī)來(lái)說(shuō)都是改裝車(chē)，事故車(chē)輛是SUV的車(chē)型自身重心比較高，所有的傳感器都安裝在車(chē)頂導(dǎo)致重心進(jìn)一步上移。當(dāng)產(chǎn)生碰撞的時(shí)候更有可能會(huì)側(cè)翻。

2自動(dòng)駕駛汽車(chē)的研發(fā)流程

百度提出了“安全是自動(dòng)駕駛的第一天條”。如何避免類(lèi)似事故和問(wèn)題，要從整個(gè)研發(fā)流程當(dāng)中去考慮。

首先當(dāng)研發(fā)一輛自動(dòng)駕駛車(chē)輛時(shí)，有一個(gè)基于仿真模擬器的軟件在環(huán)我們可以將這看成一個(gè)賽車(chē)的游戲。在仿真環(huán)節(jié)中仿真出道路的路面，以及交通的參照物和各種車(chē)輛、各種行人，還有一些天氣信息，比如雨霧或者路面照明信息。代碼跑通了以后，再基于必要的硬件在環(huán)平臺(tái)，在傳感器、計(jì)算單元等硬件系統(tǒng)上檢測(cè)有沒(méi)有運(yùn)行當(dāng)中的BUG和兼容性問(wèn)題。之后基于車(chē)輛在環(huán)，將相關(guān)的軟硬件系統(tǒng)集成到車(chē)輛平臺(tái)上在封閉場(chǎng)地中完成相關(guān)測(cè)試檢測(cè)代碼是否出現(xiàn)了問(wèn)題。

最后基于司機(jī)在環(huán)，以百度為例，我們?cè)诒本?a href="http://www.socialnewsupdate.com/v/" target="_blank">智能網(wǎng)聯(lián)示范區(qū)，北京市政府規(guī)劃的道路上基于實(shí)際的道路情況研發(fā)測(cè)試，不僅能檢測(cè)自動(dòng)駕駛系統(tǒng)的情況，還可以獲得司機(jī)的主觀評(píng)價(jià)和可以驗(yàn)證人機(jī)交互的功能。

3自動(dòng)駕駛汽車(chē)的硬件系統(tǒng)

自動(dòng)駕駛的硬件系統(tǒng)，可以粗略地分為感知、決策、控制三部分（還有定位、地圖、預(yù)測(cè)等模塊）。自動(dòng)駕駛不能僅僅考慮系統(tǒng)，還要考慮到人的因素。

從車(chē)輛運(yùn)動(dòng)方面會(huì)考慮到車(chē)的速度、轉(zhuǎn)角以及橫滾，俯仰、航向等信息。還有一部分是環(huán)境感知，比如激光雷達(dá)、超聲波、攝像頭、毫米波雷達(dá)、V2X。V2X能提供超視距功能——當(dāng)車(chē)上了路，很難發(fā)現(xiàn)超傳感器范圍的信息，通過(guò)V2X設(shè)備會(huì)發(fā)送和接受相關(guān)信息，車(chē)會(huì)接收到前方交通的情況。

另外，駕駛員監(jiān)測(cè)主要是通過(guò)攝像頭和生物電傳感器（放在方向盤(pán)里），來(lái)判斷駕駛員有沒(méi)有手脫離方向盤(pán)。也可以檢測(cè)司機(jī)的精神，比如駕駛員困倦還是精神緊張。

目前L3+級(jí)自動(dòng)駕駛的計(jì)算單元主要CPU+GPU+FPGA的架構(gòu)。T—BOX它向上接的是互聯(lián)網(wǎng)，向下是接的CAN總線。比如手機(jī)有一個(gè)APP，通過(guò)T-BOX可以控制車(chē)門(mén)的開(kāi)關(guān)。黑匣子負(fù)責(zé)記錄控制指令和車(chē)輛行使?fàn)顟B(tài)，事故發(fā)生以后可以用黑匣子來(lái)進(jìn)行事故的認(rèn)定。車(chē)輛控制是一些制動(dòng)、轉(zhuǎn)向、發(fā)動(dòng)機(jī)、變速箱，還有警告系統(tǒng)，聲音、圖像、振動(dòng)等。

4自動(dòng)駕駛汽車(chē)的傳感器

自動(dòng)駕駛使用的感知類(lèi)的傳感器，主要有激光雷達(dá)、毫米波雷達(dá)、攝像頭、組合導(dǎo)航。

激光雷達(dá)安裝在車(chē)頂，目前是360度同軸旋轉(zhuǎn)，可提供周?chē)蝗Φ狞c(diǎn)云信息。激光雷達(dá)不僅用于車(chē)輛感知，也用于定位和高精度地圖的測(cè)繪。

攝像頭光線通過(guò)鏡頭、濾光片到后段的CMOS或CCD集成電路，將光信號(hào)轉(zhuǎn)換成電信號(hào)，再經(jīng)過(guò)圖像處理器（ISP）轉(zhuǎn)換成標(biāo)準(zhǔn)的RAW，RGB或YUV等格式的數(shù)字圖像信號(hào)，再通過(guò)數(shù)據(jù)傳輸接口傳輸?shù)接?jì)算單元。

毫米波雷達(dá)和激光雷達(dá)有點(diǎn)類(lèi)似，基本原理是發(fā)射一束電磁波，通過(guò)觀察回波和射入波的差異來(lái)計(jì)算距離和速度，主要分24G和77G，它的安裝是在保險(xiǎn)杠上面。

組合導(dǎo)航是兩部分，一部分是GNSS板卡，通過(guò)天線接收GPS和RTK信號(hào)，解析計(jì)算出自身的空間位置。但是當(dāng)車(chē)輛行駛到林蔭路，或者是有些建筑物，GPS就會(huì)沒(méi)信號(hào)或者產(chǎn)生多徑效應(yīng)，定位就會(huì)產(chǎn)生偏移和不準(zhǔn)。此時(shí)需要通過(guò)INS的信息融合來(lái)進(jìn)行組合運(yùn)算。GNSS+INS融合在一起就是組合導(dǎo)航系統(tǒng)。

此表羅列出了目前一些L1、L2功能所用的傳感器，包括自動(dòng)駕駛L3及以上的傳感器。L1、L2的功能傳感器也需要多傳感器融合，但是融合前的一些算法就直接傳輸?shù)搅?a target="_blank">MCU。L3+以上的是多傳感器融合后的信息傳輸?shù)接?jì)算單元，它從硬件架構(gòu)上略有差異。從實(shí)現(xiàn)上來(lái)說(shuō)，L1、L2會(huì)更在意一些誤檢的情況，比如我們開(kāi)車(chē)突然剎車(chē)會(huì)很不舒服，而L1、L2主要責(zé)任在駕駛員上，所以它對(duì)誤檢會(huì)非常在意。但是L3+以上自動(dòng)駕駛是通過(guò)系統(tǒng)去承擔(dān)主要的駕駛責(zé)任，就會(huì)對(duì)傳感器漏檢非常在意，這是L1、L2和自動(dòng)駕駛之間的差異。

如何得知自己到底需要什么樣的傳感器？我們可以通過(guò)這個(gè)公式計(jì)算出來(lái)，剎車(chē)距離公式，也就是通過(guò)道路摩擦系數(shù)去計(jì)算。自動(dòng)駕駛要求局限設(shè)計(jì)適用范圍。目前，我國(guó)城市封閉道路限速80，高速最高限速120。通過(guò)這個(gè)公式能計(jì)算出剎車(chē)距離，限速120的情況下最少需要150米的探測(cè)范圍，如果能到200米會(huì)更好。如果有冰雪怎么辦，是不是我們要看到更遠(yuǎn)距離？實(shí)際不是這樣，國(guó)家法有規(guī)定，高速公路，霧天能見(jiàn)度低于50米的情況下，要求限速到20公里每小時(shí)。

分辨率是通過(guò)反正切函數(shù)來(lái)計(jì)算的。這里多除以一個(gè)2，為什么呢？是為了保證我沒(méi)有漏檢的情況， L3+自動(dòng)駕駛必須保證百分之百檢測(cè)到這個(gè)物體。所以從這個(gè)公式也能得出這張圖，0.4度分辨率的傳感器在一百米以外就可以探測(cè)到行人或者車(chē)輛，或者在32米能測(cè)到一個(gè)路錐。

再分析一下傳感器未來(lái)的發(fā)展趨勢(shì)。目前多傳感器融合，相對(duì)來(lái)說(shuō)是后融合。其實(shí)攝像頭和激光雷達(dá)都是光學(xué)傳感器，它們部分核心的零部件包括一些處理電路，元器件都是非常相似的，有希望能把攝像頭和激光雷達(dá)前融合到一起。左邊的圖是Aeye公司做的智能感知系統(tǒng)的融合，可以看到融合后可以直接輸出R、G、B、X、Y、Z的信息。右邊是Waymo的原形樣機(jī)，它用的就是這種前融合系統(tǒng)，可以叫LiCam(Lidar+Camera)。

5自動(dòng)駕駛汽車(chē)的計(jì)算單元

自動(dòng)駕駛汽車(chē)的計(jì)算單元，必須考慮到冗余設(shè)計(jì)。所有的CPU、GPU、FPGA都是雙冗余備份，包括總線也是雙冗余備份的。當(dāng)檢測(cè)系統(tǒng)失效的狀況下MCU還能繼續(xù)工作，這是最后的保障，它發(fā)出控制指令給剎車(chē)系統(tǒng)，讓車(chē)輛剎停下來(lái)保證安全性。

像這種中央集中式的計(jì)算也有缺點(diǎn)——整個(gè)單元體積比較大，功耗也比較高。自動(dòng)駕駛車(chē)輛后置一個(gè)服務(wù)器顯然不容易產(chǎn)業(yè)化，未來(lái)產(chǎn)業(yè)化是逐步拆分計(jì)算量到邊緣計(jì)算。比如說(shuō)激光雷達(dá)、毫米波、攝像頭，都接入到一個(gè)Sensor BOX，將對(duì)準(zhǔn)融合后的數(shù)據(jù)再傳輸?shù)接?jì)算單元進(jìn)行處理。從整個(gè)自動(dòng)駕駛汽車(chē)來(lái)看，也會(huì)根據(jù)不同的功能設(shè)計(jì)不同的域控制器，比如車(chē)身域控制器、車(chē)載娛樂(lè)域控制器、動(dòng)力總成域控制器、自動(dòng)駕駛域控制器。彼此之間隔離，彼此之間互相不干擾。

Sensor+SOC。舉個(gè)例子，Dibotics是一個(gè)做激光雷達(dá)SlAM算法的公司，它將算法寫(xiě)到Renesas的R-car芯片上，寫(xiě)完之后將芯片植入到傳感器，在傳感器端完成相關(guān)算法的運(yùn)算。

介紹一下整個(gè)芯片的流程，芯片設(shè)計(jì)、芯片制造、芯片封測(cè)三個(gè)流程。選擇芯片設(shè)計(jì)的IP，再經(jīng)過(guò)EDA進(jìn)行電子電路布局，做成光罩，經(jīng)過(guò)光刻等多種工藝，生產(chǎn)出一個(gè)芯片，再進(jìn)行芯片的封裝。自動(dòng)駕駛算法芯片主要恒量指標(biāo)是功耗、算力和面積。目前整個(gè)芯片制造是從16納米向7納米發(fā)展，同等面積7納米對(duì)比16納米整個(gè)運(yùn)算力會(huì)提升40%，功耗會(huì)降低60%。

6自動(dòng)駕駛汽車(chē)的線控系統(tǒng)

自動(dòng)駕駛車(chē)輛的線控系統(tǒng)，分減速、轉(zhuǎn)向和加速三大部分。

上圖是大陸的線控制動(dòng)解決方案。MK C1將制動(dòng)助力以及制動(dòng)壓力控制模塊(ABS、ESC)集成一個(gè)制動(dòng)單元當(dāng)這個(gè)失效的時(shí)候還有一個(gè)MK 100保證冗余。

自動(dòng)駕駛車(chē)輛的線控轉(zhuǎn)向系統(tǒng)，自動(dòng)駕駛線控和傳統(tǒng)車(chē)輛的EPS非常類(lèi)似，唯一的差異就是在于冗余。右圖是英菲尼迪Q50線控轉(zhuǎn)向系統(tǒng)，基本上還是延續(xù)了傳統(tǒng)轉(zhuǎn)向系統(tǒng)的結(jié)構(gòu)。只是增加了一套離合、三組ECU、冗余轉(zhuǎn)向電機(jī)和力度回饋器。

自動(dòng)駕駛車(chē)輛的加速線控系統(tǒng)，以往的車(chē)輛都有一個(gè)油門(mén)拉線，油門(mén)踏板通過(guò)拉線控制氣門(mén)開(kāi)合。目前都是直接通過(guò)發(fā)動(dòng)機(jī)管理系統(tǒng)來(lái)控制電子油門(mén)。

自動(dòng)駕駛汽車(chē)的線控系統(tǒng)可分為三個(gè)版本，1.0版對(duì)原車(chē)的踏板及方向盤(pán)進(jìn)行了物理截?cái)嗟母难b，也是俗稱(chēng)的暴力改裝，由于是后改的并不符合安全性，有時(shí)候會(huì)漏油和燒電機(jī)的情況。2.0版是通過(guò)借用原車(chē)的ADAS系統(tǒng)來(lái)實(shí)現(xiàn)線控。3.0版則完全是定制化的，百度阿波龍目前是3.0版，所有的線控都是基于自動(dòng)駕駛的需求，特別定制化的。

7Apollo硬件開(kāi)發(fā)平臺(tái)

7月4號(hào)，百度開(kāi)發(fā)者大會(huì)也推出了硬件開(kāi)發(fā)平臺(tái)，新增了15種硬件傳感器，發(fā)布了Apollo傳感器單元，添加了底層硬件抽象層。

硬件開(kāi)發(fā)平臺(tái)的傳感器單元，就是前面介紹的Sensor Box，將所有的傳感器數(shù)據(jù)都統(tǒng)一到傳感器單元中，完成時(shí)間戳的同步將獲得的數(shù)據(jù)傳輸?shù)胶蠖说挠?jì)算單元來(lái)進(jìn)行處理。

后續(xù)會(huì)發(fā)布AXU可以提供更多的擴(kuò)展性，支持更多的硬件設(shè)備，滿足不同開(kāi)發(fā)者的需求。Apollo硬件開(kāi)發(fā)平臺(tái)會(huì)完成相關(guān)硬件廠家設(shè)備的準(zhǔn)入工作，涉及到的內(nèi)核驅(qū)動(dòng)也會(huì)在Github上完成合入。

用戶(hù)空間庫(kù)是給用戶(hù)進(jìn)行一些自定義的。比如每一款車(chē)的CAN總線協(xié)議是不同的，可以將相關(guān)CAN協(xié)議指令寫(xiě)在這里。硬件抽象層主要提供數(shù)據(jù)格式轉(zhuǎn)換和API的功能。另外，添加了硬件抽象層可以保證當(dāng)某一硬件出現(xiàn)故障時(shí)不會(huì)導(dǎo)致整個(gè)系統(tǒng)崩潰。

從VSI發(fā)布自動(dòng)駕駛產(chǎn)業(yè)布局圖中可以看出自動(dòng)駕駛產(chǎn)業(yè)，是汽車(chē)、新能源、IT通訊、交通運(yùn)輸、半導(dǎo)體、人工智能、互聯(lián)網(wǎng)等多個(gè)10萬(wàn)億巨無(wú)霸產(chǎn)業(yè)的跨界融合體。自動(dòng)駕駛汽車(chē)是物質(zhì)流、能量流、信息流的聚合體，需要行業(yè)各方深度合作。只有軟硬件深度整合，打通藩籬跨界的企業(yè)才能摘得皇冠上的明珠。