無人車通常是通過融合激光雷達(dá)（Lidar），相機(jī)（Camera），毫米波雷達(dá)（Millimeter Wave Radar）等多種傳感器的數(shù)據(jù)來獲取這些信息。我們簡要地了解一下激光雷達(dá)和相機(jī)在無人車感知中的應(yīng)用。

為了確保無人車對環(huán)境的理解和把握，無人駕駛系統(tǒng)的環(huán)境感知部分通常需要獲取周圍環(huán)境的大量信息，具體來說包括：障礙物的位置，速度以及可能的行為，可行駛的區(qū)域，交通規(guī)則等等。無人車通常是通過融合激光雷達(dá)（Lidar），相機(jī)（Camera），毫米波雷達(dá)（Millimeter Wave Radar）等多種傳感器的數(shù)據(jù)來獲取這些信息。我們簡要地了解一下激光雷達(dá)和相機(jī)在無人車感知中的應(yīng)用。

激光雷達(dá)是一類使用激光進(jìn)行探測和測距的設(shè)備，它能夠每秒鐘向環(huán)境發(fā)送數(shù)百萬光脈沖，它的內(nèi)部是一種旋轉(zhuǎn)的結(jié)構(gòu)，這使得激光雷達(dá)能夠?qū)崟r的建立起周圍環(huán)境的3維地圖。

通常來說，激光雷達(dá)以10Hz左右的速度對周圍環(huán)境進(jìn)行旋轉(zhuǎn)掃描，其掃描一次的結(jié)果為密集的點構(gòu)成的3維圖，每個點具備（x,y,z）信息，這個圖被稱為點云圖（Point Cloud Graph），如下圖所示，是使用Velodyne VLP-32c激光雷達(dá)建立的一個點云地圖：

激光雷達(dá)因其可靠性目前仍是無人駕駛系統(tǒng)中最重要的傳感器，然而，在現(xiàn)實使用中，激光雷達(dá)并不是完美的，往往存在點云過于稀疏，甚至丟失部分點的問題，對于不規(guī)則的物體表面，使用激光雷達(dá)很難辨別其模式，在諸如大雨天氣這類情況下，激光雷達(dá)也無法使用。

為了理解點云信息，通常來說，我們對點云數(shù)據(jù)進(jìn)行兩步操作：分割（Segmentation）和分類（Classification）。其中，分割是為了將點云圖中離散的點聚類成若干個整體，而分類則是區(qū)分出這些整體屬于哪一個類別（比如說行人，車輛以及障礙物）。分割算法可以被分類如下幾類：

基于邊的方法，例如梯度過濾等；

基于區(qū)域的方法，這類方法使用區(qū)域特征對鄰近點進(jìn)行聚類，聚類的依據(jù)是使用一些指定的標(biāo)準(zhǔn)（如歐幾里得距離，表面法線等），這類方法通常是先在點云中選取若干種子點（seed points），然后使用指定的標(biāo)準(zhǔn)從這些種子點出發(fā)對鄰近點進(jìn)行聚類；

參數(shù)方法，這類方法使用預(yù)先定義的模型去擬合點云，常見的方法包括隨機(jī)樣本一致性方法（Random Sample Consensus，RANSAC ）和霍夫變換(Hough Transform，HT)；

基于屬性的方法，首先計算每個點的屬性，然后對屬性相關(guān)聯(lián)的點進(jìn)行聚類的方法；

基于圖的方法；

基于機(jī)器學(xué)習(xí)的方法；

在完成了點云的目標(biāo)分割以后，分割出來的目標(biāo)需要被正確的分類，在這個環(huán)節(jié)，一般使用機(jī)器學(xué)習(xí)中的分類算法，如支持向量機(jī)（Support Vector Machine，SVM）對聚類的特征進(jìn)行分類，最近幾年由于深度學(xué)習(xí)的發(fā)展，業(yè)界開始使用特別設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對三維的點云聚類進(jìn)行分類。

然而，不論是提取特征-SVM的方法還是原始點云-CNN的方法，由于激光雷達(dá)點云本身解析度低的原因，對于反射點稀疏的目標(biāo)（比如說行人），基于點云的分類并不可靠，所以在實踐中，我們往往融合激光雷達(dá)和相機(jī)傳感器，利用相機(jī)的高分辨率來對目標(biāo)進(jìn)行分類，利用Lidar的可靠性對障礙物檢測和測距，融合兩者的優(yōu)點完成環(huán)境感知。

在無人駕駛系統(tǒng)中，我們通常使用圖像視覺來完成道路的檢測和道路上目標(biāo)的檢測。道路的檢測包含對道路線的檢測（Lane Detection），可行駛區(qū)域的檢測（Drivable Area Detection）；道路上路標(biāo)的檢測包含對其他車輛的檢測（Vehicle Detection），行人檢測（Pedestrian Detection），交通標(biāo)志和信號的檢測（Traffic Sign Detection）等所有交通參與者的檢測和分類。

車道線的檢測涉及兩個方面：第一是識別出車道線，對于彎曲的車道線，能夠計算出其曲率，第二是確定車輛自身相對于車道線的偏移（即無人車自身在車道線的哪個位置）。一種方法是抽取一些車道的特征，包括邊緣特征（通常是求梯度，如索貝爾算子），車道線的顏色特征等，使用多項式擬合我們認(rèn)為可能是車道線的像素，然后基于多項式以及當(dāng)前相機(jī)在車上掛載的位置確定前方車道線的曲率和車輛相對于車道的偏離。

可行駛區(qū)域的檢測目前的一種做法是采用深度神經(jīng)網(wǎng)絡(luò)直接對場景進(jìn)行分割，即通過訓(xùn)練一個逐像素分類的深度神經(jīng)網(wǎng)絡(luò)，完成對圖像中可行駛區(qū)域的切割。

交通參與者的檢測和分類目前主要依賴于深度學(xué)習(xí)模型，常用的模型包括兩類：

以RCNN為代表的基于Region Proposal的深度學(xué)習(xí)目標(biāo)檢測算法（RCNN，SPP-NET，F(xiàn)ast-RCNN，F(xiàn)aster-RCNN等）；

以YOLO為代表的基于回歸方法的深度學(xué)習(xí)目標(biāo)檢測算法（YOLO，SSD等）。