99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一種具有基于CNN的閉環(huán)反饋的用于自動(dòng)駕駛車輛的端到端轉(zhuǎn)向控制器

ml8z_IV_Technol ? 來源:未知 ? 作者:李倩 ? 2018-08-14 11:07 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

摘要:過去幾十年的許多重要研究成果表明,卷積神經(jīng)網(wǎng)絡(luò)( CNNs )能夠控制方向盤,這是自動(dòng)駕駛車輛的基本和必要的操作動(dòng)作。與傳統(tǒng)的基于CNN的方法相比,我們提出了一種具有基于CNN的閉環(huán)反饋的用于自動(dòng)駕駛車輛的端到端轉(zhuǎn)向控制器,該控制器提高了駕駛性能。本文證明了所提出的神經(jīng)網(wǎng)絡(luò)DAVE - 2SKY能夠通過初始監(jiān)督預(yù)訓(xùn)練和隨后的強(qiáng)化閉環(huán)后訓(xùn)練,利用安裝在車輛上的攝像機(jī)的圖像來學(xué)習(xí)推斷方向盤角度,用于自動(dòng)駕駛車輛的橫向控制。

我們使用PreScan仿真器和Caffe深度學(xué)習(xí)框架在環(huán)境軟件(SIL)仿真環(huán)境中進(jìn)行多種環(huán)境下的訓(xùn)練。我們使用DRIVE PX2計(jì)算機(jī)來實(shí)現(xiàn)一輛自動(dòng)駕駛汽車對(duì)所提議的端到端控制器進(jìn)行的實(shí)驗(yàn)驗(yàn)證。仿真和道路試驗(yàn)也研究了該系統(tǒng)的性能。這項(xiàng)工作表明,基于CNN的端到端控制器即使在部分可觀察的道路條件下也能執(zhí)行強(qiáng)大的轉(zhuǎn)向控制,這表明由基于CNN的端到端轉(zhuǎn)向控制器控制完全自動(dòng)駕駛車輛的可能性。

I.介紹

在過去幾十年中,在工業(yè)機(jī)構(gòu)包括汽車原始設(shè)備制造商( OEMs )、相關(guān)公司、研究機(jī)構(gòu)和大學(xué)的不斷努力下,自動(dòng)駕駛技術(shù)取得了顯著成就。此外,機(jī)器學(xué)習(xí)的重大進(jìn)步使得使用深層神經(jīng)網(wǎng)絡(luò)的自動(dòng)駕駛車輛創(chuàng)新方法成為可能。

特別是,卷積神經(jīng)網(wǎng)絡(luò)(CNN)[1]已經(jīng)被證明具有實(shí)現(xiàn)方向盤控制的端到端學(xué)習(xí)的潛力,這是自動(dòng)駕駛車輛的基本和必要的操作基礎(chǔ)。為了構(gòu)建一個(gè)完全自我優(yōu)化的學(xué)習(xí)系統(tǒng),以最大限度地提高軌跡跟蹤和駕駛安全性能,而不是使用基于模型的中間控制標(biāo)準(zhǔn),從一個(gè)面向前方的車載攝像頭學(xué)習(xí)方向盤的角度,我們開發(fā)了一個(gè)加強(qiáng)的閉環(huán)反饋訓(xùn)練和推理架構(gòu)。

1989年,卡內(nèi)基梅隆大學(xué)開發(fā)了一種名為自主陸地車輛神經(jīng)網(wǎng)絡(luò)(ALVINN)的自動(dòng)駕駛汽車[2],該車首次展示了基于攝像頭的自動(dòng)駕駛汽車端對(duì)端轉(zhuǎn)向控制的可能性。自ALVINN以來,其他值得關(guān)注的研究工作包括已經(jīng)研究了神經(jīng)網(wǎng)絡(luò)(NNs)和國防高級(jí)研究項(xiàng)目局(DARPA)的挑戰(zhàn),這些挑戰(zhàn)促進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。

2004年,DARPA自主車輛( DAVE ) [ 3 ]項(xiàng)目演示了如何對(duì)一輛無線電控制( RC )汽車進(jìn)行訓(xùn)練,使其掌握由左、右攝像機(jī)拍攝的幾小時(shí)人類駕駛數(shù)據(jù),并在越野環(huán)境中駕駛。雖然DAVE無法展示復(fù)雜駕駛環(huán)境的完整解決方案,但它激發(fā)了一個(gè)名為DAVE-2的高級(jí)版本[4]。

在自動(dòng)駕駛車輛中,包括車輛轉(zhuǎn)向在內(nèi)的橫向控制是一項(xiàng)基本功能。車道保持是橫向控制的代表性操作,在自動(dòng)駕駛時(shí)可將車輛保持在車道的中心。雖然轉(zhuǎn)向控制是自動(dòng)駕駛車輛的基本功能,但基于CNN的端到端控制器仍然難以在自動(dòng)駕駛車輛中實(shí)現(xiàn)轉(zhuǎn)向[5]。

我們的目標(biāo)是克服傳統(tǒng)的基于CNN的端到端控制方法的局限性,為自主車輛的轉(zhuǎn)向控制器提供一種前沿方法。我們提出了DAVE - 2SKY ( SK Telecom & Yonsei University修改的DAVE - 2 ),這是一種端到端轉(zhuǎn)向控制器,具有基于CNN的閉環(huán)反饋體系結(jié)構(gòu)。網(wǎng)絡(luò)沒有被明確教導(dǎo),并且學(xué)習(xí)轉(zhuǎn)向控制在跟蹤前方車輛時(shí)保持車道所需的整個(gè)處理流水線。學(xué)習(xí)過程由兩個(gè)訓(xùn)練步驟組成:監(jiān)督的預(yù)訓(xùn)練和強(qiáng)化的閉環(huán)反饋后訓(xùn)練。因此,DAVE - 2SKY從相機(jī)圖像數(shù)據(jù)中產(chǎn)生適當(dāng)?shù)姆较虮P角度,用于自動(dòng)駕駛車輛的穩(wěn)定和完全橫向控制。與DAVE-2 [4]的傳統(tǒng)反向傳播訓(xùn)練方法相比,所提出的系統(tǒng)能夠在更短的訓(xùn)練時(shí)間內(nèi)學(xué)習(xí)駕駛?cè)蝿?wù),并具有穩(wěn)健的、可改進(jìn)的性能。

本文的其余部分結(jié)構(gòu)如下:在第Ⅱ節(jié),我們提供了所提出的系統(tǒng)DAVE - 2SKY的概述和細(xì)節(jié)。在第V節(jié)中的實(shí)驗(yàn)結(jié)果之前,第III節(jié)和第IV節(jié)介紹了使用仿真器實(shí)施SIL的環(huán)境和結(jié)果。在第VI節(jié)中,我們討論了該系統(tǒng)仿真中的結(jié)果,最后,我們在第VII節(jié)中總結(jié)了本文。

Ⅱ.我們所提出的系統(tǒng)

A.網(wǎng)絡(luò)架構(gòu)

我們的網(wǎng)絡(luò)有一個(gè)源自DAVE - 2 [ 4 ]的架構(gòu),該架構(gòu)利用安裝在自主車輛上的輸入相機(jī)的圖像來訓(xùn)練NNs,以計(jì)算方向盤角度來進(jìn)行橫向控制。圖2中顯示的DAVE-2SKY是使用Caffe深度學(xué)習(xí)框架[6]實(shí)現(xiàn)的。歐幾里德?lián)p失模型用于計(jì)算地面實(shí)況和預(yù)測方向盤角度之間的平方誤差之和,如[7]。

NN由10層組成,包括5個(gè)卷積層,3個(gè)歸一化層和2個(gè)完全連接的層,如圖1所示。如表I所示,前三個(gè)卷積層各有一個(gè)5×5內(nèi)核和一個(gè)2×2跨距,接下來的兩個(gè)卷積層各有一個(gè)2×2內(nèi)核和一個(gè)1×1跨距。在每個(gè)卷積層中都使用了整流線性單元(ReLU)激活。輸入圖像被分成RGB平面,然后傳送到網(wǎng)絡(luò)。卷積層被設(shè)計(jì)為特征提取器,完全連接層是用于操縱車輛的控制器。在卷積層2、3和4之前添加歸一化層,以避免梯度消失/爆炸問題,并通過穩(wěn)定訓(xùn)練過程來提高訓(xùn)練速度[ 8 ]。

圖1.所提出的DAVE-2SKY CNN架構(gòu)。

表I.DAVE-2SKY網(wǎng)絡(luò)卷積層

B.加強(qiáng)閉環(huán)反饋后訓(xùn)練系統(tǒng)

基于DAVE - 2 [ 4 ]的DAVE - 2SKY系統(tǒng)可以在強(qiáng)化反饋回路中推斷轉(zhuǎn)向控制指令。DAVE - 2SKY可以通過兩個(gè)步驟進(jìn)行訓(xùn)練,包括監(jiān)督的預(yù)培訓(xùn)和強(qiáng)化的閉環(huán)反饋后培訓(xùn)。下面解釋兩個(gè)訓(xùn)練步驟結(jié)合的原因。

監(jiān)督的預(yù)訓(xùn)練是圖2 ( a )所示架構(gòu)的第一步。我們實(shí)現(xiàn)了類似于傳統(tǒng)訓(xùn)練系統(tǒng)的SIL配置,PreScan仿真器在PC上運(yùn)行,基于Caffe深度學(xué)習(xí)框架的CNN訓(xùn)練架構(gòu)在DevBox計(jì)算機(jī)上運(yùn)行。來自攝像機(jī)的圖像被饋送到DAVE-2SKY以產(chǎn)生方向盤角度,該方向盤角度將與記錄的可行方向盤角度進(jìn)行比較,以使用反向傳播機(jī)制來調(diào)整卷積網(wǎng)絡(luò)的濾波器的權(quán)重。我們在受監(jiān)督的預(yù)訓(xùn)練步驟中訓(xùn)練DAVE-2SKY進(jìn)行有限次數(shù)的迭代,在本研究中少于80,000個(gè)周期。兩***立的計(jì)算機(jī),用于仿真器的PC和DevBox,通過用戶數(shù)據(jù)報(bào)協(xié)議( UDP )網(wǎng)絡(luò)進(jìn)行通信。

在預(yù)訓(xùn)練步驟之后,DAVE-2SKY在加強(qiáng)的訓(xùn)練后步驟中接受訓(xùn)練。為了反饋回路,我們形成了一個(gè)獨(dú)特的SIL閉環(huán)體系結(jié)構(gòu),由運(yùn)行在PC上的PreScan仿真器和MATLAB Simulink以及運(yùn)行在DevBox計(jì)算機(jī)上的Caffe深度學(xué)習(xí)框架組成,如圖2 ( b )所示。

圖2.訓(xùn)練神經(jīng)網(wǎng)絡(luò)的框圖,DAVE - 2SKY :( a )有監(jiān)督的預(yù)訓(xùn)練;( b )強(qiáng)化閉環(huán)反饋后培訓(xùn)。

在PreScan仿真中,我們使用了一輛帶有前置攝像頭的虛擬車輛。通過使用MATLAB Simulink的一個(gè)內(nèi)置插件,我們在仿真過程中獲取了車輛的內(nèi)部狀態(tài)和攝像機(jī)的圖像數(shù)據(jù)。這些狀態(tài)數(shù)據(jù)表示車輛的當(dāng)前狀態(tài),例如速度、位置、航向和橫擺角速度。車輛狀態(tài)被送入預(yù)覽驅(qū)動(dòng)模型 (PDM),這是由仿真器配置的內(nèi)置控制器模型,用于產(chǎn)生所需的方向盤角 (dd),方法是使用作者團(tuán)隊(duì) [9.10] 提供的算法。在本研究中,PDM預(yù)測的轉(zhuǎn)向輸出被用作基本事實(shí)。使用方向盤上的接口設(shè)備,如Logitech G27,可以用人工駕駛代替PDM。這種靈活性使我們能夠?qū)⒂?xùn)練有素的DAVE - 2SKY轉(zhuǎn)移到一輛真正的自動(dòng)駕駛汽車上進(jìn)行道路試驗(yàn)。

與常規(guī)監(jiān)督訓(xùn)練相比,所提出的兩個(gè)訓(xùn)練步驟可提高學(xué)習(xí)效率和車輛操縱性能,原因可解釋如下。從前置攝像頭獲取NN的圖像數(shù)據(jù)并發(fā)送到DevBox。除了常規(guī)深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練程序的正常反向傳播機(jī)制之外,DAVE - 2SKY還在閉環(huán)反饋架構(gòu)中以強(qiáng)化的方式接受訓(xùn)練。與典型的CNN類似,DAVE-2SKY將獲取的像素映射到方向盤角度(δC)。反向傳播機(jī)制[1]調(diào)整網(wǎng)絡(luò)的CNN濾波器的權(quán)重,以最小化δD和δC之間的誤差。然后,修正了方向盤角度(δD'),由CNN網(wǎng)絡(luò)根據(jù)調(diào)整后的重量,作為控制輸入被輸入到車輛。因此,在所提出的訓(xùn)練后配置中嵌入了強(qiáng)化學(xué)習(xí)例程。

如前所述,訓(xùn)練有素的NN DAVE-2SKY是自動(dòng)駕駛車輛的控制器。傳統(tǒng)的簡單監(jiān)督預(yù)訓(xùn)練步驟可能不足以學(xué)習(xí)機(jī)動(dòng)車輛所需的仿人端到端視覺智能。涉及閉環(huán)反饋的訓(xùn)練后步驟允許在SIL環(huán)境中加強(qiáng)學(xué)習(xí)。如果我們用駕駛仿真器中的人類駕駛員代替PDM,DAVE - 2SKY可以學(xué)習(xí)啟發(fā)式駕駛體驗(yàn)。

III.仿真環(huán)境

PreScan仿真器允許構(gòu)建具有真實(shí)配置的虛擬驗(yàn)證環(huán)境,以使用虛擬車輛模型獲取豐富的信息。使用Simulink和PreScan的插件收集訓(xùn)練數(shù)據(jù)集。在仿真中使用具有默認(rèn)物理模型和動(dòng)態(tài)配置的虛擬車輛(奧迪A6)。如圖3所示,單個(gè)虛擬前置攝像頭安裝在虛擬車輛上。車輛的可控方向盤角度范圍為-500°至+ 500°。方向盤角度的符號(hào)表示方向盤的方向?yàn)轫槙r(shí)針為負(fù),逆時(shí)針為正,并且車輛的轉(zhuǎn)向比[11]設(shè)定為20:1。如圖4所示,行駛軌道長度為1492米,由兩條車道( 4米寬)組成。車道被黃色實(shí)線隔開,道路兩側(cè)都有人行道(高2m )。在仿真自動(dòng)巡航控制和車道保持機(jī)動(dòng)的過程中,我們將車輛速度設(shè)定為5m / s ( 18 km / h )的恒定速度。

圖3.安裝在虛擬車輛上的前置攝像頭傳感器。

A.?dāng)?shù)據(jù)收集和預(yù)處理

我們的目的是訓(xùn)練系統(tǒng)來評(píng)估橫向控制能力;因此,只需要車輛的圖像和方向盤角度數(shù)據(jù)。當(dāng)車輛在軌道上逆時(shí)針行駛時(shí)(圖4 ),數(shù)據(jù)以10hz的頻率提取。車輛狀態(tài)數(shù)據(jù)與幀號(hào)同步0.1s。用160×90像素幀捕獲圖像數(shù)據(jù),然后裁剪到160×40像素,以消除不必要的上層像素信息,如天空、樹木或遠(yuǎn)離道路的建筑物。方向盤角度數(shù)據(jù)是從內(nèi)置的PDM算法獲得的,該算法被用作車輛控制器模型,以獲得精確的方向盤角度控制數(shù)據(jù)。因?yàn)镻DM根據(jù)道路環(huán)境和車輛狀態(tài)產(chǎn)生精確的實(shí)時(shí)值,我們應(yīng)該擴(kuò)展它以獲得更廣泛的學(xué)習(xí)范圍。我們有意在PDM的方向盤角度輸出中添加范圍從–50到+ 50的隨機(jī)干擾。隨機(jī)干擾的目的是確定所提出的訓(xùn)練回路對(duì)駕駛過程中可能出現(xiàn)的隨機(jī)干擾的魯棒性。

B.訓(xùn)練

我們使用NVIDIA DevBox進(jìn)行訓(xùn)練,收集的圖像和方向盤角度數(shù)據(jù)是幀同步的。如第Ⅱ節(jié)所述,NN分兩個(gè)階段進(jìn)行訓(xùn)練。監(jiān)督預(yù)訓(xùn)練方法用80,000次迭代的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)。通過實(shí)驗(yàn)找到迭代次數(shù),以確定允許強(qiáng)化閉環(huán)反饋后訓(xùn)練同時(shí)正確訓(xùn)練和仿真的最少迭代次數(shù)。在預(yù)訓(xùn)練之后,DAVE-2SKY模型經(jīng)歷了訓(xùn)練后的迭代。在訓(xùn)練周期中,我們可以監(jiān)控所有狀態(tài)數(shù)據(jù),也可以可視化訓(xùn)練和仿真環(huán)境,如圖5所示。

圖4.用于訓(xùn)練和試駕仿真的軌道概述。

圖5.可視化仿真環(huán)境的截圖。

IV.仿真結(jié)果

通過仿真,我們打算通過允許自動(dòng)駕駛車輛在SIL環(huán)境中的不同情況下巡航來研究所提出的端到端控制器的性能和能力。測試期間,車輛以順時(shí)針方向行駛,與訓(xùn)練方向相反。通過在訓(xùn)練和測試仿真過程中交替路線,我們可以輕松地為DAVE-2SKY網(wǎng)絡(luò)提供不同的體驗(yàn)。

我們通過擾亂攝像機(jī)前方道路的視野范圍來調(diào)查端到端控制器的操作極限:我們在完全可觀察和部分可觀察的情況下仿真了轉(zhuǎn)向性能。需要各種駕駛條件,包括由擾亂完全觀察彎道的障礙物引起的完全以及部分可觀察的情況,以評(píng)估所提出的具有加強(qiáng)反饋回路的CNN模型如何能夠在車道保持操縱期間執(zhí)行橫向控制。

完全可觀察的情況如圖6(b)所示實(shí)施,車輛獨(dú)自在軌道上行駛。對(duì)于部分可觀察的情況,如圖6(c)和6(d)所示,在距自我自動(dòng)駕駛車輛不同距離處添加前方車輛。參數(shù)d定義為車輛后輪中心之間的距離,如圖6(a)所示。距離是確定前置攝像頭可觀測范圍的關(guān)鍵因素,我們在測試過程中將距離從7米改變?yōu)?2米。在仿真期間,測試車輛以5m / s的恒定速度巡航。

圖6.輸入攝像機(jī)的視圖: ( a )距離d的定義;( b )完全可觀察到(無前方車輛);( c )部分可觀察到( d = 8m );( d )部分可觀察( d = 10m )的情況。

我們認(rèn)為,如果車輛偏離車道,車道保持機(jī)動(dòng)會(huì)出現(xiàn)故障。如果發(fā)生故障,則仿真暫停。來自控制器和前置攝像頭的所有數(shù)據(jù)與輸入圖像的幀數(shù)同步。地面實(shí)況由PDM的方向盤角度表示。跟蹤誤差是方向盤角度與第nth幀處的地面實(shí)況之間的差異。完整的仿真結(jié)束了大約3,001的幀數(shù),因?yàn)檐囕v將返回到1,492米軌道的起始點(diǎn),恒定巡航速度為5米/秒,并且在3,001幀內(nèi)進(jìn)行適當(dāng)?shù)能嚨辣3植僮鳌?/p>

A.完全可觀察的情況

圖7顯示了完全可觀察的案例的仿真結(jié)果。由DAVE-2SKY駕駛的車輛僅經(jīng)過預(yù)訓(xùn)練36小時(shí)即可成功駕駛車輛,直到到達(dá)圖4中標(biāo)記的軌道的急彎位置。第1,500幀和第1,700幀之間軌道曲率的突然變化引起必要的轉(zhuǎn)向控制角度的快速變化以維持車道。因此,在車輛進(jìn)入急劇彎曲的路段之后不久,車輛偏離其車道。此外,DAVE - 2SKY控制器通過主監(jiān)督預(yù)訓(xùn)練步驟和隨后的強(qiáng)化后訓(xùn)練步驟成功地完成了全程軌道,并且與車道中心保持了可容忍的誤差距離。

B.部分可觀察的情況

在部分可觀察的情況下,每次嘗試通過DAVE-2SKY在預(yù)訓(xùn)練步驟中駕駛車輛在仿真中都沒有成功,并且如果攝像機(jī)僅能部分地觀察彎道,則無法操縱車輛進(jìn)行車道保持操縱。

如果距離d大于臨界值,由訓(xùn)練有素的DAVE - 2SKY控制器控制的車輛可以將車道保持在容許誤差范圍內(nèi)。在本文的仿真環(huán)境中,d的臨界值為9m?;贑NN的端到端控制器采用所提議的強(qiáng)化閉環(huán)訓(xùn)練步驟進(jìn)行訓(xùn)練,在部分可觀察到的情況下表現(xiàn)出了更好的性能。

圖7.DAVE-2SKY充分觀測情況下的仿真結(jié)果:(a)方向盤角度(上);(b) PDM的參考值(即仿真中的地面真實(shí)值)與推理輸出值(下限)之間的誤差。

當(dāng)前方行駛的車輛離自我駕駛車輛太近時(shí),彎道的大部分輸入信息都會(huì)被前方車輛屏蔽。然而,如果在外部仿真中距離大于9m,車輛可以成功地在軌道上巡航,同時(shí)保持其車道在容許誤差范圍內(nèi)。圖8中呈現(xiàn)的仿真結(jié)果有點(diǎn)嘈雜,但盡管在仿真期間施加了額外的干擾,但車輛仍然成功地行駛。

圖8.DAVE-2SKY部分可見情況下的仿真結(jié)果:(a)方向盤角度(上);(b) PDM的參考值(即仿真中的地面實(shí)況)與推理輸出值(下限)之間的誤差。

V.實(shí)驗(yàn)結(jié)果

由于多個(gè)仿真已經(jīng)證明了車道保持任務(wù)的可接受性能,因此DAVE-2SKY使用DRIVE?PX2計(jì)算機(jī)集成到真實(shí)的自動(dòng)駕駛車輛中,用于實(shí)驗(yàn)真實(shí)道路自動(dòng)駕駛測試,如圖9和圖10所示。

通過應(yīng)用第III節(jié)中描述的程序,收集并預(yù)處理真實(shí)道路的圖像數(shù)據(jù)以用于實(shí)際車輛的訓(xùn)練。收集的數(shù)據(jù)集包含了延世大學(xué)國際圖8中行駛2小時(shí)以上的圖像。收集到的數(shù)據(jù)集包含Yonsei大學(xué)國際校區(qū)行駛2小時(shí)以上的圖像(環(huán)境如圖10所示)。在數(shù)據(jù)收集過程中,一名熟練的駕駛員駕駛車輛保持車道不偏離。

使用所提出的兩種連續(xù)訓(xùn)練方法訓(xùn)練該車輛72小時(shí)。然后,訓(xùn)練好的模型被轉(zhuǎn)移到安裝在車輛上的PX - 2計(jì)算機(jī)上進(jìn)行實(shí)驗(yàn)性真實(shí)道路測試。在測試過程中,我們還評(píng)估了一個(gè)基于先前文章《[ 12,13]》的自動(dòng)停車算法的代客停車場景。實(shí)驗(yàn)驗(yàn)證了應(yīng)用于DAVE - 2SKY控制器的上述技術(shù)可能能夠?qū)ψ詣?dòng)駕駛車輛進(jìn)行縱向控制。實(shí)驗(yàn)視頻顯示在YouTube [14,15]上。由于長度限制,我們省略了本文中實(shí)驗(yàn)場景和相應(yīng)數(shù)據(jù)的詳細(xì)信息。

圖9.實(shí)驗(yàn)自主真實(shí)道路駕駛測試的測試車輛實(shí)施

圖10.自動(dòng)駕駛的實(shí)驗(yàn)路線,以及道路測試下車輛的快照照片

Ⅵ.討論

對(duì)完全和部分可觀察到的情況的仿真顯示了用所提議的步驟訓(xùn)練的DAVE - 2SKY的獨(dú)特能力。第IV節(jié)中描述的仿真結(jié)果表明,僅通過監(jiān)督預(yù)訓(xùn)練自學(xué)的模型(其具有與傳統(tǒng)端到端CNN模型相似的特性)無法對(duì)車道保持任務(wù)執(zhí)行適當(dāng)?shù)臋M向控制。然而,盡管訓(xùn)練周期數(shù)相似,但訓(xùn)練后的加強(qiáng)閉環(huán)反饋實(shí)際上增強(qiáng)并改善了轉(zhuǎn)向控制的性能。

部分可觀察的案例顯示了DAVE-2SKY的穩(wěn)健性。由于除了深NN中的反向傳播回路之外的閉環(huán)反饋系統(tǒng),所提出的DAVE-2SKY即使在車道保持機(jī)動(dòng)中的部分可觀察情況下也執(zhí)行魯棒的轉(zhuǎn)向控制。仿真結(jié)果表明,DAVE - 2SKY能夠從軌道自巡航控制期間的少量干擾中恢復(fù)。結(jié)果支持了我們的斷言,即受監(jiān)督的預(yù)訓(xùn)練和隨后的訓(xùn)練后步驟以及增強(qiáng)的閉環(huán)反饋使得端到端控制器能夠在合理的誤差范圍內(nèi)對(duì)車道保持任務(wù)進(jìn)行完全橫向控制。

Ⅶ.結(jié)論

我們提出了一種端到端轉(zhuǎn)向控制器,該控制器具有基于CNN的自主車輛閉環(huán)反饋,與傳統(tǒng)的基于CNN的方法相比,該控制器可提高控制性能。提議的NN,DAVE - 2SKY,能夠通過監(jiān)督的預(yù)訓(xùn)練和加強(qiáng)的閉環(huán)后訓(xùn)練,利用安裝在車輛上的攝像機(jī)的圖像來學(xué)習(xí)控制方向盤角度,用于自動(dòng)駕駛車輛的橫向控制。我們使用PreScan仿真器和Caffe深度學(xué)習(xí)框架在SIL仿真環(huán)境中進(jìn)行多種環(huán)境下的訓(xùn)練。通過仿真和路況試驗(yàn),研究了該系統(tǒng)的性能。我們使用DRIVE PX2計(jì)算機(jī)實(shí)現(xiàn)了一輛自動(dòng)駕駛汽車對(duì)所提議的端到端控制器進(jìn)行了實(shí)驗(yàn)驗(yàn)證。總之,這項(xiàng)工作表明,基于CNN的端到端控制器即使在部分可觀察的情況下也能執(zhí)行魯棒的轉(zhuǎn)向控制,這表明完全智能的自動(dòng)駕駛車輛有可能由基于CNN的端到端轉(zhuǎn)向控制器控制。

致謝

這項(xiàng)工作得到了韓國科學(xué)和信通技術(shù)部的支持,并得到了信息和通信技術(shù)促進(jìn)研究所監(jiān)督的信通技術(shù)一致性創(chuàng)新方案( IITP - 2017 - 2017 - 0 - 01015 )的支持。作者在SK電信ICT研發(fā)中心支持的SKT -Yonsei全球人才培養(yǎng)計(jì)劃下,作為SKT - Yonsei合作自動(dòng)駕駛研究中心研究項(xiàng)目的一部分進(jìn)行了這項(xiàng)工作。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 控制器
    +關(guān)注

    關(guān)注

    114

    文章

    17113

    瀏覽量

    184418
  • 自動(dòng)駕駛
    +關(guān)注

    關(guān)注

    790

    文章

    14323

    瀏覽量

    170721
  • cnn
    cnn
    +關(guān)注

    關(guān)注

    3

    文章

    354

    瀏覽量

    22748

原文標(biāo)題:基于CNN閉環(huán)反饋的自動(dòng)駕駛車輛端到端轉(zhuǎn)向控制器

文章出處:【微信號(hào):IV_Technology,微信公眾號(hào):智車科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    FPGA在自動(dòng)駕駛領(lǐng)域有哪些應(yīng)用?

    數(shù)據(jù)的實(shí)時(shí)處理和反饋,為自動(dòng)駕駛汽車的決策提供實(shí)時(shí)、準(zhǔn)確的數(shù)據(jù)支持。 三、控制系統(tǒng)優(yōu)化自動(dòng)駕駛汽車的控制系統(tǒng)是復(fù)雜的,需要實(shí)現(xiàn)對(duì)車速、
    發(fā)表于 07-29 17:09

    細(xì)說關(guān)于自動(dòng)駕駛那些事兒

    展示在市區(qū)的自動(dòng)駕駛情境。這臺(tái)由光達(dá)、定位系統(tǒng)和攝影機(jī)組成的自動(dòng)駕駛車,在車輛偏離車道時(shí)可自動(dòng)導(dǎo)回車道。三系統(tǒng)的作用優(yōu)先級(jí),第
    發(fā)表于 05-15 17:49

    所有看見的車輛都為自動(dòng)駕駛提供了動(dòng)力

    實(shí)際事件或預(yù)測對(duì)車輛運(yùn)動(dòng)進(jìn)行部分控制。包括盲點(diǎn)覆蓋的側(cè)鏡和后鏡更換系統(tǒng)就是個(gè)很好的例子;這些作為ADAS的部分,可以自動(dòng)防止
    發(fā)表于 10-16 09:46

    為何自動(dòng)駕駛需要5G?

    基于強(qiáng)大的3GPP生態(tài)系統(tǒng)和連續(xù)完善的蜂窩網(wǎng)絡(luò)覆蓋,可大幅降低未來自動(dòng)駕駛和車聯(lián)網(wǎng)部署成本。與雷達(dá)、激光雷達(dá)等傳感不同,我們可以把V2X視為一種無線傳感系統(tǒng)的解決方案,它允許
    發(fā)表于 06-08 07:00

    網(wǎng)聯(lián)化自動(dòng)駕駛的含義及發(fā)展方向

    :    由以上兩定義可以看出,隨著通信技術(shù)的發(fā)展,汽車行業(yè)正在經(jīng)歷前所未有的轉(zhuǎn)型,自動(dòng)駕駛技術(shù)正逐漸由單車智能轉(zhuǎn)向網(wǎng)聯(lián)化,而V2X通信技術(shù)作為智能網(wǎng)聯(lián)汽車中的信息交互關(guān)鍵技術(shù),可用于
    發(fā)表于 01-12 15:42

    如何基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)個(gè)自動(dòng)駕駛模型?

    如何基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)個(gè)自動(dòng)駕駛模型?如何設(shè)計(jì)個(gè)基于增強(qiáng)學(xué)習(xí)的
    的頭像 發(fā)表于 04-29 16:44 ?5302次閱讀
    如何基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)<b class='flag-5'>一</b>個(gè)<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>的<b class='flag-5'>自動(dòng)駕駛</b>模型?

    自動(dòng)駕駛研發(fā)系統(tǒng)介紹

    Nvidia是比較早做控制車輛工作的公司,其方法訓(xùn)練CNN模型完成從單個(gè)前向攝像頭的圖像像
    的頭像 發(fā)表于 07-13 09:30 ?5384次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>的<b class='flag-5'>自動(dòng)駕駛</b>研發(fā)系統(tǒng)介紹

    分享一種基于自動(dòng)駕駛需求的線控轉(zhuǎn)向設(shè)計(jì)方法

    自動(dòng)駕駛的橫向控制需求和傳統(tǒng)的執(zhí)行部件有些不樣。在實(shí)際過程中,比如轉(zhuǎn)向或制動(dòng),目前國內(nèi)研發(fā)中很多是逆向開發(fā),或是基于當(dāng)前狀態(tài)的開發(fā),缺少一種
    發(fā)表于 11-17 09:09 ?1105次閱讀
    分享<b class='flag-5'>一種</b>基于<b class='flag-5'>自動(dòng)駕駛</b>需求的線控<b class='flag-5'>轉(zhuǎn)向</b>設(shè)計(jì)方法

    佐思汽研發(fā)布《2024年自動(dòng)駕駛研究報(bào)告》

    自動(dòng)駕駛是直接從傳感信息輸入(如攝像頭圖像、LiDAR等)
    的頭像 發(fā)表于 04-20 11:21 ?4584次閱讀
    佐思汽研發(fā)布《2024年<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>研究報(bào)告》

    實(shí)現(xiàn)自動(dòng)駕駛,唯有?

    ,去年行業(yè)主流方案還是輕高精地圖城區(qū)智駕,今年大家的目標(biāo)都瞄到了(End-to-End, E2E)。
    的頭像 發(fā)表于 08-12 09:14 ?1527次閱讀
    實(shí)現(xiàn)<b class='flag-5'>自動(dòng)駕駛</b>,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    Mobileye自動(dòng)駕駛解決方案的深度解析

    強(qiáng)大的技術(shù)優(yōu)勢。 Mobileye的解決方案概述 1.1 什么是
    的頭像 發(fā)表于 10-17 09:35 ?843次閱讀
    Mobileye<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>解決方案的深度解析

    連接視覺語言大模型與自動(dòng)駕駛

    自動(dòng)駕駛在大規(guī)模駕駛數(shù)據(jù)上訓(xùn)練,展現(xiàn)出很強(qiáng)的決策規(guī)劃能力,但是面對(duì)復(fù)雜罕見的駕駛場景,依然
    的頭像 發(fā)表于 11-07 15:15 ?713次閱讀
    連接視覺語言大模型與<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>

    自動(dòng)駕駛技術(shù)研究與分析

    傳遞和全局優(yōu)化的優(yōu)勢,成為智能駕駛技術(shù)發(fā)展的重要方向。與傳統(tǒng)模塊化架構(gòu)相比,技術(shù)通過深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從傳感數(shù)據(jù)輸入
    的頭像 發(fā)表于 12-19 13:07 ?902次閱讀

    文帶你厘清自動(dòng)駕駛架構(gòu)差異

    [首發(fā)于智駕最前沿微信公眾號(hào)]隨著自動(dòng)駕駛技術(shù)飛速發(fā)展,智能駕駛系統(tǒng)的設(shè)計(jì)思路也經(jīng)歷了從傳統(tǒng)模塊化架構(gòu)
    的頭像 發(fā)表于 05-08 09:07 ?303次閱讀
    <b class='flag-5'>一</b>文帶你厘清<b class='flag-5'>自動(dòng)駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>架構(gòu)差異

    為什么自動(dòng)駕駛大模型有黑盒特性?

    、激光雷達(dá)數(shù)據(jù))映射到控制輸出(如方向盤轉(zhuǎn)角、加速度、制動(dòng)等),以深度神經(jīng)網(wǎng)絡(luò)為核心,打通了從視覺駕駛行為的完整鏈條。它也代表了自動(dòng)駕駛從“規(guī)則驅(qū)動(dòng)”向“數(shù)據(jù)驅(qū)動(dòng)”的躍遷,展現(xiàn)了極高
    的頭像 發(fā)表于 07-04 16:50 ?221次閱讀
    為什么<b class='flag-5'>自動(dòng)駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大模型有黑盒特性?