自動(dòng)駕駛汽車是當(dāng)前機(jī)器學(xué)習(xí)研究者和工程師們正在探索的最復(fù)雜任務(wù)之一。它覆蓋很多方面，而且要求必須高度穩(wěn)定，只有這樣我們才能保證自動(dòng)駕駛汽車在道路上安全運(yùn)行。通常，自動(dòng)駕駛算法的訓(xùn)練需要大量真實(shí)人類駕車的訓(xùn)練數(shù)據(jù)，我們?cè)噲D讓深度神經(jīng)網(wǎng)絡(luò)理解這些數(shù)據(jù)，并復(fù)現(xiàn)人類遇到這些情況時(shí)的反應(yīng)。

眾所周知，當(dāng)數(shù)據(jù)量足夠多時(shí)，深度監(jiān)督模型會(huì)被訓(xùn)練得很好，但目前的深度學(xué)習(xí)仍存在泛化性能不好和訓(xùn)練效率不高的問(wèn)題，研究人員一直在尋求構(gòu)建智能模型的新方法。當(dāng)前人們探求的方向總是更深的網(wǎng)絡(luò)，但這意味著更高的算力消耗。因此正如人們所思考的那樣，必須尋找一種需要更少數(shù)據(jù)或更少神經(jīng)網(wǎng)絡(luò)層的方法，讓機(jī)器實(shí)現(xiàn)智能化。

▲ 模仿線蟲(chóng)進(jìn)行控制的神經(jīng)網(wǎng)絡(luò)

最近，來(lái)自MIT CSAIL、維也納工業(yè)大學(xué)、奧地利科技學(xué)院的團(tuán)隊(duì)已經(jīng)開(kāi)發(fā)了一種基于線蟲(chóng)大腦的新型AI系統(tǒng)。研究成果登上了最近的《自然·機(jī)器智能》雜志。

他們發(fā)現(xiàn)，具有19個(gè)控制神經(jīng)元的單個(gè)算法，通過(guò)253個(gè)突觸將32個(gè)封裝的輸入特征連接到輸出，可以學(xué)習(xí)把高維輸入映射到操縱命令。

這種新的AI系統(tǒng)用少量人工神經(jīng)元控制車輛轉(zhuǎn)向。而基于CNN和LSTM的神經(jīng)網(wǎng)絡(luò)打造同樣的自動(dòng)駕駛系統(tǒng)，網(wǎng)絡(luò)結(jié)構(gòu)則要復(fù)雜得多。

▲ 使用CNN實(shí)現(xiàn)車輛屆時(shí)系統(tǒng)

該方法受線蟲(chóng)等小型動(dòng)物大腦的啟發(fā)，僅用數(shù)十個(gè)神經(jīng)元即可控制自動(dòng)駕駛汽車，而常規(guī)深度神經(jīng)網(wǎng)絡(luò)方法（如 Inception、ResNet、VGG 等）則需要數(shù)百萬(wàn)神經(jīng)元。這一新型網(wǎng)絡(luò)僅使用 75000 個(gè)參數(shù)、19 個(gè)神經(jīng)元，比之前減少了數(shù)萬(wàn)倍！

該方法還帶來(lái)了額外的好處，由于神經(jīng)元數(shù)量稀少，這樣的網(wǎng)絡(luò)不再是深度模型的「黑箱」，人們可以知道網(wǎng)絡(luò)在每個(gè)運(yùn)行階段的情況。該研究項(xiàng)目負(fù)責(zé)人 Radu Grosu 教授表示：「正如線蟲(chóng)（nematode C. elegans）這種生命，它們以驚人的少量神經(jīng)元實(shí)現(xiàn)有趣的行為模式?！?/p>

▲ 三種不同的神經(jīng)連接模型

這是因?yàn)榫€蟲(chóng)的神經(jīng)系統(tǒng)能夠以高效、協(xié)調(diào)的方式處理信息。該系統(tǒng)證明深度學(xué)習(xí)模型仍有改進(jìn)空間。如果線蟲(chóng)在進(jìn)化到接近最優(yōu)的神經(jīng)系統(tǒng)結(jié)構(gòu)后，能夠憑借極少量神經(jīng)元做出有趣的行為反應(yīng)，那我們也可以讓機(jī)器做到。該神經(jīng)系統(tǒng)可以讓線蟲(chóng)執(zhí)行移動(dòng)、動(dòng)作控制和導(dǎo)航行為，而這恰恰是自動(dòng)駕駛等應(yīng)用所需要的。

該研究參與者之一 Thomas Henzinger 教授表示，他們按照這一神經(jīng)系統(tǒng)，「開(kāi)發(fā)了一種新型數(shù)學(xué)神經(jīng)元和突觸模型」——liquid time constant（LTC）神經(jīng)元。簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)的一種方式是使之變得稀疏，即并非每一個(gè)單元都與其他單元相連接。當(dāng)一個(gè)單元被激活時(shí)，其他單元未被激活，這可以降低計(jì)算時(shí)間，因?yàn)樗形幢患せ顔卧獩](méi)有任何輸出（或者輸出為 0，可以極大地加快計(jì)算速度）。

▲ 神經(jīng)網(wǎng)絡(luò)專注于圖像的非常具體的部分

這一新系統(tǒng)包括兩部分。

首先是一個(gè)緊湊的卷積神經(jīng)網(wǎng)絡(luò)，用于從輸入圖像像素中提取結(jié)構(gòu)特征。使用這類信息，網(wǎng)絡(luò)能夠確定圖像的哪些部分較為重要或有趣，并僅將這部分圖像傳輸至下一個(gè)步驟。

該研究提出新架構(gòu)的端到端表示。

第二個(gè)部分即「控制系統(tǒng)」，它利用一組生物啟發(fā)神經(jīng)元做出的決策來(lái)控制汽車。這一控制系統(tǒng)又叫做「神經(jīng)電路策略」（neural circuit polic，NCP）。

它將緊湊卷積模型的輸出數(shù)據(jù)轉(zhuǎn)換到僅有 19 個(gè)神經(jīng)元的 RNN 架構(gòu)中（該架構(gòu)受線蟲(chóng)神經(jīng)系統(tǒng)的啟發(fā)），進(jìn)而控制汽車。

▲ NCP 網(wǎng)絡(luò)的實(shí)現(xiàn)細(xì)節(jié)參見(jiàn)相關(guān)論文及 GitHub 項(xiàng)目

這帶來(lái)了參數(shù)量的銳減。論文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三個(gè)數(shù)量級(jí)」，參見(jiàn)下表 2。

▲ 網(wǎng)絡(luò)規(guī)模對(duì)比

由于該架構(gòu)規(guī)模很小，因此我們可以看清楚其注意力在輸入圖像的哪一部分。研究者發(fā)現(xiàn)，用這么小的網(wǎng)絡(luò)提取圖像最重要部分時(shí)，這些神經(jīng)元只關(guān)注路邊和視野。在目前著重于分析圖像每一個(gè)細(xì)節(jié)的人工智能系統(tǒng)中，這是很獨(dú)特的行為。

與其他網(wǎng)絡(luò)相比，傳輸至 NCP 網(wǎng)絡(luò)的信息可謂少之又少。僅通過(guò)上圖，我們就可以發(fā)現(xiàn)該方法比現(xiàn)有方法更加高效，計(jì)算速度也更快。

責(zé)任編輯：haq