來自哈佛大學(xué)的初創(chuàng)公司Perceptive Automata正在讓自動駕駛汽車實現(xiàn)像人類一樣的推理和判斷。

行人檢測( Pedestrian Detection)一直是計算機(jī)視覺研究中的熱點和難點。在過去的研究中，行人檢測要解決的問題是：找出圖像或視頻幀中所有的行人，包括位置和大小，一般用矩形框表示，和人臉檢測類似，這也是典型的目標(biāo)檢測問題。由于人的外觀差異大，遮擋，復(fù)雜的背景以及行人的速度不同，給檢測帶來了很大的難度。再加上即使你成功檢測到目標(biāo)，無法預(yù)知行人的下一步動作，也同樣會產(chǎn)生安全風(fēng)險。

近日，來自哈佛大學(xué)的初創(chuàng)公司 Perceptive Automata 公布了他們最新的研究成果，他們通過深度學(xué)習(xí)將這種人類才有的直覺應(yīng)用于自動駕駛汽車中。

當(dāng)人在駕駛過程中，你會通過行人的面部表情，肢體行為，對方手持物品等視覺線索，只需輕輕一瞥，就可以了解到一個人的很多信息。比如你可以判斷正在過馬路的行人是否已經(jīng)疲憊、正在分心或是很匆忙，根據(jù)他的穿著打扮也可以看出他是下班回家還是去健身房。大腦非常擅長處理此類感知，以至于人類都很難意識到自己在做的這些判斷。

當(dāng)無人駕駛的研發(fā)過程中，把行人的肢體語言或?qū)Ψ绞殖治锲返纫曈X線索作為駕駛決策形成的重要信息，通過使用一些深度學(xué)習(xí)算法，使用真實世界的人類行為數(shù)據(jù)來訓(xùn)練算法，同時運行這些算法以此來驅(qū)動汽車的 AI技術(shù)，汽車就能夠更為全面地了解周圍環(huán)境，從而增強(qiáng)安全性。

有人會說“理都懂，然并卵”，然而 Perceptive Automata 的軟件正在實現(xiàn)這項不可能完成的任務(wù)。

Perceptive Automata的行人行為理解算法

傳統(tǒng)訓(xùn)練方法會使用一系列同一物體的圖片，教會神經(jīng)網(wǎng)絡(luò)辨別該物體。例如，工程師會向深度學(xué)習(xí)算法展示數(shù)百萬張救護(hù)車的圖片，然后該軟件就能夠自主識別出救護(hù)車。

Perceptive Automata 沒有使用指向同一概念的多張圖片進(jìn)行訓(xùn)練，而是讓數(shù)據(jù)可以用一幅圖向神經(jīng)網(wǎng)絡(luò)傳達(dá)一系列信息。通過結(jié)合面部表情與其他標(biāo)志物（如某人正拿著咖啡或手機(jī)），該軟件可以推斷出行人的注意力集中在何處。

Perceptive Automata 訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可理解人類行為，從而實現(xiàn)安全的自動駕駛。他們同時借助了 NVIDIA DRIVE強(qiáng)大的性能以及節(jié)能的特性，通過車載深度學(xué)習(xí)平臺讓軟件可以分析一系列肢體語言標(biāo)志，并推斷出行人的路線。該軟件可以對汽車視野內(nèi)的一個人或整個人群進(jìn)行計算，從而為道路上的每個人創(chuàng)造更安全的環(huán)境。

其聯(lián)合創(chuàng)始人薩姆安東尼說：“我們正在建立一個模塊，讓自動駕駛汽車能夠了解人類在路上的心態(tài)?！彼嬖V我們，該軟件將“讓自動駕駛汽車能夠看到一個人，并以類似人的理解，'這個人想過馬路，這個人知道我的車在這里。'”通常情況下，機(jī)器學(xué)習(xí)算法可以利用客觀數(shù)據(jù)來訓(xùn)練算法，Perceptive Automata 是依賴于人的主觀判斷思路來提供用于訓(xùn)練其算法的數(shù)據(jù)。

該公司要求人們觀看視頻剪輯，然后在其中標(biāo)記行人，最好能判斷每個行人是否試圖過馬路以及他是否注意到了這輛車。Perceptive Automata的工程師然后使用這個標(biāo)記視頻數(shù)據(jù)集來訓(xùn)練機(jī)器學(xué)習(xí)算法，以做出同樣的判斷。

該公司把其研究成果做成了一個軟件模塊，任何自動駕駛汽車制造商都可以購買并放入其現(xiàn)有的駕駛堆棧中。Perceptive Automata 認(rèn)為，自動駕駛汽車制造商應(yīng)該將其視為一種額外的傳感器，可以有效地讀取車輛周圍行人的思想。然后，將這種“傳感器”數(shù)據(jù)與來自攝像機(jī)，激光雷達(dá)和其他硬件傳感器的數(shù)據(jù)相結(jié)合，以實現(xiàn)更平穩(wěn)，更自信的駕駛。

聽起來很心動，但是開發(fā)自動駕駛汽車的公司是否真的會將此功能外包給第三方做，而不是在內(nèi)部開發(fā)這種功能。安東尼告訴我們，制造自動駕駛汽車的公司有很多東西在他們的盤子里，他們寫了無數(shù)的代碼去保證車輛安全，如果有現(xiàn)成的軟件模塊，他們不會再去花費更多的時間去研究這些細(xì)節(jié)。對于那些正在全力以赴的實現(xiàn)無人駕駛商業(yè)化的公司來說，他們真正的戰(zhàn)場在讓測試車隊如何更安全的路測上。Nvidia將Perceptive Automata 作為合作伙伴，Perceptive Automata目前的客戶包括汽車制造商及其一級供應(yīng)商，以及一些創(chuàng)業(yè)公司。

行人意圖研究現(xiàn)狀

該公司相關(guān)論文筆者目前并沒有找到，關(guān)于此類研究目前較少。西班牙巴塞羅那自治大學(xué)計算機(jī)科學(xué)系（UAB）Zhijie Fang 等人通過分析行人的姿勢來確定他或她是否要進(jìn)入道路。他們基于CNN的現(xiàn)成2D行人姿勢估計方法，從單目圖像開發(fā)行人意圖的檢測器。在一個合適的人體骨架上，定義了關(guān)鍵點的相對特征，和高效的機(jī)器學(xué)習(xí)方法（SVM，RF）一起，能夠理解諸如交叉與停止，彎曲和行動等行人的動作。Perceptive Automata 認(rèn)為這種完全基于他們觀察到的行為來預(yù)測行人運動的方法，沒有結(jié)合行人的心態(tài)來注釋訓(xùn)練數(shù)據(jù)。

通過行為科學(xué)去建立AI正成為下一代人工智能汽車的重要研究方向。李德毅院士團(tuán)隊曾在《自駕駛交互認(rèn)知》論文中也表達(dá)過：目前自動駕駛技術(shù)在交互認(rèn)知上的缺失，不僅體現(xiàn)在行人的肢體語言交互，還體現(xiàn)在基于自然語言的交互認(rèn)知等方面。這種結(jié)合了行為科學(xué)（包括認(rèn)知心理學(xué)，神經(jīng)科學(xué)和心理物理學(xué)）技術(shù)，通過軟件平臺底層的機(jī)器學(xué)習(xí)模型來訓(xùn)練行人意圖識別的方法相比普通的目標(biāo)識別似乎更加智能。至少，將來無人車與行人不必分開，讓行人擁有換用的“人行道”。