語(yǔ)言是人類之間溝通交流最基本的形式，科學(xué)家很早就對(duì)語(yǔ)音識(shí)別表現(xiàn)出很濃厚的興趣，1952年貝爾實(shí)驗(yàn)室研發(fā)出可識(shí)別單個(gè)數(shù)字0-9的語(yǔ)音識(shí)別Andry系統(tǒng)，從20世紀(jì)60年代開始美國(guó)卡耐基梅隆大學(xué)開展了連續(xù)語(yǔ)音識(shí)別的研究并在80年代開發(fā)出首個(gè)“非特定人連續(xù)語(yǔ)音識(shí)別系統(tǒng)”，但受制于傳統(tǒng)經(jīng)典模型的局限性使語(yǔ)言識(shí)別的發(fā)展止步于此，直到2006年深度置信網(wǎng)絡(luò)（DBN）解決模型訓(xùn)練容易陷入局部最優(yōu)問(wèn)題，2011年深度神經(jīng)網(wǎng)絡(luò)（DNN）模型在大詞匯量連續(xù)語(yǔ)音識(shí)別上的應(yīng)用取得成功帶動(dòng)語(yǔ)音識(shí)別產(chǎn)業(yè)應(yīng)用的高潮。

當(dāng)然這段時(shí)間中國(guó)也在進(jìn)行語(yǔ)音識(shí)別的探索，1958年中國(guó)科學(xué)院聲學(xué)所利用電子管電路識(shí)別10個(gè)元音，1973年中國(guó)科學(xué)院聲學(xué)所開始研究計(jì)算機(jī)語(yǔ)音識(shí)別，1986年中國(guó)“863計(jì)劃”首次將語(yǔ)音識(shí)別專門列為研究課題，之后誕生科大訊飛、百度、云知聲、思必馳等企業(yè)。

DNN技術(shù)的應(yīng)用雖然在大詞匯量連續(xù)語(yǔ)音識(shí)別上有大的突破，但是無(wú)法對(duì)時(shí)間序列上的變化進(jìn)行建模，簡(jiǎn)單的說(shuō)就是一段話中的每個(gè)字都能識(shí)別但是整句話讀起來(lái)不通順詞不達(dá)意，無(wú)法根據(jù)語(yǔ)境、前后文識(shí)別成完整的一句話，而循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）可以把前一時(shí)刻的輸出作為后一時(shí)刻的輸入從而生成完整的一句話?？拼笥嶏w在此基礎(chǔ)上提出了前饋型序列記憶網(wǎng)絡(luò)（FSMN），通過(guò)結(jié)合FSMN和RNN算法的優(yōu)點(diǎn)提高語(yǔ)言識(shí)別準(zhǔn)確性的同時(shí)縮短模型訓(xùn)練的周期、降低識(shí)別的響應(yīng)時(shí)間。

車載的人臉識(shí)別可能沒(méi)有語(yǔ)音識(shí)別那么普及，但人類幾乎同時(shí)對(duì)語(yǔ)音和人臉識(shí)別進(jìn)行研究，早在20 世紀(jì)50年代就已經(jīng)開始對(duì)人臉識(shí)別進(jìn)行理論性研究。20世紀(jì)60年代主要利用人臉的幾何結(jié)構(gòu)，通過(guò)分析人臉器官特征點(diǎn)及其之間的拓?fù)潢P(guān)系進(jìn)行辨識(shí)。20世紀(jì)90年代引入“特征臉”方法對(duì)人臉進(jìn)行識(shí)別。2013年微軟亞洲研究院的研究者首度嘗試了 10 萬(wàn)規(guī)模的大訓(xùn)練數(shù)據(jù)，2014年起深度學(xué)習(xí)的應(yīng)用帶動(dòng)人臉識(shí)別準(zhǔn)確率上大幅提升，人臉識(shí)別產(chǎn)業(yè)化發(fā)展進(jìn)入快車道。

深度學(xué)習(xí)是指通過(guò)對(duì)物體進(jìn)行逐層的特征分類篩選，第一層可能會(huì)尋找簡(jiǎn)單的邊線，第二層可能會(huì)尋找可以形成長(zhǎng)方形或圓形等簡(jiǎn)單形狀的邊線集合，第三層可能會(huì)識(shí)別眼睛和鼻子等特征，通過(guò)人臉檢測(cè)、特征點(diǎn)識(shí)別、特征提取和特征比對(duì)等技術(shù)手段最終將這些特征結(jié)合在一起掌握“人臉”的概念。神經(jīng)網(wǎng)絡(luò)模型層數(shù)越多，人臉特征的分類越詳細(xì)，可區(qū)分的特征越多，人臉識(shí)別的準(zhǔn)確度越高，商湯科技Parrots平臺(tái)驅(qū)動(dòng)“設(shè)計(jì)深度學(xué)習(xí)大腦”有1207層網(wǎng)絡(luò)，1000+次的層層篩選把關(guān)，識(shí)別的準(zhǔn)確度最高可達(dá)99%。

對(duì)于這個(gè)萬(wàn)物互聯(lián)的時(shí)代，科大訊飛的語(yǔ)言識(shí)別和商湯的人臉識(shí)別如何賦能威馬智能汽車呢？目前市面上所有的智能汽車在你每次要通過(guò)語(yǔ)音控制汽車的某些功能（打開車窗、打開空調(diào)等）都需要先喚醒它“你好，某某”，但如果有一輛威馬汽車在你出發(fā)前，解鎖后靠近，在車外時(shí)就主動(dòng)向你問(wèn)好，這種自帶主角光環(huán)的出場(chǎng)方式，總能吸引旁人目光。上車后根據(jù)你的身份主動(dòng)調(diào)節(jié)座椅、后視鏡、方向盤等位置，登錄享受會(huì)員權(quán)益等，“一眼就懂”你的想法，疲勞時(shí)通過(guò)儀表的提示音進(jìn)行警示，亦或用語(yǔ)音提醒車主是否需要“來(lái)點(diǎn)音樂(lè)”，還可以遠(yuǎn)程控制智能家居，是不是有一種越級(jí)的體驗(yàn)？

以上功能的實(shí)現(xiàn)都要先回答一下問(wèn)題：這輛車怎么知道Who are you？ 這主要靠駕駛艙內(nèi)的內(nèi)置主駕攝像頭，攝像頭除了可以用于安全駕駛-駕駛員疲勞、分神的檢測(cè)之外，還是人臉識(shí)別身份的入口，通過(guò)人臉檢測(cè)、特征點(diǎn)識(shí)別、特征提取和特征比對(duì)等技術(shù)手段，最終識(shí)別出人臉的身份。

智能車內(nèi)攝像頭的加入為人-車在語(yǔ)音交互之外新增人臉交互端口，語(yǔ)音交互給人的感覺(jué)始終是他不知道你是誰(shuí)，誰(shuí)都可以指示它，你說(shuō)什么它就做什么，它更像一個(gè)沒(méi)有靈魂情感的機(jī)器人，而人臉交互最大的優(yōu)勢(shì)，它可以準(zhǔn)確識(shí)別Who are you？ Where you come from？ What do you like？ 真正做到what can I do specifically for you！ 根據(jù)駕駛員的身份不同，匹配相應(yīng)的功能設(shè)置，一個(gè)眼神秒懂你，實(shí)現(xiàn)專人專享的智能座艙體驗(yàn)。

除了以上說(shuō)的語(yǔ)音識(shí)別、人臉識(shí)別各個(gè)獨(dú)立功能之外，威馬的智能交互AI小威深度融合整車所有傳感器數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，開發(fā)出如情緒識(shí)別、接管能力和前車起步提醒等功能。以前車起步提醒功能為例，紅綠燈路口停車之后，駕駛員一般都會(huì)看看手機(jī)發(fā)個(gè)微信、打電話、換音樂(lè)等等，總之這個(gè)時(shí)候很少有人還會(huì)把注意力放到正前方，AI小威通過(guò)前置攝像頭計(jì)算周邊車輛位置、速度信息，再根據(jù)本車的多個(gè)傳感器計(jì)算本車運(yùn)行狀態(tài)速度等信息，結(jié)合人臉識(shí)別判斷駕駛員分心未注視前方時(shí)通過(guò)語(yǔ)音或儀表提醒駕駛員起步。這些都是基于整車現(xiàn)有硬件的前提下，發(fā)掘用戶開車用車的“痛點(diǎn)”，深度融合整車傳感器數(shù)據(jù)開發(fā)新的功能，后續(xù)的功能通過(guò)不斷的OTA升級(jí)實(shí)現(xiàn)。

在車內(nèi)智能交互之外，威馬還打破空間的界限，對(duì)車聯(lián)網(wǎng)和物聯(lián)網(wǎng)（IoT，Internet of things）等資源進(jìn)行整合，無(wú)縫連接車內(nèi)第三空間和家，實(shí)現(xiàn)在車內(nèi)通過(guò)語(yǔ)音遠(yuǎn)程控制家里空調(diào)、熱水器、房間燈等的開啟關(guān)閉，解決進(jìn)門前提前開啟空調(diào)、開熱水器等和出門總是擔(dān)心“忘記關(guān)各種電器”的難題。到家后還可以通過(guò)小愛音箱隨時(shí)查看愛車狀態(tài)、可續(xù)航里程、充電量等，在家就可以根據(jù)愛車電量提前規(guī)劃行程安排。借助于IoT智能設(shè)備，加入物聯(lián)網(wǎng)生態(tài)圈，目前已支持的智能家居產(chǎn)品達(dá)到8類30種9，000萬(wàn)個(gè)，后期還在不斷拓展車聯(lián)網(wǎng)所用的場(chǎng)景，開發(fā)出更多實(shí)用的功能。

對(duì)于人-車交互，威馬并沒(méi)有止步一般的“察言觀色”的功能設(shè)計(jì)，還在深度發(fā)掘用戶真正需求，通過(guò)面部表情、眼神、肢體動(dòng)作、手勢(shì)等細(xì)節(jié)了解用戶當(dāng)前的情感、態(tài)度和意圖，追求的最終目標(biāo)是在多模態(tài)交互體驗(yàn)上更具有人格化。圍繞多模態(tài)交互場(chǎng)景下的聲紋識(shí)別、手勢(shì)識(shí)別、表情識(shí)別、視線跟蹤，以及CarbinSensing感知技術(shù)也都在同步開展探索研究，借助于深度學(xué)習(xí)技術(shù)提高識(shí)別的準(zhǔn)確度，不斷推進(jìn)相關(guān)技術(shù)的產(chǎn)業(yè)化發(fā)展，在不久的將來(lái)賦能威馬智能汽車。