NVIDIA已經(jīng)宣傳Xavier好幾年了，最近終于披露重要的參數(shù)細(xì)節(jié)。作為有史以來最龐大、最復(fù)雜的片上系統(tǒng)（SOC），Xavier設(shè)計用于支持各種復(fù)雜的人工智能實時推理處理，用于無人機(jī)、機(jī)器人和自動駕駛。

雖然特斯拉已經(jīng)選擇設(shè)計自己的芯片平臺用于自主駕駛，但在看到這個平臺提供了什么之后，我不敢相信這個決定是基于NVIDIA DrivePX Pegasus的性能或靈活性不足的。

NVIDIA聲稱Xavier是迄今為止發(fā)明的最復(fù)雜的SOC。它包括大量的專用處理器，用于在視覺系統(tǒng)中必須處理的各種任務(wù)，直到，滿足無人駕駛的車輛。

這些參數(shù)包括：

用于控制和管理的8核定制ARM處理器CAMMEL；

兩個NVIDIA深度學(xué)習(xí)加速器（DLAs），用于運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)來處理目標(biāo)檢測和識別；

一個定制的VALTA GPU，面向通用AI模型；

雙可編程視覺加速器，用于非AI計算機(jī)視覺架構(gòu)，基于雙矢量處理器；

一種用于輸入融合和流媒體的立體光流引擎；

VoltaGPU已經(jīng)被精簡，以適應(yīng)SOC和降低功率，省略了諸如HB2存儲器和32/64位浮點(diǎn)（在AI推理工作中不需要）的特征。此外，SOC包括NVLink端口，以使SOC能夠訪問2個離散的全功能Volta GPU，用于更苛刻的工作，例如5級完全自動駕駛車輛。

作為全球首個自動駕駛處理器，Xavier是迄今為止最復(fù)雜的系統(tǒng)級芯片，擁有超過90億個晶體管，可以處理海量數(shù)據(jù)。Xavier的 GMSL（千兆多媒體串行鏈路）高速IO將其與迄今為止最大陣列的激光雷達(dá)、雷達(dá)和攝像頭傳感器連接起來。

該系統(tǒng)級芯片內(nèi)置六種處理器：ISP（圖像信號處理器）、VPU（視頻處理單元）、PVA（可編程視覺加速器）、DLA（深度學(xué)習(xí)加速器）、CUDA GPU和CPU，每秒可進(jìn)行近40萬億次運(yùn)算，僅深度學(xué)習(xí)就高達(dá)30萬億次。

這一處理水平比上一代DRIVE PX2參考設(shè)計要強(qiáng)大10倍。

為什么Nvidia會在這個復(fù)雜的芯片上放這么多不同類型的處理器和加速器呢？目前自動駕駛所需的軟件和數(shù)據(jù)集仍在開發(fā)中?；赬avier，NVIDIA已經(jīng)建立了一個通用的和可擴(kuò)展的架構(gòu)，為快速發(fā)展的市場。

NVIDIA希望確保它支持可能出現(xiàn)的OEM需求的超集，當(dāng)設(shè)計者構(gòu)建軟件來捕獲、融合和處理來自雷達(dá)、LIDAR和視頻源的傳感器輸入時，這些需求可能會出現(xiàn)。

當(dāng)特斯拉解釋為什么要從采用NVIDIA芯片轉(zhuǎn)而使用自己研發(fā)的ASIC時，使用的性能比較是基于兩代以前的NVIDIA技術(shù)（Maxwell）。

而NVIDIA聲稱，Xavier大約比2016年基于PASCAL的Parker SOC快一個數(shù)量級。有業(yè)內(nèi)人士猜測，特斯拉之所以“選擇離開”英偉達(dá)，或是可能他不想自己的車和競爭對手“同質(zhì)化”（都采用英偉達(dá)芯片），或是基于Xavier的Drive-PX價格不低。

接下來，NVIDIA將以至少三個平臺來布局Xavier SOC：用于無人機(jī)和機(jī)器人的Jetson Xavier，用于諸如L3-4級駕駛輔助的Drive Xavier，以及旗艦Drive Pegasus，具有雙Xavier SOC和2瓦GPU，以支持完全自動駕駛的L5級。

顯然，NVIDIA知道如何為視覺處理設(shè)備構(gòu)建高性能和可伸縮的平臺，并且仍然處于非常有利的行業(yè)位置。目前尚不清楚的是，隨著初創(chuàng)企業(yè)、英特爾、谷歌和其他汽車制造商內(nèi)部開發(fā)團(tuán)隊將他們的AI產(chǎn)品推向市場，NVIDIA在未來幾年將面臨不可見的競爭。

從目前來看，Xavier SOC上披露的新細(xì)節(jié)表明，NVIDIA沒有回避視覺處理系統(tǒng)的艱巨計算挑戰(zhàn)。它把不同部分分配給特定處理器，包括GPU、矢量處理器和ASIC。

此外，隨著英偉達(dá)圖靈圖形處理單元(GPU)架構(gòu)的推出，該公司“重新發(fā)明了計算機(jī)圖形學(xué)”。該架構(gòu)將成為未來一系列圖形芯片的基礎(chǔ)，這些芯片將專注于實時光線追蹤，或高度真實、物理精確的圖形。

該架構(gòu)可比上代架構(gòu)快5倍的速度處理圖形。圖靈的新RT Cores（光線追蹤核心）可以加速光線追蹤，而新的Tensor Cores（張量核心）可以用于人工智能推理，這兩種功能首次結(jié)合起來，使實時光線追蹤成為可能。

圖靈架構(gòu)還具有Tensor Cores(即人工智能子處理器)，它可以加速深度學(xué)習(xí)訓(xùn)練和推理，每秒可提供500萬億張量操作。這個性能級別支持AI增強(qiáng)的特性，可用于創(chuàng)建具有強(qiáng)大新功能的應(yīng)用程序。這些包括DLAA （深度學(xué)習(xí)抗鋸齒），這是高質(zhì)量運(yùn)動圖像生成的突破，其他應(yīng)用還包括去噪、分辨率縮放和視頻調(diào)速。

顯然，圖靈架構(gòu)這種能力能夠創(chuàng)建真實感的虛擬環(huán)境，駕駛模擬器將需要虛擬環(huán)境來測試和驗證安全自主或輔助駕駛所需的硬件和軟件。

現(xiàn)在，NVIDIA的挑戰(zhàn)是確保它與車輛設(shè)計團(tuán)隊保持緊密聯(lián)系，以了解他們的硬件、軟件和定價（成本）要求。隨著自動駕駛開始走向主流，NVIDIA有必要將其早期的技術(shù)領(lǐng)導(dǎo)地位轉(zhuǎn)變?yōu)槭杖牒褪袌龇蓊~的領(lǐng)導(dǎo)地位。

畢竟，在汽車業(yè)務(wù)營收上，NVIDIA和英特爾（后者收購的Mobileye）還不在一個級別。

英偉達(dá)的表現(xiàn)，似乎在說明一些問題。特別是汽車方面，英偉達(dá)二季度來自企業(yè)行業(yè)的收入增長了13%，達(dá)到1.61億美元（新的數(shù)字紀(jì)錄），這是其連續(xù)三個季度的第一次兩位數(shù)增長率。

不過，或許更令人興奮的是，英偉達(dá)已經(jīng)開始量產(chǎn)并交代DRIVE Pegasus平臺，同時戴姆勒和博世也在今年宣布在該平臺上建立自動駕駛出租車服務(wù)。

另一個英偉達(dá)值得期待的產(chǎn)品就是針對自動駕駛汽車測試的仿真系統(tǒng)—DRIVE Constellation，這是一款基于兩種不同服務(wù)器的計算平臺。

第一臺服務(wù)器運(yùn)行英偉達(dá)DRIVE Sim軟件，用以模擬自動駕駛汽車的傳感器，如攝像頭、激光雷達(dá)和毫米波雷達(dá)傳感器。

第二臺服務(wù)器則搭載了英偉達(dá)DRIVE Pegasus計算平臺，可運(yùn)行完整的自動駕駛汽車軟件堆棧，并能夠處理模擬數(shù)據(jù)——這些模擬數(shù)據(jù)如同來自路面行駛汽車上的傳感器。

仿真服務(wù)器由英偉達(dá)GPU提供支持，每臺服務(wù)器都會生成仿真?zhèn)鞲衅鲾?shù)據(jù)流，并將其傳送至DRIVE Pegasus進(jìn)行處理。

據(jù)官方介紹，英偉達(dá)正在打造一個“硬件在環(huán)”（Hardware in the loop，HiL）。這一“硬件在環(huán)”周期的發(fā)生頻率為每秒30次，可用于驗證在Pegasus上運(yùn)行的算法和軟件對仿真車輛進(jìn)行的操作是否正確。

DRIVE Sim軟件可生成照片級逼真的數(shù)據(jù)流，以創(chuàng)建大量不同的測試環(huán)境。它能夠模擬諸如暴雨和暴風(fēng)雪等不同天氣狀況；一天中不同時間內(nèi)的光線變化，或是夜間受限的視野；以及所有不同類型的路面和地形。

在模擬過程中可設(shè)置各種危險情況，來測試自動駕駛汽車的反應(yīng)能力，以確定其不會對任何人的安全造成威脅。

通過模擬器，自動駕駛行業(yè)的從業(yè)者們可以通過GPU來生成傳感器數(shù)據(jù)，然后反哺到Drive PX平臺上，再進(jìn)行模擬測試，通過上百萬英里的測試定制的場景和極端案例，可以提高算法的魯棒性——幫助自動駕駛行業(yè)加速研發(fā)進(jìn)程以及減少研發(fā)成本。

根據(jù)專家的說法，一個由100輛汽車組成的車隊，就算每日24小時連續(xù)不斷地測試，跑完110億英里也至少需要500年。

像Waymo這樣的公司之所以能在現(xiàn)實世界中每天行駛10000英里的測試?yán)锍?，而在虛擬環(huán)境中每天能夠行駛1000萬英里，就是這個原因的。

盡管Waymo采用的并非英偉達(dá)的仿真測試系統(tǒng)，但鑒于英偉達(dá)目前有超過370家汽車行業(yè)合作伙伴，DRIVE Constellation就非常值得期待。

當(dāng)然，所有這些測試都會產(chǎn)生大量的數(shù)據(jù)，而這些數(shù)據(jù)目前大多數(shù)公司都沒有做好準(zhǔn)備。但NVIDIA正在提供解決方案，以幫助在這個快速成長的行業(yè)。