NVIDIA Turing GPU與 NVIDIA Xavier在MLPerf數(shù)據(jù)中心與邊緣AI推理性能基準(zhǔn)測(cè)試中取得最快成績(jī)。

NVIDIA于今日公布，其在最新測(cè)定數(shù)據(jù)中心與邊緣AI推理工作負(fù)載性能的基準(zhǔn)測(cè)試中取得最快成績(jī)。NVIDIA在前不久的AI訓(xùn)練基準(zhǔn)測(cè)試中也展現(xiàn)出同樣強(qiáng)大的實(shí)力，為此次獲勝奠定了基礎(chǔ)。

MLPerf Inference 0.5是業(yè)內(nèi)首個(gè)獨(dú)立AI推理基準(zhǔn)套件，其測(cè)試結(jié)果證明了NVIDIA Turing數(shù)據(jù)中心GPU以及NVIDIA Xavier 邊緣計(jì)算芯片系統(tǒng)的性能。

MLPerf的五項(xiàng)推理基準(zhǔn)適用于一系列形式因素和四種推理情景，涵蓋了圖像分類(lèi)、目標(biāo)檢測(cè)和翻譯等已有的AI應(yīng)用。

憑借Turing GPU所提供的目前市面上單處理器最高的性能，NVIDIA 在全部五項(xiàng)針對(duì)于兩種數(shù)據(jù)中心關(guān)注的情景（服務(wù)器和離線）的基準(zhǔn)測(cè)試中均排在首位1。Xavier則是市面上針對(duì)兩種邊緣情景（單流和多流）性能最高的邊緣和移動(dòng)芯片系統(tǒng)2。

NVIDIA副總裁兼加速計(jì)算總經(jīng)理Ian Buck表示：“AI正處于從研究階段迅速轉(zhuǎn)向大規(guī)模實(shí)際應(yīng)用部署的臨界點(diǎn)。AI推理是一項(xiàng)巨大的計(jì)算挑戰(zhàn)。NVIDIA將業(yè)內(nèi)最先進(jìn)的可編程加速器CUDA-X AI算法套件與我們?cè)贏I計(jì)算領(lǐng)域的深厚知識(shí)相結(jié)合，能夠幫助數(shù)據(jù)中心部署龐大且正在不斷增長(zhǎng)的復(fù)雜AI模型。”

由于重視其計(jì)算平臺(tái)在各種AI工作負(fù)載中的可編程性與性能，因此NVIDIA是唯一一家提交了全部五項(xiàng)MLPerf基準(zhǔn)測(cè)試結(jié)果的AI計(jì)算平臺(tái)公司。此前七月，NVIDIA就曾在多項(xiàng)MLPerf 0.6 AI訓(xùn)練基準(zhǔn)測(cè)試結(jié)果中勝出，在訓(xùn)練性能方面創(chuàng)造了八項(xiàng)紀(jì)錄。

NVIDIA GPU在全球最大的云基礎(chǔ)設(shè)施中為大型推理工作負(fù)載提供加速，這些云基礎(chǔ)設(shè)施包括阿里云、AWS、谷歌云平臺(tái)、微軟Azure和騰訊等。目前，AI正在朝操作和數(shù)據(jù)生成點(diǎn)的邊緣移動(dòng)。沃爾瑪、寶潔等全球首屈一指的企業(yè)和機(jī)構(gòu)正使用NVIDIA EGX邊緣計(jì)算平臺(tái)與AI推理能力在邊緣運(yùn)行復(fù)雜的AI工作負(fù)載。

NVIDIA的所有MLPerf測(cè)試結(jié)果均采用NVIDIA TensorRT 6 高性能深度學(xué)習(xí)推理軟件獲得。該軟件能夠在生產(chǎn)中輕松優(yōu)化和部署數(shù)據(jù)中心、邊緣等位置的AI應(yīng)用。此外，GitHub庫(kù)還以開(kāi)源形式提供新的TensorRT優(yōu)化。

全新Jetson Xavier NX

為了擴(kuò)展其推理平臺(tái)，NVIDIA于今日宣布推出了Jetson Xavier NX。Jetson Xavier NX是全球體積最小、性能最強(qiáng)大的適用于邊緣機(jī)器人和嵌入式計(jì)算設(shè)備的AI超級(jí)計(jì)算機(jī)，它是圍繞MLPerf Inference 0.5基準(zhǔn)測(cè)試中所使用的Xavier芯片系統(tǒng)所打造的低功耗版本。

MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-15,Inf-0. 5-16, Inf-0.5-19, Inf-0.5-21. Inf-0.5-22, Inf-0.5-23, Inf-0.5-27. Per-processor performance is calculated by dividing the primary metric of total performance by number of accelerators reported.

MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-24, Inf-0.5-28, Inf-0.5-29.