英特爾首屆AI開發(fā)者大會發(fā)布了一系列機器學(xué)習軟件工具，并宣布包括其首款商用神經(jīng)網(wǎng)絡(luò)處理器產(chǎn)品將于2019年推出。英特爾在舊金山舉辦第一屆AI開發(fā)者大會（AI Dev Con），英特爾人工智能負責人Naveen Rao做了開場演講。

Rao此前是Nervana的CEO和聯(lián)合創(chuàng)始人，該公司于2016年被英特爾收購。

Naveen Rao

在會上，Rao發(fā)布了一系列機器學(xué)習軟件工具，并宣布英特爾新一代產(chǎn)品，其中包括其首款商用NNP產(chǎn)品NNP-L1000，將于2019年推出。

以下從軟件和硬件兩個方面介紹AI Dev Con的重點。

MKL-DNN是用于深層神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)內(nèi)核庫。它是神經(jīng)網(wǎng)絡(luò)中常見組件的數(shù)學(xué)程序列表，包括矩陣乘數(shù)、批處理規(guī)范、歸一化和卷積。該庫針對在英特爾CPU上部署模型進行了優(yōu)化。

nGraph開發(fā)者選擇不同的AI框架，它們都有各自的優(yōu)點和缺點。為了使芯片具有靈活性，后端編譯器必須能夠有效地適應(yīng)所有的芯片。

nGraph是一個編譯器，它可以在英特爾的芯片上運行。開發(fā)人員可能想要在英特爾的Xeons處理器上訓(xùn)練他們的模型，然后使用英特爾的神經(jīng)網(wǎng)絡(luò)處理器(NNP)進行推理。

BigDL是Apache Spark的另一個庫，它的目標是通過分布式學(xué)習在深度學(xué)習中處理更大的工作負載。應(yīng)用程序可以用Scala或Python編寫，并在Spark集群上執(zhí)行。

OpenVINOA軟件工具包用于處理“邊緣”(即攝像頭或移動電話)視頻的模型。開發(fā)人員可以實時地做面部識別的圖像分類。它預(yù)計將在今年晚些時候開放，但現(xiàn)在可以下載了。

再來看硬件部分。

英特爾在這方面比較沉默，沒有透露更多的細節(jié)。

“幾年前Xeons不適合AI，但現(xiàn)在真的已經(jīng)改變了?！盧ao強調(diào)，增加的內(nèi)存和計算意味著自Haswell芯片以來性能提高了100倍，并且推理的性能提高了近200倍。

“你可能聽說過GPU比CPU快100倍。這是錯誤的?！彼a充說，“今天大多數(shù)推理都是在Xeons上運行的?！?/p>

Rao沒有提到Nvidia，他解釋說GPU在深度學(xué)習方面起了個好頭，但受限于嚴重的內(nèi)存限制。 Xeon擁有更多的內(nèi)存，可以擴展到批量大的內(nèi)存，因此它更適合推理。

在現(xiàn)場，ZIVA CEO James Jacobs還介紹了如何將Xeons用于3D圖像渲染。

左邊的獅子是沒有使用AI，右邊的獅子使用了AI，效果很棒。

他也簡要地談到了FPGA加速的問題，并表示英特爾正在研發(fā)一種“離散加速器”（discrete accelerator）進行推理，但沒有透露更多細節(jié)。

同時，還介紹了Intel Movidius的神經(jīng)計算棒。它是一個U盤，可以運行使用TensorFlow和Caffe編寫的模型，耗電量大約一瓦。去年，英特爾公司決定終止其可穿戴設(shè)備，如智能手表和健身腕帶。

現(xiàn)場還展示了一段用計算棒來進行AI作曲的DEMO，人類演奏者演奏一段曲子，AI能夠在這段曲子的基礎(chǔ)上進行創(chuàng)作。

英特爾去年宣布神經(jīng)網(wǎng)絡(luò)處理器（NNP）芯片。雖然沒有發(fā)布任何基準測試結(jié)果，但英特爾表示將會有可供選擇的客戶。

Rao也沒有透露多少細節(jié)。不過，大家所知道的是，它包含12個基于其“Lake Crest”架構(gòu)的內(nèi)核，總共擁有32GB內(nèi)存，在未公開的精度下性能達到40 TFLOPS，理論上的帶寬不足800納秒，在低延遲的互連上，每秒2.4兆的帶寬。

最后介紹了NNP L1000，Rao對它的介紹更少，這將是第一個商業(yè)NNP模型，并將在2019年推出。它將基于新的Spring Crest體系結(jié)構(gòu)，預(yù)計將比之前的Lake Crest模型快3到4倍。

開發(fā)者大會的當天，英特爾官網(wǎng)發(fā)出一篇Rao的署名文章，對英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器（NNP）進行了介紹。

Nervana NNP有一個明確的設(shè)計目標，可實現(xiàn)高計算利用率和支持多芯片互連的真模型并行。

行業(yè)里討論了很多關(guān)于最大的理論性能，然而，實際情況是，除非體系結(jié)構(gòu)有能夠支持這些計算元素的高利用率的儲存器子系統(tǒng)，否則大部分計算都是沒有意義的。此外，行業(yè)發(fā)布的大部分性能數(shù)據(jù)使用的是大型矩陣，這些矩陣通常在現(xiàn)實世界的神經(jīng)網(wǎng)絡(luò)中并不常見。

英特爾專注于為神經(jīng)網(wǎng)絡(luò)創(chuàng)建一個平衡的架構(gòu)，它還包括低延遲的高芯片到芯片帶寬。NNP系列的初始性能基準在利用率和互連方面顯示出強勁的競爭力。具體包括：

使用A(1536, 2048)和B(2048, 1536)矩陣進行矩陣乘法運算的一般矩陣，在單個芯片上實現(xiàn)了96.4個百分點的計算利用率。這代表了在單個芯片上的實際(非理論)性能的38TOP/s。支持模型并行訓(xùn)練的多芯片分布式GEMM操作實現(xiàn)了A（6144,2048）和B（2048,1536）矩陣大小的接近線性縮放和96.2％的縮放效率，使得多個NNP能夠連接在一起，并將我們從其他架構(gòu)的內(nèi)存限制中釋放出來。

我們測量了89.4 %的單方向芯片到芯片的效率，理論上的帶寬小于790ns(納秒)的延遲，并且將其應(yīng)用于2.4Tb/s的高帶寬、低延遲互連。

所有這些都在單芯片總功率范圍內(nèi)低于210瓦的情況下進行，這只是英特爾Nervana NNP（Lake Crest）原型。

英特爾將在2019年提供第一個商用NNP產(chǎn)品——英特爾Nervana NNP-L1000（Spring Crest）。

預(yù)計英特爾Nervana NNP-L1000的性能將達到第一代Lake Crest產(chǎn)品的3-4倍。

在英特爾Nervana NNP-L1000中，還將支持bfloat16，這是一種業(yè)界廣泛用于神經(jīng)網(wǎng)絡(luò)的數(shù)字格式。

隨著時間的推移，英特爾將在其AI產(chǎn)品線上擴展bfloat16支持，包括英特爾Xeons處理器和英特爾FPGA。