繼年初發(fā)布新一代FPGA框架后，F(xiàn)PGA巨頭賽靈思在Hot Chips大會(huì)揭露了最新一代深度神經(jīng)網(wǎng)絡(luò)推理裝置xDNN的部分規(guī)格參數(shù)。隨著更多定制芯片的發(fā)展，現(xiàn)如今AI芯片的戰(zhàn)火已經(jīng)蔓延到推理領(lǐng)域。賽靈思的xDNN可配置、可復(fù)寫(xiě)，進(jìn)行多任務(wù)處理，還配有Tensor內(nèi)存。

目前來(lái)看，F(xiàn)PGA可能沒(méi)有像一些人預(yù)期的那樣在深度學(xué)習(xí)的訓(xùn)練空間中占據(jù)一席之地，但AI推理的低功耗、高頻率需求非常適合可重復(fù)編程硬件的性能曲線。

然而，現(xiàn)在人們?cè)絹?lái)越專注于推理與訓(xùn)練的新體系架構(gòu)，F(xiàn)PGA也在努力在定制化硬件領(lǐng)域保持領(lǐng)先，而這要靠一些高級(jí)編程工具來(lái)降低編程的復(fù)雜度。

目前，要判斷通用CPU、GPU、FPGA及定制芯片如何才能吸引最廣泛的用戶群還為時(shí)尚早，但基于云的FPGA以及不斷發(fā)展的高級(jí)FPGA集，越來(lái)越多地作為實(shí)驗(yàn)工具使用，讓FPGA在面向推理的任務(wù)中占據(jù)了一席之地。

考慮到所有這些因素，F(xiàn)PGA制造商Xilinx近日在Hot Chips大會(huì)上發(fā)布了Xilinx深度神經(jīng)網(wǎng)絡(luò)推理（xDNN）設(shè)備的一些參數(shù)細(xì)節(jié)，公司將在接下來(lái)10月1日舉行的開(kāi)發(fā)者大會(huì)上發(fā)布更多信息和性能基準(zhǔn)。

就在幾年前，神經(jīng)網(wǎng)絡(luò)訓(xùn)練處理器還是架構(gòu)展上的耀眼明星，但最近，GPU已經(jīng)在與定制化、專門(mén)化的ASIC芯片和其他通用硬件展開(kāi)激烈競(jìng)爭(zhēng)，眼下戰(zhàn)火又蔓延到了推理任務(wù)領(lǐng)域。

Xilinx的數(shù)據(jù)中心和IP總監(jiān)Rahul Nimaiyar上周在Hot Chips大會(huì)上表示，用FPGA執(zhí)行推理任務(wù)具備堅(jiān)實(shí)的硬件基礎(chǔ)。FPGA的數(shù)據(jù)處理并行的，并且支持?jǐn)?shù)據(jù)重用、數(shù)據(jù)壓縮，能夠應(yīng)對(duì)數(shù)據(jù)稀疏。

xDNN處理器的2D二維MAC陣列，靈活的高帶寬片載存儲(chǔ)器，支持多種方式訪問(wèn)，讓數(shù)據(jù)的傳輸和轉(zhuǎn)移更加高效。此外，xDNN還支持靈活的數(shù)據(jù)類型（FP32 / FP16及INT 16/8/4/2等）。

xDNN是一個(gè)可配置、可復(fù)寫(xiě)的處理器，可以映射到FPGA上而無(wú)需重新編程。Xilinx還提供了深度神經(jīng)網(wǎng)絡(luò)特定指令集（如卷積，最大池化等），可適用于任何網(wǎng)絡(luò)和任何大小的圖像，還可以編譯和運(yùn)行新網(wǎng)絡(luò)。也就是說(shuō)，xDNN可以與TensorFlow一起使用，無(wú)需重新編程或更改FPGA。

Virtex硬件可以用于幾種類型的存儲(chǔ)器；從位于DSP模塊旁邊的分布式基礎(chǔ)RAM到UltraRAM，再到高帶寬內(nèi)存和外部DDR4內(nèi)存都可以，從而實(shí)現(xiàn)計(jì)算效率的優(yōu)化和性能提升。

上圖是一個(gè)通道并行脈動(dòng)陣列（channel parallel systolic arrays）的放大示意圖，圖中所示為分布式加權(quán)緩沖區(qū)。處理元件被加權(quán)映射到DSP塊上，具體權(quán)重保存在處理旁邊分布式RAM中，該RAM容量很小，速度很快。換句話說(shuō)，這些分布式RAM就是權(quán)重緩存。

xDNN的“Tensor內(nèi)存”位于脈動(dòng)陣列的旁邊，并存儲(chǔ)輸入和輸出的特征映射。該部分也是并行通道，因此該陣列中的每個(gè)行都與一行內(nèi)存相關(guān)聯(lián)。也就是說(shuō)，xDNN可以進(jìn)行多任務(wù)處理，在陣列上進(jìn)行計(jì)算，同時(shí)還可以根據(jù)需要引入新的網(wǎng)絡(luò)層。

與其他面向推理任務(wù)的芯片一樣，xDNN也在芯片內(nèi)壓縮了盡量多的內(nèi)置存儲(chǔ)器，以保持芯片的活性。這是一種比較艱難的平衡做法，目的是為了保證計(jì)算效率，從下面的基準(zhǔn)測(cè)試結(jié)果來(lái)看，Xilinx的配置似乎是有效的。

除了硬件之外，提升易用性也是關(guān)鍵問(wèn)題，無(wú)論是對(duì)于那些使用F1進(jìn)行深度學(xué)習(xí)的人，還是用FPGA編程實(shí)現(xiàn)更精細(xì)的點(diǎn)的人來(lái)說(shuō)，編譯器和運(yùn)行時(shí)間都是關(guān)鍵指標(biāo)。

上圖是關(guān)于Xilinx為用戶開(kāi)發(fā)的機(jī)器學(xué)習(xí)工具套件的更多信息，實(shí)際上，這是一個(gè)允許用戶連接至框架的API，可以更容易地在Tensorflow中獲得經(jīng)過(guò)訓(xùn)練的模型和權(quán)重，例如，將其轉(zhuǎn)換為一個(gè)Xilinx圖，在它到達(dá)編譯器之前通過(guò)一些優(yōu)化，生成所有必要的指令集，以便在xDNN上運(yùn)行該網(wǎng)絡(luò)。

Xilinx還提供了一個(gè)量化器，可以將經(jīng)過(guò)訓(xùn)練的權(quán)重?cái)?shù)據(jù)輸入到一些校準(zhǔn)集中，以找到范圍并快速獲得這些權(quán)重的量化結(jié)果。

Nimaiyar表示，Xilinx已經(jīng)抽取出了產(chǎn)生有效推理的其他元素，包括操作的融合（一旦訪問(wèn)被激活，這些操作直接作為流程運(yùn)算符執(zhí)行，而不再返回Tensor Memory），當(dāng)特征映射大小超過(guò)片載存儲(chǔ)器空間時(shí)，會(huì)進(jìn)行指令級(jí)的并行化處理，和自動(dòng)將映射在層內(nèi)平鋪，這意味著xDNN可以處理任何規(guī)模的特征映射。

上圖的稀疏基準(zhǔn)測(cè)試是Xilinx在其開(kāi)發(fā)者論壇上發(fā)布的結(jié)果，到目前為止，60-80％的跨框架高效數(shù)據(jù)表現(xiàn)已經(jīng)足夠令人期待。