來(lái)源：ST社區(qū)

開(kāi)發(fā)者和系統(tǒng)設(shè)計(jì)人員在為其嵌入式設(shè)計(jì)增加某種形式的神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)功能時(shí)，有多個(gè)選擇。以前，甚至是現(xiàn)在，設(shè)計(jì)人員成功地使用GPU和FGPA來(lái)滿足了深度學(xué)習(xí)的內(nèi)存密集型需求?，F(xiàn)在，即便是傳統(tǒng)的x86 CPU也已經(jīng)進(jìn)入了AI應(yīng)用。

許多開(kāi)發(fā)者發(fā)現(xiàn)現(xiàn)有的這些技術(shù)并不總是最合適的。因此，在過(guò)去幾年中，許多初創(chuàng)公司(以及成熟的芯片開(kāi)發(fā)商)開(kāi)始專注于為AI應(yīng)用設(shè)計(jì)和開(kāi)發(fā)芯片。這些芯片是從頭開(kāi)始構(gòu)建的，可以滿足AI算法和運(yùn)行應(yīng)用的算力需求。

要知道，對(duì)SoC來(lái)說(shuō)，IP模塊是提供神經(jīng)網(wǎng)絡(luò)功能的另一種選擇，但這是另一個(gè)話題了。在IP模塊方面，主要供應(yīng)商包括Cadence、Ceva、NXP、Synopsys和VeriSilicon等。

但與所有技術(shù)一樣，每種解決方案都有其優(yōu)缺點(diǎn)?？偠灾?，設(shè)計(jì)人員需要根據(jù)自己特定的應(yīng)用來(lái)選擇最佳的技術(shù)。AI芯片通常分為三個(gè)關(guān)鍵應(yīng)用領(lǐng)域：云端訓(xùn)練、云端推理和邊緣推理。

訓(xùn)練方面的大拿是Nvidia的GPU，它已經(jīng)成為訓(xùn)練機(jī)器學(xué)習(xí)算法的熱門(mén)選擇。訓(xùn)練過(guò)程要分析數(shù)萬(wàn)億個(gè)數(shù)據(jù)樣本，GPU的并行計(jì)算架構(gòu)在這方面是一大優(yōu)勢(shì)。

云端推理可以構(gòu)建許多AI應(yīng)用的機(jī)器學(xué)習(xí)模型，這些任務(wù)需要密集的計(jì)算而無(wú)法部署在邊緣設(shè)備上。FPGA類的處理器具有低延遲特點(diǎn)，并可執(zhí)行計(jì)算密集型任務(wù)，在這些應(yīng)用方面具有優(yōu)勢(shì)。但并非所有AI計(jì)算任務(wù)都可以在云端完成，無(wú)論成熟公司還是初創(chuàng)公司，很多芯片開(kāi)發(fā)商都在開(kāi)發(fā)自己的AI芯片，并為其處理器添加AI功能。

AI Processor Options: benefits and trade-Offs: AI處理器選擇：優(yōu)勢(shì)和不足

CPUs： CPU

Universal availability in the cloud: 云端通用性好

Flexible across deep learning inference and all other cloud workloads: 深度學(xué)習(xí)推理與所有其他云端工作負(fù)載能連接靈活

Great software tools: 成熟的軟件工具

Limitation: Not high enough performance for training: 不足：訓(xùn)練性能不高

GPUs: GPU

Very high performance on both deep learning inference and training: 深度學(xué)習(xí)訓(xùn)練和推理都表現(xiàn)出色

Wide availability in the cloud: 在云端適用性廣

Flexible across deep learning and some other high-performance computing workloads: 深度學(xué)習(xí)與一些高性能計(jì)算負(fù)載連接靈活

Great software tools: 成熟的軟件工具

Limitation: high power, high cost: 不足：功耗高，成本高

FPGAs: FPGA

High performance on deep learning inference and a few other DSP workloads: 在深度學(xué)習(xí)推理和一些DSP工作負(fù)載中性能優(yōu)異

Some availability in the cloud: 可用于云端一些應(yīng)用

Energy efficient: 能效高

Limitation: less mature software, not suited for training: 不足：缺少成熟的軟件，不適合訓(xùn)練

AI Chips: AI芯片

Very high performance on deep learning inference and training (depending on chip) : 在深度學(xué)習(xí)訓(xùn)練和推理方面性能很高(取決于芯片)

Usually very energy efficient and cost effective: 通常能效高，成本低

Limitation: Only very early availability especially in cloud; software usually less mature; often applicable only to deep learning tasks: 不足：還處于早期階段，特別是在云端；軟件不成熟；通常只適用于深度學(xué)習(xí)任務(wù)

那么設(shè)計(jì)師在將腳踏入AI深水之前首先需要回答哪些問(wèn)題？我與硅谷創(chuàng)業(yè)家兼技術(shù)專家Chris Rowen進(jìn)行了交談。做為BabbleLabs公司和Cognite Ventures的首席執(zhí)行官，他列出了以下問(wèn)題。

問(wèn)題一：了解你的最終應(yīng)用需求

對(duì)于任何設(shè)計(jì)，第一個(gè)問(wèn)題應(yīng)該都是：你的應(yīng)用需求是什么？接下來(lái)是“我有一個(gè)需要完成的具體任務(wù)嗎？”，有時(shí)這很清楚。Rowen表示， “如果我是一名系統(tǒng)設(shè)計(jì)師，要開(kāi)發(fā)一個(gè)安全攝像頭，我會(huì)非常關(guān)心芯片對(duì)視頻流交叉部分的處理，包括對(duì)象檢測(cè)、對(duì)象識(shí)別、對(duì)象跟蹤等，清楚知道少數(shù)幾個(gè)與最終應(yīng)用特別相關(guān)的任務(wù)?！?/p>

下一個(gè)問(wèn)題是，應(yīng)用是在云端還是在邊緣設(shè)備中運(yùn)行。這將決定工程師需要考慮設(shè)計(jì)的方向和選擇什么樣的芯片。

“最終應(yīng)用顯然很重要，” Rowen說(shuō)道。“如果在云端運(yùn)行，問(wèn)題將是，‘它是用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，還是在一個(gè)已經(jīng)訓(xùn)練過(guò)的網(wǎng)絡(luò)上僅用于推理？’。如果它在邊緣運(yùn)行，那么想要運(yùn)行的特定應(yīng)用集是什么？”

Rowen表示，大多數(shù)新的芯片都是為邊緣視覺(jué)應(yīng)用而設(shè)計(jì)的，這些芯片主要針對(duì)推理應(yīng)用，以各種不同的形式進(jìn)行成像或視頻分析。音頻，尤其是語(yǔ)音處理是越來(lái)越重要且快速增長(zhǎng)的一個(gè)子類別。

所以，首先要確定是在云端還是邊緣。若在云端，是訓(xùn)練還是推理？若在邊緣，它是通用的(應(yīng)用不確定)還是視覺(jué)處理，或其他專門(mén)的應(yīng)用(比如語(yǔ)音處理)？

問(wèn)題二：軟件支持

軟件工具也有助于區(qū)分不同的芯片?！叭绻且粋€(gè)訓(xùn)練芯片，它是否支持各種訓(xùn)練環(huán)境，包括TensorFlow、PyTorch和其它框架，因?yàn)閼?yīng)用和軟件開(kāi)發(fā)團(tuán)隊(duì)會(huì)使用許多重要的訓(xùn)練環(huán)境，”Rowen說(shuō)道。他認(rèn)為Nvidia是當(dāng)今訓(xùn)練芯片的黃金標(biāo)準(zhǔn)和主導(dǎo)供應(yīng)商。

“在推理方面，你怎么才能更好地將預(yù)先訓(xùn)練好的模型與芯片自身的特性一一對(duì)應(yīng)。如果有像神經(jīng)網(wǎng)絡(luò)交換格式(NNEF)這樣的標(biāo)準(zhǔn)，這個(gè)問(wèn)題就很容易回答了?！癗NEF是Khronos Group推廣的一個(gè)標(biāo)準(zhǔn)，可以更容易地標(biāo)準(zhǔn)化映射工具。

“通常情況下，相對(duì)于將應(yīng)用映射到其他新的處理引擎所涉及到的軟件，這些神經(jīng)網(wǎng)絡(luò)的復(fù)雜性并不算高，”Rowen解釋道。 “即使這些工具并不完美，人們通常也可以找到一種方法，使用不太復(fù)雜的工具將現(xiàn)有神經(jīng)網(wǎng)絡(luò)映射到視覺(jué)芯片、音頻芯片，或者其它邊緣處理芯片。”

無(wú)論軟件是不是最關(guān)鍵的，設(shè)計(jì)人員都應(yīng)該考慮硬件的價(jià)格、性能和功耗，這就帶來(lái)了下一個(gè)問(wèn)題。

問(wèn)題三：內(nèi)存要求

任何芯片選擇都有一個(gè)長(zhǎng)期存在的問(wèn)題，那就是成本和性能。對(duì)于神經(jīng)網(wǎng)絡(luò)，這個(gè)問(wèn)題就是芯片采用什么片上存儲(chǔ)器，以及可以提供多大的存儲(chǔ)器帶寬？

“有些神經(jīng)網(wǎng)絡(luò)非常耗費(fèi)內(nèi)存，”Rowen說(shuō)。 “當(dāng)然，通常在云端進(jìn)行的訓(xùn)練過(guò)程是內(nèi)存密集型的，需要大量的片上內(nèi)存和非常高的內(nèi)存帶寬?！?/p>

他補(bǔ)充說(shuō)，視目標(biāo)應(yīng)用不同，推理過(guò)程通常占用的內(nèi)存較少，可能也不需要太高的片外帶寬。

這就帶來(lái)了一個(gè)問(wèn)題。區(qū)分一個(gè)芯片是通用，還是針對(duì)特定應(yīng)用的一個(gè)指標(biāo)，就是芯片設(shè)計(jì)人員是否集成了大量片上存儲(chǔ)資源和片外存儲(chǔ)器帶寬。但是，如果設(shè)計(jì)人員不知道他們的目標(biāo)應(yīng)用是什么，可能就會(huì)在內(nèi)存帶寬方面過(guò)度配置，這就會(huì)大幅增加芯片成本。

“過(guò)度配置將增加成本，因此通用芯片幾乎總是比專用芯片更昂貴，因?yàn)樗麄儽仨毚_保可以滿足各種需求，”Rowen說(shuō)。利弊權(quán)衡包括成本、功耗和物理尺寸等。

Rowen認(rèn)為，如果設(shè)計(jì)人員可以稍微縮小需求范圍，以便降低一些成本和功耗，系統(tǒng)級(jí)的性能可能會(huì)有大幅提升。“通用和專用[芯片]之間的差異可能高達(dá)一個(gè)數(shù)量級(jí)。”

問(wèn)題四：性能------延遲與吞吐量

性能的最終定義是芯片可以多快地運(yùn)行神經(jīng)網(wǎng)絡(luò)應(yīng)用，這里的兩個(gè)相關(guān)指標(biāo)是吞吐量和延遲，要明確系統(tǒng)優(yōu)化是針對(duì)增加吞吐量，還是針對(duì)減少延遲。

Rowen表示，在云端，重點(diǎn)通常是吞吐量，而延遲往往在實(shí)時(shí)邊緣系統(tǒng)中非常重要。例如，如果你在為自動(dòng)駕駛應(yīng)用開(kāi)發(fā)一款芯片，延遲更為重要，而且是一個(gè)關(guān)鍵的安全問(wèn)題，他補(bǔ)充道。

“幸運(yùn)的是，對(duì)于很多神經(jīng)網(wǎng)絡(luò)應(yīng)用來(lái)說(shuō)，所能達(dá)到的性能與芯片的乘積運(yùn)算速度之間存在很強(qiáng)的相關(guān)性，”Rowen解釋道。 “計(jì)算資源的利用率有一些變化，但在最簡(jiǎn)單的水平上，只要問(wèn)‘在給定精度下每秒乘積-累加多少次’或‘每瓦多少次乘積-累加’，就可以大致知道該芯片的性能。”

一般來(lái)說(shuō)，現(xiàn)在GPU是云端神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主導(dǎo)力量，而普通x86處理器是云端推理的最常見(jiàn)平臺(tái)，因?yàn)樗趩蝹€(gè)芯片上可以靈活地運(yùn)行包括深度學(xué)習(xí)和傳統(tǒng)軟件在內(nèi)的完整應(yīng)用，Rowen表示。

在大多數(shù)情況下，邊緣沒(méi)有太多的訓(xùn)練工作要做。它主要針對(duì)視頻或音頻等特定用例進(jìn)行推理。

Rowen為我們提供了一個(gè)粗略的評(píng)估，按照應(yīng)用來(lái)劃分芯片(來(lái)自初創(chuàng)公司和成熟企業(yè))。 “有一種趨勢(shì)是，針對(duì)云端的芯片更具通用性，而針對(duì)邊緣的芯片更為專用?！?/p>

以下是一些AI增強(qiáng)型芯片和平臺(tái)的簡(jiǎn)要介紹，展示了目前市場(chǎng)上從移動(dòng)端到企業(yè)級(jí)應(yīng)用的各種神經(jīng)網(wǎng)絡(luò)解決方案：

Gyrfalcon Lightspeeur AI芯片：

這是初創(chuàng)企業(yè)Gyrfalcon技術(shù)公司推出的超低功耗和高性能AI芯片。Lightspeeur 2801S智能矩陣處理器基于APiM架構(gòu)，使用內(nèi)存作為其AI處理單元。該公司宣稱，“這個(gè)基于APiM架構(gòu)的方案，有28000個(gè)并行神經(jīng)計(jì)算核，真正支持片上并行與原位計(jì)算，不需要使用外部存儲(chǔ)單元，成功克服了由存儲(chǔ)器帶寬而導(dǎo)致的性能瓶頸，在效率能耗比方面表現(xiàn)卓越，達(dá)到 9.3Tops/Watt，無(wú)論在訓(xùn)練模式還是推理模式下均可提供高密度計(jì)算性能?！?/p>

該公司聲稱其算術(shù)邏輯單元(ALU)的使用效率為77％，運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)(CNN)效率會(huì)更高。

Gyrfalcon提供交鑰匙(Turnkey)參考設(shè)計(jì)，包括USB加密狗、多芯片線路板和系統(tǒng)開(kāi)發(fā)套件。其目標(biāo)應(yīng)用包括移動(dòng)邊緣計(jì)算、基于AI的IoT，消費(fèi)類便攜設(shè)備、智能監(jiān)控視頻、AR/VR產(chǎn)品、人臉檢測(cè)/識(shí)別、自然語(yǔ)言處理、支持深度學(xué)習(xí)的設(shè)備、AI數(shù)據(jù)中心服務(wù)器，以及自動(dòng)駕駛等。

華為麒麟970：

這是華為消費(fèi)業(yè)務(wù)事業(yè)部的首個(gè)移動(dòng)AI計(jì)算平臺(tái)，采用專用神經(jīng)處理單元(NPU)，可將云端AI與本機(jī)AI處理有機(jī)結(jié)合。麒麟970包括一個(gè)八核CPU和新一代12核GPU。

“與四核Cortex-A73 CPU集群相比，麒麟970新的異構(gòu)計(jì)算架構(gòu)可實(shí)現(xiàn)高達(dá)25倍的性能提升，以及50倍的效率提高，”華為表示。這意味著該芯片組以更低的功耗，更快地提供相同的AI計(jì)算任務(wù)。基準(zhǔn)圖像識(shí)別測(cè)試表明，麒麟970每分鐘可處理2,000張圖像。

除了在自己的手機(jī)中使用新的AI芯片組外，華為還將移動(dòng)AI定位為開(kāi)放平臺(tái)，為開(kāi)發(fā)人員和合作伙伴提供技術(shù)。

英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器(NPP)：

英特爾Nervana NNP專為深度學(xué)習(xí)而設(shè)計(jì)，沒(méi)有標(biāo)準(zhǔn)的緩存層次結(jié)構(gòu)，其片上存儲(chǔ)器由軟件管理。 “更好的內(nèi)存管理使該芯片能夠?qū)崿F(xiàn)海量計(jì)算的高利用率，”英特爾宣稱。 “這可以為深度學(xué)習(xí)模型提供更快的訓(xùn)練時(shí)間?！?/p>

除了新的存儲(chǔ)器架構(gòu)外，英特爾還開(kāi)發(fā)了一種新的數(shù)字格式Flexpoint，它可以顯著提高芯片的并行度，同時(shí)降低每次計(jì)算的功耗。英特爾表示，由于單個(gè)芯片的神經(jīng)網(wǎng)絡(luò)計(jì)算主要受功耗和內(nèi)存帶寬的限制，因此Flexpoint可為神經(jīng)網(wǎng)絡(luò)任務(wù)提供更高的吞吐量。英特爾這一新設(shè)計(jì)的目標(biāo)是“獲得高計(jì)算利用率并支持多芯片互連的真實(shí)模型并行性”。

英特爾Movidius VPU：

英特爾正在與微軟合作，將微軟Windows ML與英特爾的Movidius視覺(jué)處理單元(VPU)相結(jié)合來(lái)推動(dòng)邊緣AI推理。英特爾Movidius Myriad X VPU是一款專門(mén)用于加速邊緣AI應(yīng)用的芯片，它聲稱是業(yè)界首款具有專用神經(jīng)計(jì)算引擎的系統(tǒng)級(jí)芯片解決方案，可用于邊緣深度學(xué)習(xí)推理的硬件加速。 “這款第三代VPU可以高速和低功耗運(yùn)行深度神經(jīng)網(wǎng)絡(luò)，以減輕其它硬件的特定AI處理負(fù)擔(dān)，”英特爾表示。

英特爾還會(huì)針對(duì)通用機(jī)器學(xué)習(xí)和推理繼續(xù)優(yōu)化其Xeon可擴(kuò)展處理器和數(shù)據(jù)中心加速器。

聯(lián)發(fā)科技NeuroPilot AI平臺(tái)：

NeuroPilot平臺(tái)專為AI邊緣計(jì)算而設(shè)計(jì)，可提供一系列的硬件和軟件、AI處理單元和NeuroPilot軟件開(kāi)發(fā)套件(SDK)。它所支持的主流AI框架包括Google TensorFlow、Caffe、Amazon MXNet和Sony NNabla，并且在操作系統(tǒng)方面支持Android和Linux。

聯(lián)發(fā)科技表示，該平臺(tái)“使AI更接近芯片組級(jí)別，適用于邊緣計(jì)算設(shè)備，即深度學(xué)習(xí)和智能決策需要更快完成的場(chǎng)景”，開(kāi)創(chuàng)了一個(gè)從邊緣到云端的AI計(jì)算方案混合體。

Nvidia Tesla V100 GPU：

與上一代產(chǎn)品相比，Nvidia的深度學(xué)習(xí)計(jì)算平臺(tái)性能提升了10倍。全新的NVIDIA Tesla V100還將內(nèi)存提升了一倍(到32 GB內(nèi)存)，以處理內(nèi)存密集型的深度學(xué)習(xí)和高性能計(jì)算任務(wù)，此外還添加了一個(gè)名為NVIDIA NVSwitch的全新GPU互連結(jié)構(gòu)。該公司表示，這可以使多達(dá)16個(gè)Tesla V100 GPU同時(shí)以每秒2.4太字節(jié)(TB)的速度進(jìn)行通信，Nvidia還更新了軟件堆棧。 Tesla V100 32GB GPU適用于整個(gè)NVIDIA DGX系統(tǒng)產(chǎn)品家族。

NPX面向邊緣處理的機(jī)器學(xué)習(xí)(ML)環(huán)境：

為證明利用現(xiàn)有的CPU可以在邊緣運(yùn)行機(jī)器學(xué)習(xí)模型，NXP半導(dǎo)體公司推出了嵌入式AI環(huán)境，可讓設(shè)計(jì)人員基于NXP的產(chǎn)品系列部署機(jī)器學(xué)習(xí)，從低成本微控制器到i.MX RT處理器，直到高性能應(yīng)用處理器。NXP表示，ML環(huán)境提供了簡(jiǎn)便的交鑰匙方案，可讓設(shè)計(jì)人員選擇正確的執(zhí)行引擎(Arm Cortex內(nèi)核或高性能GPU/DSP)和工具，以便在其上部署機(jī)器學(xué)習(xí)模型(包括神經(jīng)網(wǎng)絡(luò))。

此外，NXP還表示，該環(huán)境包括一些免費(fèi)軟件，允許用戶導(dǎo)入他們自己訓(xùn)練過(guò)的TensorFlow或Caffe模型，將它們轉(zhuǎn)換為優(yōu)化的推理引擎，并將它們部署在NXP從低成本的MCU到i.MX，以及Layerscape處理器解決方案上。

“在嵌入式應(yīng)用中實(shí)施機(jī)器學(xué)習(xí)，一切都要平衡成本和最終用戶體驗(yàn)，”恩智浦AI技術(shù)負(fù)責(zé)人Markus Levy在一份聲明中表示。 “例如，許多人仍然感到驚訝，即使在低成本MCU上，他們也可以部署具有足夠性能的推理引擎。另一方面，我們的高性能混合交叉和應(yīng)用處理器具有足夠的處理資源，可在許多客戶應(yīng)用中運(yùn)行快速推理和訓(xùn)練。隨著AI應(yīng)用的擴(kuò)大，我們將繼續(xù)通過(guò)下一代專用機(jī)器學(xué)習(xí)加速器來(lái)推動(dòng)這一領(lǐng)域的增長(zhǎng)?！?/p>

NXP的EdgeScale套件提供了一套基于云的工具和服務(wù)，用于物聯(lián)網(wǎng)和邊緣計(jì)算設(shè)備的安全制造與注冊(cè)。該解決方案為開(kāi)發(fā)人員提供了一套安全機(jī)制，供他們?cè)趹?yīng)用中利用主流的云計(jì)算框架，遠(yuǎn)程部署和管理無(wú)限數(shù)量的邊緣設(shè)備。NXP的合作伙伴生態(tài)系統(tǒng)還包括ML工具、推理引擎，解決方案和設(shè)計(jì)服務(wù)等。

審核編輯 黃昊宇