機器學習正快速成為物聯(lián)網(wǎng)(internet of things；IoT)裝置的一項確定特色。家電現(xiàn)在開始支援語音驅(qū)動介面，能夠智能地因應(yīng)自然語言模式?，F(xiàn)在，透過在智能型手機相機上向機器人示范流程，就能向機器人展示如何在工廠現(xiàn)場四處搬移材料，并為其他機器編程，同時智能型手機的功能也變得更聰明了。這些應(yīng)用程序是利用至今最成功、能處理復雜、多面向數(shù)據(jù)的人工智能結(jié)構(gòu)：深度學習網(wǎng)路(deep neural network；DNN)。

到目前為止，應(yīng)用DNN科技作為嵌入式系統(tǒng)的議題向來是電腦效能的期望。盡管運算量比訓練時少，但在輸入數(shù)據(jù)變成受過訓練之辨識與分析DNN的推論階段期間，仍必須有每秒數(shù)十億的運算流量數(shù)據(jù)，如語音及影片。因此，在許多情況下，會將處理轉(zhuǎn)移至可提供大量動力的云端，但對于邊緣裝置還是沒有理想的解決方案。

關(guān)鍵任務(wù)運用案例，如自動駕駛車輛與工業(yè)機器人，會利用DNN的即時辨識物體能力，并改善情境感知。不過，延遲、頻寬與網(wǎng)路可用性的問題并不適合云端運算。在這些情境中，執(zhí)行者承擔不起云端無法即時反應(yīng)的風險。

隱私則是另一個問題。盡管消費者很欣賞裝置中如智能揚聲器等語音協(xié)助的便利性，但他們也漸漸會擔心當定期將對話內(nèi)容錄音檔轉(zhuǎn)移到云端時，自己的個資可能會不慎遭到公開。隨著搭載相機鏡頭的智能揚聲器，以及能啟用視訊的機器人助理出現(xiàn)，這種擔憂也跟著加劇。為了讓顧客消除疑慮，制造商正在研究如何在最終裝置中將更多DNN處理移動至邊緣。主要的問題就在于DNN處理不適合傳統(tǒng)嵌入式系統(tǒng)的結(jié)構(gòu)。

傳統(tǒng)嵌入式處理器不足以應(yīng)付DNN處理

以CPU與GPU為主的傳統(tǒng)嵌入式處理器，無法有效率地為低功率裝置處理DNN工作量。IoT與行動裝置對功率及面積有非常嚴格的限制，而必須有高性能才能進行即時的DNN處理。功率、效能與面積三者的組合就稱為PPA，必須為了手上的任務(wù)進行最佳化。

解決這些問題的一個方法，就是為DNN處理提供可存取晶載暫存記憶體配置的硬體引擎。這個作法的問題在于，開發(fā)者必須具備高度靈活性，每個DNN執(zhí)行的結(jié)構(gòu)都需要依其目標應(yīng)用做調(diào)整。專為語言辨識設(shè)計及訓練的DNN，將會混合不同于影片專用之DNN的卷積、池化及全連結(jié)層。由于機器學習尚未成熟，還在持續(xù)發(fā)展，因此為了設(shè)計能因應(yīng)未來的解決方案，靈活性就至關(guān)重要。

另一個常用方法是為標準處理單元增加一個向量處理單元(VPU)。這個作法能更有效率地計畫，并能靈活操控不同類型的網(wǎng)路，但這樣還是不夠。讀取來自外接DDR記憶體的數(shù)據(jù)是與DNN處理相關(guān)，極為耗電的工作。因此，數(shù)據(jù)效率及記憶體存取也必須經(jīng)過詳細檢查，以作為完整的解決方案。為加強效率、可擴充性與靈活性，VPU只是AI處理器里其中一個必要的重要模組。

啟用最佳化頻寬與傳輸量

例如CEVA建立了一個結(jié)構(gòu)，能同時滿足DNN的效能挑戰(zhàn)，以及保留處理最廣泛多樣內(nèi)建式深度學習應(yīng)用程序所必要的靈活性。NeuPro AI處理器包含了一個專業(yè)、最佳化的深度神經(jīng)網(wǎng)路推論硬體引擎，以處理卷積、全連結(jié)、活化與池化層，另外還利用了高效、可編程的VPU進行未支援的其他層與推論軟體執(zhí)行。這個結(jié)構(gòu)搭配了CEVA深度神經(jīng)網(wǎng)路(CDNN)軟體架構(gòu)，能啟動最佳化繪圖編譯，并能在運行時執(zhí)行。

NeuPro的可擴充與靈活結(jié)構(gòu)適合各種不同的AI應(yīng)用程序

透過支援8位元與16位元算術(shù)，就能達到進一步的性能最佳化。對于一些運算來說，必須有精確的16位元計算，而在其他情況下，使用8位元計算就能取得幾乎相同的運算結(jié)果，如此就能明顯減少工作量，進而減少功率的消耗。NeuPro引擎能讓這些混合操作達到平衡，因而讓各層都達到最理想的執(zhí)行。

依不同層選擇8位元或16位元計算，就能提供最理想的精確性與效能

結(jié)合最佳化后的硬體模組、VPU，以及有效率的記憶系統(tǒng)，就能提供可擴充、靈活且極具效率的解決方案。除此之外，CDNN也能利用按鍵網(wǎng)路轉(zhuǎn)換與現(xiàn)成的程序庫模組，將開發(fā)變得簡化。最后的成果就是一個功能完整，并讓物聯(lián)網(wǎng)裝置設(shè)計師有能力在下一代產(chǎn)品中充份運用本地化機器學習的AI處理器。