作者：Poornima Apte

投稿人：DigiKey 北美編輯

在過去的幾年里，邊緣 AI 越來越受歡迎。預計到 2035 年前，相關全球市場將以 27.8% 的復合年增長率增長，凈值增至 3568.4 億美元。

這種需求是多種因素推動的結果。公司普遍對將敏感或?qū)Ｓ行畔魉偷皆贫舜嬖诎踩檻]，而在邊緣處理數(shù)則可消除這種顧慮。邊緣處理還能減少延遲，這在需要瞬間做出決策的實時應用中可能非常重要。工業(yè)物聯(lián)網(wǎng) (IIoT) 設備提供數(shù)據(jù)驅(qū)動的操作，這反過來又增加了邊緣 AI 的用例。從便攜式醫(yī)療設備到可穿戴設備和 IIoT，快速擴展的應用正在推動邊緣 AI 市場的蓬勃發(fā)展。

隨著這項技術日漸普及，對于能夠滿足嵌入式系統(tǒng)數(shù)據(jù)處理需求的組件，市場需求也在同步攀升。

計算處理的選擇：單片機還是微處理器

目前，在工業(yè)和其他嵌入式設備中部署的絕大多數(shù)物聯(lián)網(wǎng)設備都是內(nèi)存非常小的低功耗設備。設備的處理能力來自小型嵌入式單片機 (MCU)。這些 MCU 采用低功耗架構，相較于采用微處理器的系統(tǒng)，能讓嵌入式系統(tǒng)在成本效益方面更具優(yōu)勢。

在邊緣 AI 出現(xiàn)之前，MCU 一直能很好地滿足物聯(lián)網(wǎng)設備的處理需求。但傳統(tǒng)的 MCU 通常無法提供更復雜的機器學習算法所需的計算能力，而這些算法是邊緣 AI 應用的標志。此類算法通常在具有更多計算能力的圖形處理單元 (GPU) 和微處理器上運行。然而，使用這些元器件也存在一些固有弊端，其中就包括耗電量較大這一問題。微處理器或 GPU 并不是能效最高的解決方案。因此，微處理器驅(qū)動的邊緣計算可能并不是所有邊緣 AI 應用的最佳選擇，而供應商選擇依賴 MCU。

獨立 MCU 比 GPU 和微處理器更便宜。為了擴展邊緣 AI 應用，越來越需要在發(fā)揮 MCU 低成本、低功耗優(yōu)勢的同時，提升其計算性能。

事實上，多年來，一些因素已經(jīng)融合在一起，推動著邊緣 MCU 的功能持續(xù)提升。

有助于在邊緣使用 MCU 的因素

盡管人們普遍認為傳統(tǒng) MCU 對于 AI 相關的數(shù)據(jù)處理來說過于輕量級，但 MCU 設計的優(yōu)化，加上更為廣泛的技術生態(tài)系統(tǒng)的變革，正在推動著 MCU 在邊緣 AI 用例中的應用。

這些因素包括：

• 在 MCU 中集成 AI 加速器：當單靠 MCU 無法滿足邊緣計算需求時，將其與神經(jīng)處理單元 (NPU) 或數(shù)字信號處理器 (DSP) 等 AI/ML 加速器集成可以提高性能。
  例如，[STMicroelectronics] 的 [STM32N6 系列 CPU]（圖 1）基于運行頻率為 800 MHz 的 [Arm] Cortex-M55。Arm Helium 矢量處理技術為標準 CPU 帶來了 DSP 處理功能。STM32N6 是第一款嵌入 ST Neural-ART 加速器的 STM32 MCU，該加速器是一款內(nèi)部開發(fā)的 NPU，專為強大的邊緣 AI 應用而設計。

圖 1：STM32N6 是第一款嵌入 ST Neural-ART 加速器的 STM32 MCU，該加速器是一款內(nèi)部開發(fā)的神經(jīng)處理單元 (NPU)，專為高能效邊緣 AI 應用而設計。（圖片來源：STMicroelectronics）

• 針對邊緣優(yōu)化的 AI 模型：復雜繁重的 AI 和機器學習算法不能簡單地轉(zhuǎn)移到 MCU。它們需要針對有限的計算資源進行優(yōu)化。TinyML 和 MobileNet 等緊湊型 AI 架構與優(yōu)化技術相結合，實現(xiàn)了這一點，甚至使邊緣的 MCU 能夠執(zhí)行 AI 算法。STMicroelectronics 推出了 STM32Cube.AI，這是一款軟件解決方案，能夠把神經(jīng)網(wǎng)絡轉(zhuǎn)化為針對 STM32 MCU 進行優(yōu)化的 C 代碼。即便存在處理能力與內(nèi)存方面的限制，將該解決方案與 STM32N6 搭配使用，也有助于確保達成邊緣 AI 應用所需的性能。
• AI 生態(tài)系統(tǒng)的興起：僅僅擁有能夠在邊緣進行 AI 相關處理的硬件組件遠遠不夠。在邊緣執(zhí)行 AI 算法需要對開發(fā)人員友好的生態(tài)系統(tǒng)，以幫助簡化 AI 的部署。TensorFlow Lite for Microcontrollers 等特定工具有助于提供此類解決方案。Hugging Face 等開源社區(qū)和其他平臺提供了預先訓練的模型和代碼庫，開發(fā)人員可以根據(jù)特定用例對其進行測試和定制。這樣的 AI 生態(tài)系統(tǒng)極大地降低了技術應用的門檻，推動了 AI 技術的普及化進程，即便對于那些資源有限、無法獨立從零開始開發(fā)專有 AI 模型的企業(yè)而言，也能夠順利接入并利用 AI 技術。
  STMicroelectronics 有專門定制的硬件和軟件生態(tài)系統(tǒng) ST Edge AI Suite，用于優(yōu)化邊緣 AI 解決方案。該套件整合了 ST 的許多 AI 庫和工具，使開發(fā)人員更容易找到可以為單片機生成代碼的模型、數(shù)據(jù)源、工具和編譯器。
  模型庫中的預訓練模型為開發(fā)人員提供了起點。這些模型使用開放神經(jīng)網(wǎng)絡交換 (ONNX) 格式，這是一種開放標準，用于表示計算機視覺 (CV)、自然語言處理 (NLP)、生成式人工智能 (GenAI) 和圖形機器學習等領域的機器學習模型。
• 標準化和互操作性代碼：AI 生態(tài)系統(tǒng)幫助企業(yè)測試了邊緣 AI 用例，而開放和標準化的模型格式則助力實現(xiàn)了跨硬件系統(tǒng)的無縫集成?？畿浖ぞ吆?MCU 的兼容性有助于減少邊緣 AI 的實施障礙。
• 關注邊緣安全：雖然 MCU 消除或至少減少了對數(shù)據(jù)云處理的需求，但硬件組件提供了額外的安全層。它們通常包括硬件加密和安全啟動等功能，能夠有效保護數(shù)據(jù)和 AI 模型，使其免受惡意攻擊者的破壞。

STM32N6 硬件的特色功能

STM32N6 系列包括帶有 NPU 的高性能 MCU、攝像頭模塊捆綁包和談探索套件。該系列采用典型的 ARM Cortex-M 架構，并具有多項關鍵特性，使這些設備適用于邊緣 AI。其中包括：

• Neural ART 加速器，可以運行神經(jīng)網(wǎng)絡模型。該加速器針對密集型 AI 算法進行了優(yōu)化，時鐘頻率為 1 GHz，以平均 3 TOPS/W 的能效提供 600 GOPS。
• 支持“Helium”M 型矢量擴展 (MPVE) 指令，這是一組可實現(xiàn)強大的神經(jīng)網(wǎng)絡和 DSP 功能的 ARM 指令。例如，這些指令被設計用于處理 16 位和 32 位浮點數(shù)，這使它們能夠有效地處理低精度數(shù)字。而這些對于處理 ML 模型非常重要。
• ST Edge AI Suite 是一個免費軟件工具、用例和文檔的存儲庫，可幫助各種經(jīng)驗水平的開發(fā)人員為智能邊緣創(chuàng)建 AI。該套件還包括 ST Edge AI Developer Cloud 等工具，其中包含 STM32 模型庫中的專用神經(jīng)網(wǎng)絡、用于真實世界基準測試的板卡集群 (Board Farm) 等。
• 近 300 個可配置的乘法累加單元和兩條 64 位 AXI 內(nèi)存總線，吞吐量高達 600 GOPS。
• 內(nèi)置專用圖像信號處理器 (ISP)，可直接連接多臺 500 萬像素攝像頭。要構建包含攝像頭的系統(tǒng)，開發(fā)人員必須針對特定的 CMOS 攝像頭傳感器及其鏡頭微調(diào) ISP。這種微調(diào)通常需要專業(yè)知識或第三方的幫助。為此，ST 為開發(fā)人員提供了一款名為 iQTune 的專用桌面軟件。該軟件運行在 Linux 工作站上，與 STM32 上的嵌入式代碼通信，分析色彩精度、圖像質(zhì)量和統(tǒng)計數(shù)據(jù)，并適當配置 ISP 的寄存器。
• 支持 MIPI CSI-2（移動應用中最流行的攝像頭接口），無需與此特定攝像頭串行接口兼容的外部 ISP。
• 單個器件集成了豐富的附加功能，這意味著開發(fā)人員現(xiàn)在無需部署多個 MCU，便能實現(xiàn)神經(jīng)網(wǎng)絡與 GUI 的同步運行。
• 強大的安全性，包括 Target SESIP 3 級和 PSA 3 級認證。

總結

過去，若要在邊緣運行機器學習應用，嵌入式系統(tǒng)必須借助高性能的微處理器，才能承擔起執(zhí)行復雜算法的繁重任務。得益于 STMicroelectronics 推出的 STM33N6 系列 CPU 這類功能強勁的 MCU，如今企業(yè)能夠在邊緣實現(xiàn) AI 的普及化。STMicroelectronics 為邊緣 AI 部署提供了完整的生態(tài)系統(tǒng)，包括用于推理的軟件和硬件組件。

審核編輯 黃宇