作者：Arm 高級副總裁兼物聯(lián)網事業(yè)部總經理 Paul Williamson

談到人工智能 (AI) 和機器學習 (ML) 時，您會聯(lián)想到拖拉機嗎？答案應該是不會，但是《經濟學人》[1]中的這個類比或許能為您帶來些啟發(fā)。

雖然拖拉機在二十世紀初一經問世就引起轟動，但農場主們對于新技術的接受速度是非常緩慢的。到 1940 年，僅有 23% 的美國農場采用了拖拉機。為何普及速度如此緩慢？主要原因是拖拉機功能有限、可靠性較差、維護困難，以及價格過于昂貴。但即使如此，大多數(shù)農場主心里也明白，一旦這些問題得到解決，且當這個產品更具經濟吸引力，將帶來巨大的變革。

當今技術的普及速度遠遠超過二十世紀的農業(yè)領域，但從拖拉機發(fā)展歷程中得出的經驗，對于 AI 和 ML 在邊緣領域的早期應用依然具有重要借鑒意義。換言之，對 AI 系統(tǒng)的競相投資不能只停留在對美好未來的憧憬上，而要重視切實可行的實施計劃。正如二十世紀 40 年代，從一開始農民看到拖拉機時的驚奇，轉向切實地提高農業(yè)效率，實現(xiàn)農業(yè)多樣化和集約化，以及為拖拉機開發(fā)更多專用附件和服務。

然而，要在邊緣側實現(xiàn) AI 和 ML 的規(guī)?；瘧?，目前仍需克服重重挑戰(zhàn)。

碎片化格局

市場上針對不同應用和場景的硬件類型五花八門，這構成了在邊緣側部署 AI 和 ML 的一大挑戰(zhàn)。通常，豐富多樣的硬件選擇會導致開發(fā)者必須為特定硬件定制模型和代碼，這無疑會增加開發(fā)過程的復雜性和管理成本。

現(xiàn)實情況是，與移動設備和高性能物聯(lián)網類似，大多數(shù) ML 模型都是在 CPU 上運行。而物聯(lián)網又廣泛構建于 Arm 架構之上。2020 年，Arm 推出了 Helium 技術，它是 Arm Cortex-M 指令集的矢量擴展，支持在超低功耗設備上實現(xiàn) ML 加速。引入 Helium 的 Cortex-M 能夠幫助開發(fā)者將 ML 應用的性能提升多達 15 倍，并將其能效提高至少五倍。目前已有超過 35 家合作伙伴推出了采用 Helium 技術的設備，其中包括恩智浦半導體、瑞薩電子、Ambiq 和 Alif Semiconductor。

Arm Ethos NPU 系列產品旨在為邊緣 ML 工作負載提供更優(yōu)異的性能和能效表現(xiàn)，為您的性能提升之路保駕護航。Ethos NPU 兼具可擴展性和可配置性，能夠針對不同應用提供不同級別的性能和功耗，適用于計算機視覺、自然語言處理、語音識別、推薦系統(tǒng)等多種應用場景。Ethos NPU 可以與任何基于 Arm 技術的 SoC 集成，為從智能音箱到安全攝像頭等各種設備提供無縫的 ML 加速解決方案。

AI 模型生命周期

另一挑戰(zhàn)是 AI 模型的生命周期，其中包括訓練、調整和部署等環(huán)節(jié)。為了在邊緣部署 AI 模型，開發(fā)者需要考慮如何針對特定硬件優(yōu)化模型。這涉及選擇正確的模型架構、數(shù)據(jù)格式、量化方案和推理引擎，以便使其能夠在嵌入式設備上高效運行。此外，開發(fā)者需要選擇能夠充分利用設備硬件功能（如 Ethos NPU 或 Helium 技術）的推理引擎，以加速模型的執(zhí)行。

Arm 能夠讓開發(fā)者輕松地在嵌入式設備上使用 PyTorch 和 ExecuTorch 等主流 ML 框架。例如，Arm Keil MDK 是可用于簡化嵌入式應用程序開發(fā)和調試的集成開發(fā)環(huán)境 (IDE)，能支持 CMSIS 工具包，而后者為設備能力和 ML 模型提供了通用的抽象層。借助經簡化的開發(fā)流程，開發(fā)者僅需單一工具鏈和經驗證的單一架構便可以實現(xiàn) AI 功能。迄今，基于 Cortex-M 的設備出貨量已超過 1000 億臺，在全球范圍內擁有 100 多家 ML 生態(tài)系統(tǒng)合作伙伴。

利用 Arm 解決方案，開發(fā)者可以減少嵌入式設備中 ML 應用開發(fā)所需的時間和成本，同時獲得更優(yōu)越的性能和能效表現(xiàn)。

使用嵌入式設備

嵌入式開發(fā)面臨的主要挑戰(zhàn)之一在于，需要在資源受限的設備上優(yōu)化 ML 應用的性能和效率。不同于基于云端的解決方案，可利用服務器強大的計算和存儲能力，嵌入式設備通常必須在嚴苛的功耗和延遲性約束之下，在本地運行 ML 模型。為了實現(xiàn)所需的 ML 性能，開發(fā)者通常不得不在初代產品的價格或功耗上做出妥協(xié)。

而 Arm 虛擬硬件的推出帶來了一種創(chuàng)新思路，它是一款基于 Arm 架構的云端模擬解決方案，使開發(fā)者可以在不依賴物理硬件的情況下開發(fā)和測試 ML 應用。該解決方案可與 AWS SageMaker 和 Google Cloud AI Platform 等 MLOps 解決方案無縫集成，有效簡化了 ML 模型在各種設備上的部署和管理。這些平臺提供的工具和服務支持自動執(zhí)行 ML 生命周期的每一個階段，涵蓋了從數(shù)據(jù)管理和模型訓練到部署和監(jiān)控等環(huán)節(jié)。通過將 Arm 虛擬硬件與 MLOps 解決方案相結合，開發(fā)者可以更快地將嵌入式 ML 應用推向市場、降低成本并增強其可擴展性。

部署和保護知識產權

在數(shù)以百萬計的端側設備中部署和保護寶貴的知識產權，也是一項重大挑戰(zhàn)。ML 模型本質上是數(shù)學函數(shù)，任何有權訪問設備或數(shù)據(jù)流的人都可以提取和復制它。因此，設備和數(shù)據(jù)可能會被篡改、操控或惡意攻擊，從而導致其功能和可靠性受到損害。開發(fā)者必須確保其 ML 模型受到保護，不會輕易被逆向工程破解。

Arm 致力于幫助開發(fā)者在邊緣設備上部署 ML 模型并保障其安全，方法之一便是在 PSA Certified 提供的框架內操作。PSA Certified 是平臺安全架構 (PSA) 的縮寫，是 Arm 與合作伙伴為幫助保護物聯(lián)網設備而制定的最佳實踐和規(guī)范。經 PSA Certified 認證，用戶可以驗證和信任物聯(lián)網產品的安全性，并確保其符合相關法規(guī)和標準的要求。

嵌入式邊緣 AI

AI 和 ML 正在重新塑造嵌入式系統(tǒng)的發(fā)展面貌。

去年，我們與合作伙伴共同探討了應對嵌入式開發(fā)中一些常見挑戰(zhàn)的各種方法，例如：類似 Arm 虛擬硬件等的開發(fā)解決方案、新行業(yè)標準，或通過采用 Arm 架構以實現(xiàn)靈活性、高效率并最大限度地降低安全風險。

今年，我們將直面 AI 和 ML 在邊緣領域飛速創(chuàng)新的成果，并切身感受這些變化給 Arm 開發(fā)者生態(tài)系統(tǒng)帶來的影響。物聯(lián)網邊緣互聯(lián)設備日漸增多，數(shù)據(jù)量呈指數(shù)級增長，這為 AI 算法處理數(shù)據(jù)并實時提供洞察帶來了大量機遇。盡管生成式 AI 和大語言模型 (LLM) 備受矚目，但部署到邊緣物聯(lián)網設備（如：樹莓派）上的較小模型也開始嶄露頭角。Transformer 架構模型正在邊緣側掀起波瀾，因其固有的出色靈活性，使其與傳統(tǒng)的卷積神經網絡 (CNN) 區(qū)別開來。

變革的步伐之快令人驚嘆。Arm 非常高興能夠在支持高性能物聯(lián)網設備和系統(tǒng)實現(xiàn) AI 方面發(fā)揮關鍵作用。Arm 的愿景是提供安全的智能設備和系統(tǒng)，進而推動創(chuàng)新并改善人們的生活。通過以下舉措，Arm 持續(xù)致力于幫助開發(fā)者應對挑戰(zhàn)：

通過優(yōu)化高性能物聯(lián)網中部署 AI 的硬件和軟件，以實現(xiàn)性能、功耗、成本效益、安全性與可擴展性的優(yōu)異平衡。

簡便易用的工具和平臺，讓高性能物聯(lián)網中的 AI 開發(fā)和部署變得更加容易，讓更多具有不同知識背景的開發(fā)者和系統(tǒng)搭建者都能根據(jù)自身需求構建和定制解決方案。

強大的生態(tài)系統(tǒng)支持和戰(zhàn)略合作伙伴關系，加速推動了在高性能物聯(lián)網中 AI 的普及并最大限度的發(fā)揮其效用，鼓勵各利益相關方和行業(yè)之間開展合作與共創(chuàng)。

這些是 Arm 實現(xiàn)物聯(lián)網邊緣 AI 愿景的重要支柱。我們堅信，就像拖拉機曾經大幅改變了農業(yè)和食物供應鏈一樣，邊緣 AI 也將轉變我們與物理世界的互動方式，開啟人類創(chuàng)新創(chuàng)造的嶄新篇章。