正如 Arm 工程部軟件高級副總裁 Mark Hambleton 在《2025 年芯片新思維》報告中所說:人工智能 (AI) 的未來發(fā)展離不開軟硬件的協(xié)同。
然而,在由 Arm 贊助的新 CIO 報告中所述,開發(fā)者工作流程的碎片化限制了開發(fā)者創(chuàng)建和擴展新 AI 應用的速度,而這也是目前其所面臨的最大挑戰(zhàn)之一。
Arm 深知軟件對于釋放 AI 的真正潛力至關重要,因而從基礎架構和整個技術棧入手,致力于簡化 AI 開發(fā)流程,并支持新 AI 應用和工作負載實現(xiàn)無縫性能加速。
基礎架構
Arm 持續(xù)發(fā)展自身架構,作為軟硬件之間的重要接口。如今,從云端到邊緣側的廣泛市場中,Armv9 架構已成為智能手機、數(shù)據(jù)中心、高性能計算和汽車應用等領域的現(xiàn)代技術基礎。
Arm 不斷為最新的架構引入新的功能,例如此前推出的可伸縮矩陣擴展 (SME) 和可伸縮向量擴展 (SVE2),有助于在各類應用中加速生成式 AI 和常見機器學習 (ML) 工作負載。SME 借由在通用指令集中引入復雜矩陣處理能力,使開發(fā)者能夠在其 AI 應用中實現(xiàn)出眾性能,并無縫遷移到不同的生態(tài)系統(tǒng)。由此不僅擴大了運行 AI 工作負載的硬件范圍,還顯著提升了用戶體驗。
CPU 對開發(fā)者的價值
上述架構特性都集成到了 Arm 的 CPU 中,使之成為軟件開發(fā)者首選的目標平臺。因為 Arm CPU 廣泛應用于從云端到邊緣側的各種應用,適合作為大多數(shù) AI 推理工作負載的直接目標平臺,被廣泛應用于數(shù)十億臺設備中,例如當今的智能手機,以及全球的云端和數(shù)據(jù)中心。通過選擇 Arm CPU 作為目標平臺,開發(fā)者能夠以更多類型的數(shù)據(jù)格式運行更廣泛的軟件,而無需為專用 NPU 開發(fā)多個版本的代碼。
CPU 為開發(fā)者提供了所需的一致性,避免了定制硬件解決方案所帶來的碎片化和效率低下。
正如 Hambleton 在《2025 年芯片新思維》報告中指出:AI 框架的互操作性是開發(fā)者的核心訴求。因此開發(fā)者通常默認選擇 CPU 后端,因為 CPU 的普遍性確保了更廣泛的兼容性。
此外,推動 AI 工作負載擴展的因素不僅限于架構的進步。
在 CIO 報告中,Arm 工程部機器學習工程副總裁 Nick Horne 表示,AI 已經(jīng)從依賴云端的龐大模型演變?yōu)榭稍谶吘墏然蚨藗冗\行的更小、更高效的模型。他指出:如今,有些出色的模型可在你隨身攜帶的設備上運行并提供高質(zhì)量的結果,某些情況下甚至能夠完全在 CPU 上運行。
對開源不變的承諾
Arm 與開源社區(qū)廣泛合作,致力于推動 AI 的普及,為開發(fā)者提供便捷途徑,使開發(fā)者能夠輕松獲取來自廣泛 Arm 生態(tài)系統(tǒng)合作伙伴的硬件,及時利用其中的最新架構特性和性能。
Horne 在 CIO 報告中強調(diào)了這一方法為開發(fā)者帶來的優(yōu)勢。他指出:采用具有良好硬件抽象的開源 AI 框架,能夠顯著避免對靈活性的影響。
如此一來,開發(fā)者無需受限于特定硬件、云服務提供商或軟件平臺。
Kleidi 助力輕松加速 AI
Arm Kleidi 很好地體現(xiàn)了上述優(yōu)勢的實際應用效果。Kleidi 提供開發(fā)者支持技術、資源和微內(nèi)核庫,能夠為在 Arm CPU 上運行的模型輕松實現(xiàn) AI 工作負載加速。由于 Kleidi 庫已集成到主流的開源 AI 框架和運行時中,包括 Google 的 MediaPipe、Meta 的 ExecuTorch 和 PyTorch、llama.cpp,騰訊的 Angel,以及阿里巴巴的 MNN。開發(fā)者無需額外工作即可獲得性能優(yōu)化,從而節(jié)省時間、精力和成本。Kleidi 現(xiàn)已集成至 Arm 技術覆蓋的所有市場,包括移動端、云、數(shù)據(jù)中心、汽車和物聯(lián)網(wǎng)領域。
與行業(yè)領先的生態(tài)系統(tǒng)合作
從更廣泛的層面來看,Arm 通過行業(yè)領先的軟件生態(tài)系統(tǒng),與眾多合作伙伴開展協(xié)作,致力于安全、大規(guī)模地部署 AI。例如,Arm 與 GitHub 就 GitHub Runners 項目開展合作,使開發(fā)者能夠更高效地在云端測試和部署訓練好的模型。近期,面向 GitHub CoPilot 的 Arm 擴展程序為開發(fā)者提供了完全集成的原生 Arm 工作流,包括準確的代碼生成、測試用例創(chuàng)建和錯誤修復功能。
此外,Arm 還通過各種舉措推動底層軟件和固件部署的簡化和加速,實現(xiàn)順暢的軟件開發(fā)。Linaro OneLab、Trusted Firmware 和 PSA Certified 等項目促進了各方協(xié)作,并為快速發(fā)展的邊緣側 AI 和高性能物聯(lián)網(wǎng)領域的安全軟件部署和支持提供了藍圖。在汽車行業(yè),Arm 發(fā)起的面向嵌入式邊緣的可擴展開放架構 (SOAFEE) 致力于提供基于標準的框架,以實現(xiàn)軟件的規(guī)?;瘡陀茫瑥亩s短開發(fā)周期,滿足了軟件定義汽車 (SDV) 應用中對更多 AI 的空前需求,同時提升了駕駛體驗。
開放標準推動創(chuàng)新
最后,缺乏標準化實踐可能會阻礙創(chuàng)新,并可能在未來給開發(fā)者制造復雜難題。開放標準使開發(fā)者和研究人員可以在不同平臺之間無縫切換,同時專注于訓練、量化和部署,通過模型的持續(xù)創(chuàng)新創(chuàng)造價值。
借助軟件加速 AI 創(chuàng)新
為了讓 AI 技術充分發(fā)揮潛力,軟件開發(fā)流程需要簡化、加速并開放。Arm 技術及其生態(tài)系統(tǒng)通過專注于開放標準、硬件抽象并與不斷演變的框架保持兼容,助力實現(xiàn)面向未來的 AI 開發(fā)。開發(fā)者因而能夠在不同硬件上無縫創(chuàng)建和部署 AI 應用、模型和工作負載并提升性能,從而基于 Arm 平臺為 AI 時代打造更優(yōu)質(zhì)的軟件。
-
ARM
+關注
關注
134文章
9352瀏覽量
377539 -
cpu
+關注
關注
68文章
11080瀏覽量
217074 -
AI
+關注
關注
88文章
35147瀏覽量
279834
原文標題:選對運用軟件的方法,使 AI 創(chuàng)新如虎添翼
文章出處:【微信號:Arm社區(qū),微信公眾號:Arm社區(qū)】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計算與嵌入式開發(fā)
Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理

Arm Kleidi擴展到汽車市場 Arm Kleidi實現(xiàn)性能自動優(yōu)化
Arm Cortex-A320 CPU助力嵌入式設備實現(xiàn)高能效AI計算

Arm技術助力Google Axion處理器加速AI工作負載推理

HPC工作負載管理的關鍵要素
亞馬遜云科技發(fā)布Amazon Q Developer,助力工作負載轉(zhuǎn)型
利用Arm Kleidi技術實現(xiàn)PyTorch優(yōu)化

Arm KleidiAI助力提升PyTorch上LLM推理性能

Arm Neoverse如何加速實現(xiàn)AI數(shù)據(jù)中心
Arm推出GitHub平臺AI工具,簡化開發(fā)者AI應用開發(fā)部署流程
Arm全面設計助力Arm架構生態(tài)發(fā)展
Arm Kleidi加速AI發(fā)展
使用Arm KleidiCV開源庫加速圖像處理性能

評論