一個極具前景的物聯(lián)網(wǎng)人工智能 (AI) 視覺技術(shù)應(yīng)用——通過采集店內(nèi)消費者的數(shù)據(jù)，幫助零售商利用這些視頻數(shù)據(jù)，更快速、更高效地優(yōu)化產(chǎn)品陳列、布局動線和客戶體驗。

但同時也面臨著兩個主要挑戰(zhàn)：成本和復(fù)雜性。假設(shè)一家大型超市想要采集客流量、消費者購買記錄及其它數(shù)據(jù)，則需要在店內(nèi)安裝大約 15,000 個攝像頭。對于每秒 30 幀的 4K 視頻，15,000 個攝像頭每秒將產(chǎn)生 225 GB 的數(shù)據(jù)。

相較于其它形式的數(shù)據(jù)，視頻的數(shù)據(jù)量十分龐大，處理流程也相當(dāng)復(fù)雜，包括圖像識別、物體檢測和場景分析。這些 AI 視覺任務(wù)需要先進的算法和模型支持，這讓計算變得更為復(fù)雜。此外，這類大數(shù)據(jù)需要傳送回云端進行高效計算，再發(fā)送回來，以便進行決策判斷。顯然，每秒 225 GB 的數(shù)據(jù)并不具有經(jīng)濟性。

但現(xiàn)在早已不是 2018 年了。在過去五年中，上述的場景發(fā)生了巨大的變化?，F(xiàn)在，結(jié)合 AI 與機器學(xué)習(xí) (ML)[1]，經(jīng)過不斷提升后的邊緣處理能力可實現(xiàn)更高的效率，意味著許多極具前景的視覺應(yīng)用在以往所面臨的巨大經(jīng)濟性障礙正在被逐步掃除。

釋放邊緣 AI 視覺的創(chuàng)新力

此前，很多關(guān)鍵性技術(shù)都各自為政，幾乎很難或根本不可能與其它重要組件相互集成，以實現(xiàn)一個無縫創(chuàng)新的生態(tài)系統(tǒng)。在同質(zhì)處理的環(huán)境中，人們用一個解決方案來滿足所有的需求，但這對于不同的視覺工作負載提供定制化解決方案的實現(xiàn)，是極其困難的。那現(xiàn)如今有什么不同呢？

工程師和開發(fā)者們已攻克了成本、復(fù)雜性及其它一些難題。以復(fù)雜性這一挑戰(zhàn)為例。降低視覺解決方案的成本和復(fù)雜性的途徑之一是，為開發(fā)者在邊緣解決方案（異構(gòu)計算）的實施過程中提供更高的靈活性。

芯片設(shè)計公司正在生產(chǎn)性能更加強大的處理器，帶來了更高計算性能的同時維持高能效表現(xiàn)。這些處理器包括 CPU、GPU、ISP 和加速器，能夠在一些資源受限的環(huán)境下處理 AI 和 ML 等復(fù)雜任務(wù)。此外，通過 AI 加速器，無論是作為 SoC 內(nèi)核，還是作為獨立的 SoC，均能夠在邊緣高效地執(zhí)行 AI 算法。

解決復(fù)雜性

談到復(fù)雜性方面的問題。2022 年，Arm 推出了 ArmMali-C55，這是 Arm 迄今推出的最小芯片面積下，可實現(xiàn)高性能表現(xiàn)的圖像信號處理器 (ISP)。該處理器集高圖像質(zhì)量、高吞吐量、高能效和芯片面積優(yōu)勢于一體，適合端點 AI、智能家居攝像頭、AR/VR 和智能顯示屏等應(yīng)用。該處理器的吞吐量高達 1.2Gpix/sec (每秒 12 億像素)，可帶來更高的性能表現(xiàn)，是嚴苛的視覺處理任務(wù)的理想之選。在向異構(gòu)計算推進過程中，Mali-C55 的設(shè)計用途之一便是搭配 Cortex-A 或 Cortex-M CPU，無縫集成到 SoC 設(shè)計中。

這一點非常關(guān)鍵，因為在 SoC 中，ISP 的輸出通常被直接發(fā)送至 ML 加速器中，以便通過神經(jīng)網(wǎng)絡(luò)或類似算法做進一步的處理。這涉及到為 ML 模型提供縮放圖像，以處理諸如物體檢測和姿態(tài)估計等任務(wù)。

這種協(xié)同作用反過來又催生了具備 ML 功能的攝像頭和“軟件定義攝像頭”的概念，使 OEM 廠商和服務(wù)提供商能夠在全球范圍內(nèi)部署攝像頭，并提供具備動態(tài)功能增強的迭代功能和商業(yè)模式。

舉個例子，假設(shè)在一個停車場，每個車位上方都安裝了攝像頭，用于判斷該車位是否泊車。在 2018 年，這是種不錯的解決方案，駛?cè)胪＼噲龅鸟{駛員能夠一眼看到哪里有空余車位。但在 2023 年，這種解決方案已不具經(jīng)濟性。利用邊緣 AI 的概念，僅在每一層的出入口放置一到兩個攝像頭，利用 AI 算法算出剩余空車位，這樣的方案才符合 2023 年的思維模式。

再次回到大型超市的場景：15,000 個攝像頭每秒產(chǎn)生 225 GB 的數(shù)據(jù)?，F(xiàn)在你應(yīng)該知道如何提供解決方案了吧？

亞馬遜早已意識到這一問題，在其最新版本的 “Just Walk Out” 商店技術(shù)中，攝像頭模塊的計算能力已得到提升。將 AI 部署在邊緣側(cè)，以實現(xiàn)更高效、更快速的計算。

借助這樣強大且經(jīng)濟高效的視覺技術(shù)，超市零售商或許可以通過分析店內(nèi)攝像頭記錄下的視頻數(shù)據(jù)，進行分析、得到結(jié)論，舉例來說，大多數(shù)顧客會在上午 9 點至 11 點之間購買橙子，繼而確定在每天中午前后需要補充貨架上的橙子。通過進一步分析，零售商發(fā)現(xiàn)很多顧客（出于隱私原因而在視頻數(shù)據(jù)中匿名）在同一次購物期間還會購買花生。由此，可以根據(jù)這些反饋對商品的陳列進行調(diào)整。

適當(dāng)?shù)奈恢茫瑴蚀_的計算

將適當(dāng)?shù)倪吘?AI 計算[2]部署在更靠近傳感器的位置，能減少延遲性，提高安全性并降低成本，還可以催生新的業(yè)務(wù)模式。

視頻監(jiān)控即服務(wù) (VSaaS)[3] 便是由此誕生的一種業(yè)務(wù)模式。VSaaS 包含視頻錄制、存儲、遠程管理及網(wǎng)絡(luò)安全的配置，將本地攝像頭與云端的視頻管理系統(tǒng)相結(jié)合。根據(jù) Transparency Market Research[4] 預(yù)測，截至 2027 年，VSaaS 市場規(guī)模將達到 1,320 億美元。

然而，從更廣泛的角度來看，許多蘊含巨大機遇仍尚未爆發(fā)。受限于經(jīng)濟、處理能力的限制或純粹的復(fù)雜性等因素，許多強大的潛在應(yīng)用仍在等待迎風(fēng)而上。比如：

智慧城市：在智慧城市領(lǐng)域，通過視頻分析實現(xiàn)交通管理、人流分析和停車空間優(yōu)化，由此產(chǎn)生海量數(shù)據(jù)。

工業(yè)自動化：質(zhì)量控制、缺陷檢測和流程優(yōu)化。

自動駕駛汽車：自動駕駛汽車（比如自動駕駛汽車和無人機）上的傳感器和攝像頭，為導(dǎo)航和安全系統(tǒng)采集數(shù)據(jù)，實時感知周圍情況。

虛擬現(xiàn)實 (VR) 和增強現(xiàn)實 (AR)：沉浸式 VR 和 AR 體驗需要實時渲染和處理高分辨率視覺內(nèi)容，因此會生成大量數(shù)據(jù)。

走在前沿的實踐者不會作壁上觀。在韓國平澤市，該市的政府計劃利用 AI 和自動駕駛等智慧城市技術(shù)構(gòu)建試點平臺，并將于 2025 年完成，之后計劃逐步在全市進行普及。

這座擁有五十萬人口的城市正努力應(yīng)對交通擁堵和交通事故導(dǎo)致的行人意外死亡問題。作為全市“智慧城市”改革的一部分，專家們在視覺設(shè)備中部署了 Arm 合作伙伴 Nota.ai 的 Nespresso 平臺[5]，這是一種 AI 模型自動壓縮解決方案，有助于打造智能交通系統(tǒng)。

在設(shè)備方面，諸多巧妙的設(shè)計正在助力客戶實現(xiàn)視覺愿景。例如奇景光電 (Himax) 的 WiseEye-II，這是一款智能影像感測方案，可部署在一系列由電池驅(qū)動的消費類和家庭安防應(yīng)用中，包括筆記本電腦、門鈴、門鎖、攝像頭和智能辦公室。該解決方案與 Arm 微控制器和神經(jīng)處理器內(nèi)核相結(jié)合，使機器視覺 AI 更深入地融合到消費類和智能家居設(shè)備中。

得益于邊緣 AI 技術(shù)取得的驚人進步，當(dāng)下正在開發(fā)的示例和為未來創(chuàng)新所做的設(shè)計正逐步成為現(xiàn)實。而在視覺領(lǐng)域，這些技術(shù)正在基于 Arm 架構(gòu)而構(gòu)建。

除了硬件，Arm 還通過軟件庫、互聯(lián)標準、安全框架和 Arm 虛擬硬件等開發(fā)工具，幫助開發(fā)者更快速、更高效地開發(fā)圖像解決方案，開發(fā)者無需等待硬件就緒，便可在目標架構(gòu)上對其應(yīng)用進行虛擬化運行。

過去，人們曾希望利用視覺技術(shù)改變世界，挖掘未曾被開發(fā)的大量數(shù)據(jù)，但由于成本和復(fù)雜性，這一夢想被認為遙不可及。但現(xiàn)在，它們已成為現(xiàn)實。