概述

隨著智能手機(jī)、可穿戴設(shè)備和傳感器等各類(lèi)端側(cè)設(shè)備不斷產(chǎn)生更多的數(shù)據(jù)，邊緣計(jì)算也變得日益重要。在邊緣側(cè)執(zhí)行人工智能 (AI) 推理可減少延遲、提高隱私性并降低帶寬需求，但邊緣設(shè)備往往受到嚴(yán)格的功耗限制。

奇景光電為此開(kāi)發(fā)了一款超低功耗 AI 處理器 WiseEye 2 (WE2)，可用于在功耗受限的設(shè)備中實(shí)現(xiàn)邊緣 AI 推理。

邊緣 AI 所面臨的挑戰(zhàn)

由于可用的內(nèi)存、計(jì)算和功率有限，在端側(cè)設(shè)備上執(zhí)行 AI 推理并非易事。大多數(shù) AI 加速器芯片都依賴(lài)于外部的動(dòng)態(tài)隨機(jī)訪問(wèn)內(nèi)存 (DRAM)，這無(wú)疑增加了成本和功耗。而 WE2 采用了創(chuàng)新架構(gòu)，突破了這些限制。

WE2 AI 處理器的主要特性

WE2 AI 處理器的性能可達(dá) 50 GOPS，同時(shí)在 1mm2 晶粒面積中僅消耗 1-10mW 能耗。其主要特性包括：

雙核 Arm Cortex-M55 處理器

Arm Ethos-U55，用于 AI 加速

無(wú)需外部 DRAM

集成 DC-DC 轉(zhuǎn)換器，用于提高能效

具備安全啟動(dòng)等硬件安全功能

支持 TensorFlow Lite Micro 和 TVM

開(kāi)源工具鏈

善用 Arm 資源

WE2 AI 處理器基于 Arm 架構(gòu)并善用 Arm 提供的豐富資源，其中包括：

性能：搭載的 Arm Cortex-M55 處理器可實(shí)現(xiàn)高速視覺(jué)處理，“大”核的運(yùn)行速度最高達(dá) 400MHz，可有效處理機(jī)器學(xué)習(xí) (ML) 工作負(fù)載。與僅使用微控制器相比，可顯著加快推理速度。該芯片在 AI 推理前通過(guò) Arm Helium 指令進(jìn)行圖像處理、圖像裁剪、調(diào)整大小和顏色等。

能效：“小核 Cortex-M55”的運(yùn)行頻率為 150MHz，能夠以超低功耗執(zhí)行始終在線的任務(wù)。

可擴(kuò)展性：Cortex-M55 與 Arm 的 ML 框架（例如 CMSIS-NN）兼容，有助于實(shí)現(xiàn)靈活的軟件開(kāi)發(fā)。例如，可以在 Cortex-M55 或其他 Arm 核心上運(yùn)行相同的代碼。

硬件集成：將處理器與 Arm Ethos-U55 加速器和視覺(jué) IP 相集成，有助于CPU、硬件加速器和外設(shè)之間的緊耦合處理。

生態(tài)系統(tǒng)支持：搭載 Cortex-M55 時(shí)，開(kāi)發(fā)者可充分利用 Arm 廣泛生態(tài)系統(tǒng)所提供的工具、軟件和技術(shù)支持等豐富資源。這正是奇景光電選擇 Arm 處理器的關(guān)鍵因素之一。

針對(duì)視覺(jué)應(yīng)用進(jìn)行優(yōu)化

WE2 針對(duì)在邊緣側(cè)運(yùn)行的視覺(jué) AI 模型進(jìn)行了相應(yīng)的優(yōu)化。該芯片運(yùn)行速度最高可達(dá) 400MHz，可高效執(zhí)行視覺(jué)處理任務(wù)。其支持運(yùn)行的模型可廣泛用于：

人臉關(guān)鍵點(diǎn)檢測(cè)：除了基本的人臉檢測(cè)功能外，還能執(zhí)行人臉關(guān)鍵點(diǎn)檢測(cè)，識(shí)別眼睛、鼻子和嘴巴等關(guān)鍵的面部結(jié)構(gòu)。

人體姿勢(shì)估計(jì)：WE2 可以通過(guò)檢測(cè)關(guān)鍵關(guān)節(jié)和四肢來(lái)判斷人體姿勢(shì)，比如通過(guò)識(shí)別手臂、腿、軀干和頭部等身體部位，確定身體的整體位置和動(dòng)作。這已經(jīng)在健身追蹤、姿勢(shì)控制和動(dòng)作識(shí)別等領(lǐng)域被應(yīng)用。

目標(biāo)檢測(cè)：目標(biāo)檢測(cè) Yolo v8n 模型可以在 WE2 上運(yùn)行，能夠檢測(cè)場(chǎng)景中的多個(gè)物體目標(biāo)并進(jìn)行分類(lèi)。該模型可以識(shí)別多達(dá) 80 種以上的常見(jiàn)物體，例如人、汽車(chē)、車(chē)牌、動(dòng)物、家居用品和放在門(mén)口的包裹等。

專(zhuān)為靈活性而設(shè)計(jì)

WE2 支持外部閃存，因此可以將大型 AI 模型存儲(chǔ)在片外。WE2 芯片可通過(guò)數(shù)字視頻端口 (DVP) 與圖像傳感器對(duì)接。通過(guò) Arm 生態(tài)系統(tǒng)的賦能，奇景光電實(shí)現(xiàn)了軟件兼容性。

利用 Keil MDK、VS Code、TensorFlow MOT、Pytorch 和 TinyNeuralNetwork 等開(kāi)源工具，奇景光電可支持用戶(hù)開(kāi)發(fā)定制化 AI 應(yīng)用，并針對(duì)低功耗進(jìn)行優(yōu)化。此外，奇景光電還提供了參考模型來(lái)協(xié)助進(jìn)行引導(dǎo)程序的開(kāi)發(fā)。

早期客戶(hù)采用

目前， WE2 AI 處理器已被客戶(hù)采用于各種用例中。例如，有客戶(hù)將 WE2 芯片與筆記本電腦攝像頭集成，以便在待機(jī)模式下進(jìn)行人物動(dòng)態(tài)檢測(cè)，確保在檢測(cè)到用戶(hù)時(shí)，能即刻喚醒系統(tǒng)。

由于 WE2 具備較高能效，因此非常適合用于電池供電和主流的邊緣側(cè)產(chǎn)品。奇景光電計(jì)劃在未來(lái)幾代產(chǎn)品中增加集成圖像信號(hào)處理 (ISP) 功能，以進(jìn)一步提升視覺(jué)功能?？偠灾?，奇景光電 WE2 可以在資源受限的邊緣側(cè)設(shè)備上進(jìn)行 AI 推理。憑借專(zhuān)為計(jì)算機(jī)視覺(jué)優(yōu)化而打造的創(chuàng)新架構(gòu)，WE2 成功地將 AI 和 ML 引入了新一代端側(cè)和物聯(lián)網(wǎng)產(chǎn)品中。

審核編輯：劉清