遠程邊緣 AI 應用程序取決于嵌入式硬件設(shè)備的大小，這些設(shè)備承載著在源頭處理邊緣數(shù)據(jù)的所有計算能力和能力。大型嵌入式AI加速器在空間受限的系統(tǒng)中面臨著一些挑戰(zhàn)，例如突兀和隱蔽。

在題為“用于智能邊緣監(jiān)控的毫米級超低功耗成像系統(tǒng)”的文章中，研究人員開發(fā)了一種具有深度學習和圖像處理功能的微型毫米級成像系統(tǒng)，用于邊緣應用，特別是家庭監(jiān)控場景。該系統(tǒng)使用垂直堆疊的超低功耗IC，并采用動態(tài)行為特定電源管理、分層事件檢測和數(shù)據(jù)壓縮方法的組合。

對于毫米級系統(tǒng)，該設(shè)計方法面臨著技術(shù)挑戰(zhàn)，例如設(shè)計面積高度受限的系統(tǒng)、能源預算和峰值功率的限制、有限的數(shù)據(jù)存儲、昂貴的無線通信、毫米級鏡頭的非理想性以及超低功耗前端。

從毫米級尺寸系統(tǒng)開始，該設(shè)計需要集成超低功耗IC并組裝它們以減小占位面積。為了給毫米級系統(tǒng)供電，設(shè)計單元需要一個小型電池來支持電源要求。由于空間受限的系統(tǒng)，成像系統(tǒng)可用的片上和片外存儲器數(shù)量有限，這限制了圖像數(shù)據(jù)的存儲和算法的復雜性。

為了解決設(shè)計毫米級成像系統(tǒng)時的這些技術(shù)難題，該團隊參考了在低功耗圖像傳感器、超低功耗處理器和混合信號視覺集成電路、低功耗無線通信、高效神經(jīng)網(wǎng)絡加速器以及針對邊緣計算應用優(yōu)化機器學習算法方面所做的現(xiàn)有工作。

現(xiàn)有研究的局限性包括排除邊緣計算或無法滿足面積和電力需求。該研究論文提出，完全集成的毫米級成像系統(tǒng)是“同類產(chǎn)品中的第一個”。

圖：成像儀系統(tǒng)橫截面

具有邊緣智能的新型毫米級成像系統(tǒng)

該系統(tǒng)的尺寸僅為6.7×7×5mm，重量為460mg，使用設(shè)計為垂直堆疊的150μm超低功耗集成電路。垂直堆疊的方法允許在更小的占地面積內(nèi)互連更多的集成電路。這是與傳統(tǒng)的平面2D芯片到芯片連接相比。

該系統(tǒng)由一個基礎(chǔ)層組成，該基礎(chǔ)層將多個功能硬件器件集成到單個IC芯片上，例如主控制器、電源管理單元和無線電IC。毫米級成像系統(tǒng)的核心是具有 16kB SRAM 的 Arm Cortex-M0 處理器內(nèi)核。電源管理單元從單個電池源產(chǎn)生多個電壓域，以在負載下保持高轉(zhuǎn)換效率。

下一個重要層是超低功耗圖像傳感器和圖像信號處理。圖像傳感器層支持運動觸發(fā)的 12 位 VGA 圖像捕獲和子采樣像素幀上的近像素運動檢測，最大速率為每秒 170 幀，而圖像信號處理可執(zhí)行動態(tài) JPEG（去）壓縮、光學-黑色像素校準、去拜耳、RGB 到 YUV 轉(zhuǎn)換和場景變化檢測。神經(jīng)引擎提供 1.5 TOP/W 性能，支持基于深度神經(jīng)網(wǎng)絡的幀分析。另一層包括超低泄漏閃存，能量收集器，太陽能電池，可充電鋰電池和聚四氟乙烯（PTFE）管。

系統(tǒng)集成使用了兩個4層10×10×0.8mmPCB，其正面用于引線鍵合，而無源元件和太陽能電池層則放置在背面。這種毫米級系統(tǒng)的代碼開發(fā)具有挑戰(zhàn)性，因此該團隊在外緣包括階梯狀過孔以暴露內(nèi)部信號。

圖：（從左到右）堆疊 IC、被測封裝系統(tǒng)、PCB 背面、獨立的毫米級成像系統(tǒng)

對毫米級成像系統(tǒng)的修改

電源管理是能量最小化技術(shù)的關(guān)鍵要素，因為始終在線的圖像傳感器執(zhí)行基于DNN的分析會產(chǎn)生巨大的功耗。該過程需要計算能量和存儲在片內(nèi)外的兆字節(jié)DNN參數(shù)。

在運動監(jiān)控、圖像捕獲和基于DNN的場景分析期間，動態(tài)節(jié)能模式（如閃存IC）設(shè)置為休眠模式，僅消耗0.003μW。電源管理單元針對每個節(jié)點進行調(diào)整，通過修改電流消耗、頻率控制和上/下轉(zhuǎn)換比，最大限度地提高動態(tài)負載的效率。另一方面，分層事件檢測（HED）算法用于修剪掉不相關(guān)的事件，否則這些事件會消耗能量，特別是在卸載數(shù)據(jù)而不確定其對應用程序的價值時。

結(jié)合權(quán)重修剪、非均勻量化、用于卷積層的量化權(quán)重的霍夫曼編碼以及其他幾種方法，DNN 可實現(xiàn)高達 1.5bit/weight 的壓縮。對于圖像壓縮，使用JPEG和H.264壓縮方法的組合來減少數(shù)據(jù)占用并最大限度地降低無線傳輸成本。

H.264 幀內(nèi)壓縮引擎可將 VGA 幀的內(nèi)存占用量減少 23 倍。但是，通過 H.264 壓縮，系統(tǒng)需要比 JPEG 多 138% 的處理能量。使用的其他方法是變化檢測引擎，與VGA幀相比，可實現(xiàn)135倍的壓縮，以及用于減少無線數(shù)據(jù)傳輸?shù)南到y(tǒng)外圖像重建。對于毫米級鏡頭和超低功耗前端的圖像校正，該團隊提出了圖像校正層，可以使用矩陣乘法和卷積等指令在ISP神經(jīng)引擎（NE）上執(zhí)行。

結(jié)論

該論文提出了一種新型毫米級成像系統(tǒng)，該系統(tǒng)集成了遠程物聯(lián)網(wǎng)和邊緣應用的邊緣智能，平均功耗為49.6μW，預期壽命為7天，無需充電。為了實現(xiàn)小尺寸，系統(tǒng)使用超低功耗IC的垂直堆疊，并通過數(shù)據(jù)和能量管理方法管理存儲器和能量預算限制?！霸谡故玖艘粋€微型物聯(lián)網(wǎng)智能成像系統(tǒng)之后，通過社會技術(shù)和道德視角進行分析是必不可少的下一步;我們邀請未來在安全和隱私等主題上開展工作，“該團隊總結(jié)道。

審核編輯：郭婷