一般來說，低功耗的物聯(lián)網(wǎng)設(shè)備如果涉及到復(fù)雜的運(yùn)算，都需要將傳感器的數(shù)據(jù)上傳到的云端處理，所以搭載的主要芯片為通信和控制芯片；至于邊緣處理需求不大的物聯(lián)網(wǎng)設(shè)備，所需的MCU性能也不會(huì)太高，足以完成尋常的傳感器數(shù)據(jù)計(jì)算。此外，傳感器與計(jì)算單元之間的數(shù)據(jù)移動(dòng)也進(jìn)一步增加了能耗和延遲。

隨著工藝對能耗比的提升逐漸變得有限起來，處理器能提供的助力越來越小，但時(shí)值緣AI興起之際，有的公司開始將目光望向傳感器，思索如何在這上面做文章。因?yàn)槊餮廴硕伎梢钥闯觯陔娮釉O(shè)備小型化的進(jìn)程上，我們已經(jīng)遇到了瓶頸，不少產(chǎn)品形態(tài)苦于計(jì)算而束手束腳，連蘋果自己都開始堆芯片面積來提升算力，更不用說穿戴設(shè)備了，尤其是AR/VR產(chǎn)品。

AR/VR設(shè)備的傳感器內(nèi)計(jì)算系統(tǒng)

就拿此前被炒熱過一陣的智能/AR眼鏡來說，這一產(chǎn)品形態(tài)給了消費(fèi)者不少遐想，但到手體驗(yàn)后多半以失望告終。以Meta不久前和雷朋合作的一款智能眼鏡為例，這一產(chǎn)品根本稱不上智能，充其量算作一個(gè)用于社交分享的硬件而已，并沒有什么計(jì)算能力。這是因?yàn)檫@類智能眼鏡計(jì)算單元可以少，但傳感器卻少不了，攝像頭、麥克風(fēng)和揚(yáng)聲器等都是該硬件的重要組成部分。但沒有CPU、GPU、AI加速器這些計(jì)算單元，智能/AR眼鏡只會(huì)被視為名不副實(shí)。

在堅(jiān)定AR/VR道路的Meta看來，半導(dǎo)體上依然面臨著不小的挑戰(zhàn)。早在2020年，Meta就提出了AR/VR半導(dǎo)體面臨的多重挑戰(zhàn)，比如能耗比要做到如今的100倍、靠近皮膚的散熱問題、無線傳輸?shù)膸拞栴}以及如何做到高算力和低延遲。

解決方案分為三個(gè)維度，比如先進(jìn)封裝上，需要用到定制接口、異構(gòu)集成和3D封裝，而內(nèi)存上需要嘗試STTRAM、PCM和RRAM等新型內(nèi)存，CMOS工藝也將從FinFET逐漸演進(jìn)到5nm、GAA。然而這些解決方案中有的已經(jīng)被證實(shí)可行，有的還在試驗(yàn)階段。

分布式的傳感器內(nèi)計(jì)算系統(tǒng) /Meta

Meta現(xiàn)實(shí)實(shí)驗(yàn)室的研究科學(xué)家Jorge Gómez提出了一個(gè)新思路，那就是打造傳感器內(nèi)的計(jì)算系統(tǒng)。首先需要的就是一個(gè)分布式的計(jì)算系統(tǒng)，集成了傳感器內(nèi)處理器的智能圖像傳感器對數(shù)據(jù)進(jìn)行預(yù)處理，再通過MIPI接口傳給聚合器。如此一來不僅減小了功耗和延遲，還大大提高了隱私安全。

智能圖像傳感器 / Meta

這個(gè)智能圖像傳感器采用了3層結(jié)構(gòu)，分別是CIS、ADC和AI，通過μTSV或混合鍵合這樣的3DIC技術(shù)集成在一起，至于AI層的存儲(chǔ)，則選擇低漏電高密度的MRAM來進(jìn)一步減小功耗。

與傳統(tǒng)中心化傳感器計(jì)算系統(tǒng)的對比 / Meta

這樣就得到了一個(gè)降低功耗的分布式傳感器內(nèi)計(jì)算系統(tǒng)，從模擬結(jié)果圖中可以看出，在應(yīng)用處理器與傳感器內(nèi)處理器都選用7nm工藝的情況下，分布式計(jì)算系統(tǒng)要比傳統(tǒng)的中心化計(jì)算系統(tǒng)功耗低上24%，即便后者換為16nm工藝，功耗依然獲得了減少。從這一模擬結(jié)果來看，這種思路是完全可行的。但如果想要做到百倍的功耗比，這樣的提升還遠(yuǎn)遠(yuǎn)不夠，何況傳感器依然是這套系統(tǒng)中耗電大頭。

省去冗余的數(shù)據(jù)移動(dòng)

對于近傳感器計(jì)算和傳感器內(nèi)計(jì)算來說，省去冗余的數(shù)據(jù)移動(dòng)可以說是對功耗和延遲最關(guān)鍵的一步。如果模擬傳感器可以直接處理模擬信號，ADC和計(jì)算單元的負(fù)擔(dān)都要小上很多，AIStorm公司的MantisAI傳感器SoC就是一個(gè)很好的例子。

CMOS/CCD在記錄信息時(shí)，每個(gè)像素產(chǎn)生的電荷量就是接收到的光子數(shù)量，也就是明暗信息。而Mantis作為一個(gè)成像芯片，可以直接以原生電荷的形式接收像素?cái)?shù)據(jù)，對人體、面部或物體進(jìn)行基于圖像的喚醒。根據(jù)AIStorm的說法，Mantis可以實(shí)現(xiàn)最高1000 TOPS/W的算力，50000FPS的成像幀率，始終開啟的情況下可以做到5uA以下的功耗，近乎忽略不計(jì)的延遲。

Mantis人體識別演示 / AIStorm

不過，從Mantis的人體識別演示視頻來看，這類芯片目前還存在一些不成熟的地方，比如無法替代其他常見的圖像傳感器，只能用于基于事件的智能喚醒，比如人從鏡頭前走過等；而且在成像的過程中，單憑模擬數(shù)據(jù)還是無法一些分類和識別的工作，比如同一個(gè)人再次走過對其來說依然是個(gè)新的對象。再者，TOPS/W這樣的單位對這類模擬計(jì)算芯片來說有著天然的優(yōu)勢，正如與之類似的存內(nèi)計(jì)算等模擬計(jì)算一樣，它們往往計(jì)算精度不高，但低位數(shù)與高位數(shù)的乘積累加運(yùn)算又不可相提并論，所以按運(yùn)算次數(shù)來衡量性能并不是一個(gè)準(zhǔn)確的對比方法。

話雖如此，這類在傳感器上集成模擬AI方案依然有它的定位，像語音喚醒、圖像喚醒等應(yīng)用，它們在功耗、成本上有著極大的優(yōu)勢，而這種喚醒方案可以顯著減少AI硬件的整體功耗，所以依然不可小覷。