動(dòng)態(tài)視覺(jué)傳感器（DVS）公司Prophesee已將其基于事件的相機(jī)調(diào)整為適合始終在線的AIoT（物聯(lián)網(wǎng)人工智能）設(shè)備的外形尺寸。與該公司的 100 萬(wàn)像素第四代傳感器相比，第五代 GenX320 已將其分辨率降低到 320 x 320 像素，將芯片尺寸減小到 13 mm ^2^ ，現(xiàn)在包括便于下游處理的標(biāo)準(zhǔn)數(shù)據(jù)格式和可用于喚醒系統(tǒng)其他部分的超低功耗模式層次結(jié)構(gòu)， Prophesee首席執(zhí)行官Luca Verre告訴EE Times。

“[基于事件的傳感器]技術(shù)現(xiàn)在在消費(fèi)者領(lǐng)域開(kāi)辟了一個(gè)機(jī)會(huì)，一個(gè)更大的生態(tài)系統(tǒng)正在意識(shí)到這項(xiàng)技術(shù)并有興趣采用它，”Verre說(shuō)。“但三年前，我們發(fā)現(xiàn)了不一定適合我們的第四代傳感器的其他機(jī)會(huì)。這就是我們開(kāi)發(fā)第五代產(chǎn)品的原因，用于出于成本、功耗和集成原因需要非常小的傳感器設(shè)備的應(yīng)用。

像DVS傳感器這樣的基于事件的傳感器基于人類視網(wǎng)膜的生物學(xué)：它們只輸出像素亮度的變化，而不是完整的圖像幀。這會(huì)以低延遲生成低帶寬數(shù)據(jù)，但仍包含有關(guān)場(chǎng)景的足夠信息。處理這種低帶寬數(shù)據(jù)所需的計(jì)算量更少，這意味著可以節(jié)省電力。該技術(shù)對(duì)弱光條件也非常有彈性。

Prophesee與索尼合作設(shè)計(jì)的上一代傳感器于2021年底投入批量生產(chǎn)。這款高清傳感器是一款BSI（背面照明）3D堆疊芯片，足夠小，可以首次針對(duì)消費(fèi)電子產(chǎn)品。

Prophesee一直在與高通公司合作，用Snapdragon移動(dòng)處理器展示這種傳感器。Verre表示，至少有兩家OEM正在為2025年發(fā)布制造智能手機(jī)，其中包括Snapdragon和Prophesee的組合。這里的用例是融合全畫(huà)幅和事件數(shù)據(jù)，以提高智能手機(jī)相機(jī)的圖像質(zhì)量?？梢允褂肞rophesee傳感器來(lái)檢測(cè)照片中的運(yùn)動(dòng)，然后使用Prophesee的計(jì)算攝影算法來(lái)校正它，從而減少運(yùn)動(dòng)模糊。

GenX320具有較低的分辨率，更低的功耗和更小的尺寸，將針對(duì)AR / VR耳機(jī)，安全和監(jiān)控/檢測(cè)系統(tǒng)，非接觸式顯示器，眼動(dòng)追蹤和其他始終在線的物聯(lián)網(wǎng)設(shè)備。然而，雖然仍然是BIS 3D堆疊設(shè)計(jì)，但該傳感器不是與索尼一起開(kāi)發(fā)的，而是在不同的代工廠制造。

“我們與索尼的關(guān)系非常好：我們共同開(kāi)發(fā)了第四代傳感器，我們還與索尼達(dá)成了一項(xiàng)商業(yè)協(xié)議，與索尼一起進(jìn)入市場(chǎng)，”Verre說(shuō)?！八赃@種合作關(guān)系正在進(jìn)行中，但第五代傳感器是由Prophesee設(shè)計(jì)的，由我們的鑄造合作伙伴制造，并由我們銷售。[第四代和第五代]傳感器在市場(chǎng)定位方面完全不同，針對(duì)非常不同的用例具有不同的傳感器分辨率，因此它們是互補(bǔ)的。沒(méi)有重疊，這使得我們與索尼的上市戰(zhàn)略非常簡(jiǎn)單。

接口和電源模式

Prophesee聯(lián)合創(chuàng)始人兼首席技術(shù)官Christoph Posch告訴EE Times，GenX320有幾個(gè)關(guān)鍵的新功能與邊緣AI和物聯(lián)網(wǎng)應(yīng)用相關(guān)。

“我們（以前）有一種非常規(guī)的數(shù)據(jù)格式，沒(méi)有人真正知道該怎么做——事件中動(dòng)態(tài)視覺(jué)信息的編碼，沒(méi)有人理解，”他說(shuō)?！拔覀兊臄?shù)據(jù)速率不恒定，沒(méi)有標(biāo)準(zhǔn)的數(shù)據(jù)格式或接口。我們意識(shí)到所有這些事情都減緩了這項(xiàng)技術(shù)的采用。這就是為什么我們認(rèn)為，'我們需要設(shè)計(jì)一種更有用的傳感器，可以集成到邊緣AI視覺(jué)系統(tǒng)中，并幫助潛在客戶真正使用該系統(tǒng)'。
GenX320包括片上預(yù)處理，可根據(jù)需要將數(shù)據(jù)重新格式化為行業(yè)標(biāo)準(zhǔn)格式，并提供三種接口選擇：

• 高帶寬MIPI接口與應(yīng)用處理器連接，并使用全數(shù)字流水線在流式傳輸之前對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和過(guò)濾。
• CPI 接口 （DCMI） 與低延遲應(yīng)用中的微控制器連接。數(shù)據(jù)可以聚合成 2D 直方圖，準(zhǔn)備進(jìn)行 AI 處理。
• Prophesee現(xiàn)有的AER（地址事件表示）接口完全繞過(guò)了數(shù)字預(yù)處理管道，用于神經(jīng)形態(tài)和尖峰神經(jīng)網(wǎng)絡(luò)加速器。

GenX320還包括低功耗模式的層次結(jié)構(gòu)。用于始終開(kāi)啟活動(dòng)檢測(cè)的最低功耗模式功耗約為 36 μW。完全有效模式使用 CPI 接口時(shí)功耗約為 3.5 mW，使用 MIPI 接口時(shí)功耗約為 20 mW。

Posch 說(shuō)：“我們可以將層次結(jié)構(gòu)提升到功耗模式，從而實(shí)現(xiàn)更高的分辨率和更智能的檢測(cè)，直至最高模式，即通過(guò)所有事件數(shù)據(jù)的輸出接口將完全流式傳輸?shù)綉?yīng)用處理器?！霸赱最高和最低功耗模式]之間，我們可以在這些功率模式之間循環(huán)，具體取決于場(chǎng)景中發(fā)生的事情。

這些模式使用稱為全局對(duì)比度檢測(cè)器 （GCD） 的新功能，該功能可檢測(cè)移動(dòng)、進(jìn)入或退出視野的物體。像素陣列細(xì)分為多個(gè)區(qū)域，這些區(qū)域可以小至 4 x 4 像素。Prophesee使用陣列每個(gè)區(qū)域中光電二極管的光電流總和（在硬件中計(jì)算）來(lái)檢測(cè)該區(qū)域的活動(dòng)。對(duì)于最低功耗模式，有九個(gè)檢測(cè)區(qū)域;效果就像總共 100,000 個(gè)像素中只有 9 個(gè)被打開(kāi)，因此可以節(jié)省大量電量。

RISC-V CPU 還可用于對(duì)靈活的感興趣區(qū)域進(jìn)行編程，最多可同時(shí)編程 12 個(gè)。

全局對(duì)比度檢測(cè) （GCD） 是一項(xiàng)新功能，可將陣列分解為多個(gè)區(qū)域以節(jié)省功耗。這些區(qū)域中的活動(dòng)檢測(cè)可用于喚醒系統(tǒng)的其他部分。

商業(yè)牽引力

GenX320傳感器已經(jīng)掌握在20多個(gè)主要客戶手中，用于原型設(shè)計(jì)。

Zinn Labs使用GenX360為AR / VR眼鏡開(kāi)發(fā)了一種基于事件的眼動(dòng)儀，其產(chǎn)生的數(shù)據(jù)比全畫(huà)幅相機(jī)少100×。這意味著眼動(dòng)追蹤可以在 1 kHz 或更高的頻率下完成，比全畫(huà)幅相機(jī)設(shè)置快 10×?？焖傺蹌?dòng)追蹤的應(yīng)用之一是注視點(diǎn)渲染：我們的眼睛不會(huì)同時(shí)聚焦整個(gè)場(chǎng)景，因此，如果我們知道眼睛在看哪里，有選擇地渲染我們正在看的部分可以節(jié)省計(jì)算。Verre表示，Zinn Labs正在與客戶合作，明年開(kāi)始使用Prophesee GenX320傳感器進(jìn)行批量生產(chǎn)。

英國(guó)初創(chuàng)公司Ultraleap一直在使用GenX320進(jìn)行手部跟蹤系統(tǒng)，用于非接觸式人機(jī)界面。Verre說(shuō)，這種應(yīng)用的照明條件可能具有挑戰(zhàn)性，但Prophesee傳感器具有高動(dòng)態(tài)范圍（高于120 dB）。
消費(fèi)電子公司Xperi已經(jīng)有一個(gè)使用Prophesee上一代傳感器的駕駛員監(jiān)控系統(tǒng)，現(xiàn)在它正在研究用于智能設(shè)備和家用電器的GenX360。臺(tái)灣整車廠YunX計(jì)劃明年上市，配備保護(hù)隱私的GenX320跌倒檢測(cè)系統(tǒng)。

Verre表示，Prophesee將在未來(lái)幾周內(nèi)展示帶有STM32微控制器的GenX320，用于邊緣AI，隨后將有更多具有不同類型處理器的參考設(shè)計(jì)。GenX320的產(chǎn)量將在明年上半年增加。