電子發(fā)燒友網(wǎng)報道(文/李彎彎)事件相機最早誕生于1990年,那時候,許多研究人員探討動物感知環(huán)境的方式,發(fā)現(xiàn)對變化更為敏感,所以設(shè)計出了實驗室用的事件相機。2008年,誕生了第一款商用的事件相機。如今國內(nèi)外都有企業(yè)和機構(gòu)進行事件相機的研究。
事件相機的工作原理和優(yōu)勢
傳統(tǒng)相機,無論是CMOS傳感器,還是CCD傳感器,亦或是RGBD相機,都有一個參數(shù):幀率。它們是以恒定的頻率拍攝獲取圖像。這樣,即使幀率能夠達到1KHz,那也具有1ms的延時。所以傳統(tǒng)相機存在一定的延遲問題。 此外,傳統(tǒng)相機需要通過一定時間的曝光,使感光器件積累一定的光子,那么在曝光時間之內(nèi)如果物體在高速運動,則會產(chǎn)生模糊,這也是傳統(tǒng)相機的一個問題。 另外,傳統(tǒng)相機的攻臺范圍較低,具體表現(xiàn)為在光線極差或者亮度極高時,相機獲取的信息有限。這些問題極大的限制了傳統(tǒng)相機在一些應(yīng)用場景中的應(yīng)用。 而事件相機則可以很好的解決這些問題。事件相機,也稱神經(jīng)形態(tài)像機,或動態(tài)視覺傳感器(DVS,Dynamic Vision Sensor),是一種能夠響應(yīng)局部亮度變化的成像傳感器。 事件相機不像常規(guī)相機那樣使用快門捕獲圖像。相反,事件相機中的每個像素都獨立且異步地運行,并在發(fā)生亮度變化時輸出這些變化,否則保持沉默。 下圖可以非常形象的展示出事件相機和傳統(tǒng)相機在工作原理上的不同。左側(cè):假設(shè)拍攝的是一個圓盤轉(zhuǎn)動(圓盤此時逆時針轉(zhuǎn)動一段時間然后停止)。右側(cè):上面是傳統(tǒng)相機,圓盤停止時,標準相機輸出不間斷,然而這些信息其實不是我們關(guān)注信息。下面是事件相機,其輸出信息為亮度動態(tài)變化的位置,并且當(dāng)圖片無變化時即為 no events,無輸出。 此前有業(yè)內(nèi)人士對電子發(fā)燒友表示,基于這樣的工作原理,事件相機有幾個典型的特點:一是它的動態(tài)范圍非常高,可以達到140dB;二是因為它只輸出有效信息,不輸出無效信息,它的數(shù)據(jù)量非常小;三是它的速度非??欤梢赃_到1/10000s,甚至更高。 因為這些特點,事件相機可適用于傳統(tǒng)相機難以解決的一些場景中。比如城區(qū)場景中的鬼探頭,傳統(tǒng)相機在面對橫向的鬼探頭場景時,無法快速做出反應(yīng),而事件相機可以更快感知到危險信號;再比如高速場景下的避障,車輛在高速上快速行駛時,遇到前方路面有一個輪胎,傳統(tǒng)相機不能及時做出反應(yīng),事件相機可以依靠低時延優(yōu)勢,快速識別并做出避障的動作。事件相機的研究企業(yè)和應(yīng)用目前,不少公司都在致力于事件相機的發(fā)展,包括iniVation、prophesee(普諾飛思)、索尼(收購Insightness)、芯侖光電(韋爾股份子公司)、銳思智芯(Alpsentek)等。 iniVation起源于瑞士,由基于事件視覺的發(fā)明者創(chuàng)立。該公司已經(jīng)推出多款產(chǎn)品,熱門型號包括:DAVIS346 Color / Mono、DVXplorer、DVXplorer Lite / Mini、Stereo Kit等。 iniVation的動態(tài)視覺平臺可為諸多應(yīng)用和行業(yè)提供支持和解決方案,包括物聯(lián)網(wǎng)(超低功耗監(jiān)控和智慧城市)、自動駕駛(車輛測距、SLAM和乘員監(jiān)控)、機器人技術(shù)(場景理解與定位)、工業(yè)視覺(過程監(jiān)控和基礎(chǔ)設(shè)施檢測)等。 Prophesee于2014年成立于法國巴黎,專注于神經(jīng)擬態(tài)視覺傳感技術(shù),目前基于事件的視覺技術(shù)推出多款傳感器。其研發(fā)的普諾飛思原視覺(Metavision)傳感器可應(yīng)用于手機、自動駕駛、工業(yè)自動化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。 比如在智能駕駛領(lǐng)域,Xperi旗下子公司DTS基于普諾飛思原視覺(Metavision)傳感技術(shù)提供的事件數(shù)據(jù),開發(fā)了基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案(DMS),提供了更優(yōu)的微光性能,以及新的檢測功能,如眼跳或微表情檢測等。再比如,高級駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow傳感器,采用了普諾飛思原視覺(Metavision)傳感器,可掃描車輛周圍半徑為40米的區(qū)域,反應(yīng)時間為3毫秒。 銳思智芯成立于2019年,擁有一支兼?zhèn)湫酒?a target="_blank">算法、軟件和硬件研發(fā)經(jīng)驗與能力的團隊,核心專家來自全球頂尖機構(gòu)。在高端視覺傳感器領(lǐng)域擁有超過16年的技術(shù)積累,在事件相機領(lǐng)域擁有超過8年的研究經(jīng)驗。 2021年10月,銳思智芯(Alpsentek)發(fā)布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus(簡稱 ALPIX-P)。專為機器感知設(shè)計的傳感器,可廣泛應(yīng)用于機器人、智能手機、無人駕駛、無人機、安防等場景。 ALPIX-P 采用銳思智芯自主研發(fā)的 Hybrid Vision融合式仿生事件視覺傳感技術(shù),即將仿生事件視覺技術(shù)與傳統(tǒng)圖像傳感技術(shù)在像素級別進行融合。芯片可以在傳統(tǒng)圖像傳感器模式和仿生事件相機模式之間快速切換,實現(xiàn)事件相機與 CIS 相機功能 “二合一”。 在圖像模式下,ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器,其圖像質(zhì)量與現(xiàn)有的商化的 CIS 輸出的圖像質(zhì)量一致,兼容現(xiàn)有成熟的視覺系統(tǒng)。在仿生事件相機模式下,ALPIX-P 具有超高幀率,高有效信息占比,大動態(tài)范圍的特點。
小結(jié) 事件相機的核心是神經(jīng)擬態(tài),神經(jīng)擬態(tài)技術(shù)最早源于瑞士蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)。目前研究的企業(yè)主要有兩個方向,一是傳感器,即事件相機,就是文章提到的幾家公司;另一個是神經(jīng)擬態(tài)計算,主要是SoC芯片,如九天睿芯、時識科技。目前從兩個方向來看,神經(jīng)擬態(tài)在產(chǎn)品和應(yīng)用上都有不錯的進展。

- 車載大屏產(chǎn)業(yè)鏈分析,主要玩家都有誰?
- 谷歌3D全息電話亭,顛覆現(xiàn)有視頻通話!宛如真人面對面
- 富士康Model B/V正式發(fā)布,ALL IN電動車代工,全產(chǎn)業(yè)鏈布局格局顯現(xiàn)
- 半導(dǎo)體TOP 10廠商股價集體腰斬,臺積電再傳危機信號
- 2026年交付!索尼造車終于塵埃落定,本田成代工廠
原文標題:?事件相機的工作原理和應(yīng)用場景
文章出處:【微信公眾號:電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
相機
+關(guān)注
關(guān)注
4文章
1468瀏覽量
54694
原文標題:?事件相機的工作原理和應(yīng)用場景
文章出處:【微信號:elecfans,微信公眾號:電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
LDO的工作原理、特性、應(yīng)用場景詳解
敏捷合成器的技術(shù)原理和應(yīng)用場景
光照傳感器的工作原理與應(yīng)用場景
LoRaWAN的特點和應(yīng)用場景
脈沖信號分析儀?的原理和應(yīng)用場景
微壓傳感器的工作原理與應(yīng)用場景

評論