在本文中，來(lái)自加州大學(xué)河濱分校機(jī)械工程系的研究者通過(guò)應(yīng)用光學(xué)漩渦證明了混合計(jì)算機(jī)視覺(jué)系統(tǒng)的可行性。該研究為光子學(xué)在構(gòu)建通用的小腦混合神經(jīng)網(wǎng)絡(luò)和開(kāi)發(fā)用于大數(shù)據(jù)分析的實(shí)時(shí)硬件方面的作用提供了新見(jiàn)解。

從醫(yī)學(xué)診斷到自動(dòng)駕駛再到人臉識(shí)別，圖像分析在現(xiàn)代技術(shù)中無(wú)處不在。使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)徹底改變了計(jì)算機(jī)視覺(jué)。但卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）通過(guò)從預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)來(lái)對(duì)圖像進(jìn)行分類，然而這些數(shù)據(jù)通常會(huì)記住或發(fā)展某些偏見(jiàn)。此外，數(shù)據(jù)還易于受到對(duì)抗性攻擊（以極細(xì)微且?guī)缀醪煊X(jué)不到的圖像扭曲出現(xiàn)）的干擾，從而導(dǎo)致做出錯(cuò)誤的決策。這些缺點(diǎn)限制了卷積神經(jīng)網(wǎng)絡(luò)的用途。 提升圖像處理算法能效和可靠性的一種方法是將常規(guī)計(jì)算機(jī)視覺(jué)與光學(xué)預(yù)處理器結(jié)合起來(lái)。這種混合系統(tǒng)可以用最少的電子硬件工作。由于光在預(yù)處理階段即可完成數(shù)學(xué)函數(shù)而不會(huì)耗散能量，因此使用混合計(jì)算機(jī)視覺(jué)系統(tǒng)可以節(jié)省大量時(shí)間和能源。這種新方法能夠克服深度學(xué)習(xí)的缺點(diǎn)，并充分利用光學(xué)和電子學(xué)的優(yōu)勢(shì)。

今年 8 月份，在一篇發(fā)表于 Optica 的論文中，加州大學(xué)河濱分校機(jī)械工程系助理教授 Luat Vuong 和博士生 Baurzhan Muminov 通過(guò)應(yīng)用光學(xué)漩渦（具有深色中心點(diǎn)的旋繞光波），證明了混合計(jì)算機(jī)視覺(jué)系統(tǒng)的可行性。光學(xué)漩渦可以比喻為光繞著邊緣和角落傳播時(shí)產(chǎn)生的流體動(dòng)力漩渦。

論文鏈接：https://www.osapublishing.org/optica/fulltext.cfm？uri=optica-7-9-1079&id=437484 研究表明，光學(xué)預(yù)處理可以降低圖像計(jì)算的功耗，而電子設(shè)備中的數(shù)字信號(hào)識(shí)別相關(guān)性，提供優(yōu)化并快速計(jì)算可靠的決策閾值。借助混合計(jì)算機(jī)視覺(jué)，光學(xué)器件具有速度和低功耗計(jì)算的優(yōu)勢(shì)，并且比 CNN 的時(shí)間成本降低了 2 個(gè)數(shù)量級(jí)。通過(guò)圖像壓縮，則有可能從存儲(chǔ)和計(jì)算復(fù)雜性兩方面大幅減少電子后端硬件。 Luat Vuong 表示：「本研究中的漩渦編碼器表明，光學(xué)預(yù)處理可以消除對(duì) CNN 的需求，比 CNN 更具魯棒性，并且能夠泛化逆問(wèn)題的解決方法。

例如當(dāng)混合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)手寫(xiě)數(shù)字的形狀時(shí)，它可以重建以前從未見(jiàn)過(guò)的阿拉伯或日語(yǔ)字符?！?該論文還表明，將圖像縮小為更少的高強(qiáng)度像素能夠?qū)崿F(xiàn)極弱光線條件下的圖像處理。該研究為光子學(xué)在構(gòu)建通用的小腦混合神經(jīng)網(wǎng)絡(luò)和開(kāi)發(fā)用于大數(shù)據(jù)分析的實(shí)時(shí)硬件方面的作用提供了新見(jiàn)解。 論文內(nèi)容簡(jiǎn)述 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)通常涉及具有較高計(jì)算成本的多層、前向 - 后向傳播機(jī)器學(xué)習(xí)算法。所以，在本文中，研究者展示了卷積神經(jīng)網(wǎng)絡(luò)的替代方案，該方案從其光學(xué)預(yù)處理、傅里葉編碼模式中重建原始圖像。該方案對(duì)計(jì)算的需求少得多，并且具有更高的噪聲魯棒性，因此適用于高速和弱光照條件下的成像。 具體而言，該研究引入帶有微透鏡陣列的漩渦相位變換，以及淺層密集的「小腦」神經(jīng)網(wǎng)絡(luò)結(jié)合。單次編碼孔徑方法利用了傅里葉變換螺旋相位梯度的相干衍射、緊湊表征和邊緣增強(qiáng)。使用漩渦編碼可以訓(xùn)練小腦對(duì)圖像進(jìn)行去卷積操作，其速度比使用隨機(jī)編碼方案快 5 至 20 倍，且在存在噪聲的情況下獲得了更大的優(yōu)勢(shì)。

一旦訓(xùn)練完成，小腦就可以從 intensity-only 的數(shù)據(jù)中重建對(duì)象，從而解決了逆映射問(wèn)題，而無(wú)需在每個(gè)圖像上執(zhí)行迭代，也無(wú)需深度學(xué)習(xí)方案。通過(guò)漩渦傅立葉編碼，研究者在 15W CPU 上以每秒幾千幀的速度重建以低光通量（5nJ / cm^2）照明的 MNIST Fashion 對(duì)象。最終，研究者證明了使用漩渦編碼器進(jìn)行傅立葉光學(xué)預(yù)處理在達(dá)到相似準(zhǔn)確率的情況下，速度比卷積神經(jīng)網(wǎng)絡(luò)快 2 個(gè)數(shù)量級(jí)。 漩渦的知識(shí)可以擴(kuò)展為理解任意波型。當(dāng)帶有漩渦時(shí)，光學(xué)圖像數(shù)據(jù)會(huì)以突出顯示并混合光學(xué)圖像不同部分的方式實(shí)現(xiàn)傳播。研究者指出，使用淺層「小腦」神經(jīng)網(wǎng)絡(luò)進(jìn)行的漩渦圖像預(yù)處理（僅需運(yùn)行幾層算法）就可以代替 CNN 發(fā)揮作用。 Vuong 還表示：「光學(xué)漩渦的獨(dú)特優(yōu)勢(shì)在于其數(shù)學(xué)和邊緣增強(qiáng)功能。在本文中，我們證明了，光學(xué)漩渦編碼器能夠以類似于一種小腦神經(jīng)網(wǎng)絡(luò)從其光學(xué)預(yù)處理模式快速重建原始圖像的方式生成目標(biāo)強(qiáng)度數(shù)據(jù)?！?方法

圖 1 描述了該研究的成像方案，其中對(duì)象 F（r，Φ） 的多個(gè)圖像被收集到傅立葉域中：透過(guò)每個(gè)微透鏡的光由不同的漩渦和透鏡 mask 模式 M_m（r，Φ） 調(diào)制；攝像機(jī)檢測(cè)到菲涅耳（Fresnel）傳播、漩渦傅里葉變換（vortex-Fourier-transformed）強(qiáng)度模式的縮放模平方圖像

。 其中，m 是漩渦拓?fù)潆姾?，r 和Φ是實(shí)域柱面坐標(biāo)，而 u 和 v 是傅里葉平面笛卡爾坐標(biāo)。漩渦傅里葉強(qiáng)度模式 F^~ 集中在相對(duì)較小的區(qū)域中，但隨著 m 的增加，通常會(huì)呈越來(lái)越寬的甜甜圈形（圖 1（b））。對(duì)象「實(shí)域」中的漩渦相位在空間上編碼并破壞了傅立葉變換強(qiáng)度模式的平移不變性，如圖 1（c） 所示。 此外，該研究將一些小圖像數(shù)據(jù)集視為對(duì)象輸入，并比較 F（r，Φ） 中的不同表征。對(duì)于每個(gè)正實(shí)值數(shù)據(jù)集圖像 X，相位變化的映射如下公式所示：

其中，α_0 是對(duì)象相位移動(dòng)的動(dòng)態(tài)范圍。這種映射很方便，因?yàn)?a target="_blank">信號(hào)功率不隨選擇的 X 改變。研究者還考慮了 X 閉塞或吸收信號(hào)時(shí)不透明對(duì)象，即，這會(huì)產(chǎn)生相似的趨勢(shì)。 歸根結(jié)底，該研究有三項(xiàng)主要?jiǎng)?chuàng)新：（1）用漩渦透鏡進(jìn)行光譜特征的邊緣增強(qiáng)；（2）在沒(méi)有相似學(xué)得數(shù)據(jù)集的情況下對(duì)圖像進(jìn)行快速逆重建；（3）取決于層激活的抗噪聲能力。

原文標(biāo)題：光學(xué)預(yù)處理與計(jì)算機(jī)視覺(jué)結(jié)合，UCR學(xué)者用漩渦實(shí)現(xiàn)混合計(jì)算機(jī)視覺(jué)系統(tǒng)

文章出處：【微信公眾號(hào)：新機(jī)器視覺(jué)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq