0引言

隨著科技的發(fā)展，圖像傳感器逐步在各行各業(yè)廣泛應(yīng)用[1]。受限于半導(dǎo)體工藝，CMOS圖像傳感器的輸出一般都帶有噪聲，噪聲的表現(xiàn)形式也多種多樣[2]。其中，F(xiàn)PN噪聲對圖像傳感器輸出的圖像質(zhì)量影響很大，表現(xiàn)為明暗不均勻的條帶噪聲。同時(shí)，為了滿足圖像傳感器的實(shí)時(shí)攝像要求，算法的處理延時(shí)要低[3]?；谝陨显颍驹O(shè)計(jì)提出一種適用于圖像傳感器的 FPN 噪聲去除算法，并在XilinxZynq平臺的 PL 端(FPGA)進(jìn)行設(shè)計(jì)與加速實(shí)現(xiàn)，利用硬件并行化思想改進(jìn)傳統(tǒng)的算法處理模式[4]。

目前，國內(nèi)外對于條帶噪聲的去除算法分為以下3類：第一類是基于數(shù)字濾波的條帶噪聲去除算法，以小波變換和傅里葉變換法為代表；第二類是基于統(tǒng)計(jì)匹配的方法，以矩匹配算法和直方圖匹配算法為代表；第三類是基于變分正則化的方法。這些方法各有優(yōu)缺點(diǎn)，且都針對單幀特定類型的圖像效果較好。本設(shè)計(jì)的核心思想是基于統(tǒng)計(jì)匹配方法中的矩匹配算法并對其進(jìn)行改進(jìn)，使其應(yīng)用于圖像傳感器的條帶噪聲去除，而不是單幀特定類型圖像的條帶噪聲去除。它基于傳感器的輻射分布特性，通過對比不同地物的統(tǒng)計(jì)特征來進(jìn)行分類。矩匹配法的基本假設(shè)是每個(gè)地物在不同圖像傳感器的探測下具有獨(dú)特的輻射分布特征。該方法通過計(jì)算每個(gè)地物類別在傳感器觀測下的統(tǒng)計(jì)特征（如均值和方差），然后與已知的地物類 別的統(tǒng)計(jì)特征進(jìn)行比較。Gadallah等人提出了矩匹配法，該方法對于條帶噪聲的去除效果較好，但在地物復(fù)雜的圖像中會(huì)產(chǎn)生“帶狀效應(yīng)”[5]。劉正軍等人提出了改進(jìn)的矩匹配方法，加入了傅里葉變換法等步驟[6]。Sun等人運(yùn)用了光譜矩匹配法，結(jié)合遙感圖像的光譜相關(guān)特性，在譜域?qū)嵤┚仄ヅ鋪砣l帶[7]。鄭逢斌等人加入了平滑濾波來改進(jìn)矩匹配方法。胡寶鵬等人提出了變分法和 矩匹配相結(jié)合的條帶去除方法，先利用矩匹配方法去除條帶，然后定位殘余條帶噪聲，最后再運(yùn)用變分法去除剩余條帶[9]。蘇俊杰等人提出了使用空間鄰域加權(quán)方法的改進(jìn)矩匹配法，針對特定高光譜影像噪聲特點(diǎn)，對影像實(shí)現(xiàn)相對輻射校正[10]。

矩匹配法也有一些限制，如對傳感器觀測下的輻射分布假設(shè)較為嚴(yán)格，以及對統(tǒng)計(jì)特征的計(jì)算和比較可能受到噪聲和數(shù)據(jù)不完整性的影響，所以使得去除條帶噪聲后的圖像的地物光譜信息的分布具有一定的畸變，產(chǎn)生“帶狀效應(yīng)”。本設(shè)計(jì)中，系統(tǒng)上電后讓圖像傳感器采集隨機(jī)的300幀圖像正是為了克服這一缺點(diǎn)，讓該傳感器的條帶噪聲更加準(zhǔn)確地被分離出來，以免產(chǎn)生“帶狀效應(yīng)”。

1算法流程

矩匹配法在處理圖像時(shí)要求行均值和行方差接近，因此其去條帶噪聲效果較好。然而，當(dāng)處理復(fù)雜地物導(dǎo)致子圖像的行均值和行方差的差異較大時(shí)，該方法可能出現(xiàn)“帶狀效應(yīng)”，即圖像在行或列方向上出現(xiàn)明暗度不連續(xù)的現(xiàn)象，與實(shí)際地物自然分布特征不符。這種現(xiàn)象的根本原因在于經(jīng)過矩匹配算法后，圖像中所有行或列的均值相等，導(dǎo)致光譜信息失真。本設(shè)計(jì)的算法基于矩匹配統(tǒng)計(jì)的思想。首先讓圖像傳感器采集隨機(jī)場景的300 幀圖像，目的是不同場景的樣本越多，分離出的條帶噪聲結(jié)果越準(zhǔn)確。本設(shè)計(jì)中選用的 OV6946表現(xiàn)出的 FPN 噪聲為列條帶噪聲，采集好隨機(jī)場景的300 幀圖像后，首先，求出這 300幀圖像的列像素均值，如式(1)所示:

式中，x代表單幀圖像的第x列，y代表300 幀圖像的第y行，j為單幀圖像的行數(shù)乘300。如本設(shè)計(jì)中所用的OV6946圖像傳感器，輸出參數(shù)為400×400@30f/s，在式 (1)中，x的范圍為1~400，y的范圍為1~120000，j的值為120000。接著，求出這300幀圖像的所有像素平均值，如式(2)所示:

式中，x、y與j的意義同式(1)，i為單幀圖像的列數(shù)，如本設(shè)計(jì)中所用的 OV6946 圖像傳感器，輸出參數(shù)為 400×400@30f/s，i的值為400。最后，求每列的校正值，如式(3)所示:

式中，x為單幀圖像的第 x列，也就是每列內(nèi)的像素值共用一個(gè)校正值，該列內(nèi)的像素值減去這個(gè)校正值后，即為去除條帶噪聲的結(jié)果，如式(4)所示:

若k(x)小于0，則取為0。至此，完成了條帶噪聲的分離，對于該圖像傳感器，采集圖像的像素值按列減去當(dāng)前列號的校正值即可。

2硬件平臺

算法最終運(yùn)行的載體為 Zynq7020 平臺，Zynq 是由 Xilinx公司開發(fā)的可編程片上系統(tǒng)平臺。它結(jié)合了處理系統(tǒng) PS 和可編程邏輯 PL，采用了 ARM 處理器與 FPGA的組合架構(gòu)。這兩部分相互聯(lián)系但可以獨(dú)立使用[11]。

攝像頭型號為OV6946。OV6946是OmniVision Technologies公司推出的一款超小型CMOS 圖像傳感器芯片，尺寸為0.65 mm×0.65 mm×1.158 mm。OV6946采用 CMOS圖像傳感器技術(shù)，具有低功耗、高靈敏度和高動(dòng)態(tài)范圍等優(yōu)點(diǎn)。但是由于受半導(dǎo)體工藝的限制，最后的成像效果可能帶有不同程度的條帶噪聲，需要視情況進(jìn)行去除。

3基于 Vivado HLS 的設(shè)計(jì)與加速

本文的算法設(shè)計(jì)與加速是通過 Vivado HLS 開發(fā)完成的。Vivado HLS(High Level Synthesis)是 Xilinx 公司提供的一款高級綜合工具。它允許開發(fā)人員使用 C、C++或SystemC等高級語言描述硬件功能，并將其自動(dòng)轉(zhuǎn)換為可綜合的硬件描述語言。利用 Vivado HLS可以縮短 1/3的 RTL仿真時(shí)間，使算法驗(yàn)證速度提高10倍以上[12]。

在本設(shè)計(jì)中，OV6946圖像傳感器輸出的原始數(shù)據(jù)經(jīng)過預(yù)處理后輸出 RGB888 格式的圖像數(shù)據(jù)。在算法處理之前，首先要對 RGB888進(jìn)行通道分離，然后分別對 R、G、B通道進(jìn)行校正，接著再通道合并，最后進(jìn)行輸出。算法總體設(shè)計(jì)架構(gòu)如圖1所示。

圖1 算法總體設(shè)計(jì)架構(gòu)

在使用 Vivado HLS 編寫IP之前，先把 OV6946 的 RGB888 數(shù)據(jù)轉(zhuǎn)換為 AXI4 Stream 協(xié)議的數(shù)據(jù)流，然后再使用 VivadoHLS編寫輸入/輸出接口都為 AXI4 Stream 的算法IP核。在 VivadoHLS中，首先使用 AXIvideo2Mat函數(shù)把傳入 IP 的 AXI4 Stream 轉(zhuǎn)換為 Mat，以便在 VivadoHLS中使用 OpenCV 進(jìn)行圖像處理[13]。經(jīng)算法處理后，再使用 Mat2AXIvideo 函數(shù)實(shí)現(xiàn) Mat到 AXI4 Stream 的轉(zhuǎn)換。

3.1 仿真與綜合

VivadoHLS除了將高效的編程代碼轉(zhuǎn)換為IP 以外，還提供了另一項(xiàng)重要功能:C 語言仿真和 C/RTL 協(xié)同仿真[14]。在對 VivadoHLS 設(shè)計(jì)的IP 工程進(jìn)行綜合之前，可以進(jìn)行功能性仿真來驗(yàn)證C 代碼的邏輯正確性和效果是否符合預(yù)期[15]。為此，需要編寫激勵(lì)文件。

本設(shè)計(jì)的激勵(lì)文件編寫思路如下:首先，使用cvLoad- Image函數(shù)從本地加載待仿真處理的原始圖像，分辨率調(diào)整為400×400，與實(shí)際硬件平臺的圖像傳感器的分辨率相匹配。接下來，使用IplImage2AXIvideo函數(shù)將原始圖像轉(zhuǎn)換為 AXI4 Stream 協(xié)議的數(shù)據(jù)格式。在處理完成后，使用 AXIvideo2IplImage將數(shù)據(jù)重新轉(zhuǎn)換為圖像格式。最后，使用 cvShowImage 函數(shù)將圖像顯示出來，繼續(xù)進(jìn)行 C/RTL 協(xié)同仿真，以驗(yàn)證所編寫的算法 IP 的 AXI4 Stream 輸入/輸出接口是否可以正常流通數(shù)據(jù)，仿真結(jié)果如圖2所示。

圖2 C/RTL的輸入輸出接口仿真結(jié)果

從圖2可以看出，AXI4 Stream 的output_r_TDATA 和 input_r_TDATA 單幀內(nèi)都有連續(xù)的數(shù)據(jù)，說明流接口邏輯仿真沒有問題。接下來可以進(jìn)行IP工程的綜合，VivadoHLS綜合結(jié)果如圖3所示。

圖3 VivadoHLS 綜合結(jié)果

由圖3可知，綜合目標(biāo)時(shí)鐘周期為10ns，預(yù)計(jì)最高可達(dá)到8.67ns，實(shí)際平臺時(shí)鐘為50 MHz(即20ns)，故符合要求。最高延遲為 166453 個(gè)時(shí)鐘周期，時(shí) 鐘周期為 20ns，故預(yù)估延時(shí)約為3.3 ms。OV6946 圖像傳感器輸出的視頻流每秒為30 幀，所以幀間隔為33.3 ms，完全可以做到實(shí)時(shí)處理。至此，完成了算法IP的編寫、仿真與綜合，在 VivadoHLS中生成IP后，既可以通過 RTL 文件的方式添加進(jìn) Vivado 的工程，也可以通過 BlockDesign 的方式添加固化到 FPGA 中。

3.2 實(shí)物驗(yàn)證與結(jié)果分析

本設(shè)計(jì)以 Zynq7020 為核心處理平臺，其中 PL 端負(fù)責(zé) OV6946攝像頭的視頻流數(shù)據(jù)采集以及 FPN 噪聲校正值的計(jì)算與應(yīng)用。而 PS端則負(fù)責(zé)攝像頭的寄存器配置。最終，通過 HDMI接口實(shí)現(xiàn)了實(shí)時(shí)處理的視頻流輸出和顯示。硬件平臺實(shí)物如圖4所示。

圖4 系統(tǒng)實(shí)物圖

原始輸出如圖5所示，可以看出，圖像條帶噪聲明顯，嚴(yán)重影響圖像傳感器的輸出質(zhì)量。

圖5 未經(jīng)本設(shè)計(jì)算法處理的原始輸出

在加入本設(shè)計(jì)的算法后，系統(tǒng)上電時(shí)要讓攝像頭隨機(jī)晃動(dòng)或者對著播放隨機(jī)噪聲的顯示設(shè)備停留10s，以采集到足夠的帶有條帶噪聲的隨機(jī)圖像，因?yàn)?OV6946 的幀率為30fps，10秒剛好采集300幀圖像，10 秒后則一直應(yīng)用計(jì)算出的結(jié)果，以達(dá)到去除該圖像傳感器條帶噪聲的目的。在進(jìn)行完上述操作并且應(yīng)用校正值后，實(shí)時(shí)顯示結(jié)果如圖6所示。

圖6 經(jīng)本設(shè)計(jì)算法處理的圖像傳感器輸出

對比圖5和圖6可以明顯看出，條帶噪聲得到了較好的去除，圖像整體質(zhì)量提升明顯，圖像無傳統(tǒng)的單幀矩匹配算法易產(chǎn)生的"帶狀效應(yīng)"。表現(xiàn)為行條帶的FPN 噪聲也可用此方法進(jìn)行噪聲去除，把上述列計(jì)算換為行計(jì)算即可。最后視頻幀顯示無撕裂，感覺不到延時(shí)，做到了實(shí)時(shí)處理。

4結(jié)語

本文圍繞 FPN 噪聲去除進(jìn)行了設(shè)計(jì)與分析，基于矩匹配思想提出了一種去除圖像傳感器 FPN 噪聲的方法，使用 VivadoHLS設(shè)計(jì)算法IP 實(shí)現(xiàn)了 FPN 噪聲的去除，能夠輕松滿足 OV6946 攝像頭視頻流的實(shí)時(shí)處理。本算法對各應(yīng)用場景 FPN 噪聲的去除具有一定的參考價(jià)值，可以用在諸如圖像傳感器產(chǎn)品出廠前校正與測試、攝像頭產(chǎn)品非均勻校正等場景，具有工程應(yīng)用意義。

（作者單位：中北大學(xué)儀器科學(xué)與動(dòng)態(tài)測試教育部重點(diǎn)實(shí)驗(yàn)室，太原 030051）

（本文由《單片機(jī)與嵌入式系統(tǒng)應(yīng)用》雜志授權(quán)發(fā)表，原文刊發(fā)在2023年第12期）

審核編輯：湯梓紅