作者：SFXiang
首發(fā)：AI算法修煉營

本文是收錄于CVPR2020的工作，我是被雙目圖像去霧的題目所吸引的，其實整個工作的創(chuàng)新性不高，但是可以從中學(xué)到數(shù)據(jù)集的制作，圖像去霧等基本知識。整體上，也可以看作視覺注意力機制的又一應(yīng)用。

論文地址：
http://openaccess.thecvf.com/.../_CVPR/_2020/papers/Pang/_BidNet/_Binocular/_Image/_Dehazing/_Without/_Explicit/_Disparity/_Estimation/_CVPR/_2020/_paper.pdf

嚴重的霧度會導(dǎo)致圖像質(zhì)量嚴重下降，從而影響視覺感知、目標檢測等性能。通常，去霧化的雙目圖像在像3D目標檢測等立體視覺任務(wù)上的表現(xiàn)要優(yōu)于霧度較高的圖像，并且圖像霧度是一個與深度有關(guān)的函數(shù)。在這些基礎(chǔ)上，本文提出了一種雙目圖像去霧網(wǎng)絡(luò)（BidNet），旨在利用深度學(xué)習(xí)框架的對雙目左右圖像進行去霧。

現(xiàn)有的雙目除霧方法依賴于同時除霧和估計視差，而BidNet不需要明確執(zhí)行耗時長、具有挑戰(zhàn)性的視差估計任務(wù)。但是，由于視差的小誤差會引起深度變化和無霧圖像估計的大變化，BidNet網(wǎng)絡(luò)中所提出的立體變換模塊（STM）編碼了雙目圖像之間的關(guān)系和相關(guān)性。 同時，對雙目圖像中的左右圖像同時進行除霧是互利的，這比僅對左圖像除霧要好。最后，作者將Foggy Cityscapes數(shù)據(jù)集擴展為具有雙目有霧圖像對的Stereo Foggy Cityscapes數(shù)據(jù)集。實驗結(jié)果表明，在主觀和客觀評估中，BidNet均明顯優(yōu)于最新的除霧方法。

簡介

在計算機視覺領(lǐng)域，通常使用霧天圖像退化模型來描述霧霾等惡劣天氣條件對圖像造成的影響，該模型是McCartney首先提出。該模型包括衰減模型和環(huán)境光模型兩部分。模型表達式為：

其中，是圖像像素的空間坐標，是觀察到的有霧圖像，是待恢復(fù)的無霧圖像，表示大氣散射系數(shù)，代表景物深度，是全局大氣光，通常情況下假設(shè)為全局常量，與空間坐標無關(guān)。

公式(1)中的表示坐標空間處的透射率，使用來表示透射率，于是得到公式（2）：

由此可見，圖像去霧過程就是根據(jù)求解的過程。要求解出，還需要根據(jù)求解出透射率和全局大氣光。

實際上，所有基于霧天退化模型的去霧算法就是是根據(jù)已知的有霧圖像求解出透射率和全局大氣光 。

根據(jù)上述等式可知，圖像霧度是深度的函數(shù)。雙目圖像的相關(guān)性可以幫助預(yù)測深度，這表明雙目圖像對于除霧任務(wù)是有益的。為了克服霧度造成的雙目圖像退化，直接和分別在左霧圖像和右霧圖像上應(yīng)用單個圖像去霧方法不能獲得令人滿意的結(jié)果，尤其是對于重霧度，因為這種方法沒有利用雙目圖像。

現(xiàn)有的雙目圖像去霧方法依賴于同時執(zhí)行去霧和視差估計。然而，這種方法有三個缺點：（1）對于給定的微小視差誤差，深度誤差會隨著視差的增加而增加。因為估計透射圖對去霧圖像是必需的，并且透射圖是深度的指數(shù)函數(shù)，誤差不均也導(dǎo)致在估計透射圖時出現(xiàn)較大誤差，并妨礙了無霧度圖像。（2）最新的基于學(xué)習(xí)的視差估計方法很耗時，因為它們必須應(yīng)用3D卷積，計算量大。（3）這些方法僅輸出左去霧圖像，而不是雙目去霧圖像對。在本文中，提出了一種新穎的基于深度學(xué)習(xí)的雙目圖像去霧網(wǎng)絡(luò)（BidNet），該網(wǎng)絡(luò)能夠利用左右圖像中包含的協(xié)作信息，而無需明確執(zhí)行耗時且具有挑戰(zhàn)性的視差估計環(huán)節(jié)。

圖1.使用提出的BibNet樣本圖像去霧結(jié)果。左上：輸入左霧圖像。左下：輸入右霧圖像。右上：去霧左圖像。右下：去霧右圖像

對于基于深度學(xué)習(xí)的雙目圖像去霧任務(wù)，沒有包含雙目霧圖像的特定數(shù)據(jù)集。通過將霧添加到Cityscapes數(shù)據(jù)集中來創(chuàng)建Foggy Cityscapes數(shù)據(jù)集。本文將Foggy Cityscapes數(shù)據(jù)集擴展到Stereo Foggy Cityscapes數(shù)據(jù)集，該數(shù)據(jù)集由雙目有霧圖像對組成。關(guān)鍵是利用視差和給定的攝像機參數(shù)來計算攝像機與左場景之間的距離以及攝像機與右場景之間的距離。在這個過程中，應(yīng)用了complete pipeline ，它使用不完整的深度信息將合成霧添加到真實，晴朗的天氣圖像中。

主要貢獻：

（1）提出了一種新穎的雙目圖像去霧框架，稱為BidNet，該框架能夠利用左右圖像之間的相關(guān)性對雙目圖像對進行除霧，而無需估計視差， 它可以避免由不精確的視差估計引起的大誤差。

（2）受non-local網(wǎng)絡(luò)的啟發(fā)，提出了一種簡單而有效的機制并將其嵌入BidNet中，通過該機制將右圖像特征圖中的有用信息引入左圖像特征圖中。 具體是通過計算立體horizontal non-local相關(guān)矩陣并將該矩陣與右圖像的特征圖相乘來實現(xiàn)的。嵌入的過程是有效的，因為相關(guān)矩陣的大小比傳統(tǒng)的non-local網(wǎng)絡(luò)小一階。類似地，可以將左圖像的特征圖的有用信息嵌入到右圖像的有用信息中。

（3）在輸入左圖像和右圖像的情況下，只能使用上述除霧框架對左圖像或右圖像進行除霧。但是發(fā)現(xiàn)，通過同時考慮左右圖像來制定除霧損失函數(shù)，可以同時去除左右霧度圖像的霧度，從而產(chǎn)生更好的除霧效果。

（4）擴展了Cityscapes數(shù)據(jù)集以適應(yīng)去霧任務(wù)。實驗結(jié)果表明，在主觀評估和客觀評估方面，BidNet均明顯優(yōu)于最新的除霧方法。

本文方法：BidNet

圖2.（a）雙目圖像去霧網(wǎng)絡(luò)（BidNet）的總體架構(gòu)。BidNet輸入雙目模糊圖像對并輸出無霧的雙目圖像對。（b）轉(zhuǎn)換模塊（STM）的結(jié)構(gòu)。提出了STM來探索和編碼雙目圖像對之間的關(guān)系

如圖2所示，BidNet網(wǎng)絡(luò)輸入雙目有霧圖像對并估算透射圖、大氣光，同時對雙目圖像對進行去霧。BidNet的架構(gòu)如圖2（a）所示。引入了STM（Stereo Transformation Module ）來探索和編碼雙目左右圖像之間的相關(guān)性。

一、Stereo Transmission Map Estimation Network

Stereo Transmission Map Estimation Network（STMENet）可以分為三個部分：權(quán)重共享特征提取模塊，Stereo Transformation Module（STM）和Refinement Module優(yōu)化模塊。

1、權(quán)重共享特征提取模塊（Weight-Shared Feature Extraction Module）

如圖2（a）所示，權(quán)重共享特征提取模塊是編碼器-解碼器結(jié)構(gòu)。

表1. BidNet的詳細架構(gòu)。如果沒有特別說明，則在卷積層之后是BN和ReLU。除權(quán)重共享特征提取模塊外，左分支和右分支中的其余權(quán)重不共享。⊕表示concatenation和一個3×3卷積層以減少通道。上采樣表示雙線性插值。

輸入圖片首先通過預(yù)處理層以學(xué)習(xí)更好的輸入特征。學(xué)習(xí)到的左（和右）特征通過stride為2的四個3×3卷積層傳遞。四個卷積層的通道增加為32、48、64和96。之后對經(jīng)過卷積的下采樣特征應(yīng)用四個雙線性插值。通過自下而上和自上而下的結(jié)構(gòu)，所獲得的左特征（F1）和右特征（Fr）是有區(qū)別的。

2、Stereo Transformation Module (STM)

權(quán)重共享模塊的左側(cè)和右側(cè)模塊僅融合其自身的信息。沒有利用雙目圖像對之間的關(guān)系和相關(guān)性。于是，設(shè)計了一個Stereo Transformation Module（STM），通過學(xué)習(xí)左右特征之間的horizontal相關(guān)性來轉(zhuǎn)換深度信息。

圖2（b）表示出了STM的結(jié)構(gòu)。由于雙目圖像對在垂直方向上對齊，因此STM僅需要了解它們之間的水平相關(guān)性。受non-local網(wǎng)絡(luò)的啟發(fā)，將某個位置的響應(yīng)計算為沿水平維度所有位置的特征的加權(quán)總和，這可以捕獲包含視差（深度）信息的遠程依賴關(guān)系。

3、Refinement Module

STM估計的透射圖仍然缺乏全局結(jié)構(gòu)信息。空間金字塔池是parameter-free的，而且效率很高，于是網(wǎng)絡(luò)中采用空間金字塔池引入多尺度上下文信息來完善透射圖transmission maps，從而增強魯棒性。 上面的表1中顯示了詳細的結(jié)構(gòu)，使用了三個平均池化層，內(nèi)核大小分別為3、7和15，步長為1。池化層將初始估計的transmission maps轉(zhuǎn)換為全局表示的增強集合。然后，將這些具有初始估計的transmission maps通過concat進行聚合，并進入1×1卷積層以融合特征。最終，輸出是refine后的透射圖。

二、大氣光估算網(wǎng)絡(luò)Atmospheric Light Estimation Network

大氣光估計網(wǎng)絡(luò)（ALENet）旨在估計大氣光A。如圖2（a）所示，ALENet也是一種編碼器/解碼器結(jié)構(gòu)，但沒有尺度的跳躍連接。它包括一個3×3卷積層作為預(yù)處理，三個Conv-BN-Relu-Pool塊作為編碼器，三個Up-Conv-BN-Relu塊作為解碼器，最后是一個3×3卷積層估計大氣光A，如表1所示。1.立體圖像對具有相同的大氣光A。因此，ALENet僅輸入左側(cè)圖像進行預(yù)測。

三、通過物理散射模型去霧Dehazing via The Physical Scattering Model

如圖2（a）所示，通過等式（2）計算左無霧圖像和右無霧圖像。等式（2）確保整個網(wǎng)絡(luò)同時優(yōu)化。直接計算出的無霧雙目圖像有一些噪點，于是添加了圖像優(yōu)化模塊，這是一個輕量級的密集塊。輕量級密集塊具有四個3×3卷積層，其輸入是在之前生成的特征圖的串聯(lián)。輸入通道的數(shù)量為3、8、16和24，但輸出通道的數(shù)量均為8。最后，采用1×1卷積層來估計精確的無霧雙目圖像。

四、損失函數(shù)

BidNet的損失函數(shù)包括：去霧 的雙目圖像的誤差、透射圖誤差、大氣光的誤差、Perceptual 損失。 在損失函數(shù)中同時考慮了左右圖像的誤差，因此同時對兩個圖像去霧是互利的。

無霧的雙目圖像誤差：

透射圖誤差：

大氣光誤差：

基于從預(yù)訓(xùn)練網(wǎng)絡(luò)中提取的高級特征的Perceptual 損失被廣泛用于圖像超分辨率領(lǐng)域。此外，Perceptual 損失比像素損失更有效地衡量圖像的視覺相似性。受此啟發(fā)，作者引入了Perceptual 損失以增加恢復(fù)的無霧圖像與真實圖像之間的Perceptual 相似性。 Perceptual 損失利用從預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中提取的多尺度特征來量化估計圖像和ground truth之間的視覺差異。本文中，使用在ImageNet 上預(yù)先訓(xùn)練的VGG16 作為loss網(wǎng)絡(luò)，并從VGG16中的Conv33中提取特征。Perceptual loss定義為：

Stereo Foggy Cityscapes Dataset

整個數(shù)據(jù)集制作過程參考了文章《Semantic foggy scene understanding with synthetic data》，感興趣的話，可以參考原文。

實驗與結(jié)果

數(shù)據(jù)集：Stereo Foggy Cityscapes Dataset

評價指標：PSNR、SSIM

實驗配置：使用256×256大小的RGB圖像訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練是在兩臺NVIDIA GeForce GTX 1070上進行的，并且一個GPU用于測試。

1、對比實驗

2、定性評估

3、消融實驗

4、Drivingstereo 數(shù)據(jù)集上的實驗

對于400×881的圖像，BidNet在NVIDIA GeForce GTX 1070上對雙目圖像進行去霧處理的速度為0.23s。

更多實驗細節(jié)，可以參考原文。

推薦閱讀

• CVPR2020 | 定向和密集的目標檢測怎么辦？動態(tài)優(yōu)化網(wǎng)絡(luò)來解決
• ECCV2020 | SNE-RoadSeg：一種基于表面法向量提取的道路可行駛區(qū)域分割方法
• ?Kaggle X光肺炎檢測比賽第二名方案解析 | CVPR 2020 Workshop

更多機器學(xué)習(xí)、深度學(xué)習(xí)、計算機視覺、自動駕駛、機器人等領(lǐng)域最新最前沿的科技請關(guān)注微信號AI算法修煉營。

審核編輯：符乾江