想在黑暗中看清周圍，不可避免地要用到夜視儀。那么如果是想在黑暗中拍照，又沒(méi)有閃光燈，如何才能排到清晰的照片？在CVPR 2018上，英特爾實(shí)驗(yàn)室的Vladlen Koltun和陳啟峰帶領(lǐng)的團(tuán)隊(duì)提出了一種在黑暗中快速成像的系統(tǒng)，效果非常贊。

在暗光下的圖像易受到低信噪比和低亮度的影響。短曝光的照片會(huì)出現(xiàn)很多早點(diǎn)，而長(zhǎng)曝光會(huì)讓照片變得模糊、不真實(shí)。目前已經(jīng)有很多去噪、去模糊、圖像增強(qiáng)的技術(shù)，但是在極端條件下，他們的作用就很有限了。為了發(fā)展基于學(xué)習(xí)的低光度圖像處理，我們引入了一個(gè)數(shù)據(jù)集，內(nèi)含有原始短曝光低亮度圖片，同時(shí)還有對(duì)應(yīng)的長(zhǎng)時(shí)間曝光的圖像。利用該數(shù)據(jù)集。我們創(chuàng)建了一個(gè)機(jī)遇端到端訓(xùn)練的全卷積網(wǎng)絡(luò)，用于處理低亮度圖像。網(wǎng)絡(luò)直接使用原始傳感器數(shù)據(jù)，并替代了大量傳統(tǒng)圖像處理的流程。最終我們發(fā)現(xiàn)新數(shù)據(jù)集的結(jié)果很有前景。

概述

噪點(diǎn)在任何成像系統(tǒng)中都存在，但在亮度較低的環(huán)境中成像就更加困難。提高ISO可以增加亮度，但也會(huì)造成更多噪點(diǎn)。后期處理也是改善噪點(diǎn)過(guò)多的方法，但這并不能解決信噪比（SNR）低的問(wèn)題。其他手段雖然能提高SNR，但都有各自的缺陷。

的確，在低亮度中快速成像的問(wèn)題一直沒(méi)有好的解決方法。研究人員提出了各種去噪、去模糊、提高亮度的技術(shù)。但這些技術(shù)都是假設(shè)照片是在略暗淡、稍有噪點(diǎn)的環(huán)境中捕捉到的。相反，我們想研究的是在非常黑暗的情況下的成像效果，例如月光下。在這種條件下，傳統(tǒng)相機(jī)成像的過(guò)程就無(wú)能為力了，圖片必須用原始傳感器數(shù)據(jù)重新構(gòu)建。

我們提出的系統(tǒng)效果（最右）如圖1所示：

圖1

左圖中，環(huán)境中的亮度極低，相機(jī)的亮度小于0.1lux，快門速度為1/30，光圈為f/5.6，ISO為8000（通常這已經(jīng)很高了）。但是照相機(jī)照出來(lái)仍然是漆黑一片（這可是用索尼全畫幅傳感器）。

中間圖中，把ISO調(diào)到409600，這已經(jīng)超過(guò)了大多數(shù)相機(jī)的極限了，可以看到照出來(lái)的圖像了，但是圖像顯得很暗，噪點(diǎn)較多，色彩失真。

而最右邊我們的方法則清晰了許多。具體來(lái)說(shuō)，我們訓(xùn)練了深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)處理低亮度原始圖像數(shù)據(jù)的過(guò)程，包括色彩轉(zhuǎn)化、去馬賽克、減少噪點(diǎn)、圖像質(zhì)量提高等等。

數(shù)據(jù)集

目前大多數(shù)處理低亮度的圖片都是在合成數(shù)據(jù)或沒(méi)有對(duì)應(yīng)標(biāo)準(zhǔn)的低亮度圖像上進(jìn)行的，據(jù)我們所知，沒(méi)有一個(gè)公開數(shù)據(jù)集可以用來(lái)訓(xùn)練或是測(cè)試低亮度圖像處理。于是，我們就新建了一個(gè)數(shù)據(jù)集，稱為See-in-the-Dark（SID）。數(shù)據(jù)集中共有5094張圖像，它們都是在低亮度條件下捕捉到的、快速曝光的原始圖像。每個(gè)低亮度圖片都有對(duì)應(yīng)的長(zhǎng)時(shí)間曝光高質(zhì)量圖片（注意，一張高質(zhì)量圖片可能對(duì)應(yīng)多張低亮度圖片）。

數(shù)據(jù)集包括室內(nèi)和室外的圖像，室外圖像大多于夜晚拍攝，光源來(lái)自月光或者路燈。室外場(chǎng)景的相機(jī)亮度在0.2lux和5lux之間。室內(nèi)圖像就更暗一些了，通常在0.03lux到0.3lux之間。

輸入圖像的曝光時(shí)間通常在1/30秒到1/10秒之間，相對(duì)應(yīng)的正常圖片的曝光時(shí)間為10到30秒。數(shù)據(jù)集的具體參數(shù)可看下表：

經(jīng)過(guò)長(zhǎng)時(shí)間曝光的正常圖片仍含有少許噪點(diǎn)，但是從視覺(jué)上已經(jīng)達(dá)到標(biāo)準(zhǔn)圖片的水平了。我們希望我們創(chuàng)建的應(yīng)用可以在低光度環(huán)境下生成表現(xiàn)良好的圖像，而不是徹底消除所有噪點(diǎn)或讓圖像對(duì)比度最大化。

模型成像方法

從成像傳感器中得到原始數(shù)據(jù)后，傳統(tǒng)圖像處理過(guò)程會(huì)應(yīng)用一系列模塊，例如白平衡、去馬賽克、去噪、增加銳度等等。而這些模塊只是在某些相機(jī)中才有。Jiang等人提出，用本地、線性、可學(xué)習(xí)的（L3）過(guò)濾器來(lái)模型現(xiàn)代成像系統(tǒng)中復(fù)雜的非線性流程。但是，這些方法都無(wú)法成功解決在低亮度中快速成像的問(wèn)題，還是由于極低的SNR問(wèn)題。之后，Hasinoff等人對(duì)智能手機(jī)上的相機(jī)提出了bursting imaging成像方法，通過(guò)結(jié)合多張圖像可以生成效果較好的圖像，但是復(fù)雜程度較高。

對(duì)此，我們提出了的端到端的學(xué)習(xí)方法，即訓(xùn)練一個(gè)全卷積網(wǎng)絡(luò)（FCN）進(jìn)行圖像處理。圖2展示了我們所提出的圖像處理架構(gòu)：

圖2

對(duì)于拜耳陣列，我們將輸入的圖像打包到四個(gè)通道中，并相應(yīng)地將空間分辨率在每個(gè)維度上降低。對(duì)于X-Trans陣列（圖中未顯示），原始數(shù)據(jù)是按6×6排列的，我們將其打包放到9個(gè)通道中。打包后的數(shù)據(jù)輸入到全卷積網(wǎng)絡(luò)中，輸出一個(gè)有12通道的圖像，空間向量?jī)H為一半。而這個(gè)半尺寸的輸出被次像素圖層處理后，可以恢復(fù)到原始分辨率。

基本介紹之后，我們要重點(diǎn)了解一下網(wǎng)絡(luò)中兩個(gè)重要的結(jié)構(gòu)：一個(gè)多尺寸文本聚合網(wǎng)絡(luò)（CAN）和U-net。其他工作研究了殘差連接，但是我們認(rèn)為這對(duì)我們的模型用處不大，可能是因?yàn)槲覀兊妮斎牒洼敵鲈诓煌念伾臻g中表示。另一個(gè)影響模型結(jié)構(gòu)選擇的是內(nèi)存消耗，我們的架構(gòu)可以在GPU上處理全分辨率的圖像。由此避免了全連接的圖層，他們還需要處理小的圖像補(bǔ)丁，然后重新進(jìn)行組合。我們默認(rèn)的架構(gòu)是u-net。

放大比例決定了輸出圖像的亮度。在我們的圖像生成流程中，放大比例是外部決定的，并且是作為圖像流程的輸入，類似于相機(jī)的ISO。圖3顯示了不同的放大倍數(shù)的結(jié)果，用戶可以自己調(diào)整以改變亮度。

圖3

最終網(wǎng)絡(luò)利用L1損失和Adam優(yōu)化器從零開始訓(xùn)練。

實(shí)驗(yàn)過(guò)程

首先，將我們提出的方法與傳統(tǒng)方法的對(duì)比，得到以下結(jié)果：

圖4

圖5

圖6

可以看出，我們的方法生成的圖片比傳統(tǒng)方法優(yōu)秀得多。

同時(shí)，我們認(rèn)為專門用特定的相機(jī)傳感器進(jìn)行訓(xùn)練的網(wǎng)絡(luò)總能達(dá)到最佳效果。但是，最初的實(shí)驗(yàn)表明這不是一定的。我們將一個(gè)在索尼套件上訓(xùn)練的模型應(yīng)用于由iPhone 6S拍攝出的相片上，其中通要包含一個(gè)拜耳過(guò)濾陣列和14位的原始數(shù)據(jù)。我們用一款app手動(dòng)設(shè)置ISO和其他參數(shù)，輸出原始數(shù)據(jù)用于處理。最終的結(jié)果如圖5所示。傳統(tǒng)方法處理的數(shù)據(jù)有很多噪點(diǎn)，色差較大。而我們的網(wǎng)絡(luò)生成的圖片對(duì)比度較強(qiáng)、噪點(diǎn)少并且顏色正常。

結(jié)語(yǔ)

由于極少的光子數(shù)量和極低的信噪比，在黑暗環(huán)境中成像一直是個(gè)大難題。想以視頻速率在黑暗中成像，對(duì)于傳統(tǒng)的信號(hào)處理方法來(lái)說(shuō)幾乎是不可能的。而我們提出的See-in-the-Dark數(shù)據(jù)集、全卷機(jī)的網(wǎng)絡(luò)證明了這種在極端條件下成像的可能。最后的實(shí)驗(yàn)也證明這種方法行之有效，我們希望這項(xiàng)工作能在未來(lái)提供更多幫助。