一区区三区四久久,美国一级黄色片久久久

首發(fā)：AIWalker

標題&作者團隊

該文是浙江大學&微軟提出的一種實時視頻增強方案(ACM Multimedia 2020)，它不僅可以達到SOTA的視頻增強效果，同時對于1080P的視頻可以達到驚人的77fps@Tesla P40GPU或者45fps@CPU端。

Abstract

實時視頻增強具有巨大的潛在應用場景，但是現(xiàn)有的方案遠遠不足以滿足視頻增強的實時性與穩(wěn)定性需求。

該文提出一種新穎的AI視頻增強方法，它能夠單CPU以45fps處理1080P視頻，極具產(chǎn)品化應用價值。所提方法基于輕量型MobileNetV2設計，并在此基礎上引入了時序特征集(Temporal Feature Aggregation, TFA)成模塊以確保視頻的時序一致性。不同于已有多數(shù)圖像增強方法采用encoder-decoder架構(gòu)生成通分辨率的輸出，該文所提方法消除了decoder模塊，而僅僅采用了encoder部分與一個小的head模塊。所提方法直接預測顏色映射函數(shù)，而非像素值，這就使得所提方法可以更好的處理任意分辨率的視頻。除此之外，該文還引入了TFA以確保生成視頻的時序一致性。

最后，作者通過實驗證實：所提方法可以適用于不同類型的增強任務，比如relighting, retouching 以及dehazing等。相比已有方法(比如HDRNet、UPE)，所提方法不僅可以取得SOTA性能，同時處理速度快10倍(HD視頻哦)。

image-20201121193610283

該文的主要貢獻包含以下三點：

提出一種新穎的實時圖像/視頻增強方法，所提方法比現(xiàn)有實時方法(HDRNet,UPE)快10倍(處理的對象是1080P視頻哦)；
提出一種廣義的圖像增強表達方式，它可以有效的集成全局上下文信息與局部信息進行像素映射。實驗證實：所提方法可以處理欠曝光、過曝光、retouching、dehazing等場景圖像；
提出一種TFA用于確保視頻的時序一致性，甚至可以進一步改善訓練的穩(wěn)定性。

Method

該文提出了一種end-to-end輕量CNN用于實時視頻增強，接下來，我們將從問題定義、視頻增強網(wǎng)絡、損失函數(shù)三個方面展開本文所提方法的介紹。

Problem Formulation

現(xiàn)有稠密像素預測任務大多采用encoder-decoder方案，而decoder部分的高計算量問題是難以忽視的。估計顏色映射函數(shù)是一種極具吸引力的方向，然而它有這樣兩個挑戰(zhàn)：(1) 單一映射函數(shù)難以反映復雜的局部圖像處理計算問題；(2) 現(xiàn)有的顏色映射函數(shù)往往基于用戶評價或參考圖像，而無參考自動校正則會“模棱兩可”。

受啟發(fā)于“Bilateral Guided Upsampling”與“Fast Guided Filter”(兩種非常經(jīng)典的傳統(tǒng)圖像處理方法)，該文構(gòu)建了一種網(wǎng)格狀態(tài)的映射函數(shù)，它不僅可以獲得局部區(qū)域的更細粒度的細節(jié)，同時可以更好的切合encoder部分的CNN結(jié)構(gòu)。輸入圖像I經(jīng)過CNN處理后，可以得到一個大小為的特征。網(wǎng)格中每個特征點信息與網(wǎng)格中的映射函數(shù)參數(shù)相關，并用于預測映射函數(shù)，并反過來作用于局部區(qū)域。下圖給出了該過程的示意圖，也就是說圖像將被進行分塊處理，每個塊采用不同的映射函數(shù)。

image-20201121195843151

映射函數(shù)在這里定義為分片線性函數(shù)，定義如下：

其中，L表示映射函數(shù)的分片數(shù)量，表示每個線性函數(shù)的斜率。因此，網(wǎng)絡的目標在于預測映射函數(shù)的系數(shù)。

看到這里，也許會有不少同學不知道這里的系數(shù)與映射函數(shù)該怎么去應用。其實這個地方?jīng)]想象的那么復雜。先來個最簡單的情形：，即恒等映射，也就是圖像不做任何操作，此時有。如果我們希望調(diào)整圖像的亮區(qū)呢，其實就需要將亮區(qū)對應的斜率調(diào)大，而其他區(qū)域?qū)男甭收{(diào)?。活愃频?，如果我們希望調(diào)整圖像的暗區(qū)，就需要調(diào)整其對應的斜率。也就是說，通過每一段線性函數(shù)的斜率，它可以輕松的構(gòu)建不同形狀的映射函數(shù)，而這個映射函數(shù)則對應于傳統(tǒng)圖像處理中的累積直方圖。

對此該興趣的同學，非常建議去了解一下直方圖均衡相關的一些基礎知識，可以參考剛薩雷斯的《圖像處理》第三章的直方圖均衡。其實這個地方的映射函數(shù)理解還可以參考PhotoShop中的直方圖類增強方案，通過調(diào)節(jié)直方圖的形狀達到不同的編輯目的，Photoshop中的直方圖調(diào)整方法其實與這里的調(diào)整機制是相通的。

Video Enhancement Network

image-20201121195529411

上圖給出了該文所提出的視頻增強網(wǎng)絡架構(gòu)示意圖，它包含一個輕量型基礎網(wǎng)路與一個時序特征集成模塊。

Baseline Image Network 上圖的下半部分給出了基礎網(wǎng)絡部分，注：下角標t表示視頻的時序標簽。輸入圖像I首先下采樣到低分辨率，然后送入到基礎網(wǎng)絡中回歸映射系數(shù)集。這里的基礎網(wǎng)絡是在MobileNetV2的基礎上改進而來，它用于將圖像映射到高維空間并得到隱狀態(tài)特征。在上述網(wǎng)絡的后端接一個head，它包含三個卷積用于將隱狀態(tài)特征變換為顏色映射系數(shù)。最終輸出的形狀為。最后，目標圖像則是由輸入圖像經(jīng)由映射函數(shù)變換得到。

Temporal feature aggregation 視頻增強網(wǎng)絡是在上述圖像增強網(wǎng)絡的基礎上插入TFA得到，TFA用于促使時序一致性。為緩解閃爍偽影問題，作者認為：靜態(tài)區(qū)域應當有相鄰兩幀賦予相似的注意力，運動區(qū)域則主要由當前幀決定，而區(qū)域的運動/靜態(tài)特性則由相鄰幀的相關性決定。基于該假設，作者設計了如下的特征集成方式：

其中，分別表示融合特征，前一幀的影響因子，以及像素級特征相似性。特征的相似性計算方式則是采用的cosine相似性（上圖也給出了相鄰幀的相似性圖示），公式如下：

$$M/_g = cos/= //frac{f/_{t-1} //cdot f/_t}{//|f/_{t-1} //| //cdot //|f/_t //|} $$

Loss Function

給定預測的映射系數(shù)與高分辨率圖像，我們可以通過相應的變換得到目標圖像(假設表示GT)。為更好的訓練上述模型，作者提出了一個同時考慮圖像距離關系和映射函數(shù)約束的損失函數(shù)，定義如下：

損失函數(shù)的四部分分別對應重建損失(損失)、感知損失、平滑損失以及時序一致性損失。更具體的函數(shù)定義建議查看原文，這里不再贅述。

Experiments

在實現(xiàn)方面，輸入圖像首先被下采樣到大小，映射函數(shù)的分片數(shù)，對應的輸出通道數(shù)為48。正如前述，骨干網(wǎng)絡包含5個階段，前四個階段與MobileNetV2相同，最后一個階段包含三個卷積，其參數(shù)為：。head部分由三個卷積構(gòu)成，其輸出通道數(shù)分別為。最終的輸出經(jīng)tanh激活，其對應了映射系數(shù)的對數(shù)值。假設表示每個通道的輸出，那么映射函數(shù)可以表示為其中用于控制映射函數(shù)的范圍。基于上述表達，曲線的范圍將被限制在.

在超參方面，。作者選用Adam+L2正則進行訓練，batch=32，學習率為0.005,經(jīng)40k迭代后衰減到0.001.

我們先來看一下所提方法在圖像增強方面的效果，見下圖&下表。從中可以看到：(1) 相比HDRNet，所提方法具有更快的推理速度，更高的PSNR、SSIM等指標；(2) 相比HDRNet、UPE等方法，所提方法生成結(jié)果具有更好的對比度和顏色分布。

接下來，我們再來看一下所提方法在視頻增強方面的效果，見下圖&下表?？梢钥吹剑?strong>所提方法具有更高的PSNR指標；更快的推理速度；更好的時序一致性。

image-20201122132832313

image-20201122132857742

最后，我們再來看一下所提方法在去霧任務上的表現(xiàn)，見下圖。從中可以看到：所提方法在圖像去霧任務上同樣取得了SOTA指標與視覺效果。

image-20201122133254136

Conclusion

該文從AI+直方圖的角度提出了一種實時圖像/視頻增強方法，它采用encoder網(wǎng)絡預測映射函數(shù)系數(shù)，然后將得到的映射函數(shù)作用于輸入圖像得到期望的輸出圖像。這種處理方式將輸入分辨率與方法進行了解耦，進而使得Image-to-Image類方法的的產(chǎn)品化應用提供了一個非常有參考價值的方向。盡管所提方法在圖像/視頻增強方面取得了非常好的效果和推理速度，但該方法對于低光/帶噪圖像的效果并不太好，甚至會進一步造成噪聲放大，當然，這也是直方圖增強類方案的缺陷所在。

image-20201122134143102