1.導(dǎo)語

? 近年來，無監(jiān)督異常檢測任務(wù)逐漸受到大家關(guān)注，其中基于密度和分類的方法在無監(jiān)督異常檢測中占據(jù)主導(dǎo)地位，而基于重構(gòu)的方法由于重構(gòu)能力差、性能不高而很少被提及，但后者不需要額外花費大量的訓(xùn)練樣本進行無監(jiān)督訓(xùn)練，具有更大的實用價值。本文著重改進基于重構(gòu)的方法，從頻率的角度處理感知異常檢測任務(wù)（sensory anomaly detection），提出了一種新的全頻率通道選擇重構(gòu)網(wǎng)絡(luò)（Omni-frequency Channel-selection Reconstruction，OCR-GAN）。實驗結(jié)果證明了提出方法的有效性和優(yōu)越性，例如，在沒有額外訓(xùn)練數(shù)據(jù)的情況下（不使用預(yù)訓(xùn)練模型或者其他數(shù)據(jù)集，即模型train from scratch），在MVTec AD數(shù)據(jù)集上實現(xiàn)了新的最先進的98.3檢測AUC，顯著地比基于重建的基線高+38.1↑，比SOTA高?+0.3↑。 ?

2.背景介紹

異常檢測是視覺圖像理解中的一項重要的二分類任務(wù)，用于區(qū)分給定圖像是否偏離預(yù)定義的正常分布，在現(xiàn)實世界中有各種應(yīng)用，例如新穎性檢測、工業(yè)產(chǎn)品質(zhì)量監(jiān)控、缺陷修復(fù)等?，F(xiàn)實應(yīng)用中，異常檢測任務(wù)可以分為感知異常檢測（Sensory Anomaly Detection，見圖1左圖）和語義異常檢測（Semantic Anomaly Detection，見圖1右圖）兩大類，前者只存在協(xié)變量偏差而不存在語義偏差（常用MVTec AD[1]、DAGM[2]、KolektorSDD[3]等數(shù)據(jù)集），而后者則相反（常用CIFAR-10[4]數(shù)據(jù)集）。

圖1感知AD和語義AD任務(wù)圖解

異常檢測任務(wù)中獲取異常樣本耗時且成本較高，這驅(qū)動我們開展更實用的無監(jiān)督AD方法研究。目前的無監(jiān)督異常檢測方法主要分為三類，如圖2所示。

1）Density-based方法：基于密度的方法通常采用預(yù)訓(xùn)練的模型來提取輸入圖像的有意義嵌入向量，測試圖像時通過計算嵌入表示與參考表示分布之間的相似度以得到異常分?jǐn)?shù)。這種方法在MVTec AD等數(shù)據(jù)集上取得了較高的指標(biāo)分?jǐn)?shù)，但需要預(yù)訓(xùn)練模型加持且可解釋性不足。

2）Classification-based方法：基于分類的方法試圖找到正常/異常數(shù)據(jù)的分類邊界，一般使用代理任務(wù)訓(xùn)練的模型來檢測異常，因此該類方法依賴于代理任務(wù)與測試數(shù)據(jù)的匹配程度，且需要預(yù)訓(xùn)練模型和額外的訓(xùn)練數(shù)據(jù)。

3）Reconstruction-based方法：基于重構(gòu)的方法包含一個用于重構(gòu)輸入圖像的生成器結(jié)構(gòu)，異常分?jǐn)?shù)可解釋為重構(gòu)誤差。這類方法不需要預(yù)訓(xùn)練的模型和額外的訓(xùn)練數(shù)據(jù)，但目前該類方法相較于其他方法表達能力略有差距。

本文重點研究基于重構(gòu)的方法，期望增強生成器的重構(gòu)能力以提升模型的異常檢測能力。

圖2無監(jiān)督異常檢測方法pipeline對比 對于一幅圖像，不同的頻段包含不同類型的信息，例如低頻代表更多的語義信息，高頻代表更詳細的紋理信息。在此思想的推動下，我們發(fā)現(xiàn)異常檢測任務(wù)中正常和異常圖像的頻率分布存在明顯差異，如圖3所示。

圖3 MVTec AD數(shù)據(jù)集中正常和異常樣本的能量隨頻率的分布，陰影表示標(biāo)準(zhǔn)差

基于此，我們認為僅使用一個生成器來學(xué)習(xí)RGB圖像的全頻率重建是困難且不合適的，因此提出了一種利用多頻分支分別重構(gòu)不同頻帶信息的異常檢測框架，并設(shè)計了合適的結(jié)構(gòu)以提升模型的異常檢測效果，相較于對比方法取得了最SOTA結(jié)果，如圖4所示。

圖4不同方法AUROC檢測結(jié)果對比圖

具體地，本文有如下幾點貢獻：

1）從頻域的角度重新思考了正常和異常圖像的區(qū)別，提出了一種全頻率通道選擇重構(gòu)網(wǎng)絡(luò)（Omni-frequency Channel-selection Reconstruction，OCR-GAN）。

2）提出了頻率解耦（Frequency Decoupling，F(xiàn)D）模塊來獲取圖像的不同頻帶信息，實現(xiàn)多分支的全頻重建。

3）提出了通道選擇（Channel Selection，CS）模塊來實現(xiàn)多支路之間的全頻率交互和不同信道特征的自適應(yīng)選擇。

4）大量的實驗證明了提出方法的優(yōu)越性，例如，我們在沒有額外訓(xùn)練數(shù)據(jù)的MVTec AD數(shù)據(jù)集上實現(xiàn)了新的SOTA 98.3檢測AUROC，相較于沒有額外訓(xùn)練數(shù)據(jù)的基于重構(gòu)方法獲得了+18.3↑提升，同時相較于SOTA方法獲得了+0.3↑提升。

3.方法介紹

3.1??總覽我們的方法包含多個生成器對不同頻率圖像進行重建，同時與鑒別器D交替訓(xùn)練以進一步提高模型性能。具體來說，我們提出了一個有效的頻率解耦模塊（FD）來解耦輸入圖像到全頻圖像，以及一個通道選擇模塊（CS）在多個頻率編碼器之間通過自適應(yīng)通道選擇的方式進行特征交互。模型完成訓(xùn)練后的推理階段，重構(gòu)圖像與原圖像的重構(gòu)誤差作為圖像的異常得分。

圖5OCR-GAN方法示意圖

3.2 頻率解耦模塊

圖像中不同的頻段包含不同類型的信息，例如低頻代表更多的語義信息，高頻代表更詳細的紋理信息。該模塊用來將原始圖像分解為多個頻段圖像，以獲得信息更豐富的全頻段顯性表達，具體包含如下3個過程：

1）將原始圖像與5x5高斯核進行卷積，獲得下采樣圖像

2）通過多次上下采樣操作得到一組模糊圖像

3）模糊圖像按照處理深度不同程度地丟失了一些高頻信息，進一步計算相鄰圖像之間的差值得到全頻域圖像。圖5顯示了多個不同頻域分量的定性表示結(jié)果。

3.3 通道選擇模塊

在只有FD模塊的異常檢測框架中，多頻率分支相對獨立，這違背了不同頻率相輔相成的客觀事實。為此，我們設(shè)計了一種新穎的通道選擇模塊，實現(xiàn)了多支路間的頻域交互和不同通道特征的自適應(yīng)選擇。圖6（a）展示了雙頻率下CS模塊的微觀詳細結(jié)構(gòu)，即只包含低頻和高頻特征，但其可以很容易地擴展到多分支。圖6（b）展示了CS模塊與頻率編碼器之間的宏觀交互方式。

圖6 （a）CS模塊示意圖；（b）CS模塊與多頻編碼器交互方式

4.實驗結(jié)果

4.1? 定量對比

本文與主流的異常檢測方法（AGAN[5]、AE[6]、Skip-GANomaly[7]、GradCon[8]、Puzzle-AE[9]、DGAD[10]、DRAEM[11]、DifferNet[12]、CutPaste[13]、InTra[14]）在多個數(shù)據(jù)集上進行定量對比實驗。如表1/2/3/4所示，提出的OCR-GAN在MVTec AD上獲得了98.3 AUROC結(jié)果，且在全部數(shù)據(jù)集上都獲取了SOTA結(jié)果，相較于對比方法取得了明顯優(yōu)勢。

表1MVTecAD結(jié)果對比表

表2 DAGM結(jié)果對比表

表3KolektorSDD結(jié)果對比表

表4 CIFAR-10結(jié)果對比表

4.2 定性對比

圖7展示了不同重建方法的定性對比，可以看到本文提出的方法對輸入圖像的正常區(qū)域具有很好的重建結(jié)果，對于異常區(qū)域具有明顯的區(qū)分性，證明了OCR-GAN的有效性。

圖7 不同方法的重建結(jié)果對比

4.3 解釋性實驗及剝離實驗

1）圖8展示了不同模塊對異常得分分布影響，可以看到，在基線直方圖中，正常樣本和異常樣本無法通過異常得分進行有效區(qū)分。逐步增加FD和CS模塊后，模型的區(qū)分能力得到了提高，表明每個模塊對方法結(jié)果都有貢獻。

圖8不同模塊組合下的異常得分分布圖

2）我們將每個測試樣本的潛在空間特征從D的最后一個卷積層映射到一個二維子空間。如圖9顯示，正常和異常樣本在潛在空間中具有較強的聚類效應(yīng)，且具有明顯的區(qū)分性。

圖9 正常/異常樣本t-SNE分布圖

3）表5展示了頻率分支對于模型結(jié)果影響。結(jié)果表明，僅使用高頻信息比使用低頻信息效果更好，這意味著異常區(qū)域包含更多的高頻信息。然而，由于缺乏不同頻率支路之間的信息交互，單獨使用雙頻支路效果有限，而設(shè)計的CS模塊可以很好地處理該問題，進一步提高了模型的性能。

表5 頻率分支數(shù)量剝離實驗結(jié)果

5.總結(jié)與展望

本文從頻域的角度提出了一種基于重構(gòu)的OCR-GAN異常檢測方法。具體來說，我們提出了FD模塊將輸入圖像解耦到不同的頻率空間，并將圖像重建過程建模為并行的全頻率圖像恢復(fù)的組合。為了更好地實現(xiàn)不同編碼器之間的頻率交互，我們提出了一種定制的CS模塊，其可以自適應(yīng)地在多個支路之間選擇不同的信道以增強每一個頻域的特征。我們的方法在沒有額外訓(xùn)練數(shù)據(jù)的情況下，在Sensory AD和Semantic AD任務(wù)上相較于同時代方法具有明顯的優(yōu)勢。未來，我們將進一步探索AD任務(wù)中輕量化模型的設(shè)計，同時構(gòu)建更具有挑戰(zhàn)性的實際應(yīng)用數(shù)據(jù)集。