什么是異常檢測(cè)？

異常檢測(cè)是識(shí)別與預(yù)期行為不同的事件或模式的過(guò)程。異常檢測(cè)范圍廣泛，從簡(jiǎn)單的離群值檢測(cè)，到復(fù)雜的機(jī)器學(xué)習(xí)算法，這些算法經(jīng)過(guò)訓(xùn)練可以發(fā)現(xiàn)數(shù)百個(gè)信號(hào)中隱藏的模式。

工程師和數(shù)據(jù)科學(xué)家使用異常檢測(cè)來(lái)進(jìn)行以下識(shí)別：

機(jī)械故障，用于預(yù)測(cè)性維護(hù)

制造生產(chǎn)線的缺陷

放射學(xué)影像中的惡性腫瘤

金融交易中的欺詐

零售業(yè)的客戶流失

視頻監(jiān)控錄像中的異常動(dòng)作

在 MATLAB 中，有很多方法均可用來(lái)設(shè)計(jì)異常檢測(cè)算法。哪種異常檢測(cè)方法最適用于給定應(yīng)用，將取決于可用異常數(shù)據(jù)量，以及您是否可將異常數(shù)據(jù)與正常數(shù)據(jù)區(qū)分開(kāi)來(lái)。

異常檢測(cè)的第一步是檢查現(xiàn)有的數(shù)據(jù)。不妨考慮以下問(wèn)題：

您能在原始數(shù)據(jù)中發(fā)現(xiàn)異常嗎？

有時(shí)候，您只需查看數(shù)據(jù)即可執(zhí)行異常檢測(cè)。例如，下面圖 1 中的信號(hào)是從風(fēng)扇收集的，您可以很容易地看到表示風(fēng)扇行為異常的信號(hào)突變。如果您能夠通過(guò)肉眼檢測(cè)異常，則也許可以使用簡(jiǎn)單的算法（例如 findchangepts 或 controlchart）進(jìn)行異常檢測(cè)。



圖 1：MATLAB 冷卻風(fēng)扇數(shù)據(jù)圖，異常情況一目了然。

您能在衍生特征中發(fā)現(xiàn)異常嗎？

通常很難從原始數(shù)據(jù)中直觀地檢測(cè)異常。在下面的信號(hào)中，很難確定哪個(gè)時(shí)域信號(hào)有異常。然而，如果創(chuàng)建功率譜以在頻域中查看數(shù)據(jù)，則峰值的頻率和幅度差異可以清楚地表明兩個(gè)信號(hào)截然不同。在這種情況下，您可以將這些峰值用作基于有監(jiān)督學(xué)習(xí)方法的異常檢測(cè)算法的特征輸入。



圖 2：盡管原始時(shí)序信號(hào)（左圖）中的異常看上去不明顯，但在頻域中查看數(shù)據(jù)（右圖，使用 MATLAB 中的周期圖）時(shí)，可以看到峰值頻率的明顯差異。

您能用統(tǒng)計(jì)學(xué)方法區(qū)分正常特征和異常特征嗎？

在單個(gè)信號(hào)中，異常不一定那么明顯。當(dāng)今的復(fù)雜機(jī)器可能有數(shù)百個(gè)傳感器。有時(shí)，只有同時(shí)考慮多個(gè)傳感器時(shí)，異常才會(huì)變得明顯。標(biāo)注了數(shù)據(jù)后，您可以檢查時(shí)域和頻域特征的統(tǒng)計(jì)分布，如圖 3 所示。您還可以執(zhí)行特征變換和排名，以識(shí)別最能區(qū)分兩個(gè)組的特征。然后，您可以使用這些特征，通過(guò)有監(jiān)督學(xué)習(xí)方法基于標(biāo)注的數(shù)據(jù)訓(xùn)練異常檢測(cè)算法。



圖 3：左側(cè)的 MATLAB 圖分別用藍(lán)色和紅色表示成對(duì)的正常數(shù)據(jù)和異常數(shù)據(jù)。右側(cè)是來(lái)自診斷特征設(shè)計(jì)器的相應(yīng)特征直方圖，用于識(shí)別哪些特征可明確區(qū)分正常數(shù)據(jù)和異常數(shù)據(jù)，以供有監(jiān)督異常檢測(cè)算法使用。

如果您不知道異常的具體表現(xiàn)該怎么辦？

機(jī)械故障代價(jià)高昂，因此，操作人員通常希望通過(guò)保守的維護(hù)計(jì)劃來(lái)防患未然。這可能意味著異常很少見(jiàn)，使得設(shè)計(jì)異常檢測(cè)算法變得很棘手。

有幾種設(shè)計(jì)異常檢測(cè)算法的方法只需很少的異常數(shù)據(jù)，或者根本不需要異常數(shù)據(jù)。這些“僅正?！狈椒ㄖ换谡?shù)據(jù)訓(xùn)練算法，并將正常數(shù)據(jù)之外的數(shù)據(jù)識(shí)別為異常數(shù)據(jù)。

使用 MATLAB，您可以對(duì)數(shù)據(jù)應(yīng)用以下“僅正?！碑惓z測(cè)方法：

閾值化。

閾值化在數(shù)據(jù)超過(guò)統(tǒng)計(jì)指標(biāo)的閾值時(shí)識(shí)別異常。例如，時(shí)序數(shù)據(jù)中最近時(shí)段內(nèi)的標(biāo)準(zhǔn)差，對(duì)信號(hào)使用控制圖，使用變化點(diǎn)檢測(cè)查找信號(hào)中的突變，或獲得數(shù)據(jù)分布的穩(wěn)健估計(jì)值，并將分布邊緣的樣本識(shí)別為異常?；诮y(tǒng)計(jì)指標(biāo)的閾值化是個(gè)不錯(cuò)的方法，但與機(jī)器學(xué)習(xí)方法相比，這種方法應(yīng)用于多元數(shù)據(jù)比較困難，而且在異常檢測(cè)方面也不夠穩(wěn)健。對(duì)于離群值具有穩(wěn)健性的統(tǒng)計(jì)估計(jì)法將生成更好的結(jié)果，例如穩(wěn)健協(xié)方差。

單類支持向量機(jī)。

單類支持向量機(jī)用于識(shí)別最大化類間距離的分離超平面。僅訓(xùn)練一個(gè)類會(huì)生成可視為正常的數(shù)據(jù)的模型。該模型使您無(wú)需任何可用于訓(xùn)練的標(biāo)注異常即可檢測(cè)異常。這種方法和其他基于距離的方法需要數(shù)值特征作為輸入，而且不適用于高維數(shù)據(jù)。

孤立森林。

孤立森林可用于構(gòu)建將每個(gè)觀測(cè)值隔離到一個(gè)葉節(jié)點(diǎn)中的樹(shù)。異常分?jǐn)?shù)作為樣本的平均深度進(jìn)行計(jì)算：異常樣本需要的決策數(shù)比正常樣本的要少。這種方法支持?jǐn)?shù)值特征和分類特征組合，并且適用于高維數(shù)據(jù)。

自編碼器。

自編碼器是基于正常數(shù)據(jù)訓(xùn)練且嘗試重構(gòu)原始輸入的神經(jīng)網(wǎng)絡(luò)。經(jīng)過(guò)訓(xùn)練的自編碼器將會(huì)準(zhǔn)確地重構(gòu)正常輸入。如果輸入與其重構(gòu)之間差異巨大，則可能表明存在異常。自編碼器可用于信號(hào)和圖像數(shù)據(jù)。



圖 4：自編碼器經(jīng)過(guò)訓(xùn)練，可以復(fù)制輸入。利用輸入與其重構(gòu)之間的差異，可以對(duì)信號(hào)或圖像數(shù)據(jù)進(jìn)行異常檢測(cè)。

當(dāng)您的數(shù)據(jù)中存在異常但無(wú)法進(jìn)行標(biāo)注時(shí)，您還可以嘗試使用無(wú)監(jiān)督聚類方法進(jìn)行異常檢測(cè)。有時(shí)，您可以將聚類與正常數(shù)據(jù)和異常數(shù)據(jù)相關(guān)聯(lián)，但除非數(shù)據(jù)集是均衡的（包含許多同類型的異常），否則使用“僅正?！狈椒ǜ锌赡塬@得有用的結(jié)果。

在應(yīng)用異常檢測(cè)算法之前，通常需要從原始數(shù)據(jù)中提取特征。

MATLAB 同時(shí)支持以手動(dòng)和自動(dòng)方法從信號(hào)、圖像和文本數(shù)據(jù)中提取特征。Predictive Maintenance Toolbox 中的診斷特征設(shè)計(jì)器可以幫助您從多種類型的信號(hào)中提取特征。

總結(jié)

異常檢測(cè)有助于識(shí)別離群值、與正常值的偏差和意外行為

如果您有足夠的標(biāo)注數(shù)據(jù)（包括異常），則可使用有監(jiān)督學(xué)習(xí)方法進(jìn)行異常檢測(cè)

如果您的數(shù)據(jù)大部分都是正常數(shù)據(jù)，則應(yīng)用某種專門的“僅正常”異常檢測(cè)方法即可

上手示例：

使用 MATLAB 檢測(cè)圖像中的對(duì)象缺陷

要構(gòu)建基于圖像的異常檢測(cè)算法，您可以執(zhí)行以下操作：

1) 將圖像饋送入預(yù)訓(xùn)練的 AlexNet 卷積神經(jīng)網(wǎng)絡(luò)；

2) 使用第一層后的網(wǎng)絡(luò)激活值作為特征，然后

3) 使用 fitcsvm 訓(xùn)練單類支持向量機(jī)。單類支持向量機(jī)基于正常圖像訓(xùn)練。負(fù)的分類分?jǐn)?shù)表示異常。





審核編輯：劉清