正如Azure最新的機(jī)器學(xué)習(xí)服務(wù)所顯示的那樣，機(jī)器學(xué)習(xí)已不再僅僅是關(guān)乎視覺(jué)和語(yǔ)音。

微軟在機(jī)器學(xué)習(xí)上押下重注的一個(gè)關(guān)鍵部分是，這些技術(shù)需要被民主化，并且能夠轉(zhuǎn)變?yōu)橄鄬?duì)容易理解的構(gòu)建塊，以便微軟的開發(fā)人員能夠快速學(xué)習(xí)并在自己的應(yīng)用程序中進(jìn)行使用。

這就是Azure認(rèn)知服務(wù)的用武之地。這些服務(wù)不需要用戶了解ResNet50深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練層次，也不需要了解如何使用TensorFlow或Microsoft Cognitive Toolkit (CNTK)來(lái)構(gòu)建學(xué)習(xí)平臺(tái)，而僅僅只需要使用API即可。微軟已經(jīng)為這些服務(wù)訓(xùn)練了神經(jīng)網(wǎng)絡(luò)，并將繼續(xù)對(duì)它們進(jìn)行優(yōu)化，還將真實(shí)世界的操作用來(lái)作為未來(lái)改進(jìn)的基礎(chǔ)。與構(gòu)建和運(yùn)行您自己的機(jī)器學(xué)習(xí)算法的計(jì)算和存儲(chǔ)成本相比，它們的使用成本則相對(duì)低廉。

Azure上的機(jī)器學(xué)習(xí)工具已迅速成為了任何想要向應(yīng)用程序添加基本人工智能的人的重要資源。需要注意的是它們的使用范圍依然是有限的，其重點(diǎn)放在了以下三個(gè)關(guān)鍵領(lǐng)域:計(jì)算機(jī)視覺(jué)、文本分析和語(yǔ)音識(shí)別。它們都是重要的領(lǐng)域，但它們也只是現(xiàn)代機(jī)器學(xué)習(xí)的一個(gè)有限子集而已。

Azure認(rèn)知服務(wù)

進(jìn)入了一個(gè)新的AI領(lǐng)域

幸運(yùn)的是，第一個(gè)探索機(jī)器學(xué)習(xí)在其他方面應(yīng)用的新認(rèn)知服務(wù)也在最近進(jìn)入了測(cè)試階段:將異常檢測(cè)添加到了功能集中。異常檢測(cè)是一種重要的人工智能工具，用于分析在數(shù)據(jù)源正常運(yùn)行特征之外的時(shí)間序列數(shù)據(jù)。這使得它成為了一個(gè)非常靈活的工具，因?yàn)楝F(xiàn)代企業(yè)擁有大量的流數(shù)據(jù)，從金融交易到軟件日志再到設(shè)備遙測(cè)。顯然，你不應(yīng)低估使用一個(gè)API就可以在所有這些不同的數(shù)據(jù)源中工作的能力，因?yàn)樗箻?gòu)建適當(dāng)?shù)能浖兊酶尤菀琢恕?/span>

正常情況下，異常檢測(cè)需要足夠的時(shí)間來(lái)設(shè)置。您需要使用大量數(shù)據(jù)來(lái)對(duì)您的模型進(jìn)行訓(xùn)練，以確定什么是正常操作，什么是異常操作。這就是信用卡欺詐檢測(cè)系統(tǒng)是如何建立一個(gè)你的消費(fèi)(以及他們所有客戶的習(xí)慣)模型，以檢測(cè)何時(shí)使用了被泄密了的卡片，并阻止任何未來(lái)的交易，將損失降到最低的。

如果要使這種類型的操作成為通用服務(wù)，就需要能夠?yàn)榘l(fā)送到服務(wù)的數(shù)據(jù)類型切換合適的檢測(cè)模型。這正是Azure認(rèn)知服務(wù)異常檢測(cè)器所采用的方法，它能夠使用一個(gè)自適應(yīng)推理引擎來(lái)選擇一個(gè)適合當(dāng)前時(shí)間序列數(shù)據(jù)的檢測(cè)模型。

通過(guò)在運(yùn)行時(shí)選擇算法，微軟繞過(guò)了異常檢測(cè)訓(xùn)練成本中最糟糕的部分?？赡芩褂玫乃惴ú⒉煌昝?，但是它將比使用一個(gè)通用規(guī)則引擎來(lái)處理異常檢測(cè)要好得多。還有一個(gè)額外的好處:您不必花費(fèi)大量的時(shí)間來(lái)標(biāo)記千兆字節(jié)的訓(xùn)練數(shù)據(jù)了。

構(gòu)建異常檢測(cè)應(yīng)用程序

與所有Azure認(rèn)知服務(wù)一樣，異常檢測(cè)器也需要一個(gè)訂閱密鑰，該密鑰可以在Azure門戶中生成，連同你的訂閱端點(diǎn)URL。微軟還提供了一個(gè)運(yùn)行在Jupyternotebook上的演示服務(wù)，您可以使用它在使用您自己的代碼和數(shù)據(jù)之前快速試用該服務(wù)。

實(shí)際上，您將通過(guò)異步函數(shù)來(lái)向服務(wù)端發(fā)送JSON格式的數(shù)據(jù)。如果您正在處理流數(shù)據(jù)，您可以在每次更新時(shí)發(fā)送一個(gè)時(shí)間序列數(shù)據(jù)的移動(dòng)窗口，并檢測(cè)序列中最后一段數(shù)據(jù)的異常情況。如果您使用它來(lái)分析批處理數(shù)據(jù)，那么您將得到數(shù)據(jù)集中已標(biāo)識(shí)的異常位置的列表，其中保存著每個(gè)數(shù)據(jù)點(diǎn)的布爾值數(shù)組。如果為true，則表示異常，您可以使用任何true值所對(duì)應(yīng)的索引來(lái)作為您所提供的源數(shù)據(jù)數(shù)組中異常的索引。

使用時(shí)間序列數(shù)據(jù)

異常檢測(cè)器的工作原理與大多數(shù)Azure平臺(tái)服務(wù)類似，它提供了一個(gè)REST API來(lái)接收J(rèn)SON格式的數(shù)據(jù)。使用C# SDK可以更容易地構(gòu)建代碼來(lái)使用該服務(wù);您也可以使用其他語(yǔ)言，但這樣你就需要手工來(lái)構(gòu)建REST調(diào)用。

微軟對(duì)數(shù)據(jù)格式也有一些限制:數(shù)據(jù)之間的時(shí)間間隔必須是固定的，雖然系統(tǒng)可以接受丟失最多10%預(yù)期點(diǎn)的數(shù)據(jù)，但最好確保您的數(shù)據(jù)是完整的。如果要交付具有清晰模式的數(shù)據(jù)，則批處理中的數(shù)據(jù)點(diǎn)的數(shù)量可能會(huì)有所不同。數(shù)據(jù)集中至少需要有12個(gè)點(diǎn)，最多8，640個(gè)點(diǎn)，時(shí)間戳使用UTC格式。

您不僅限于在流數(shù)據(jù)上使用異常檢測(cè)器;如果使用時(shí)間序列數(shù)據(jù)庫(kù)來(lái)記錄數(shù)據(jù)，那么你也可以在所有數(shù)據(jù)上以批處理的方式運(yùn)行它，但這可能意味著要發(fā)送大量的數(shù)據(jù)。這種方法可以幫助識(shí)別過(guò)去可能被忽略的問(wèn)題，例如發(fā)現(xiàn)不正常的金融交易，這些交易是出現(xiàn)欺詐的指標(biāo)，或是可能影響整體生產(chǎn)力的機(jī)器的持續(xù)問(wèn)題。在歷史數(shù)據(jù)上運(yùn)行它可以幫助您獲得所需的信息，以便對(duì)您所使用的算法進(jìn)行微調(diào)，從而使其更有可能發(fā)現(xiàn)您特定業(yè)務(wù)中的問(wèn)題。

調(diào)整異常檢測(cè)器

關(guān)于異常檢測(cè)API需要注意的一點(diǎn)是:它與其他的認(rèn)知服務(wù)有所不同，因?yàn)槟梢哉{(diào)整它處理數(shù)據(jù)的方式。作為JSON請(qǐng)求的一部分，您可以指定數(shù)據(jù)周期的詳細(xì)信息、它的粒度以及兩個(gè)微調(diào)算法敏感性的選項(xiàng)。其中一個(gè)是maxAnomalyRatio，它被用來(lái)幫助識(shí)別數(shù)據(jù)點(diǎn)是否出現(xiàn)了異常。另一個(gè)則是sensitivity，幫助調(diào)整算法的邊際值;數(shù)值越低，邊緣越大，異常檢測(cè)的靈敏度則越低。

您的應(yīng)用程序中可能有大量的時(shí)間序列數(shù)據(jù)，而且通常很難從中提取價(jià)值。通過(guò)添加一點(diǎn)機(jī)器學(xué)習(xí)，您就可以開始查看那些不符合正常模式的內(nèi)容了，然后使用這些信息構(gòu)建適當(dāng)?shù)捻憫?yīng)。

這就是為什么使用像Jupyter Notebook這樣的工具來(lái)探索結(jié)果，并在將其構(gòu)建為代碼之前對(duì)檢測(cè)器進(jìn)行調(diào)優(yōu)是一個(gè)好主意的原因了。您首先需要查看發(fā)生了什么異常，并且能夠?qū)⑺鼈兣c需要管理的事件聯(lián)系起來(lái)。通過(guò)使用交互式筆記本和歷史數(shù)據(jù)，您可以從中找到適當(dāng)?shù)南嚓P(guān)性，從而幫助您設(shè)計(jì)應(yīng)用程序，以使用接近實(shí)時(shí)的異常檢測(cè)來(lái)交付您可以理解的結(jié)果。這時(shí)您就可以開始使用異常檢測(cè)API來(lái)獲得真正的業(yè)務(wù)價(jià)值了。