當(dāng)訓(xùn)練好的圖像分類器遇到了訓(xùn)練數(shù)據(jù)里不存在的類別的圖像時(shí)，顯然它會(huì)給出離譜的預(yù)測(cè)。那么我們應(yīng)該如何改進(jìn)分類器、如何克服這個(gè)問題呢？

老實(shí)說，這真的是領(lǐng)域內(nèi)的一個(gè)老大難問題，沒人能給出完美的答案。Jetpac（現(xiàn)被谷歌收購） CTO、蘋果畢業(yè)生、TensorFlow團(tuán)隊(duì)成員Pete Warden 在個(gè)人博客中寫下了他的一些個(gè)人思考。

幾天前，正與我合作的 Plant Village團(tuán)隊(duì)向我提出了一個(gè)他們正在開發(fā)的應(yīng)用程序（app）中遇到的問題。他們用 app 檢測(cè)植物所患的疾病。當(dāng)它面對(duì)植物的葉子時(shí)，app能夠給出很好的分類結(jié)果，然而如果你讓 app處理電腦鍵盤的圖片，它會(huì)認(rèn)為這是一種受損了的植物。如下圖。

左圖：AWDamage: 100%；右圖：AWDamage: 98%

既滑稽又合理

對(duì)于計(jì)算機(jī)視覺研究者們來說，這樣的結(jié)果并不令人意外。但對(duì)于大多數(shù)其他人來說，這還是令人十分震驚的。所以我想解釋為什么會(huì)發(fā)生這種情況，以及我們可以對(duì)此做些什么。

作為人類，我們習(xí)慣于對(duì)我們看到的周圍世界中的任何事物進(jìn)行分類。自然而然地，我們也希望機(jī)器具有相同的能力。然而，大多數(shù)模型僅僅被訓(xùn)練用來識(shí)別非常有限的物體集合，例如 ImageNet競(jìng)賽中的 1,000種物體。至關(guān)重要的是，訓(xùn)練過程假設(shè)模型面對(duì)的每個(gè)樣本一定都是屬于這些類別的其中一種物體，而且預(yù)測(cè)結(jié)果也在這個(gè)集合的范圍內(nèi)。模型不能選擇給出「我不知道！」這樣的預(yù)測(cè)結(jié)果，也沒有訓(xùn)練數(shù)據(jù)會(huì)幫助分類器學(xué)到這樣的預(yù)測(cè)結(jié)果。對(duì)于科學(xué)研究來說，這樣的簡化處理是很有意義的，但是當(dāng)我們?cè)诂F(xiàn)實(shí)世界中使用這些最終得到的模型時(shí)還是會(huì)引起一些問題。

回想起我在 Jetpac工作的日子，我們很難說服人們相信這個(gè)具有開創(chuàng)性的 AlexNet模型是一個(gè)巨大的突破。因?yàn)槊慨?dāng)我們把運(yùn)行著 AlexNet的用于演示的手機(jī)給測(cè)試者使用時(shí)，他們總會(huì)將自己的臉讓手機(jī)識(shí)別，而手機(jī)的預(yù)測(cè)結(jié)果往往是「氧氣面罩」或「安全帶」之類的東西。這是因?yàn)?ImageNet競(jìng)賽數(shù)據(jù)集中的物體不包括任何人的標(biāo)簽，但是大多數(shù)帶有面具或安全帶標(biāo)簽的圖片都同時(shí)包含了人的面孔和標(biāo)簽對(duì)應(yīng)的物體。另一個(gè)令人尷尬的錯(cuò)誤是，當(dāng)人們把手機(jī)對(duì)準(zhǔn)一個(gè)盤子時(shí)，它給出的預(yù)測(cè)結(jié)果竟然是「馬桶座」！這是因?yàn)樵诔跏嫉念悇e中沒有盤子，而外形特征最接近的白色圓形物體是一個(gè)馬桶。

漸漸地，我認(rèn)為這是一個(gè)「開放世界」與「封閉世界」的問題。我們假設(shè)模型所要面對(duì)的物體在有限的范圍內(nèi)，從而訓(xùn)練和評(píng)估模型。然而，一旦模型走出實(shí)驗(yàn)室，被用于現(xiàn)實(shí)世界的種種應(yīng)用，這樣的假設(shè)就不成立了。用戶會(huì)根據(jù)這些模型面對(duì)任意放在它們面前的物體的預(yù)測(cè)結(jié)果來評(píng)判它們的性能，無論這些物體是否在訓(xùn)練集中。

那么，解決方案是什么呢？

不幸的是，我不知道有什么簡單的方法可以解決這個(gè)問題，但是我已經(jīng)看到了目前有一些策略是對(duì)此有所幫助的。顯然，我們可以從向訓(xùn)練數(shù)據(jù)添加一個(gè)「未知」類開始處理該問題。而壞消息是，這樣做會(huì)引發(fā)一連串其它的問題：

「未知」類應(yīng)該包含怎樣的樣本？可能屬于該類的自然圖像無窮無盡，所以你應(yīng)該如何選擇哪些圖片應(yīng)該被納入該類？

在「未知」類中，每種不同類別的物體需要包含多少？

對(duì)于那些看起來和你重點(diǎn)關(guān)注的類非常相似的未知對(duì)象，你應(yīng)該做些什么？例如，添加一個(gè)不在 ImageNet的 1,000類物體中，而看起來幾乎完全相同的品種的狗，可能會(huì)使許多本應(yīng)該正確匹配的物體被迫分類到未知類中。

在訓(xùn)練數(shù)據(jù)中需要讓未知類的樣本占多大的比重？

最后一點(diǎn)實(shí)際上涉及到了一個(gè)更廣闊的問題。你從圖像分類網(wǎng)絡(luò)中的到的預(yù)測(cè)值并不是概率。它們假設(shè)你看到任何特定類的概率等于該類在訓(xùn)練數(shù)據(jù)中出現(xiàn)的頻率。如果你用一個(gè)分類里包含企鵝的動(dòng)物分類器檢測(cè)亞馬遜叢林中的動(dòng)物，你就會(huì)遇到這個(gè)問題，因?yàn)椋◣缀酰┧锌吹狡簌Z的事件都會(huì)是假正例誤報(bào)（false positive，顯然這里是不會(huì)出現(xiàn)企鵝的，所以當(dāng)模型認(rèn)為自己看到了企鵝的時(shí)候一定是錯(cuò)誤的）。即使是對(duì)于美國城市中的狗的種類，罕見的品種在 ImageNet訓(xùn)練數(shù)據(jù)中出現(xiàn)的次數(shù)也要比在一個(gè)寵物狗公園中多，所以他們會(huì)被過度描述為假正類。通常的解決方案是弄清在計(jì)算過程中你將面臨的先驗(yàn)概率，然后利用它們將校準(zhǔn)值應(yīng)用到網(wǎng)絡(luò)的輸出中，從而獲得更接近真實(shí)概率的結(jié)果。

在實(shí)際的應(yīng)用程序中，從整體上幫助解決該問題的主要策略是：將模型的適用范圍限制在「應(yīng)用程序?qū)⒚鎸?duì)的物體與模型的訓(xùn)練數(shù)據(jù)匹配」的情況。要做到這一點(diǎn)，一個(gè)簡單的方法就是對(duì)產(chǎn)品進(jìn)行設(shè)計(jì)。你可以創(chuàng)建一個(gè)用戶界面，指引人們?cè)谶\(yùn)行分類器之前確保攝像頭畫面中已經(jīng)出現(xiàn)了要分類的目標(biāo)，這和那些要求你對(duì)支票或其他文檔進(jìn)行拍照的應(yīng)用程序經(jīng)常做的是一樣的。

稍微復(fù)雜一點(diǎn)的方案是，你可以編寫一個(gè)獨(dú)立的圖像分類器，它試圖去識(shí)別那些那些主圖像分類器不能識(shí)別的情況。這和添加一個(gè)單一的「未知」類是不同的，因?yàn)樗淖饔酶褚环N級(jí)聯(lián)操作，或者用做一個(gè)詳細(xì)的模型前的過濾器。在識(shí)別農(nóng)作物患病情況的例子中，視覺上的操作環(huán)境足夠獨(dú)特，所以只需要訓(xùn)練一個(gè)訓(xùn)練一個(gè)模型來區(qū)分葉子和隨機(jī)選擇的其他圖片。這些照片之間有足夠的相似性，而門模型至少應(yīng)該能夠識(shí)別出圖片是否是在不支持的場(chǎng)景中拍攝的。該門模型將在運(yùn)行完整的圖像分類器之前運(yùn)行，如果它沒有檢測(cè)到一些看起來像是植物的東西，它就會(huì)提前跳出程序并且返回表明沒有發(fā)現(xiàn)任何植物的錯(cuò)誤信息。

要求你對(duì)信用卡拍照或執(zhí)行其它光學(xué)字符識(shí)別（OCR）過程的應(yīng)用程序通常會(huì)混合使用屏幕上的方向和檢測(cè)模糊性或不協(xié)調(diào)性，從而指導(dǎo)用戶拍攝可以成功處理的照片。而一個(gè)用于回答「那是樹葉嗎？」這樣的問題的獨(dú)立圖像分類模型則是這種接口模式的簡單版本。

本文給出的可能并不是一個(gè)令人滿意的答案，但是一旦你把機(jī)器學(xué)習(xí)技術(shù)引入到帶有限制的研究問題之后，它們就會(huì)反應(yīng)出用戶期望目標(biāo)的混亂。在一個(gè)人對(duì)一個(gè)物體的認(rèn)知過程中，存在很多常識(shí)和外部知識(shí)，而我們?cè)诮?jīng)典的圖像分類任務(wù)中并沒有獲取這些知識(shí)。為了獲得滿足用戶期望的結(jié)果，我們必須圍繞我們的模型設(shè)計(jì)一個(gè)完整的系統(tǒng)，這個(gè)系統(tǒng)能夠理解它們將被部署到的環(huán)境，并切不僅僅基于模型的輸出作出明智的決策。