現(xiàn)在數(shù)字無處不在，無論是鬧鐘、健身追蹤器、條形碼還是包裝好了的送貨包裹。利用MNIST數(shù)據(jù)集，機器學(xué)習(xí)可用來讀取單個手寫數(shù)字。現(xiàn)在，我們可以將其擴展為讀取多個數(shù)字，如下所示。底層的神經(jīng)網(wǎng)絡(luò)同時進行數(shù)字定位和數(shù)字檢測。這在很多實際環(huán)境中是非常有用的，例如讀取商店中的標簽，車牌，廣告等。

讀取多個數(shù)字

但是，為什么不直接使用OCR呢？OCR雖然可以自動檢測數(shù)字，但是效果并不總是很好，有時我們需要為特定任務(wù)訓(xùn)練特定的神經(jīng)網(wǎng)絡(luò)。

0.1數(shù)字檢測

數(shù)字檢測問題可分為2部分

數(shù)字查找

數(shù)字識別

數(shù)字查找：

數(shù)字可能出現(xiàn)在圖像的任何位置，要檢測到這些數(shù)字，我們首先需要查找包含這些數(shù)字的區(qū)域。這些數(shù)字可以有不同的大小和背景。

有多種檢測數(shù)字位置的方法。比如可以利用簡單的圖像形態(tài)學(xué)操作（例如二值化，腐蝕，膨脹）來提取圖像中的數(shù)字區(qū)域。但是，由于存在諸如閾值，內(nèi)核大小等調(diào)整參數(shù)，因此這些處理方式不具有普遍性。此外我們還可以使用無監(jiān)督特征檢測器，深度模型等。

數(shù)字識別：

確定好區(qū)域的數(shù)字即可進入數(shù)字識別的過程。MNIST數(shù)據(jù)集是用于手寫數(shù)字識別的規(guī)范數(shù)據(jù)集。大多數(shù)數(shù)據(jù)科學(xué)家已經(jīng)對該數(shù)據(jù)集進行了實驗。它包含約60,000個用于培訓(xùn)的手寫數(shù)字和10,000個用于測試的手寫數(shù)字。一些示例如下所示：

MNIST圖片

但是，現(xiàn)實生活中的數(shù)字通常大不相同。它們具有不同的顏色，通常按照以下情況打印。

日常數(shù)字圖像

另一個公共數(shù)據(jù)集SVHN-街景房數(shù)數(shù)據(jù)集。數(shù)據(jù)集包含從Google的街景中收集并帶有注釋的門牌號圖像。以下是SVHN的示例圖片：

SVHN圖片

該數(shù)據(jù)集在許多背景下都有各種數(shù)字組合，對于通用模型更合適。

02. Keras建模

我們選擇此基于SVHN位數(shù)檢測器來實現(xiàn)多位數(shù)檢測器。它寫得很好并且易于遵循。數(shù)字定位使用最大穩(wěn)定的外部區(qū)域（MSER）方法完成，該方法用作穩(wěn)定的特征檢測器。MSER主要用于圖像內(nèi)的斑點檢測。斑點是像素的連續(xù)集合，其外邊界像素強度高于內(nèi)邊界像素強度（給定閾值）。如果這些區(qū)域在強度變化量上變化不大，則可以說是最大穩(wěn)定的。MSER的運行時復(fù)雜度較低，為O（nlog（log（n））），其中n是圖像上像素的總數(shù)。該算法對于模糊和縮放也很魯棒。這使其非常適合提取文本/數(shù)字。

使用具有卷積，maxpool和FC層的CNN來完成數(shù)字識別，這些層將每個檢測到的區(qū)域分類為10個不同的數(shù)字。分類器在測試集上的準確性達到95％。

我們通過各種示例對存儲庫進行了測試，發(fā)現(xiàn)它運行良好。請參閱上面共享的示例。

在某些間隙中，要么本地化器無法正常工作（未檢測到數(shù)字1的位置），要么檢測器發(fā)生故障（$被檢測為5）。

結(jié)論

我們希望該博客被證明是了解多位數(shù)檢測管道如何工作的良好起點。我們共享了一個github鏈接，該鏈接可用于在SVHN數(shù)據(jù)集上構(gòu)建模型。如果此模型無法正常運行。大家可以收集自己的數(shù)據(jù)并微調(diào)已訓(xùn)練的模型。

SVHN鏈接：https://github.com/penny4860/SVHN-deep-digit-detector

審核編輯 ：李倩