編者按：對(duì)圖像中的文字進(jìn)行識(shí)別已經(jīng)有很多種方法了，但是大多是水平方向上的識(shí)別，一旦有了旋轉(zhuǎn)角度，這些方法可能就“失靈”了。來(lái)自復(fù)旦大學(xué)和中國(guó)科學(xué)院的幾位研究人員就提出了一種框架，可以識(shí)別圖像中經(jīng)過旋轉(zhuǎn)的文本。以下為論智對(duì)論文的編譯。

摘要

本文介紹了一種全新的基于旋轉(zhuǎn)的框架，能對(duì)自然場(chǎng)景中任意方向的文字進(jìn)行檢測(cè)辨認(rèn)。我們提出了Rotation Region Proposal Networks（RRPN），用于生成傾斜的框架，同時(shí)還帶有圖像旋轉(zhuǎn)角度的信息。之后，這些信息會(huì)適應(yīng)邊界框，從而能更精確地在不同方向上確定文本區(qū)域。Rotation Region-of-Interest（RRoI）池化層是將隨機(jī)方向的候選窗口映射到文本區(qū)域分類器的特征映射上。

整個(gè)框架是基于區(qū)域候選框的結(jié)構(gòu)上搭建的，它與之前的文本檢測(cè)系統(tǒng)相比，能保證在隨機(jī)方向的文本檢測(cè)上有更高的計(jì)算效率。我們?cè)谌N現(xiàn)實(shí)場(chǎng)景中對(duì)該框架進(jìn)行了實(shí)驗(yàn)，發(fā)現(xiàn)了相較于之前的方法它所表現(xiàn)出的效率。

背景介紹

文本檢測(cè)是CV領(lǐng)域一大熱門話題，它的目標(biāo)是在給定圖像中定位文字區(qū)域，這項(xiàng)任務(wù)是很多復(fù)雜任務(wù)的前提，例如視覺分類、視頻分析和其他移動(dòng)應(yīng)用。雖然已有很多商業(yè)產(chǎn)品落地，但是由于場(chǎng)景的復(fù)雜性，自然場(chǎng)景下的文字識(shí)別仍然受到很多限制，例如光線不均、圖片模糊、角度扭曲、方向不同等等。而本文正是關(guān)注現(xiàn)實(shí)生活中不水平的文字區(qū)域。

最近一些研究提出了針對(duì)隨機(jī)方向文本的檢測(cè)方法，總的來(lái)說(shuō)，這些方法大致包括兩個(gè)步驟：分割網(wǎng)絡(luò)（全卷積網(wǎng)絡(luò)）以及用于傾斜候選框的幾何方法。然而，對(duì)圖像進(jìn)行分割通常很耗時(shí)，并且一些系統(tǒng)需要多次后處理才能生成最終的文本區(qū)域候選框，所以并不如直接的檢測(cè)網(wǎng)絡(luò)高效。

在這篇論文中，我們提出了一種基于旋轉(zhuǎn)的方法，和端到端的文本檢測(cè)系統(tǒng)，該系統(tǒng)能生成任意方向的候選框。相較于之前的方法，我們的主要成果有：

這次的框架可以用基于候選框區(qū)域的方法預(yù)測(cè)文本線的方向，使候選框能更好地適應(yīng)文本區(qū)域?？蚣苤屑尤氲男略兀鏡RoI池化層和旋轉(zhuǎn)的候選框都整合到了架構(gòu)中，保證高效的計(jì)算力。

我們還提出了對(duì)候選框區(qū)域新型的微調(diào)方法，提高任意方向文本檢測(cè)的性能。

我們將新的框架應(yīng)用到三種場(chǎng)景數(shù)據(jù)集上，發(fā)現(xiàn)它比此前的方法更精確、更高效。

具體框架

首先，框架的整體結(jié)構(gòu)如下圖所示：

框架的前部是VGG-16的卷積層，其中由兩部分組成：RRPN和最后一個(gè)卷積層的特征映射的復(fù)制品。RRPN可以為文本樣本生成隨機(jī)方向的候選框，之后會(huì)對(duì)候選框進(jìn)行回歸處理以更好地適應(yīng)文本區(qū)域。而從RRPN分出去的兩個(gè)圖層是分類層（cls）和回歸層（reg）。

cls的分?jǐn)?shù)和reg中的候選框信息組成了兩個(gè)圖層的輸出結(jié)果，并且他們的損失通過計(jì)算總結(jié)構(gòu)會(huì)形成一個(gè)多任務(wù)的損失函數(shù)。之后，RRoI池化層會(huì)扮演一個(gè)最大池化層的角色，將RRPN上任意方向的文本候選框投射到特征映射上。

最后，兩個(gè)全卷積層結(jié)合成一個(gè)分類器，具有RRoI特征的區(qū)域被分為文本或者背景。

在訓(xùn)練階段，真實(shí)的文本區(qū)域用五個(gè)元組表示旋轉(zhuǎn)后的邊界框，分別是（x, y, h, w, θ），（x, y）代表邊界框幾何中心的坐標(biāo)，h和w分別代表邊界框較短和較長(zhǎng)的兩邊，θ表示夾角。

旋轉(zhuǎn)連接點(diǎn)（anchors）

傳統(tǒng)的連接點(diǎn)利用比例尺和長(zhǎng)寬比參數(shù)表示，通常對(duì)現(xiàn)實(shí)中的文本檢測(cè)并不有效。所以我們通過調(diào)整設(shè)計(jì)了旋轉(zhuǎn)連接點(diǎn)（R-anchors）。具體表示可看下圖：

其中有六個(gè)不同的旋轉(zhuǎn)方向，是綜合考慮覆蓋和計(jì)算效率之后得出的結(jié)果。其次，由于文本區(qū)域經(jīng)常有特殊的形狀，長(zhǎng)寬比改成了1:2、1:5、1:8，以覆蓋更寬的文本。

學(xué)習(xí)旋轉(zhuǎn)候選框

R-anchors生成后，為了執(zhí)行網(wǎng)絡(luò)學(xué)習(xí)，就需要對(duì)R-anchors進(jìn)行采樣。候選框的損失函數(shù)形成了多任務(wù)損失，定義為：

其中l(wèi)是類別標(biāo)簽的表示器，參數(shù)p時(shí)softmax函數(shù)計(jì)算出的類別概率，v表示文本標(biāo)簽的預(yù)測(cè)元組，v*表示真實(shí)數(shù)值。

下圖可以看到經(jīng)過回歸后的圖像與未回歸的對(duì)比：

（a）是輸入的圖像，（b）是沒有經(jīng)過回歸處理的方向和連接點(diǎn)，（c）是經(jīng)過處理的點(diǎn)

白線的方向就表示R-anchors的方向，白線的長(zhǎng)短表示連接點(diǎn)對(duì)文字的反饋。

下圖是不同多任務(wù)損失值的對(duì)比：

實(shí)驗(yàn)效果

我們分別在三個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)：MSRA-TD500、ICDAR2015和ICDAR2013。三個(gè)數(shù)據(jù)集都是文本檢測(cè)常用的數(shù)據(jù)集。首先我們對(duì)比了旋轉(zhuǎn)和水平的候選框：

結(jié)果顯示，基于旋轉(zhuǎn)的方法能更精確地確定文字區(qū)域，不會(huì)包含太多的背景，這說(shuō)明在框架中加入旋轉(zhuǎn)策略的有效性。但是雖然檢測(cè)效率有所提高，在MSRA-TD500中仍有檢測(cè)失敗的案例：

在不平衡的光線下（a）、非常小的字體上（b）以及過長(zhǎng)的文本上（c）都會(huì)出現(xiàn)檢測(cè)失敗的情況

但最終在三種數(shù)據(jù)集上的表現(xiàn)還是很不錯(cuò)的：