數(shù)據(jù)對(duì)于深度學(xué)習(xí)來(lái)說(shuō)至關(guān)重要，而數(shù)據(jù)增強(qiáng)策略對(duì)于提升訓(xùn)練樣本數(shù)據(jù)量、改善模型穩(wěn)定性和魯棒性，提高對(duì)于真實(shí)世界的適應(yīng)性和泛化性具有重要的作用。

雖然在圖像分類中數(shù)據(jù)增強(qiáng)有著廣泛的使用，但將數(shù)據(jù)增強(qiáng)用于目標(biāo)檢測(cè)的系統(tǒng)性研究還較少。此外由于目標(biāo)檢測(cè)數(shù)據(jù)的標(biāo)記成本比圖像分類更高，數(shù)據(jù)增強(qiáng)策略在有限數(shù)據(jù)的情況下除了能提高模型表現(xiàn)同時(shí)還能節(jié)省數(shù)據(jù)成本。

來(lái)自谷歌的研究人員針對(duì)目標(biāo)檢測(cè)任務(wù)提出了一種基于學(xué)習(xí)的數(shù)據(jù)增強(qiáng)策略，通過在訓(xùn)練數(shù)據(jù)上進(jìn)行增強(qiáng)策略搜索和驗(yàn)證集的性能測(cè)試來(lái)尋找最優(yōu)的數(shù)據(jù)增強(qiáng)方法，有效地提升了模型的表現(xiàn)，同時(shí)學(xué)習(xí)到的數(shù)據(jù)增強(qiáng)策略對(duì)于不同數(shù)據(jù)、基礎(chǔ)網(wǎng)絡(luò)和模型架構(gòu)都具有效的泛化性和適應(yīng)性。值得一提的是，文章的作者來(lái)自提出著名的神經(jīng)架構(gòu)搜索及其相關(guān)方法的研究團(tuán)隊(duì)。

通用高效的目標(biāo)檢測(cè)數(shù)據(jù)增強(qiáng)策略

數(shù)據(jù)增強(qiáng)廣泛是機(jī)器學(xué)習(xí)中常用的數(shù)據(jù)處理手段，不同的數(shù)據(jù)集通常會(huì)利用針對(duì)性的數(shù)據(jù)處理手段來(lái)處理。例如MNIST大多使用尺度、旋轉(zhuǎn)和平移的操作，也有加入顏色、噪聲等變換，而針對(duì)自然圖像，更多采用進(jìn)行和隨機(jī)裁剪的方法來(lái)進(jìn)行。還包括以對(duì)象為中心的裁剪、針對(duì)圖像片的增減和變換等，但這些方法大都針對(duì)特定的數(shù)據(jù)來(lái)處理并集中于圖像分類問題。

但由于數(shù)據(jù)標(biāo)記的成本很高，數(shù)據(jù)增強(qiáng)對(duì)于目標(biāo)檢測(cè)有著更為重要的實(shí)際意義。由于目標(biāo)檢測(cè)的復(fù)雜性使得有效的數(shù)據(jù)增強(qiáng)策略難以獲取。為了得到有效的數(shù)據(jù)增強(qiáng)策略并應(yīng)用于目標(biāo)檢測(cè)任務(wù)中，研究人員希望利用算法搜索到一套新穎的檢測(cè)數(shù)據(jù)增強(qiáng)策略，并能夠有效地應(yīng)用于不同的數(shù)據(jù)集、數(shù)據(jù)尺寸、基礎(chǔ)網(wǎng)絡(luò)和檢測(cè)架構(gòu)上，有效提升算法的性能。

基于離散優(yōu)化增強(qiáng)策略搜索

對(duì)于目標(biāo)檢測(cè)來(lái)說(shuō)通常需要考慮目標(biāo)框(bounding box, bbox)與變換后圖像連續(xù)性，研究人員針對(duì)bbox內(nèi)部的圖像提出了一系列變換，同時(shí)探索了圖像整體變化時(shí)如何調(diào)整bbox的策略。通過定義一系列子策略集和多個(gè)圖像操作變換，最終將這一問題歸結(jié)為離散空間中的優(yōu)化問題來(lái)進(jìn)行求解。首先研究人員將圖像增強(qiáng)策略定義為K個(gè)子策略的無(wú)序集合，在訓(xùn)練時(shí)從中隨機(jī)選取策略對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)。而其中每一個(gè)策略則包含了N個(gè)圖先變換，這些圖像變換將依次作用于被增強(qiáng)的數(shù)據(jù)，研究的目的在于從中搜索出最有效的策略。這些變量共同定義了一個(gè)離散優(yōu)化問題的搜索空間，針對(duì)目標(biāo)檢測(cè)任務(wù)的數(shù)據(jù)增強(qiáng)，研究人員將設(shè)置K=5，N=2。其中搜索空間總共包含了五個(gè)子策略，每個(gè)子策略包含了2種圖像操作，而每個(gè)操作同時(shí)包含了這個(gè)操作對(duì)應(yīng)的概率p和操作的具體數(shù)值m兩個(gè)參數(shù)。這里的概率定義的增強(qiáng)策略在數(shù)據(jù)樣本上進(jìn)行的隨機(jī)性，而m則定義了增強(qiáng)的幅度。

具體來(lái)說(shuō)，研究人員從實(shí)驗(yàn)中總結(jié)了22中有利于檢測(cè)的數(shù)據(jù)增強(qiáng)算法，分別是顏色操作、幾何變換和bbox操作。

顏色操作：針對(duì)圖像的顏色通道進(jìn)行操作，包括直方圖均衡、對(duì)比圖調(diào)整和亮度調(diào)整等；

幾何操作：對(duì)于圖像進(jìn)行幾何變換，包括位置變換，bbox的大小和位置、旋轉(zhuǎn)、剪切變換等，需要指出的是在進(jìn)行幾何變換時(shí)需要對(duì)bbox進(jìn)行調(diào)整；

bbox操作：僅針對(duì)bbox內(nèi)部的內(nèi)容進(jìn)行操作，而不改變外部的背景，可以綜合使用前面的顏色和幾何變換。

在使用過程中，研究人員將每種操作的幅度都?xì)w一化到[0,10]，對(duì)應(yīng)L=6等間距的空間，對(duì)應(yīng)概率也是一個(gè)M=6的等間距空間，這一取值平衡了強(qiáng)化學(xué)習(xí)算法計(jì)算的可追溯性和學(xué)習(xí)能力。

針對(duì)這樣的數(shù)值定義可以計(jì)算出每個(gè)策略需要搜索的空間包含(22LM)^2，而五個(gè)策略對(duì)應(yīng)的空間為(22*6*6)^10~9.6*10^18如此大的搜索空間一定需要高效的方法才能進(jìn)行有效的處理。在這篇文章中研究人員采用了基于RNN輸出空間表示離散值，同時(shí)利用RL算法來(lái)更新模型權(quán)重。其中PPO(proximal policy optimization)被用于搜索策略。RNN每次需要進(jìn)行30步來(lái)預(yù)測(cè)輸出，這來(lái)自于5個(gè)子策略，每個(gè)子策略兩個(gè)操作，每個(gè)操作包含概率、幅度和操作本身三個(gè)參數(shù)，其乘積即為30。在訓(xùn)練過程中，研究人員為了減小整體計(jì)算量從COCO數(shù)據(jù)集中選取了5K圖像來(lái)訓(xùn)練增強(qiáng)算法。算法利用了ResNet-50作為主干網(wǎng)絡(luò)、RetinaNet檢測(cè)器來(lái)從零開始構(gòu)建目標(biāo)檢測(cè)器，并利用在7392張COCO子驗(yàn)證集上的mAP作為獎(jiǎng)勵(lì)信號(hào)來(lái)更新控制器迭代搜索空間參數(shù)。

這一算法需要消耗巨大的算力，在400個(gè)TPUs上訓(xùn)練了48個(gè)小時(shí)完成了20K增強(qiáng)策略的訓(xùn)練，最終得到的數(shù)據(jù)增強(qiáng)策略使得目標(biāo)檢測(cè)得到了較大的提升，其中最好的幾個(gè)策略能夠廣泛應(yīng)用到不同的數(shù)據(jù)集、大小和架構(gòu)上去。

結(jié)果

訓(xùn)練后的結(jié)果顯示，算法通過驗(yàn)證集的測(cè)試得到最多的圖像增強(qiáng)操作是旋轉(zhuǎn)操作，同時(shí)圖像均衡和bbox在Y方向上的平移操作也是排名較為靠前的操作。研究人員首先將學(xué)習(xí)到的策略進(jìn)行了整體評(píng)測(cè)，在Res-Net和RetinaNet檢測(cè)器上都實(shí)現(xiàn)了較大幅度的提升：

為了探索哪些操作對(duì)于目標(biāo)檢測(cè)算法帶來(lái)的優(yōu)勢(shì)較大，研究人員將增強(qiáng)操作拆解成了顏色、幾何與bbox相關(guān)操作，并分別測(cè)試了對(duì)于基準(zhǔn)網(wǎng)絡(luò)的提升，下表顯示了不同操作疊加下對(duì)于目標(biāo)檢測(cè)性能的影響。

此外研究人員還探索了不同模型下數(shù)據(jù)增強(qiáng)策略的有效性，并通過增加圖像分辨率和錨的數(shù)量實(shí)現(xiàn)了50.7mAP！

同時(shí)也在不同的數(shù)據(jù)上驗(yàn)證了這一算法的有效性。研究人員還探索了用于訓(xùn)練數(shù)據(jù)增強(qiáng)策略數(shù)據(jù)集的大小對(duì)于目標(biāo)檢測(cè)算法提升的效果，雖然隨著訓(xùn)練數(shù)據(jù)的增加，數(shù)據(jù)增強(qiáng)的效果逐漸減弱。

但這種方法針對(duì)小數(shù)據(jù)集和小物體的檢測(cè)卻具有明顯的效果。同時(shí)對(duì)于較為困難的AP75任務(wù)也有較好的表現(xiàn)，這意味著數(shù)據(jù)增強(qiáng)策略幫助算法學(xué)習(xí)到了bbox位置出更細(xì)粒度的空間細(xì)節(jié)特征，這也同時(shí)改善了小物體的檢測(cè)性能。下表中mAPs顯示了小物體檢測(cè)提升的情況。

在改進(jìn)模型正則化方面，研究人員發(fā)現(xiàn)了訓(xùn)練數(shù)據(jù)大的情況下?lián)p失會(huì)提升，同時(shí)隨著數(shù)據(jù)量的增加L2會(huì)變小，數(shù)據(jù)增強(qiáng)策略進(jìn)一步減少了權(quán)重的衰減。研究人員發(fā)現(xiàn)在使用有效數(shù)據(jù)增強(qiáng)策略的同時(shí)，就不需要正則化技術(shù)來(lái)幫助網(wǎng)絡(luò)更好的訓(xùn)練了。