近年來深度學(xué)習(xí)模型的飛速發(fā)展離不開龐大的數(shù)據(jù)體量和多樣化的數(shù)據(jù)收集。收集大量的、豐富的數(shù)據(jù)是十分耗時耗力的工作，而數(shù)據(jù)增強(qiáng)則為研究人員們提供了另一種增加數(shù)據(jù)多樣性的可能，無需真正收集數(shù)據(jù)即可得到較為豐富多樣的訓(xùn)練數(shù)據(jù)。來自伯克利的研究人員們提出了PBA(Population Based Augmentation)的方法來獲取更為有效的數(shù)據(jù)增強(qiáng)策略，并在實(shí)現(xiàn)同樣效果下實(shí)現(xiàn)了1000x的加速。

數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)策略通常包括剪切、填充、翻轉(zhuǎn)和旋轉(zhuǎn)等，但這些基本策略對于深度網(wǎng)絡(luò)的訓(xùn)練還是太簡單，在對于數(shù)據(jù)增強(qiáng)策略和種類的研究相較于神經(jīng)網(wǎng)絡(luò)的研究還是太少了。

一些常見的數(shù)據(jù)增強(qiáng)方法

最近谷歌針對這方面進(jìn)行了深入的探索性的研究，提出了AutoAugment方法并在CIFAR-10數(shù)據(jù)集上取得了很好的成果。

這篇論文利用了強(qiáng)化學(xué)習(xí)等方法來搜索更好的數(shù)據(jù)增強(qiáng)策略，基于RNN的控制器從搜索空間中預(yù)測增強(qiáng)策略，而一個固定架構(gòu)的子網(wǎng)絡(luò)則用于在增強(qiáng)的數(shù)據(jù)上進(jìn)行訓(xùn)練收斂到精度R，最后利用精度R來作為獎勵使得控制器尋求更好的數(shù)據(jù)增強(qiáng)策略。

AutoAugment引入了16種幾何、色彩變換并從中選擇兩種以固定的幅度來對每一批數(shù)據(jù)進(jìn)行增強(qiáng)，所以高性能的增強(qiáng)方法可以通過強(qiáng)化學(xué)習(xí)直接由模型從數(shù)據(jù)中學(xué)習(xí)到。但這種方法的弊端在于它需要訓(xùn)練一萬五千個模型到收斂，以便為強(qiáng)化學(xué)習(xí)模型收集足夠的樣本來學(xué)習(xí)數(shù)據(jù)增強(qiáng)策略。在樣本間的計(jì)算不能共享，使得它要耗費(fèi)15000個P100計(jì)算時來在ImageNet上實(shí)現(xiàn)較好的效果，即使在較小的CIFAR-10上也要消耗5000個GPU時(這意味著需要7500-37500美元的訓(xùn)練費(fèi)用才能得到較好的數(shù)據(jù)增強(qiáng)策略)。如果可以將先前訓(xùn)練的策略遷移或共享到新的訓(xùn)練中去，就能更高效地實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)策略的搜索與獲取。

PBA算法

為了提高算法的效率，來自伯克利的研究人員提出了PBA算法，可以在比原算法少三個數(shù)量級的計(jì)算上獲得相同的測試精度。

與AutoAugment不同，這種方法在多個小模型的副本上訓(xùn)練CIFAR-10數(shù)據(jù)集，只需要在Titan XP上訓(xùn)練5小時即可得到較好的數(shù)據(jù)增強(qiáng)策略，這一策略應(yīng)用到CIFAR-100，并重新訓(xùn)練一個較大的網(wǎng)絡(luò)可以獲得十分有效的效果。與先前需要很多天的訓(xùn)練相比，這種方法耗時更短且得到的效果更好。

與AutoAugment相比，新方法給出的數(shù)據(jù)增強(qiáng)策略在不同模型上的表現(xiàn)。

研究人員從DeepMind的Population Based Training算法中借鑒了一些思想，并將其應(yīng)用在了數(shù)據(jù)增強(qiáng)策略的生成上，將訓(xùn)練中當(dāng)前的結(jié)果作為生成策略的基礎(chǔ)，使得訓(xùn)練的結(jié)果可以在不同子模型中共享，避免耗時的重復(fù)訓(xùn)練。

這一改進(jìn)使得通常的工作站也可以訓(xùn)練大型的數(shù)據(jù)增強(qiáng)策略算法。與AutoAugment不同，這一方法生成了一個策略調(diào)度方法而不是一個固定的策略。這意味著，在某個訓(xùn)練周期，PBA生成的數(shù)據(jù)增強(qiáng)策略是法f(x,t),其中x是輸入圖像，t為當(dāng)前的訓(xùn)練周期。而AutoAugment則會在不同的子模型上生成固定的策略fi(x)。

研究人員利用了16個小的WideResNet，每一個會學(xué)習(xí)出不同的超參數(shù)計(jì)劃，而其中表現(xiàn)最好的調(diào)度將會被用于訓(xùn)練大型的模型，并從中得出最后的測試錯誤率。

Population Based Training方法，首先將一系列小模型用于發(fā)現(xiàn)超參數(shù)，而后將表現(xiàn)最好的模型權(quán)重(exploit)與隨機(jī)搜索結(jié)合起來(explore)。這些小模型首先在目標(biāo)數(shù)據(jù)集上從零開始訓(xùn)練，隨后通過將高性能的超參數(shù)復(fù)制到表現(xiàn)欠佳的模型上實(shí)現(xiàn)訓(xùn)練過程的復(fù)用，而后利用超參數(shù)的擾動來實(shí)現(xiàn)隨機(jī)探索，以獲取更好的表現(xiàn)。

通過這樣的方法，研究人員得以共享不同模型間的計(jì)算，并共享不同訓(xùn)練階段得到的不同的目標(biāo)超參數(shù)。PBA算法通過這一手段避免了需要訓(xùn)練上千個模型才能獲得高性能數(shù)據(jù)增強(qiáng)策略的冗長過程。下圖顯示了研究人員獲取的數(shù)據(jù)增強(qiáng)策略：

研究人員還提供了源碼和使用實(shí)例，如果想要給自己的數(shù)據(jù)集學(xué)習(xí)出合適的數(shù)據(jù)增強(qiáng)策略，可以在TUNE框架下進(jìn)行，只需要簡單的定義新的數(shù)據(jù)加載器即可使用。詳情請參考代碼：

https://github.com/arcelien/pba