卷積網(wǎng)絡的部署通常在固定資源的情況下進行，如果想要提高精度就需要更多的資源來部署更大、更深的網(wǎng)絡。實際應用中，人們可以把ResNet-18拓展到ResNet-200增加層數(shù)提高精度，谷歌近期提出的GPipe也利用提升規(guī)模的方法在ImageNet上實現(xiàn)了84.3%的top-1精度。

Gpipe模型與ResNet不同規(guī)模的模型

對于擴大模型的規(guī)模，通常的做法是增加卷積網(wǎng)絡的深度或?qū)挾?，或者利用更大的輸入分辨率來訓練和測評。雖然能夠大幅度提升精度，但需要復雜的手工調(diào)校來進行優(yōu)化。

那么我們能不能找到一種更為通用的方法來使擴大CNNs的規(guī)模以得到更好的精度和速度呢？谷歌在今年的ICML會議上給出了一種可行的解決方案。研究中提出了一種名為EfficientNet，通過簡單高效地混合系數(shù)來結(jié)構(gòu)化地擴大CNNs的規(guī)模。與先前提高網(wǎng)絡維度參數(shù)不同，這種新的方法不會去調(diào)整寬度、深度和分辨率，而是利用固定的規(guī)模系數(shù)集均勻化地對每個維度進行擴增。

基于這種規(guī)?；椒ê妥詣訖C器學習，研究人員開發(fā)出了新的網(wǎng)絡家族EfficientNets，不僅在精度上超過了前輩，更在效率上有了10倍的提升。

混合模型規(guī)模化—擴大CNNs規(guī)模的好方法

研究人員首先系統(tǒng)地分析了不同維度上的規(guī)?；瘜τ谀Ｐ偷挠绊?。

在深度、寬度和分辨率等維度上記性擴充后的模型效果提升，但單個維度在達到80%后很快趨近于飽和。

分別對于不同的維度進行規(guī)?；螅芯咳藛T發(fā)現(xiàn)對于網(wǎng)絡寬度、深度和圖像分辨率等所有維度的平衡下對于模型的表現(xiàn)提升最好。所以混合而不是單一的改變模型的規(guī)模是提升性能的較好選擇?；旌弦?guī)模化方法的第一步是進行柵格搜索，在固定資源限制的條件下尋找不同規(guī)模維度下的關(guān)系。這將為不同的維度尋找適宜的規(guī)模化系數(shù)來實現(xiàn)最好的效果。隨后利用這些搜索到的系數(shù)來對基準網(wǎng)絡進行擴充，在給定的計算資源和模型大小下實現(xiàn)目標模型。

上圖顯示了不同規(guī)?；姆椒?，與先前的方法不同，新提出的混合規(guī)模化方法在所有的維度上進行了規(guī)?；嵘?。

實驗表明這種混合規(guī)?；椒ū萴obileNet(+1.4%)和ResNet(+0.7%)都有提升。

EfficientNet架構(gòu)

前述的模型在規(guī)?；臅r候依然高度依賴于基礎網(wǎng)絡模型。所以為了更好的提高模型的表現(xiàn)，研究人員提出了新型基準網(wǎng)絡模型。利用自動機器學習框架來進行神經(jīng)架構(gòu)搜索，同時優(yōu)化了精度和效率(FLOPS)。

最終的架構(gòu)類似MobileNetV2和MnasNet，使用了移動反轉(zhuǎn)瓶頸卷積結(jié)構(gòu)(mobile inverted bottleneck)，但在規(guī)模上有些許擴大?；谶@一基礎網(wǎng)絡，研究人員利用不同的擴充方式得到了規(guī)?；木W(wǎng)絡家族EfficientNets。

簡單的基準模型更容易擴展和規(guī)?；?/p>

EfficientNet的表現(xiàn)

為了測試模型的性能，研究人員在ImageNet上對現(xiàn)有的先進模型與EfficientNet進行了比較，結(jié)果表明EfficientNet在精度和效率上都超過了現(xiàn)有的模型，甚至在相同精度下將模型參數(shù)和操作減小了一個數(shù)量級。

在下圖中可以看到，在左上角的高精度區(qū)域，B7型EfficientNet在ImageNet上達到了84.4%的top-1精度和97.1%的top-5精度，但與先前的GPipe相比在CPU上的運行使用的參數(shù)減小了8.4倍同時速度提升了6.1倍。與廣泛使用的ResNet-50相比，相同參數(shù)的情況下提升了6.3%的top-1精度。

結(jié)果顯示了新的模型家族在精度與效率上的優(yōu)勢。

此外，為了驗證模型的其他數(shù)據(jù)集上的表現(xiàn)，研究人員還將模型遷移到了CIFAR-100和Flowers上，EfficientNet在參數(shù)減少一個數(shù)量級（21x）的情況下在8個測試數(shù)據(jù)集中的5個上取得了最好的精度，證明了這一方法具有穩(wěn)定的泛化能力。這種新的模型有望成為計算機視覺任務的新基準，研究人員開源了所有的代碼，同時可以看在這里找到基于TPU的加速實現(xiàn)