在CVPR 2020上，商湯研究院鏈接與編譯組和北京航空航天大學(xué)劉祥龍老師團(tuán)隊(duì)提出了一種旨在優(yōu)化前后向傳播中信息流的實(shí)用、高效的網(wǎng)絡(luò)二值化新算法IR-Net。不同于以往二值神經(jīng)網(wǎng)絡(luò)大多關(guān)注量化誤差方面，本文首次從統(tǒng)一信息的角度研究了二值網(wǎng)絡(luò)的前向和后向傳播過程，為網(wǎng)絡(luò)二值化機(jī)制的研究提供了全新視角。同時(shí)，該工作首次在ARM設(shè)備上進(jìn)行了先進(jìn)二值化算法效率驗(yàn)證，顯示了IR-Net部署時(shí)的優(yōu)異性能和極高的實(shí)用性，有助于解決工業(yè)界關(guān)注的神經(jīng)網(wǎng)絡(luò)二值化落地的核心問題。

動(dòng)機(jī)

二值神經(jīng)網(wǎng)絡(luò)因其存儲(chǔ)量小、推理效率高而受到社會(huì)的廣泛關(guān)注 ［1］。然而與全精度的對(duì)應(yīng)方法相比，現(xiàn)有的量化方法的精度仍然存在顯著的下降。

對(duì)神經(jīng)網(wǎng)絡(luò)的研究表明，網(wǎng)絡(luò)的多樣性是模型達(dá)到高性能的關(guān)鍵［2］，保持這種多樣性的關(guān)鍵是：（1） 網(wǎng)絡(luò)在前向傳播過程中能夠攜帶足夠的信息；（2） 反向傳播過程中，精確的梯度為網(wǎng)絡(luò)優(yōu)化提供了正確的信息。二值神經(jīng)網(wǎng)絡(luò)的性能下降主要是由二值化的有限表示能力和離散性造成的，這導(dǎo)致了前向和反向傳播的嚴(yán)重信息損失，模型的多樣性急劇下降。同時(shí)，在二值神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，離散二值化往往導(dǎo)致梯度不準(zhǔn)確和優(yōu)化方向錯(cuò)誤。如何解決以上問題，得到更高精度的二值神經(jīng)網(wǎng)絡(luò)？這一問題被研究者們廣泛關(guān)注，本文的動(dòng)機(jī)在于：通過信息保留的思路，設(shè)計(jì)更高性能的二值神經(jīng)網(wǎng)絡(luò)。

基于以上動(dòng)機(jī)，本文首次從信息流的角度研究了網(wǎng)絡(luò)二值化，提出了一種新的信息保持網(wǎng)絡(luò)（IR-Net）：（1）在前向傳播中引入了一種稱為L(zhǎng)ibra參數(shù)二值化（Libra-PB）的平衡標(biāo)準(zhǔn)化量化方法，最大化量化參數(shù)的信息熵和最小化量化誤差；（2） 在反向傳播中采用誤差衰減估計(jì)器（EDE）來計(jì)算梯度，保證訓(xùn)練開始時(shí)的充分更新和訓(xùn)練結(jié)束時(shí)的精確梯度。

IR-Net提供了一個(gè)全新的角度來理解二值神經(jīng)網(wǎng)絡(luò)是如何運(yùn)行的，并且具有很好的通用性，可以在標(biāo)準(zhǔn)的網(wǎng)絡(luò)訓(xùn)練流程中進(jìn)行優(yōu)化。作者使用CIFAR-10和ImageNet數(shù)據(jù)集上的圖像分類任務(wù)來評(píng)估提出的IR-Net，同時(shí)借助開源二值化推理庫(kù)daBNN進(jìn)行了部署效率驗(yàn)證。

方法設(shè)計(jì)

高精度二值神經(jīng)網(wǎng)絡(luò)訓(xùn)練的瓶頸主要在于訓(xùn)練過程中嚴(yán)重的信息損失。前向sign函數(shù)和后向梯度逼近所造成的信息損失嚴(yán)重影響了二值神經(jīng)網(wǎng)絡(luò)的精度。為了解決以上問題，本文提出了一種新的信息保持網(wǎng)絡(luò)（IR-Net）模型，它保留了訓(xùn)練過程中的信息，實(shí)現(xiàn)了二值化模型的高精度。

前向傳播中的Libra Parameter Binarization（Libra-PB）

在此之前，絕大多數(shù)網(wǎng)絡(luò)二值化方法試圖減小二值化操作的量化誤差。然而，僅通過最小化量化誤差來獲得一個(gè)良好的二值網(wǎng)絡(luò)是不夠的。因此，Libra-PB設(shè)計(jì)的關(guān)鍵在于：使用信息熵指標(biāo)，最大化二值網(wǎng)絡(luò)前向傳播過程中的信息流。

根據(jù)信息熵的定義，在二值網(wǎng)絡(luò)中，二值參數(shù)Qx（x）的熵可以通過以下公式計(jì)算：

如果單純地追求量化誤差最小化，在極端情況下，量化參數(shù)的信息熵甚至可以接近于零。因此，Libra-PB將量化值的量化誤差和二值參數(shù)的信息熵同時(shí)作為優(yōu)化目標(biāo)，定義為：

在伯努利分布假設(shè)下，當(dāng)p=0.5時(shí)，量化值的信息熵取最大值。

因此，在Libra-PB通過標(biāo)準(zhǔn)化和平衡操作獲得標(biāo)準(zhǔn)化平衡權(quán)重，如圖2所示，在Bernoulli分布下，由Libra-PB量化的參數(shù)具有最大的信息熵。有趣的是，對(duì)權(quán)重的簡(jiǎn)單變換也可以極大改善前向過程中激活的信息流。因?yàn)榇藭r(shí)，各層的二值激活值信息熵同樣可以最大化，這意味著特征圖中信息可以被保留。

在以往的二值化方法中，為了使量化誤差減小，幾乎所有方法都會(huì)引入浮點(diǎn)尺度因子來從數(shù)值上逼近原始參數(shù)，這無疑將高昂的浮點(diǎn)運(yùn)算引入其中。在Libra-PB中，為了進(jìn)一步減小量化誤差，同時(shí)避免以往二值化方法中代價(jià)高昂的浮點(diǎn)運(yùn)算，Libra-PB引入了整數(shù)移位標(biāo)量s，擴(kuò)展了二值權(quán)重的表示能力。

因此最終，針對(duì)正向傳播的Libra參數(shù)二值化可以表示如下：

IR-Net的主要運(yùn)算操作可以表示為：

反向傳播中的Error Decay Estimator（EDE）

由于二值化的不連續(xù)性，梯度的近似對(duì)于反向傳播是不可避免的，這種對(duì)sign函數(shù)的近似帶來了兩種梯度的信息損失，包括截?cái)喾秶鈪?shù)更新能力下降造成的信息損失，和截?cái)喾秶鷥?nèi)近似誤差造成的信息損失。為了更好的保留反向傳播中由損失函數(shù)導(dǎo)出的信息，平衡各訓(xùn)練階段對(duì)于梯度的要求，EDE引入了一種漸進(jìn)的兩階段近似梯度方法。

第一階段：保留反向傳播算法的更新能力。將梯度估計(jì)函數(shù)的導(dǎo)數(shù)值保持在接近1的水平，然后逐步將截?cái)嘀祻囊粋€(gè)大的數(shù)字降到1。利用這一規(guī)則，近似函數(shù)從接近Identity函數(shù)演化到Clip函數(shù)，從而保證了訓(xùn)練早期的更新能力。第二階段：使0附近的參數(shù)被更準(zhǔn)確地更新。將截?cái)啾３譃?，并逐漸將導(dǎo)數(shù)曲線演變到階梯函數(shù)的形狀。利用這一規(guī)則，近似函數(shù)從Clip函數(shù)演變到sign函數(shù)，從而保證了前向和反向傳播的一致性。

各階段EDE的形狀變化如圖3（c）所示。通過該設(shè)計(jì)，EDE減小了前向二值化函數(shù)和后向近似函數(shù)之間的差異，同時(shí)所有參數(shù)都能得到合理的更新。

實(shí)驗(yàn)結(jié)果

作者使用了兩個(gè)基準(zhǔn)數(shù)據(jù)集：CIFAR-10和ImageNet（ILSVRC12）進(jìn)行了實(shí)驗(yàn)。在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，IR-Net比現(xiàn)有的最先進(jìn)方法更具競(jìng)爭(zhēng)力。

Deployment Efficiency

為了進(jìn)一步驗(yàn)證IR-Net在實(shí)際移動(dòng)設(shè)備中的部署效率，作者在1.2GHz 64位四核ARM Cortex-A53的Raspberry Pi 3B上進(jìn)一步實(shí)現(xiàn)了IR-Net，并在實(shí)際應(yīng)用中測(cè)試了其真實(shí)速度。表5顯示，IR-Net的推理速度要快得多，模型尺寸也大大減小，而且IR-Net中的位移操作幾乎不會(huì)帶來額外的推理時(shí)間和存儲(chǔ)消耗。