• 前端壓縮，是指在不改變原網(wǎng)絡(luò)結(jié)構(gòu)的壓縮技術(shù)，主要包括知識(shí)蒸餾、輕量級(jí)網(wǎng)絡(luò)（緊湊的模型結(jié)構(gòu)設(shè)計(jì)）以及濾波器（filter）層面的剪枝（結(jié)構(gòu)化剪枝）等；

• 后端壓縮，是指包括低秩近似、未加限制的剪枝（非結(jié)構(gòu)化剪枝 / 稀疏）、參數(shù)量化以及二值網(wǎng)絡(luò)等，目標(biāo)在于盡可能減少模型大小，會(huì)對(duì)原始網(wǎng)絡(luò)結(jié)構(gòu)造成極大程度的改造。

一，低秩近似

1.1，總結(jié)

二，剪枝與稀疏約束

1. 衡量神經(jīng)元的重要程度

2. 移除掉一部分不重要的神經(jīng)元，這步比前 1 步更加簡便，靈活性更高

3. 對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，剪枝操作不可避免地影響網(wǎng)絡(luò)的精度，為防止對(duì)分類性能造成過大的破壞，需要對(duì)剪枝后的模型進(jìn)行微調(diào)。對(duì)于大規(guī)模行圖像數(shù)據(jù)集（如 ImageNet）而言，微調(diào)會(huì)占用大量的計(jì)算資源，因此對(duì)網(wǎng)絡(luò)微調(diào)到什么程度，是需要斟酌的

4. 返回第一步，循環(huán)進(jìn)行下一輪剪枝

2.1，總結(jié)

三，參數(shù)量化

1. 標(biāo)量量化（scalar quantization）。

2. 標(biāo)量量化會(huì)在一定程度上降低網(wǎng)絡(luò)的精度，為避免這個(gè)弊端，很多算法考慮結(jié)構(gòu)化的向量方法，其中一種是乘積向量（Product Quantization, PQ），詳情咨詢查閱論文。

3. 以 PQ 方法為基礎(chǔ)，Wu 等人設(shè)計(jì)了一種通用的網(wǎng)絡(luò)量化算法：QCNN (quantized CNN)，主要思想在于 Wu 等人認(rèn)為最小化每一層網(wǎng)絡(luò)輸出的重構(gòu)誤差，比最小化量化誤差更有效。

3.1，總結(jié)

四，二值化網(wǎng)絡(luò)

def residual_unit(data, num_filter, stride, dim_match, num_bits=1):
 """殘差塊 Residual Block 定義
    """
    bnAct1 = bnn.BatchNorm(data=data, num_bits=num_bits)
    conv1 = bnn.Convolution(data=bnAct1, num_filter=num_filter, kernel=(3, 3), stride=stride, pad=(1, 1))
    convBn1 = bnn.BatchNorm(data=conv1, num_bits=num_bits)
    conv2 = bnn.Convolution(data=convBn1, num_filter=num_filter, kernel=(3, 3), stride=(1, 1), pad=(1, 1))
 if dim_match:
        shortcut = data
 else:
        shortcut = bnn.Convolution(data=bnAct1, num_filter=num_filter, kernel=(3, 3), stride=stride, pad=(1, 1))
 return conv2 + shortcut

4.1，二值網(wǎng)絡(luò)的梯度下降

1. 權(quán)重 weight 初始化為浮點(diǎn)

2. 前向傳播 Forward Pass:

• • 利用決定化方式（sign (x) 函數(shù)）把 Weight 量化為 +1/-1, 以 0 為閾值

  • 利用量化后的 Weight (只有 + 1/-1) 來計(jì)算前向傳播，由二值權(quán)重與輸入進(jìn)行卷積運(yùn)算（實(shí)際上只涉及加法），獲得卷積層輸出。

3. 反向傳播 Backward Pass:

• • 把梯度更新到浮點(diǎn)的 Weight 上（根據(jù)放松后的符號(hào)函數(shù)，計(jì)算相應(yīng)梯度值，并根據(jù)該梯度的值對(duì)單精度的權(quán)重進(jìn)行參數(shù)更新）

  • 訓(xùn)練結(jié)束：把 Weight 永久性轉(zhuǎn)化為 +1/-1, 以便 inference 使用

4.2，兩個(gè)問題

• 直接根據(jù)權(quán)重的正負(fù)進(jìn)行二值化：xb=sign (x)xb=sign(x)。符號(hào)函數(shù) sign (x) 定義如下：

• 進(jìn)行隨機(jī)的二值化，即對(duì)每一個(gè)權(quán)重，以一定概率取 ±1±1

4.3，二值連接算法改進(jìn)

4.4，二值網(wǎng)絡(luò)設(shè)計(jì)注意事項(xiàng)

• 不要使用 kernel = (1, 1) 的 Convolution （包括 resnet 的 bottleneck）：二值網(wǎng)絡(luò)中的 weight 都為 1bit， 如果再是 1x1 大小， 會(huì)極大地降低表達(dá)能力

• 增大 Channel 數(shù)目 + 增大 activation bit 數(shù) 要協(xié)同配合：如果一味增大 channel 數(shù)， 最終 feature map 因?yàn)?bit 數(shù)過低， 還是浪費(fèi)了模型容量。同理反過來也是。

• 建議使用 4bit 及以下的 activation bit， 過高帶來的精度收益變小， 而會(huì)顯著提高 inference 計(jì)算量

五，知識(shí)蒸餾

• 第一項(xiàng)是由小模型的預(yù)測結(jié)果與大模型的 “軟標(biāo)簽” 所構(gòu)成的交叉熵（cross entroy）;

• 第二項(xiàng)為預(yù)測結(jié)果與普通類別標(biāo)簽的交叉熵。

# -*-coding-*-  : utf-8  
"""
本程序沒有給出具體的模型結(jié)構(gòu)代碼，主要給出了知識(shí)蒸餾 softmax 損失計(jì)算部分。
"""
import mxnet as mx
def get_symbol(data, class_labels, resnet_layer_num,Temperature,mimic_weight,num_classes=2):
    backbone = StudentBackbone(data) # Backbone 為分類網(wǎng)絡(luò) backbone 類
    flatten = mx.symbol.Flatten(data=conv1, name="flatten")
 fc_class_score_s = mx.symbol.FullyConnected(data=flatten, num_hidden=num_classes, name='fc_class_score')
    softmax1 = mx.symbol.SoftmaxOutput(data=fc_class_score_s, label=class_labels, name='softmax_hard')
 import symbol_resnet # Teacher model
 fc_class_score_t = symbol_resnet.get_symbol(net_depth=resnet_layer_num, num_class=num_classes, data=data)
 s_input_for_softmax=fc_class_score_s/Temperature
 t_input_for_softmax=fc_class_score_t/Temperature
 t_soft_labels=mx.symbol.softmax(t_input_for_softmax, name='teacher_soft_labels')
    softmax2 = mx.symbol.SoftmaxOutput(data=s_input_for_softmax, label=t_soft_labels, name='softmax_soft',grad_scale=mimic_weight)
    group=mx.symbol.Group([softmax1,softmax2])
 group.save('group2-symbol.json')
 return group

# 將類別標(biāo)簽進(jìn)行one-hot編碼
one_hot = tf.one_hot(y, n_classes,1.0,0.0) # n_classes為類別總數(shù), n為類別標(biāo)簽
# one_hot = tf.cast(one_hot_int, tf.float32)
teacher_tau = tf.scalar_mul(1.0/args.tau, teacher) # teacher為teacher模型直接輸出張量, tau為溫度系數(shù)T
student_tau = tf.scalar_mul(1.0/args.tau, student) # 將模型直接輸出logits張量student處于溫度系數(shù)T
objective1 = tf.nn.sigmoid_cross_entropy_with_logits(student_tau, one_hot)
objective2 = tf.scalar_mul(0.5, tf.square(student_tau-teacher_tau))
"""
student模型最終的損失函數(shù)由兩部分組成：
第一項(xiàng)是由小模型的預(yù)測結(jié)果與大模型的“軟標(biāo)簽”所構(gòu)成的交叉熵（cross entroy）;
第二項(xiàng)為預(yù)測結(jié)果與普通類別標(biāo)簽的交叉熵。
"""
tf_loss = (args.lamda*tf.reduce_sum(objective1) + (1-args.lamda)*tf.reduce_sum(objective2))/batch_size

tf.scalar_mul 函數(shù)為對(duì) tf 張量進(jìn)行固定倍率 scalar 縮放函數(shù)。一般 T 的取值在 1 - 20 之間，這里我參考了開源代碼，取值為 3。我發(fā)現(xiàn)在開源代碼中 student 模型的訓(xùn)練，有些是和 teacher 模型一起訓(xùn)練的，有些是 teacher 模型訓(xùn)練好后直接指導(dǎo) student 模型訓(xùn)練。

六，淺層 / 輕量網(wǎng)絡(luò)

淺層網(wǎng)絡(luò)：通過設(shè)計(jì)一個(gè)更淺（層數(shù)較少）結(jié)構(gòu)更緊湊的網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)復(fù)雜模型效果的逼近，但是淺層網(wǎng)絡(luò)的表達(dá)能力很難與深層網(wǎng)絡(luò)相匹敵。因此，這種設(shè)計(jì)方法的局限性在于只能應(yīng)用解決在較為簡單問題上。如分類問題中類別數(shù)較少的 task。

輕量網(wǎng)絡(luò)：使用如 MobilenetV2、ShuffleNetv2 等輕量網(wǎng)絡(luò)結(jié)構(gòu)作為模型的 backbone 可以大幅減少模型參數(shù)數(shù)量。