隨著 NLP 的不斷發(fā)展，對(duì) BERT/Transformer 相關(guān)知識(shí)的研究應(yīng)用，也越來(lái)越細(xì)節(jié)，下面嘗試用 QA 的形式深入不淺出 BERT/Transformer 的細(xì)節(jié)知識(shí)點(diǎn)。

不考慮多頭的原因，self-attention 中詞向量不乘 QKV 參數(shù)矩陣，會(huì)有什么問(wèn)題？

為什么 BERT 選擇 mask 掉 15% 這個(gè)比例的詞，可以是其他的比例嗎？

使用 BERT 預(yù)訓(xùn)練模型為什么最多只能輸入 512 個(gè)詞，最多只能兩個(gè)句子合成？

為什么 BERT 在第一句前會(huì)加一個(gè) [CLS] 標(biāo)志？

Self-Attention 的時(shí)間復(fù)雜度是怎么計(jì)算的？

Transformer 在哪里做了權(quán)重共享，為什么可以做權(quán)重共享？

BERT 非線性的來(lái)源在哪里？

BERT 的三個(gè) Embedding 直接相加會(huì)對(duì)語(yǔ)義有影響嗎？

Transformer 的點(diǎn)積模型做縮放的原因是什么？

在 BERT 應(yīng)用中，如何解決長(zhǎng)文本問(wèn)題？

1.不考慮多頭的原因，self-attention 中詞向量不乘 QKV 參數(shù)矩陣，會(huì)有什么問(wèn)題？

self-attention 的核心是「用文本中的其它詞來(lái)增強(qiáng)目標(biāo)詞的語(yǔ)義表示」，從而更好的利用上下文的信息。

self-attention 中，sequence 中的每個(gè)詞都會(huì)和 sequence 中的每個(gè)詞做點(diǎn)積去計(jì)算相似度，也包括這個(gè)詞本身。

如果不乘 QKV 參數(shù)矩陣，那這個(gè)詞對(duì)應(yīng)的 q,k,v 就是完全一樣的。

在相同量級(jí)的情況下， 與 點(diǎn)積的值會(huì)是最大的（可以從 “兩數(shù)和相同的情況下，兩數(shù)相等對(duì)應(yīng)的積最大” 類比過(guò)來(lái)）。

那在 softmax 后的加權(quán)平均中，該詞本身所占的比重將會(huì)是最大的，使得其他詞的比重很少，無(wú)法有效利用上下文信息來(lái)增強(qiáng)當(dāng)前詞的語(yǔ)義表示。

而乘以 QKV 參數(shù)矩陣，會(huì)使得每個(gè)詞的 q,k,v 都不一樣，能很大程度上減輕上述的影響。

當(dāng)然，QKV 參數(shù)矩陣也使得多頭，類似于 CNN 中的多核，去捕捉更豐富的特征 / 信息成為可能。

2.為什么 BERT 選擇 mask 掉 15% 這個(gè)比例的詞，可以是其他的比例嗎？

BERT 采用的 Masked LM，會(huì)選取語(yǔ)料中所有詞的 15% 進(jìn)行隨機(jī) mask，論文中表示是受到完形填空任務(wù)的啟發(fā)，但其實(shí)「與 CBOW 也有異曲同工之妙」。

從 CBOW 的角度，這里 有一個(gè)比較好的解釋是：在一個(gè)大小為 的窗口中隨機(jī)選一個(gè)詞，類似 CBOW 中滑動(dòng)窗口的中心詞，區(qū)別是這里的滑動(dòng)窗口是非重疊的。

那從 CBOW 的滑動(dòng)窗口角度，10%~20% 都是還 ok 的比例。

上述非官方解釋，是來(lái)自我的一位朋友提供的一個(gè)理解切入的角度，供參考。

3.使用 BERT 預(yù)訓(xùn)練模型為什么最多只能輸入 512 個(gè)詞，最多只能兩個(gè)句子合成一句？

這是 Google BERT 預(yù)訓(xùn)練模型初始設(shè)置的原因，前者對(duì)應(yīng) Position Embeddings，后者對(duì)應(yīng) Segment Embeddings

在 BERT 中，Token，Position，Segment Embeddings「都是通過(guò)學(xué)習(xí)來(lái)得到的」，pytorch 代碼中它們是這樣的

self.word_embeddings=Embedding(config.vocab_size,config.hidden_size) self.position_embeddings=Embedding(config.max_position_embeddings,config.hidden_size) self.token_type_embeddings=Embedding(config.type_vocab_size,config.hidden_size)

上述 BERT pytorch 代碼來(lái)自//github.com/xieyufei1993/Bert-Pytorch-Chinese-TextClassification，結(jié)構(gòu)層次非常清晰。

而在 BERT config 中

"max_position_embeddings":512 "type_vocab_size":2

因此，在直接使用 Google 的 BERT 預(yù)訓(xùn)練模型時(shí)，輸入最多 512 個(gè)詞（還要除掉 [CLS] 和 [SEP]），最多兩個(gè)句子合成一句。這之外的詞和句子會(huì)沒(méi)有對(duì)應(yīng)的 embedding。

當(dāng)然，如果有足夠的硬件資源自己重新訓(xùn)練 BERT，可以更改 BERT config，設(shè)置更大 max_position_embeddings 和 type_vocab_size 值去滿足自己的需求。

?

總結(jié)下博主的話：就是 Google 規(guī)定的，想換大的可以自行嘗試！

但這樣的解釋感覺(jué)有些欠妥，可能是 Google 嘗試增大 Transorfmer 的最大長(zhǎng)度時(shí)發(fā)現(xiàn)不太適合處理超長(zhǎng)句子，所以才有了后面的 Transformer-XL。

?

4.為什么 BERT 在第一句前會(huì)加一個(gè) [CLS] 標(biāo)志？

BERT 在第一句前會(huì)加一個(gè) [CLS] 標(biāo)志，最后一層該位對(duì)應(yīng)向量可以作為整句話的語(yǔ)義表示，從而用于下游的分類任務(wù)等。

為什么選它呢，因?yàn)榕c文本中已有的其它詞相比，這個(gè)無(wú)明顯語(yǔ)義信息的符號(hào)會(huì)「更 “公平” 地融合文本中各個(gè)詞的語(yǔ)義信息」，從而更好的表示整句話的語(yǔ)義。

這里補(bǔ)充一下 bert 的輸出，有兩種：

一種是 get_pooled_out ()，就是上述 [CLS] 的表示，輸出 shape 是 [batch size,hidden size]。

一種是 get_sequence_out ()，獲取的是整個(gè)句子每一個(gè) token 的向量表示，輸出 shape 是 [batch_size, seq_length, hidden_size]，這里也包括 [CLS]，因此在做 token 級(jí)別的任務(wù)時(shí)要注意它。

self-attention 是用文本中的其它詞來(lái)增強(qiáng)目標(biāo)詞的語(yǔ)義表示，但是目標(biāo)詞本身的語(yǔ)義還是會(huì)占主導(dǎo)的，因此，經(jīng)過(guò)BERT的12層，每次詞的embedding融合了所有詞的信息去更好的表示自己。而[CLS]位本身沒(méi)有語(yǔ)義，經(jīng)過(guò)12層，得到的是所有詞的加權(quán)平均，相比其他正常詞，可以更好的表征句子語(yǔ)義。當(dāng)然，也可以通過(guò)對(duì)最后一層所有詞的embedding做pooling去表征句子語(yǔ)義。另外，[CLS]也指示了句子的開始，[SEP]則指示了句子的分割/結(jié)尾，BERT應(yīng)該可以學(xué)到這個(gè)信息

?

總結(jié)：就是 CLS 是整個(gè)句子語(yǔ)義的載體，如果不用 CLS，而是放在第一位進(jìn)行輸出可能會(huì)影響到第一個(gè) token 本身的詞意表達(dá)。如果用全連接層進(jìn)行分類等，會(huì)增加參數(shù)。

?

5.Self-Attention 的時(shí)間復(fù)雜度是怎么計(jì)算的？

Self-Attention 時(shí)間復(fù)雜度： ，這里 n 是序列的長(zhǎng)度，d 是 embedding 的維度。

Self-Attention 包括 **三個(gè)步驟：相似度計(jì)算，softmax 和加權(quán)平均 **，它們分別的時(shí)間復(fù)雜度是：

相似度計(jì)算可以看作大小為 (n,d) 和 (d,n) 的兩個(gè)矩陣相乘： ，得到一個(gè) (n,n) 的矩陣

softmax 就是直接計(jì)算了，時(shí)間復(fù)雜度為

加權(quán)平均可以看作大小為 (n,n) 和 (n,d) 的兩個(gè)矩陣相乘： ，得到一個(gè) (n,d) 的矩陣

因此，Self-Attention 的時(shí)間復(fù)雜度是 。

這里再分析一下 Multi-Head Attention，它的作用類似于 CNN 中的多核。

多頭的實(shí)現(xiàn)不是循環(huán)的計(jì)算每個(gè)頭，而是通過(guò) transposes and reshapes，用矩陣乘法來(lái)完成的。

?

In practice, the multi-headed attention are done with transposes and reshapes rather than actual separate tensors. —— 來(lái)自 google BERT 源碼

?

Transformer/BERT 中把 d，也就是 hidden_size/embedding_size 這個(gè)維度做了 reshape 拆分，可以去看 Google 的 TF 源碼 或者上面的 pytorch 源碼：

?

hidden_size (d) = num_attention_heads (m) * attention_head_size (a)，也即 d=m*a

?

并將 num_attention_heads 維度 transpose 到前面，使得 Q 和 K 的維度都是 (m,n,a)，這里不考慮 batch 維度。

這樣點(diǎn)積可以看作大小為 (m,n,a) 和 (m,a,n) 的兩個(gè)張量相乘，得到一個(gè) (m,n,n) 的矩陣，其實(shí)就相當(dāng)于 m 個(gè)頭，時(shí)間復(fù)雜度是 。

張量乘法時(shí)間復(fù)雜度分析參見：矩陣、張量乘法的時(shí)間復(fù)雜度分析

因此 Multi-Head Attention 時(shí)間復(fù)雜度就是 ，而實(shí)際上，張量乘法可以加速，因此實(shí)際復(fù)雜度會(huì)更低一些。

不過(guò)，對(duì)于做 transposes and reshapes 的邏輯，個(gè)人沒(méi)有理的很明白，希望大佬看到能留言解答一下，感謝。

6.Transformer 在哪里做了權(quán)重共享，為什么可以做權(quán)重共享？

Transformer 在兩個(gè)地方進(jìn)行了權(quán)重共享：

（1）Encoder 和 Decoder 間的 Embedding 層權(quán)重共享；

（2）Decoder 中 Embedding 層和 FC 層權(quán)重共享。

「對(duì)于（1」《Attention is all you need》中 Transformer 被應(yīng)用在機(jī)器翻譯任務(wù)中，源語(yǔ)言和目標(biāo)語(yǔ)言是不一樣的，但它們可以共用一張大詞表，對(duì)于兩種語(yǔ)言中共同出現(xiàn)的詞（比如：數(shù)字，標(biāo)點(diǎn)等等）可以得到更好的表示，而且對(duì)于 Encoder 和 Decoder，「嵌入時(shí)都只有對(duì)應(yīng)語(yǔ)言的 embedding 會(huì)被激活」，因此是可以共用一張?jiān)~表做權(quán)重共享的。

論文中，Transformer 詞表用了 bpe（Byte Pair Encoding） 來(lái)處理，所以最小的單元是 subword。英語(yǔ)和德語(yǔ)同屬日耳曼語(yǔ)族，有很多相同的 subword，可以共享類似的語(yǔ)義。而像中英這樣相差較大的語(yǔ)系，語(yǔ)義共享作用可能不會(huì)很大。

但是，共用詞表會(huì)使得詞表數(shù)量增大，增加 softmax 的計(jì)算時(shí)間，因此實(shí)際使用中是否共享可能要根據(jù)情況權(quán)衡。

該點(diǎn)參考：https://www.zhihu.com/question/333419099/answer/743341017

「對(duì)于（2」，Embedding 層可以說(shuō)是通過(guò) onehot 去取到對(duì)應(yīng)的 embedding 向量，F(xiàn)C 層可以說(shuō)是相反的，通過(guò)向量（定義為 x）去得到它可能是某個(gè)詞的 softmax 概率，取概率最大（貪婪情況下）的作為預(yù)測(cè)值。

那哪一個(gè)會(huì)是概率最大的呢？在 FC 層的每一行量級(jí)相同的前提下，理論上和 x 相同的那一行對(duì)應(yīng)的點(diǎn)積和 softmax 概率會(huì)是最大的（可類比本文問(wèn)題 1）。

因此，Embedding 層和 FC 層權(quán)重共享，Embedding 層中和向量 x 最接近的那一行對(duì)應(yīng)的詞，會(huì)獲得更大的預(yù)測(cè)概率。實(shí)際上，Decoder 中的「Embedding 層和 FC 層有點(diǎn)像互為逆過(guò)程」。

通過(guò)這樣的權(quán)重共享可以減少參數(shù)的數(shù)量，加快收斂。

但開始我有一個(gè)困惑是：Embedding 層參數(shù)維度是：(v,d)，F(xiàn)C 層參數(shù)維度是：(d,v)，可以直接共享嘛，還是要轉(zhuǎn)置？其中 v 是詞表大小，d 是 embedding 維度。

查看 pytorch 源碼發(fā)現(xiàn)真的可以直接共享：

fc=nn.Linear(d,v,bias=False)#DecoderFC層定義 weight=Parameter(torch.Tensor(out_features,in_features))#Linear層權(quán)重定義

Linear 層的權(quán)重定義中，是按照 (out_features, in_features) 順序來(lái)的，實(shí)際計(jì)算會(huì)先將 weight 轉(zhuǎn)置在乘以輸入矩陣。所以 FC 層 對(duì)應(yīng)的 Linear 權(quán)重維度也是 (v,d)，可以直接共享。

7.BERT 非線性的來(lái)源在哪里？

前饋層的 Gelu 激活函數(shù)和 self-attention，self-attention 是非線性的。

8.BERT 的三個(gè) Embedding 為什么可以直接相加會(huì)對(duì)語(yǔ)義有影響嗎？

引用蘇劍林老師的回答：

那只能說(shuō)明你還不了解 Embedding 的意義。

Embedding 的數(shù)學(xué)本質(zhì)，就是以 one hot 為輸入的單層全連接。請(qǐng)參考: https://kexue.fm/archives/4122

也就是說(shuō)，世界上本沒(méi)什么 Embedding，有的只是 one hot。

現(xiàn)在我們將 token,position,segment 三者都用 one hot 表示，然后 concat 起來(lái)，然后才去過(guò)一個(gè)單層全連接，等價(jià)的效果就是三個(gè) Embedding 相加。

引用博主的回答：

這是一個(gè)很有意思的問(wèn)題，蘇劍林老師給出的回答，真的很妙：

?

「Embedding 的數(shù)學(xué)本質(zhì)，就是以 one hot 為輸入的單層全連接。也就是說(shuō)，世界上本沒(méi)什么 Embedding，有的只是 one hot?！?/p>

?

「在這里想用一個(gè)簡(jiǎn)單的例子再嘗試?yán)斫庖幌隆梗杭僭O(shè) token Embedding 矩陣維度是 [4,768]；position Embedding 矩陣維度是 [3,768]；segment Embedding 矩陣維度是 [2,768]。

對(duì)于一個(gè)字，假設(shè)它的 token one-hot 是[1,0,0,0]；它的 position one-hot 是[1,0,0]；它的segment one-hot 是[1,0]。那這個(gè)字最后的 word Embedding，就是上面三種 Embedding 的加和。

如此得到的 word Embedding，和concat后的特征：[1,0,0,0,1,0,0,1,0]，再過(guò)維度為[4+3+2,768] = [9, 768] 的全連接層，得到的向量其實(shí)就是一樣的。

「再換一個(gè)角度理解」：

直接將三個(gè)one-hot 特征 concat 起來(lái)得到的 [1,0,0,0,1,0,0,1,0] 不再是one-hot了，但可以把它映射到三個(gè)one-hot 組成的特征空間，空間維度是 4*3*2=24 ，那在新的特征空間，這個(gè)字的one-hot就是[1,0,0,0,0...] (23個(gè)0)。

此時(shí)，Embedding 矩陣維度就是 [24,768]，最后得到的 word Embedding 依然是和上面的等效，「但是三個(gè)小 Embedding 矩陣的大小會(huì)遠(yuǎn)小于新特征空間對(duì)應(yīng)的 Embedding 矩陣大小」。

當(dāng)然，在相同初始化方法前提下，兩種方式得到的 word Embedding 可能方差會(huì)有差別，但是，BERT還有Layer Norm，會(huì)把 Embedding 結(jié)果統(tǒng)一到相同的分布。

BERT的三個(gè)Embedding相加，本質(zhì)可以看作一個(gè)「特征的融合」，強(qiáng)大如 BERT 應(yīng)該可以學(xué)到融合后特征的語(yǔ)義信息的。

引用邱錫鵬老師的回答：

這是個(gè)好問(wèn)題。雖然在深度神經(jīng)網(wǎng)絡(luò)里變得非常復(fù)雜，本質(zhì)上神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元收到的信號(hào)也是“權(quán)重”相加得來(lái)。具體細(xì)節(jié)的分析這里就不提了，有興趣的同學(xué)可以自己推一推。

這里想說(shuō)一下寬泛一點(diǎn)的分析（瞎扯）。

在實(shí)際場(chǎng)景中，疊加是一個(gè)更為常態(tài)的操作。比如聲音、圖像等信號(hào)。一個(gè)時(shí)序的波可以用多個(gè)不同頻率的正弦波疊加來(lái)表示。只要疊加的波的頻率不同，我們就可以通過(guò)傅里葉變換進(jìn)行逆向轉(zhuǎn)換。

一串文本也可以看作是一些時(shí)序信號(hào)，也可以有很多信號(hào)進(jìn)行疊加，只要頻率不同，都可以在后面的復(fù)雜神經(jīng)網(wǎng)絡(luò)中得到解耦（但也不一定真的要得到解耦）。在 BERT 這個(gè)設(shè)定中，token，segment，position 明顯可以對(duì)應(yīng)三種非常不同的頻率。

由此可以再深入想一想，在一串文本中，如果每個(gè)詞的特征都可以用疊加波來(lái)表示，整個(gè)序列又可以進(jìn)一步疊加。哪些是低頻信號(hào)（比如詞性？），哪些是高頻信號(hào)（比如語(yǔ)義？），這些都隱藏在 Embedding 中，也可能已經(jīng)解耦在不同維度中了。說(shuō)不定可以是一種新的表示理論：）

參考：https://www.zhihu.com/question/374835153

9.Transformer 的點(diǎn)積模型做縮放的原因是什么？

論文中解釋是：向量的點(diǎn)積結(jié)果會(huì)很大，將 softmax 函數(shù) push 到梯度很小的區(qū)域，scaled 會(huì)緩解這種現(xiàn)象。怎么理解將 sotfmax 函數(shù) push 到梯度很小區(qū)域？還有為什么 scaled 是維度的根號(hào)，不是其他的數(shù)？

LinT 的回答

為什么比較大的輸入會(huì)使得softmax的梯度變得很小？

對(duì)于一個(gè)輸入向量 ，softmax函數(shù)將其映射/歸一化到一個(gè)分布 。在這個(gè)過(guò)程中，softmax先用一個(gè)自然底數(shù) 將輸入中的「元素間差距先“拉大”」，然后歸一化為一個(gè)分布。假設(shè)某個(gè)輸入 中最大的的元素下標(biāo)是 k，「如果輸入的數(shù)量級(jí)變大（每個(gè)元素都很大），那么 會(huì)非常接近1」。

我們可以用一個(gè)小例子來(lái)看看 的數(shù)量級(jí)對(duì)輸入最大元素對(duì)應(yīng)的預(yù)測(cè)概率 的影響。假定輸入 ，我們來(lái)看不同量級(jí)的 a 產(chǎn)生的 有什么區(qū)別。

a = 1 時(shí)，；

a = 10 時(shí)，；

a = 100 時(shí)， (計(jì)算機(jī)精度限制)。

我們不妨把 a 在不同取值下，對(duì)應(yīng)的的 全部繪制出來(lái)。代碼如下：

frommathimportexp frommatplotlibimportpyplotasplt importnumpyasnp f=lambdax:exp(x*2)/(exp(x)+exp(x)+exp(x*2)) x=np.linspace(0,100,100) y_3=[f(x_i)forx_iinx] plt.plot(x,y_3) plt.show()

得到的圖如下所示：

可以看到，數(shù)量級(jí)對(duì) softmax 得到的分布影響非常大?！冈跀?shù)量級(jí)較大時(shí)，softmax 將幾乎全部的概率分布都分配給了最大值對(duì)應(yīng)的標(biāo)簽」。

然后我們來(lái)看 softmax 的梯度。不妨簡(jiǎn)記 softmax 函數(shù)為 , softmax 得到的分布向量 對(duì)輸入 梯度為：

把這個(gè)矩陣展開：

根據(jù)前面的討論，當(dāng)輸入 的元素均較大時(shí)，softmax會(huì)把大部分概率分布分配給最大的元素，假設(shè)我們的輸入數(shù)量級(jí)很大，最大的元素是 ，那么就將產(chǎn)生一個(gè)接近one-hot的向量 , 此時(shí)上面的矩陣變?yōu)槿缦滦问剑?/p>

也就是說(shuō)，在輸入的數(shù)量級(jí)很大時(shí)，「梯度消失為0，造成參數(shù)更新困難」。

維度與點(diǎn)積大小的關(guān)系是怎么樣的，為什么使用維度的根號(hào)來(lái)放縮？

針對(duì)為什么維度會(huì)影響點(diǎn)積的大小，在論文的腳注中其實(shí)給出了一點(diǎn)解釋：

假設(shè)向量 q 和 k 的各個(gè)分量是互相獨(dú)立的隨機(jī)變量，均值是0，方差是1，那么點(diǎn)積 的均值是 0，方差是 。這里我給出一點(diǎn)更詳細(xì)的推導(dǎo)：

對(duì) ， 和 都是隨機(jī)變量，為了方便書寫，不妨記 。這樣有。

則:

這樣 ， 和 的均值是 0，方差為 1，又由期望和方差的性質(zhì)， 對(duì)相互獨(dú)立的分量 ，有 以及 。

所以有 的均值 ，方差 ?！阜讲钤酱笠簿驼f(shuō)明，點(diǎn)積的數(shù)量級(jí)越大（以越大的概率取大值）」。那么一個(gè)自然的做法就是把方差穩(wěn)定到1，做法是將點(diǎn)積除以 ，這樣有：

「將方差控制為1，也就有效地控制了前面提到的梯度消失的問(wèn)題」。

可以參考一下。水平有限，如果有誤請(qǐng)指出。

參考：https://www.zhihu.com/question/339723385

10.在 BERT 應(yīng)用中，如何解決長(zhǎng)文本問(wèn)題？

舉例：在閱讀理解問(wèn)題中，article 常常長(zhǎng)達(dá) 1000+， 而 Bert 對(duì)于這個(gè)量級(jí)的表示并不支持。

用 Sliding Window（劃窗），主要見于諸閱讀理解任務(wù)（如 Stanford 的 SQuAD)。Sliding Window 即把文檔分成有重疊的若干段，然后每一段都當(dāng)作獨(dú)立的文檔送入BERT進(jìn)行處理。最后再對(duì)于這些獨(dú)立文檔得到的結(jié)果進(jìn)行整合。（Transformer-XL）

還可以分段來(lái)執(zhí)行，各段可以求平均、求 max、或者加個(gè) attention 融合。

斤木的回答：

可以看下 Amazon 今年 EMNLP 的這篇文章：Multi-passage BERT

主要思路是 global norm + passage rank + sliding window

實(shí)驗(yàn)做的很扎實(shí)，從 ablation study 看這幾個(gè) trick 都很有用。

如果不想切 passages 就上 XLNet 吧。

責(zé)任編輯：lq