AI識(shí)別你的語(yǔ)音、回答你的問(wèn)題、幫你翻譯外語(yǔ)，都離不開(kāi)一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）：長(zhǎng)短期記憶網(wǎng)絡(luò)（Long short-term memory，LSTM）。 最近，國(guó)外有一份關(guān)于LSTM及其變種GRU（Gated Recurrent Unit）的圖解教程非?；?。教程先介紹了這兩種網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，然后解釋了讓LSTM和GRU具有良好性能的內(nèi)在機(jī)制。當(dāng)然，通過(guò)這篇文章，還可以了解這兩種網(wǎng)絡(luò)的一些背景。 圖解教程的作者M(jìn)ichael Nguyen是一名AI語(yǔ)音助理方面的機(jī)器學(xué)習(xí)工程師。

短期記憶問(wèn)題

RNN受限于短期記憶問(wèn)題。如果一個(gè)序列足夠長(zhǎng)，那它們很難把信息從較早的時(shí)間步傳輸?shù)胶竺娴臅r(shí)間步。因此，如果你嘗試處理一段文本來(lái)進(jìn)行預(yù)測(cè)，RNN可能在開(kāi)始時(shí)就會(huì)遺漏重要信息。 在反向傳播過(guò)程中，RNN中存在梯度消失問(wèn)題。梯度是用于更新神經(jīng)網(wǎng)絡(luò)權(quán)重的值，梯度消失問(wèn)題是指隨著時(shí)間推移，梯度在傳播時(shí)會(huì)下降，如果梯度值變得非常小，則不會(huì)繼續(xù)學(xué)習(xí)。

△梯度更新規(guī)則

因此，在RNN中，梯度小幅更新的網(wǎng)絡(luò)層會(huì)停止學(xué)習(xí)，這些通常是較早的層。由于這些層不學(xué)習(xí)，RNN無(wú)法記住它在較長(zhǎng)序列中學(xué)習(xí)到的內(nèi)容，因此它的記憶是短期的。關(guān)于RNN的更多介紹，可訪問(wèn)：
https://towardsdatascience.com/illustrated-guide-to-recurrent-neural-networks-79e5eb8049c9

解決方案：LSTM和GRU

LSTM和GRU是克服短期記憶問(wèn)題提出的解決方案，它們引入稱作“門”的內(nèi)部機(jī)制，可以調(diào)節(jié)信息流。

這些門結(jié)構(gòu)可以學(xué)習(xí)序列中哪些數(shù)據(jù)是要保留的重要信息，哪些是要?jiǎng)h除的。通過(guò)這樣做，它可以沿著長(zhǎng)鏈序列傳遞相關(guān)信息來(lái)執(zhí)行預(yù)測(cè)。幾乎所有基于RNN的先進(jìn)結(jié)果都是通過(guò)這兩個(gè)網(wǎng)絡(luò)實(shí)現(xiàn)的。LSTM和GRU經(jīng)常用在語(yǔ)音識(shí)別、語(yǔ)音合成和文本生成等領(lǐng)域，還可用來(lái)為視頻生成字幕。 當(dāng)你看完這篇文章時(shí)，我相信你會(huì)對(duì)LSTM和GRU在處理長(zhǎng)序列的突出能力有充分了解。下面我將通過(guò)直觀解釋和插圖來(lái)進(jìn)行介紹，并盡可能繞開(kāi)數(shù)學(xué)運(yùn)算。

直觀認(rèn)識(shí)

我們從一個(gè)思考實(shí)驗(yàn)開(kāi)始。當(dāng)你在網(wǎng)絡(luò)上購(gòu)買生活用品時(shí)，一般會(huì)先閱讀商品評(píng)論來(lái)判斷商品好壞，以確定是否要購(gòu)買這個(gè)商品。

當(dāng)你查看評(píng)論時(shí)，你的大腦下意識(shí)地只會(huì)記住重要的關(guān)鍵詞。你會(huì)選擇“amazing”和“perfectly balanced breakfast”這樣的詞匯，而不太關(guān)心“this”，“give”，“all”，“should”等字樣。如果有人第二天問(wèn)你評(píng)論內(nèi)容，你可能不會(huì)一字不漏地記住它，而是記住了主要觀點(diǎn)，比如“下次一定還來(lái)買”，一些次要內(nèi)容自然會(huì)從記憶中逐漸消失。

在這種情況下，你記住的這些詞能判定了這個(gè)餐廳的好壞。這基本上就是LSTM或GRU的作用，它可以學(xué)習(xí)只保留相關(guān)信息來(lái)進(jìn)行預(yù)測(cè)，并忘記不相關(guān)的數(shù)據(jù)。

RNN回顧

為了理解LSTM或GRU如何實(shí)現(xiàn)這一點(diǎn)，接下來(lái)回顧下RNN。RNN的工作原理如下：首先單詞被轉(zhuǎn)換成機(jī)器可讀的向量，然后RNN逐個(gè)處理向量序列。

△逐個(gè)處理向量序列

在處理時(shí)，它把先前的隱藏狀態(tài)傳遞給序列的下一步，其中隱藏狀態(tài)作為神經(jīng)網(wǎng)絡(luò)記憶，它包含相關(guān)網(wǎng)絡(luò)已處理數(shù)據(jù)的信息。

△把隱藏狀態(tài)傳遞給下個(gè)時(shí)間步

下面來(lái)介紹RNN中每個(gè)cell單元是如何計(jì)算隱藏狀態(tài)的。首先，將輸入和先前隱藏狀態(tài)組合成一個(gè)向量，向量中含有當(dāng)前輸入和先前輸入的信息。這個(gè)向量再經(jīng)過(guò)激活函數(shù)Tanh后，輸出新的隱藏狀態(tài)，或網(wǎng)絡(luò)記憶。

△RNN單元

激活函數(shù)Tanh

激活函數(shù)Tanh用于幫助調(diào)節(jié)流經(jīng)網(wǎng)絡(luò)的值，且Tanh函數(shù)的輸出值始終在區(qū)間(-1, 1)內(nèi)。

當(dāng)向量流經(jīng)神經(jīng)網(wǎng)絡(luò)時(shí)，由于存在各種數(shù)學(xué)運(yùn)算，它經(jīng)歷了許多變換。因此，想象下讓一個(gè)值不斷乘以3，它會(huì)逐漸變大并變成天文數(shù)字，這會(huì)讓其他值看起來(lái)微不足道。

△無(wú)Tanh函數(shù)的向量變換

Tanh函數(shù)能讓輸出位于區(qū)間(-1, 1)內(nèi)，從而調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)輸出。你可以看到這些值是如何保持在Tanh函數(shù)的允許范圍內(nèi)。

△有Tanh函數(shù)的向量變換

這就是RNN，它的內(nèi)部操作很少，但在適當(dāng)情況下（如短序列分析）效果很好。RNN使用的計(jì)算資源比它的演化變體LSTM和GRU少得多。

LSTM

LSTM的控制流程與RNN類似，它們都是在前向傳播過(guò)程中處理傳遞信息的數(shù)據(jù)，區(qū)別在于LSTM單元的結(jié)構(gòu)和運(yùn)算有所變化。

△LSTM單元及其運(yùn)算

這些運(yùn)算能讓LSTM具備選擇性保留或遺忘某些信息的能力，下面我們將逐步介紹這些看起來(lái)有點(diǎn)復(fù)雜的運(yùn)算。

核心概念

LSTM的核心概念為其單元狀態(tài)和各種門結(jié)構(gòu)。單元狀態(tài)相當(dāng)于能傳輸相關(guān)信息的通路，讓信息在序列鏈中傳遞下去，這部分可看作是網(wǎng)絡(luò)的“記憶”。理論上，在序列處理過(guò)程中，單元狀態(tài)能一直攜帶著相關(guān)信息。因此，在較早時(shí)間步中獲得的信息也能傳輸?shù)捷^后時(shí)間步的單元中，這樣能減弱短期記憶的影響。 在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，可通過(guò)門結(jié)構(gòu)來(lái)添加或移除信息，不同神經(jīng)網(wǎng)絡(luò)都可通過(guò)單元狀態(tài)上的門結(jié)構(gòu)來(lái)決定去記住或遺忘哪些相關(guān)信息。

Sigmoid

門結(jié)構(gòu)中包含Sigmoid函數(shù)，這個(gè)激活函數(shù)與Tanh函數(shù)類似。但它的輸出區(qū)間不是(-1, 1)，而是(0, 1)，這有助于更新或忘記數(shù)據(jù)，因?yàn)槿魏螖?shù)字乘以0都為0，這部分信息會(huì)被遺忘。同樣，任何數(shù)字乘以1都為相同值，這部分信息會(huì)完全保留。通過(guò)這樣，網(wǎng)絡(luò)能了解哪些數(shù)據(jù)不重要需要遺忘，哪些數(shù)字很重要需要保留。

△Sigmoid輸出區(qū)間為(0, 1)

下面會(huì)深入介紹下不同門結(jié)構(gòu)的功能。LSTM單元中有三種調(diào)節(jié)信息流的門結(jié)構(gòu)：遺忘門、輸入門和輸出門。

遺忘門

遺忘門能決定應(yīng)丟棄或保留哪些信息。來(lái)自先前隱藏狀態(tài)的信息和當(dāng)前輸入的信息同時(shí)輸入到Sigmoid函數(shù)，輸出值處于0和1之間，越接近0意味著越應(yīng)該忘記，越接近1意味著越應(yīng)該保留。

△遺忘門操作

輸入門

輸入門用來(lái)更新單元狀態(tài)。先將先前隱藏狀態(tài)的信息和當(dāng)前輸入的信息輸入到Sigmoid函數(shù)，在0和1之間調(diào)整輸出值來(lái)決定更新哪些信息，0表示不重要，1表示重要。你也可將隱藏狀態(tài)和當(dāng)前輸入傳輸給Tanh函數(shù)，并在-1和1之間壓縮數(shù)值以調(diào)節(jié)網(wǎng)絡(luò)，然后把Tanh輸出和Sigmoid輸出相乘，Sigmoid輸出將決定在Tanh輸出中哪些信息是重要的且需要進(jìn)行保留。

△輸入門操作

單元狀態(tài)

這里已經(jīng)具備足夠信息來(lái)計(jì)算單元狀態(tài)。首先把先前的單元狀態(tài)和遺忘向量逐點(diǎn)相乘，如果它乘以接近0的值，則意味在新的單元狀態(tài)中可能要丟棄這些值；然后把它和輸入門的輸出值逐點(diǎn)相加，把神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)的新信息更新到單元狀態(tài)中，這樣就得到了新的單元狀態(tài)。

△計(jì)算單元狀態(tài)

輸出門

輸出門能決定下個(gè)隱藏狀態(tài)的值，隱藏狀態(tài)中包含了先前輸入的相關(guān)信息。當(dāng)然，隱藏狀態(tài)也可用于預(yù)測(cè)。首先把先前的隱藏狀態(tài)和當(dāng)前輸入傳遞給Sigmoid函數(shù)；接著把新得到的單元狀態(tài)傳遞給Tanh函數(shù)；然后把Tanh輸出和Sigmoid輸出相乘，以確定隱藏狀態(tài)應(yīng)攜帶的信息；最后把隱藏狀態(tài)作為當(dāng)前單元輸出，把新的單元狀態(tài)和新的隱藏狀態(tài)傳輸給下個(gè)時(shí)間步。

△輸出門操作

這里總結(jié)下，遺忘門能決定需要保留先前步長(zhǎng)中哪些相關(guān)信息，輸入門決定在當(dāng)前輸入中哪些重要信息需要被添加，輸出門決定了下一個(gè)隱藏狀態(tài)。

代碼示例

這里還提供了一個(gè)用Python寫的示例代碼，來(lái)讓大家能更好地理解這個(gè)結(jié)構(gòu)。

首先，我們連接了先前的隱藏狀態(tài)和當(dāng)前輸入，這里定義為變量combine；

把combine變量傳遞到遺忘層中，以刪除不相關(guān)數(shù)據(jù)；

再用combine變量創(chuàng)建一個(gè)候選層，用來(lái)保留可能要添加到單元狀態(tài)中的值；

變量combine也要傳遞給輸出層，來(lái)決定應(yīng)把候選層中的哪些數(shù)據(jù)添加到新的單元狀態(tài)中；

新的單元狀態(tài)可根據(jù)遺忘層、候選層和輸入層和先前的單元狀態(tài)來(lái)計(jì)算得到；

再計(jì)算當(dāng)前單元輸出；

最后把輸出和新的單元狀態(tài)逐點(diǎn)相乘可得到新的隱藏狀態(tài)。

從上面看出，LSTM網(wǎng)絡(luò)的控制流程實(shí)際上只是幾個(gè)張量操作和一個(gè)for循環(huán)。你還可以用隱藏狀態(tài)進(jìn)行預(yù)測(cè)。結(jié)合這些機(jī)制，LSTM能在序列處理過(guò)程中有選擇性地保留或遺忘某些信息。

GRU

介紹完LSTM的工作原理后，下面來(lái)看下門控循環(huán)單元GRU。GRU是RNN的另一類演化變種，與LSTM非常相似。GRU結(jié)構(gòu)中去除了單元狀態(tài)，而使用隱藏狀態(tài)來(lái)傳輸信息。它只有兩個(gè)門結(jié)構(gòu)，分別是更新門和重置門。

△GRU單元結(jié)構(gòu)

更新門

更新門的作用類似于LSTM中的遺忘門和輸入門，它能決定要丟棄哪些信息和要添加哪些新信息。

重置門

重置門用于決定丟棄先前信息的程度。 這兩部分組成了GRU，它的張量操作較少，因此訓(xùn)練它比LSTM更快一點(diǎn)。在選擇網(wǎng)絡(luò)時(shí)很難判斷哪個(gè)更好，研究人員通常會(huì)兩個(gè)都試下，通過(guò)性能比較來(lái)選出更適合當(dāng)前任務(wù)的結(jié)構(gòu)。

總結(jié)

總而言之，RNN適用于處理序列數(shù)據(jù)和預(yù)測(cè)任務(wù)，但會(huì)受到短期記憶的影響。LSTM和GRU是兩種通過(guò)引入門結(jié)構(gòu)來(lái)減弱短期記憶影響的演化變體，其中門結(jié)構(gòu)可用來(lái)調(diào)節(jié)流經(jīng)序列鏈的信息流。目前，LSTM和GRU經(jīng)常被用于語(yǔ)音識(shí)別、語(yǔ)音合成和自然語(yǔ)言理解等多個(gè)深度學(xué)習(xí)應(yīng)用中。 如果你對(duì)這方面很感興趣，作者還列出一些干貨鏈接，可以從更多角度來(lái)理解LSTM和GRU結(jié)構(gòu)。
責(zé)任編輯：lq