摘要：人工智能越來越頻繁地出現(xiàn)在人們的生活中，而其技術(shù)上的重大進(jìn)步仍然不曾明朗。

本文作者Natalie Fratto在“Machine Un-Learning: Why Forgetting Might Be the Key to AI”一文中講述了實現(xiàn)人工智能戰(zhàn)略性遺忘的三個方法。

讓我們先直面那些事情一團(tuán)糟的情況。你不記得自己把鑰匙放在了哪里，你不記得剛剛在雜貨店遇到的同事的名字因而只能磕磕絆絆地說著話，這都令你異常沮喪。然而，遺忘是人類得以生存的核心。事實上，我們必須對自己有能力做到這一點感到幸運。

對于人類來說，遺忘不僅僅意味著記憶的遺失，也意味著這也是一個幫助大腦吸收新知識并有效做出決策的積極過程。

現(xiàn)在，數(shù)據(jù)科學(xué)家正在應(yīng)用神經(jīng)科學(xué)原理改進(jìn)機器學(xué)習(xí)技術(shù)，他們相信人類的大腦是完全揭開人工智能面紗的關(guān)鍵。

根據(jù)最近發(fā)表在《神經(jīng)元》（Neuron）雜志上的一篇論文所言，人們的大腦充當(dāng)著信息過濾器的角色。它能輸入一大堆亂七八糟的數(shù)據(jù)，再過濾出有用的數(shù)據(jù)，然后清除所有無關(guān)的細(xì)節(jié)，從而使人們能夠成功講述一個故事或者是做出決定。這種刪除未使用信息，以便為接受新信息騰出空間的行為，就如同清理計算機上的磁盤空間。

用神經(jīng)生物學(xué)術(shù)語表示，當(dāng)神經(jīng)元之間的連接隨著時間的推移變得減弱甚至是消失時，遺忘就會發(fā)生，而隨著新神經(jīng)元的出現(xiàn)，它們會重新連接海馬體的回路并覆蓋現(xiàn)有記憶。

對于人類來說，遺忘的發(fā)生帶來兩個好處：

它通過減少過時信息對人們產(chǎn)生的影響來提高決策靈活性。

它能夠預(yù)防人們過度沉浸于某些過去的特定事件，提高適應(yīng)能力。

人們?yōu)榱擞行нm應(yīng)發(fā)展，必須具備戰(zhàn)略性遺忘的能力。

但是電腦又能如何呢？

這即是人工智能所面臨的最大挑戰(zhàn)之一，計算機的遺忘邏輯與人類的情況不同。深度神經(jīng)網(wǎng)絡(luò)是一系列機器學(xué)習(xí)任務(wù)中完成度最高的技術(shù)，但是它不會像人們那樣去遺忘。

舉個簡單的例子，如果你要教一個會說英語的孩子學(xué)習(xí)西班牙語，那么他會將學(xué)習(xí)英語過程中的相關(guān)經(jīng)驗應(yīng)用到學(xué)習(xí)西班牙語的過程中，這有可能是名詞、動詞時態(tài)和句子結(jié)構(gòu)等，同時忽略掉那些不相關(guān)的部分，比如口音、晦澀詞語和語調(diào)等。孩子們可以基于戰(zhàn)略性遺忘策略不斷地學(xué)習(xí)與重建。

神經(jīng)網(wǎng)絡(luò)的邏輯與此不同，如果一個神經(jīng)網(wǎng)絡(luò)被訓(xùn)練學(xué)習(xí)英語，那么其會通過調(diào)用參數(shù)解決英語問題。如果你想教它學(xué)習(xí)西班牙語，那么神經(jīng)網(wǎng)絡(luò)對于西班牙語的認(rèn)知就會覆蓋掉之前為英語學(xué)習(xí)所儲備的知識，有效清空所有內(nèi)容并從零開始。我們將其稱為“災(zāi)難性遺忘”，“這是神經(jīng)網(wǎng)絡(luò)所面臨的基本局限之一?！?/p>

攻克這一局限是一個全新領(lǐng)域，但是科學(xué)家已經(jīng)在關(guān)于如何克服這種局限性所涉及的潛在理論的探索上取得了長足的進(jìn)步。

人工智能學(xué)會戰(zhàn)略性遺忘：三種方法

#1. 長短期記憶網(wǎng)絡(luò)（LSTM，Long Short Term Memory Networks）

長短期記憶網(wǎng)絡(luò)是一種遞歸式神經(jīng)網(wǎng)絡(luò)，它通過特定的學(xué)習(xí)機制決定在什么時候記住哪些信息，更新哪些信息，注意哪些信息。

用電影類比來解釋長短期記憶網(wǎng)絡(luò)工作的邏輯十分簡單易懂。想象這么一種場景，一臺電腦通過分析之前的場景來預(yù)測電影接下來會發(fā)生什么。在某個場景中，一個女人拿著一把刀，電腦會猜她是廚師還是殺人犯？在另一個場景中，這個女人在一個金色拱門下面同一個男人一起吃著壽司，他們是在日本還是在麥當(dāng)勞？或者是能確定他們在圣路易斯？

這的確非常難以預(yù)測。

長短期記憶網(wǎng)絡(luò)則在這一過程中幫助神經(jīng)網(wǎng)絡(luò)實現(xiàn)1）遺忘/記憶，2）保存，3）聚焦。

1. 遺忘/記憶：“例如，在一個場景結(jié)束后，模型應(yīng)該忘記當(dāng)前的位置信息、時間信息，并重置任何有關(guān)場景的特定信息。但是，如果某個角色在某個場景中死去了，那么它需要記住這個人已經(jīng)不再會出現(xiàn)。因此，我們希望模型能夠?qū)W習(xí)一種單獨的遺忘/記憶機制：當(dāng)新的信息出現(xiàn)時，它需要知道哪些信息需要保留而哪些信息需要丟棄。”

2. 保存：當(dāng)模型看到一個新圖像時，它需要了解這個圖像的信息是否值得使用和保存。如果某個場景中一個女人走過了一個廣告牌，是記住這個廣告牌，還是僅僅將其視為冗余？

3. 聚集：模型需要記住電影中的這位女性是一個母親，因為之后的場景會出現(xiàn)她孩子的畫面。但是如果在某個場景中女人并沒有出現(xiàn)，那么這一信息就顯得不甚重要，所以在這個場景中模型不需要關(guān)注這一信息。同樣，并非所有存儲在神經(jīng)網(wǎng)絡(luò)長期記憶中的東西每一次都會發(fā)揮直接相關(guān)的作用。因此，長短期記憶網(wǎng)絡(luò)需要幫助確定模型在某個特定時間需要關(guān)注哪些部分，同時將所有信息妥善保管。

#2. 彈性權(quán)重固化（EWC，Elastic Weight Consolidation）

彈性權(quán)重固化是谷歌旗下DeepMind的研究人員于2017年3月創(chuàng)建的一種算法，該算法模擬了一種叫做“突觸整合”的神經(jīng)科學(xué)過程。在突觸整合過程中，人們的大腦會進(jìn)行任務(wù)評估，計算眾多用于執(zhí)行任務(wù)的神經(jīng)元的重要性，并確認(rèn)一些神經(jīng)元所扮演的重要角色使其對正確執(zhí)行任務(wù)發(fā)揮更加重要的作用。這些關(guān)鍵性神經(jīng)元被標(biāo)記上重要程度并使其在后續(xù)任務(wù)中被覆蓋的幾率減小。在神經(jīng)網(wǎng)絡(luò)中也有多個如神經(jīng)元的連接用于執(zhí)行任務(wù)。彈性權(quán)重固化將某些連接編碼標(biāo)注上關(guān)鍵性，從而保護(hù)其不被過度寫入遺忘/記憶程序。

#3. 瓶頸理論（Bottleneck Theory）

2017年秋天，在人工智能社區(qū)的一次演講中，來自耶路撒冷希伯來大學(xué)的計算機科學(xué)家與神經(jīng)學(xué)家納夫塔利·提斯比講述了其稱之為“瓶頸理論”的觀點?！捌渌枷胧牵粋€網(wǎng)絡(luò)會排除掉那些無關(guān)重要的嘈雜的輸入數(shù)據(jù)，這就如同通過瓶頸向其中壓縮信息，只保留與一般概念最相關(guān)的特性?！?/p>

正如提斯比所解釋的那樣，神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中需要經(jīng)歷兩個階段，擬合與壓縮。在擬合過程中，網(wǎng)絡(luò)對其訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)記。而在更為復(fù)雜的壓縮過程中，其“將基于標(biāo)記的數(shù)據(jù)信息只追蹤那些具備巨大特征的信息。”而這一過程對于之后的概化過程極為重要。在此過程中，壓縮是一種策略上的遺忘方式，人工智能研究人員可以在未來用其構(gòu)建更強大的神經(jīng)網(wǎng)絡(luò)和框架。

正如提斯比所言，“學(xué)習(xí)過程中最重要的環(huán)節(jié)是遺忘。”

人類的大腦可能蘊藏著創(chuàng)造強大人工智能的圖解，而如今科學(xué)家們?nèi)匀煌Ａ粼谌绾谓庾x這些可能的層面。