【導讀】本文將持續(xù)學習與神經(jīng)網(wǎng)絡的學習動力學聯(lián)系起來，強調(diào)它在穩(wěn)步提高數(shù)據(jù)效率方面的潛力，還進一步考慮了近年來出現(xiàn)的許多受生物學啟發(fā)的新方法，重點關(guān)注那些利用正規(guī)化、模塊化、記憶和元學習的方法，并強調(diào)了一些最有前途和最有影響的方向。

現(xiàn)代機器學習擅長于從固定的數(shù)據(jù)集和固定的環(huán)境中訓練出強大的模型，常常超過人類的能力。然而，這些模型未能模擬人類的學習過程，而人類的學習過程是有效的、穩(wěn)健的，并且能夠從非平穩(wěn)世界的連續(xù)經(jīng)驗中逐步學習。對于這一局限性的見解可以從神經(jīng)網(wǎng)絡優(yōu)化的本質(zhì)中獲得，這意味著持續(xù)學習技術(shù)可以從根本上提高深度學習，并打開了新的應用領域的大門。持續(xù)學習的有前途的方法可以在最細粒度的層次上找到，使用基于梯度的方法，也可以在體系結(jié)構(gòu)層次上找到，使用模塊化和基于內(nèi)存的方法。我們也認為元學習是一個潛在的重要方向。

人工智能研究在過去的幾個月中取得了巨大的進步，但它主要依賴于固定的數(shù)據(jù)集和固定的環(huán)境。持續(xù)學習是一個日益相關(guān)的研究領域，它表明人工系統(tǒng)可能像生物系統(tǒng)一樣，從連續(xù)不斷的相關(guān)數(shù)據(jù)流中有序地學習。在目前的回顧中，我們將持續(xù)學習與神經(jīng)網(wǎng)絡的學習動力學聯(lián)系起來，強調(diào)它在穩(wěn)步提高數(shù)據(jù)效率方面的潛力。我們進一步考慮了近年來出現(xiàn)的許多受生物學啟發(fā)的新方法，重點關(guān)注那些利用正規(guī)化、模塊化、記憶和元學習的方法，并強調(diào)了一些最有前途和最有影響的方向。

世界不是靜止不動的

人工智能成功的一個常見基準是模仿人類學習的能力。我們測量人類識別圖像、玩游戲和駕駛汽車的能力，舉幾個例子，然后開發(fā)機器學習模型，如果有足夠的訓練數(shù)據(jù)，它可以匹配或超過這些能力。這種范式把重點放在最終結(jié)果上，而不是學習過程上，并且忽略了人類學習的一個關(guān)鍵特征:它對不斷變化的任務和連續(xù)的經(jīng)驗是魯棒的。

人類以這種方式學習也許并不奇怪，畢竟，時間是不可逆的，世界是不穩(wěn)定的(見詞匯表)，所以人類的學習已經(jīng)進化到在動態(tài)學習環(huán)境中茁壯成長。然而，這種魯棒性與最強大的現(xiàn)代機器學習方法形成了鮮明的對比，后者只有在數(shù)據(jù)經(jīng)過仔細的洗牌、平衡和均質(zhì)后才能表現(xiàn)良好。這些模型不僅表現(xiàn)不佳，而且在某些情況下，它們會完全失敗，或者在早期學習的任務上遭遇快速的性能下降，即所謂的災難性遺忘。

基于生物系統(tǒng)持續(xù)學習基礎

對自然世界及其智能物種的研究經(jīng)常與人工智能研究交叉，包括與持續(xù)學習有關(guān)的方面[1]。生物學為在復雜環(huán)境中成功地持續(xù)學習提供了存在證據(jù)，也暗示了成功方法的設計原則和權(quán)衡。有多種機制使生物系統(tǒng)能夠適應不斷變化的環(huán)境，而不固執(zhí)或遺忘。因此，在本節(jié)中，我們將通過類比來介紹四種持續(xù)學習模式，并將每種方法的詳細討論留到后面的章節(jié)中。此外，可以通過描述它們的規(guī)范模型來簡要地描述這些方法，如圖1(關(guān)鍵圖)所示。

持續(xù)學習的定義

持續(xù)學習的問題通常是由順序訓練協(xié)議和解決方案所期望的特性來定義的。與靜態(tài)數(shù)據(jù)集或環(huán)境的普通機器學習設置相反，持續(xù)學習設置明確地關(guān)注非平穩(wěn)或變化的環(huán)境，通常被劃分為需要按順序完成的一組任務。這種設置可能在任務轉(zhuǎn)換(平滑或離散)、任務長度和重復、任務類型(如無監(jiān)督、監(jiān)督或強化學習)方面有所不同，或者甚至可能沒有定義明確的任務[9-11]。與課程學習相比[12,13]，學習者不能控制任務的順序。

支持現(xiàn)代機器學習的獨立同分布假設

神經(jīng)網(wǎng)絡大量利用現(xiàn)代技術(shù)來并行計算，同時考慮大量數(shù)據(jù);事實上，這種易于伸縮的特性使得它們在過去的十年中成為了語音、視覺和語言應用程序的主流方法。

在典型的學習設置中，目標是通過設置網(wǎng)絡的參數(shù)來最小化一些損失函數(shù)，例如真輸出和預測輸出之間的誤差?；谔荻鹊膶W習,最有效的和廣泛使用的范式,是一種迭代算法,在每一次迭代,使一個小變化的參數(shù),以減少損失(更詳細的解釋,見盒2)。這條規(guī)則的機制在拔河的動態(tài)結(jié)果,其中每個數(shù)據(jù)樣本正試圖拉動每個參數(shù)更大或更小。通過平均梯度，我們因此創(chuàng)建了一個拔河游戲，其中應用于每個參數(shù)的更新(因為它是正的或負的)揭示了哪個數(shù)據(jù)樣本贏了或輸了。在許多優(yōu)化步驟上組合許多拔河式更新，可以進行學習(圖3)。

基于梯度的解決方案

由前面描述的拔河式學習動態(tài)驅(qū)動，一種有前途的方法是直接調(diào)節(jié)不同任務的梯度。這不僅是優(yōu)化問題的核心，而且是由生物大腦[3]中突觸鞏固的研究激發(fā)的。一種方法是迫使梯度與之前學習任務的梯度保持一致[19,20]，消除潛在干擾。這些方法在其他環(huán)境中也有好處，例如，在多任務學習中，它們有可能在目標沖突的情況下提高學習效率[21-23]。

模塊化結(jié)構(gòu)

模塊化的神經(jīng)網(wǎng)絡結(jié)構(gòu)是一種自然有效的解決持續(xù)學習中的干擾和災難性遺忘問題的方法。模塊化提供了一個折衷方案，即使用一個容易遺忘的單一單片網(wǎng)絡，以及為每個任務使用獨立的網(wǎng)絡，這既可以防止災難性遺忘，也可以防止任務之間的轉(zhuǎn)移(參見圖1C的模塊化架構(gòu)說明)。模塊化在生物系統(tǒng)中也很明顯，它支持大腦區(qū)域的功能專門化。

人工學習系統(tǒng)的記憶

基于梯度和模塊化的方法可能更適合短期的持續(xù)學習，而不是長期的記憶?；谔荻鹊姆椒ú荒芊乐谷我忾L任務序列的遺忘，而模塊化方法可以在長時間尺度上保存知識，它們可能在神經(jīng)網(wǎng)絡能力方面達到實際的極限?？紤]一下這樣一個具有挑戰(zhàn)性的場景:在幾個月的時間里，把食物藏在1000個不同的地方，然后在更多的食物消失后，正確地找到每一個食物。這個特征是每個冬天都會出現(xiàn)的，比如夜鶯、松鴉和鴉類[57]。通過調(diào)整一個簡單的神經(jīng)網(wǎng)絡的參數(shù)來保存存儲食物的順序經(jīng)驗既具有挑戰(zhàn)性又效率低下。一個更可伸縮的策略是使用專用的讀寫內(nèi)存對空間位置進行編碼。

元學習：發(fā)現(xiàn)持續(xù)學習的歸納偏差

到目前為止所討論的所有解決方案都規(guī)定了用于持續(xù)學習的手工設計的機制或架構(gòu)，歸納偏差。每種歸納偏差都在需求(如良好的知識保留與基于記憶的方法中的正向遷移)之間達成了不同的權(quán)衡。值得考慮的是，從數(shù)據(jù)中學習解決方案，而不是依靠人類的獨創(chuàng)性來設計它，是否能夠?qū)崿F(xiàn)更好的權(quán)衡。歷史上，許多元學習或?qū)W習-學習方法已經(jīng)證明，解決方案可以通過自動學習歸納偏差(如架構(gòu)、數(shù)據(jù)和學習參數(shù))來改進，否則需要手工設計(圖1E) 。

結(jié)論和未來方向

機器學習研究人員經(jīng)常指出，人類具有快速學習和概括(例如，從幾個例子中推斷出一個模式)的非凡能力。然而，我們并不經(jīng)常重新評價人類在一生的教育和經(jīng)歷中不斷學習的能力，盡管正是這種能力使人類在科學、藝術(shù)和工業(yè)上取得成就。這篇文章不僅試圖強調(diào)持續(xù)學習的重要性，而且還暴露了現(xiàn)代神經(jīng)網(wǎng)絡在這方面的局限性，特別是導致效率低下、基于梯度的拔河的信用分配問題。

通過對這一空間的調(diào)查，我們發(fā)現(xiàn)了一種學習模式，如果擴展到更有雄心的領域，它就有可能發(fā)揮真正的影響力。毫不奇怪，這些范式都有很強的平行神經(jīng)科學和生物系統(tǒng)?；谔荻鹊姆椒ㄖ苯有薷牧松窠?jīng)網(wǎng)絡的操作時間，并被證明可以減少災難性遺忘。

模塊化架構(gòu)為干擾和災難性遺忘提供了實用的解決方案，同時通過技能和知識的層次重組實現(xiàn)面向遷移。端到端記憶模型可以成為長時間學習的可擴展解決方案，元學習方法可以超越手工設計的算法和架構(gòu)。有了這些潛在的積極影響，也必須認識到部署不斷變化的機器學習模型所涉及的風險，因為任何安全和預期行為的初始評估都不能輕易地永久保證。然而，通過提高學習算法的長期可靠性，以及通過開發(fā)確保某些規(guī)則或邊界不被違反的架構(gòu)，持續(xù)學習解決方案可以降低這些風險。

參考鏈接：

https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(20)30219-9#

責任編輯：xj

原文標題：DeepMind發(fā)布《神經(jīng)網(wǎng)絡中持續(xù)學習》Cell綜述論文，13頁pdf

文章出處：【微信公眾號：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。