深度學(xué)習(xí)(DL)或者人工神經(jīng)網(wǎng)絡(luò)(ANN)模擬了生物神經(jīng)元?
這是個(gè)很大的誤解。
ANN充其量模仿了一個(gè)1957年面世的低配版神經(jīng)元。
任何宣稱深度學(xué)習(xí)的靈感來(lái)源于生物的人都是出于種種營(yíng)銷目的,或者他壓根就沒讀過生物學(xué)文獻(xiàn)。
不過,仿生系統(tǒng)研究怕是要遇到阻礙了。
兩篇最近發(fā)表于Cell上的神經(jīng)元基因Arc的新發(fā)現(xiàn),揭示了生物神經(jīng)元更大的復(fù)雜性,其遠(yuǎn)比我們想象得復(fù)雜得多。
大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文
深度學(xué)習(xí)里的神經(jīng)元實(shí)質(zhì)上是數(shù)學(xué)函數(shù),即相似度函數(shù)。在每個(gè)人工神經(jīng)元內(nèi),帶權(quán)重的輸入信號(hào)和神經(jīng)元的閾值進(jìn)行比較,匹配度越高,激活函數(shù)值為1并執(zhí)行某種動(dòng)作的可能性就越大,不執(zhí)行(對(duì)應(yīng)函數(shù)值為0)的可能性越小。
雖然有個(gè)別例外情況(比如自回歸神經(jīng)網(wǎng)絡(luò)Autoregressive networks),但多數(shù)深度學(xué)習(xí)算法都是這樣工作的,比如感知器(perceptron)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)以及循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)。
生物神經(jīng)元和深度學(xué)習(xí)的概念大不相同。
生物神經(jīng)元并不會(huì)保持連續(xù)信號(hào),而是產(chǎn)生動(dòng)作電位,或者依據(jù)事件做出相應(yīng)行為。
因此,所謂“神經(jīng)形態(tài)”(neuromorphic)的硬件,也就是受到“整合信息,然后發(fā)送信號(hào)”(integrate and spike)的神經(jīng)元的啟發(fā)。
如果你對(duì)構(gòu)建一個(gè)仿生認(rèn)知系統(tǒng)感興趣,可以看看今年2月這篇普度大學(xué)的論文。你必須知道的是,這類系統(tǒng)并不像深度學(xué)習(xí)框架那樣具有連續(xù)作用性。
大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文
從本質(zhì)上來(lái)講,生物系統(tǒng)利用最少的能量來(lái)維持生存,但深度學(xué)習(xí)系統(tǒng)需要消耗非常多的能量,對(duì)比十分鮮明。深度學(xué)習(xí)采用蠻力手段(不斷嘗試和犯錯(cuò))來(lái)實(shí)現(xiàn)認(rèn)知,我們知道它的運(yùn)作原理,但是還不知道怎么減少深度學(xué)習(xí)的能耗。
一直以來(lái),學(xué)術(shù)界一直以來(lái)希望用仿生手段創(chuàng)造出比深度學(xué)習(xí)更加強(qiáng)大的體系,雖然在這個(gè)方面努力了很久,但是進(jìn)展尚不明顯。已經(jīng)取得的進(jìn)展有HTM神經(jīng)元,它更貼近新大腦皮層(neo-cortex)結(jié)構(gòu)。從下圖中可以看出,這種神經(jīng)元模型要比深度學(xué)習(xí)中的神經(jīng)元復(fù)雜得多。
左:深度學(xué)習(xí)ANN,中:生物神經(jīng)元,右:HTM神經(jīng)元
相比之下,深度學(xué)習(xí)方法雖然用的是和卡通一樣簡(jiǎn)單的神經(jīng)元模型,近一段時(shí)間以來(lái)卻意外大顯身手,在認(rèn)知方面取得了讓人難以置信的成效。深度學(xué)習(xí)所做的事情非常正確,只是我們還不了解它做的究竟是什么。
不過,仿生系統(tǒng)研究怕是要遇到阻礙了。以色列的一個(gè)關(guān)于神經(jīng)元性質(zhì)的新實(shí)驗(yàn)表明,生物中的神經(jīng)元比我們想象得復(fù)雜得多:
大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文
總結(jié)一下,生物神經(jīng)元的這些特性我們才剛剛知道:
單個(gè)神經(jīng)元的峰電位波形通常隨著刺激部位的不同而改變,兩者的關(guān)系可以用函數(shù)表達(dá);
在細(xì)胞外,從不同方向施加的刺激并不能引起空間性加成(Spatial summation);
當(dāng)細(xì)胞內(nèi)外刺激交疊時(shí),不會(huì)產(chǎn)生空間性加成或者空間性相減(Spatial subtraction)。如果這些刺激的精確時(shí)值互不相關(guān),那么非局部時(shí)間的干擾也不能奏效。
簡(jiǎn)而言之,一個(gè)神經(jīng)元里所發(fā)生的事情遠(yuǎn)不止“計(jì)算-輸出”這么簡(jiǎn)單。
生物神經(jīng)元很可能不是隨著單一參數(shù)(也就是權(quán)重)而改變的純函數(shù)能夠描述的。它們更像是能顯示各種狀態(tài)的機(jī)器。換句話說,權(quán)重或許不是單值,而是多重值的,甚至是更高維度的。這些神經(jīng)元的性質(zhì)仍有待探索,我們對(duì)此幾乎一無(wú)所知。
如果你覺得這樣的解釋讓理解神經(jīng)元性質(zhì)變得更難了,那還有兩篇最近發(fā)表于Cell上的神經(jīng)元基因Arc的新發(fā)現(xiàn),揭示了更大的復(fù)雜性。
神經(jīng)元釋放的細(xì)胞外囊泡中,很多都含有一種叫做Arc的基因,可以幫助神經(jīng)元之間相互建立連接。那些被基因改造后缺乏Arc基因的小鼠難以形成長(zhǎng)期記憶,而人類的一些神經(jīng)功能障礙也與這個(gè)基因有關(guān)。
這項(xiàng)研究表明,神經(jīng)元之間的交流是通過發(fā)送成套R(shí)NA編碼實(shí)現(xiàn)的。更準(zhǔn)確地說,是成套的指令而非數(shù)據(jù)。發(fā)送編碼和發(fā)送數(shù)據(jù)完全是兩碼事。這也就意味著,一個(gè)神經(jīng)元的行為可以改變另一個(gè)神經(jīng)元的行為;不是通過觀察,而是通過彼此修正。
這種編碼交換機(jī)制隱隱證實(shí)了一些早期的猜想:“生物大腦僅僅是由離散的邏輯構(gòu)成的嗎?”
實(shí)驗(yàn)結(jié)果揭示了一個(gè)新的事實(shí)。即使在我們認(rèn)知的最小單位,也就是單個(gè)神經(jīng)元之間,也存在著一種對(duì)話式的認(rèn)知(conversational cognition)。這種認(rèn)知不斷修正神經(jīng)元彼此的行為。
因此,神經(jīng)元不僅是有不同狀態(tài)的機(jī)器,也是預(yù)先設(shè)定了指令的、能相互發(fā)送編碼的通路。
這些實(shí)驗(yàn)對(duì)我們有兩點(diǎn)明確的啟示。
第一,我們對(duì)人類大腦計(jì)算能力的估計(jì)可能偏差了至少一個(gè)數(shù)量級(jí)。
如果粗略地設(shè)定一個(gè)神經(jīng)元只執(zhí)行一次運(yùn)算,那么整體上看人類大腦可以完成每秒38拍字節(jié)(Peta)的運(yùn)算(1拍字節(jié)=10^15字節(jié))。
如果假定深度學(xué)習(xí)模型里的運(yùn)算都等價(jià)于浮點(diǎn)數(shù)的運(yùn)算,那么大腦的性能可以匹敵一個(gè)每秒3.8億億次浮點(diǎn)運(yùn)算的電腦系統(tǒng)。當(dāng)前最頂尖的超級(jí)計(jì)算機(jī)——中國(guó)的神威·太湖之光(Sunway Taihulight)的峰值性能是每秒12.5億億次/秒。
然而,大腦的實(shí)際運(yùn)算能力很有可能是我們認(rèn)為的10倍之多,也就是38億億次/秒。不過顯而易見的是,生物大腦實(shí)際上只用了較少的計(jì)算就實(shí)現(xiàn)了非常多的認(rèn)知。
第二,未來(lái)在探究深度學(xué)習(xí)架構(gòu)時(shí),人們會(huì)很熱心地采用內(nèi)部結(jié)構(gòu)更復(fù)雜的神經(jīng)元或者節(jié)點(diǎn)。
現(xiàn)在到了重新開始,并探究更復(fù)雜的神經(jīng)元的時(shí)候了。迄今為止,我們遇到的比較復(fù)雜的神經(jīng)元類型來(lái)自于長(zhǎng)短期記憶(Long Short Term Memory, LSTM)。以下展示的是針對(duì)LSTM神經(jīng)元的蠻力架構(gòu)搜索:
目前尚不清楚為什么這些更復(fù)雜的LSTM更為有效,只有架構(gòu)搜索算法才明白其中緣由,不過算法可不會(huì)解釋自己是怎么回事的。
最近發(fā)布的一篇來(lái)自CMU和蒙特利爾大學(xué)的論文探究了設(shè)計(jì)更為復(fù)雜的LSTMs。
大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文
Nested LSTMs相對(duì)于標(biāo)準(zhǔn)的LSTMs實(shí)現(xiàn)了重大改進(jìn)。
綜上所述,致力于探究更加復(fù)雜的神經(jīng)元類型的研究計(jì)劃可能會(huì)帶來(lái)豐碩的成果,甚至可以和把復(fù)數(shù)值應(yīng)用于神經(jīng)網(wǎng)絡(luò)上帶來(lái)的碩果相提并論。
在復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)中,只有應(yīng)用于RNN才能體現(xiàn)出性能的改善。這也表明,要想超越簡(jiǎn)單的感知,內(nèi)部神經(jīng)元復(fù)雜度可能是必需的。
這些復(fù)雜性對(duì)于更高級(jí)的認(rèn)知是必要的,這是現(xiàn)有深度學(xué)習(xí)認(rèn)知系統(tǒng)所不具備的。無(wú)論是對(duì)抗特征的強(qiáng)健性,還是讓機(jī)器學(xué)會(huì)忘記、學(xué)會(huì)忽略什么、學(xué)習(xí)抽象和識(shí)別上下文語(yǔ)境的切換,都是相當(dāng)復(fù)雜的事。
預(yù)計(jì)在不久的將來(lái),這一領(lǐng)域會(huì)出現(xiàn)更多積極大膽的研究。畢竟,大自然已經(jīng)明確地告訴我們,神經(jīng)元個(gè)體是更復(fù)雜的,因而我們創(chuàng)造的神經(jīng)元模型也可能需要更復(fù)雜。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4812瀏覽量
103280 -
神經(jīng)元
+關(guān)注
關(guān)注
1文章
368瀏覽量
18803 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5557瀏覽量
122685
發(fā)布評(píng)論請(qǐng)先 登錄
應(yīng)用人工神經(jīng)網(wǎng)絡(luò)模擬污水生物處理
神經(jīng)網(wǎng)絡(luò)教程(李亞非)
人工神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)方法與應(yīng)用實(shí)例(pdf彩版)
【PYNQ-Z2試用體驗(yàn)】神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)
【案例分享】基于BP算法的前饋神經(jīng)網(wǎng)絡(luò)
【案例分享】ART神經(jīng)網(wǎng)絡(luò)與SOM神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方法有哪些?
卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用
卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介:什么是機(jī)器學(xué)習(xí)?
不可錯(cuò)過!人工神經(jīng)網(wǎng)絡(luò)算法、PID算法、Python人工智能學(xué)習(xí)等資料包分享(附源代碼)
神經(jīng)網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)課件免費(fèi)下載

評(píng)論