99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深度學(xué)習(xí)或者人工神經(jīng)網(wǎng)絡(luò)模擬了生物神經(jīng)元?

倩倩 ? 來(lái)源:大數(shù)據(jù)文摘 ? 2020-04-17 14:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

深度學(xué)習(xí)(DL)或者人工神經(jīng)網(wǎng)絡(luò)(ANN)模擬了生物神經(jīng)元?

這是個(gè)很大的誤解。

ANN充其量模仿了一個(gè)1957年面世的低配版神經(jīng)元。

任何宣稱深度學(xué)習(xí)的靈感來(lái)源于生物的人都是出于種種營(yíng)銷目的,或者他壓根就沒讀過生物學(xué)文獻(xiàn)。

不過,仿生系統(tǒng)研究怕是要遇到阻礙了。

兩篇最近發(fā)表于Cell上的神經(jīng)元基因Arc的新發(fā)現(xiàn),揭示了生物神經(jīng)元更大的復(fù)雜性,其遠(yuǎn)比我們想象得復(fù)雜得多。

大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文

深度學(xué)習(xí)里的神經(jīng)元實(shí)質(zhì)上是數(shù)學(xué)函數(shù),即相似度函數(shù)。在每個(gè)人工神經(jīng)元內(nèi),帶權(quán)重的輸入信號(hào)和神經(jīng)元的閾值進(jìn)行比較,匹配度越高,激活函數(shù)值為1并執(zhí)行某種動(dòng)作的可能性就越大,不執(zhí)行(對(duì)應(yīng)函數(shù)值為0)的可能性越小。

雖然有個(gè)別例外情況(比如自回歸神經(jīng)網(wǎng)絡(luò)Autoregressive networks),但多數(shù)深度學(xué)習(xí)算法都是這樣工作的,比如感知器(perceptron)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)以及循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)。

生物神經(jīng)元和深度學(xué)習(xí)的概念大不相同。

生物神經(jīng)元并不會(huì)保持連續(xù)信號(hào),而是產(chǎn)生動(dòng)作電位,或者依據(jù)事件做出相應(yīng)行為。

因此,所謂“神經(jīng)形態(tài)”(neuromorphic)的硬件,也就是受到“整合信息,然后發(fā)送信號(hào)”(integrate and spike)的神經(jīng)元的啟發(fā)。

如果你對(duì)構(gòu)建一個(gè)仿生認(rèn)知系統(tǒng)感興趣,可以看看今年2月這篇普度大學(xué)的論文。你必須知道的是,這類系統(tǒng)并不像深度學(xué)習(xí)框架那樣具有連續(xù)作用性。

大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文

從本質(zhì)上來(lái)講,生物系統(tǒng)利用最少的能量來(lái)維持生存,但深度學(xué)習(xí)系統(tǒng)需要消耗非常多的能量,對(duì)比十分鮮明。深度學(xué)習(xí)采用蠻力手段(不斷嘗試和犯錯(cuò))來(lái)實(shí)現(xiàn)認(rèn)知,我們知道它的運(yùn)作原理,但是還不知道怎么減少深度學(xué)習(xí)的能耗。

一直以來(lái),學(xué)術(shù)界一直以來(lái)希望用仿生手段創(chuàng)造出比深度學(xué)習(xí)更加強(qiáng)大的體系,雖然在這個(gè)方面努力了很久,但是進(jìn)展尚不明顯。已經(jīng)取得的進(jìn)展有HTM神經(jīng)元,它更貼近新大腦皮層(neo-cortex)結(jié)構(gòu)。從下圖中可以看出,這種神經(jīng)元模型要比深度學(xué)習(xí)中的神經(jīng)元復(fù)雜得多。

左:深度學(xué)習(xí)ANN,中:生物神經(jīng)元,右:HTM神經(jīng)元

相比之下,深度學(xué)習(xí)方法雖然用的是和卡通一樣簡(jiǎn)單的神經(jīng)元模型,近一段時(shí)間以來(lái)卻意外大顯身手,在認(rèn)知方面取得了讓人難以置信的成效。深度學(xué)習(xí)所做的事情非常正確,只是我們還不了解它做的究竟是什么。

不過,仿生系統(tǒng)研究怕是要遇到阻礙了。以色列的一個(gè)關(guān)于神經(jīng)元性質(zhì)的新實(shí)驗(yàn)表明,生物中的神經(jīng)元比我們想象得復(fù)雜得多:

大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文

總結(jié)一下,生物神經(jīng)元的這些特性我們才剛剛知道:

單個(gè)神經(jīng)元的峰電位波形通常隨著刺激部位的不同而改變,兩者的關(guān)系可以用函數(shù)表達(dá);

在細(xì)胞外,從不同方向施加的刺激并不能引起空間性加成(Spatial summation);

當(dāng)細(xì)胞內(nèi)外刺激交疊時(shí),不會(huì)產(chǎn)生空間性加成或者空間性相減(Spatial subtraction)。如果這些刺激的精確時(shí)值互不相關(guān),那么非局部時(shí)間的干擾也不能奏效。

簡(jiǎn)而言之,一個(gè)神經(jīng)元里所發(fā)生的事情遠(yuǎn)不止“計(jì)算-輸出”這么簡(jiǎn)單。

生物神經(jīng)元很可能不是隨著單一參數(shù)(也就是權(quán)重)而改變的純函數(shù)能夠描述的。它們更像是能顯示各種狀態(tài)的機(jī)器。換句話說,權(quán)重或許不是單值,而是多重值的,甚至是更高維度的。這些神經(jīng)元的性質(zhì)仍有待探索,我們對(duì)此幾乎一無(wú)所知。

如果你覺得這樣的解釋讓理解神經(jīng)元性質(zhì)變得更難了,那還有兩篇最近發(fā)表于Cell上的神經(jīng)元基因Arc的新發(fā)現(xiàn),揭示了更大的復(fù)雜性。

神經(jīng)元釋放的細(xì)胞外囊泡中,很多都含有一種叫做Arc的基因,可以幫助神經(jīng)元之間相互建立連接。那些被基因改造后缺乏Arc基因的小鼠難以形成長(zhǎng)期記憶,而人類的一些神經(jīng)功能障礙也與這個(gè)基因有關(guān)。

這項(xiàng)研究表明,神經(jīng)元之間的交流是通過發(fā)送成套R(shí)NA編碼實(shí)現(xiàn)的。更準(zhǔn)確地說,是成套的指令而非數(shù)據(jù)。發(fā)送編碼和發(fā)送數(shù)據(jù)完全是兩碼事。這也就意味著,一個(gè)神經(jīng)元的行為可以改變另一個(gè)神經(jīng)元的行為;不是通過觀察,而是通過彼此修正。

這種編碼交換機(jī)制隱隱證實(shí)了一些早期的猜想:“生物大腦僅僅是由離散的邏輯構(gòu)成的嗎?”

實(shí)驗(yàn)結(jié)果揭示了一個(gè)新的事實(shí)。即使在我們認(rèn)知的最小單位,也就是單個(gè)神經(jīng)元之間,也存在著一種對(duì)話式的認(rèn)知(conversational cognition)。這種認(rèn)知不斷修正神經(jīng)元彼此的行為。

因此,神經(jīng)元不僅是有不同狀態(tài)的機(jī)器,也是預(yù)先設(shè)定了指令的、能相互發(fā)送編碼的通路。

這些實(shí)驗(yàn)對(duì)我們有兩點(diǎn)明確的啟示。

第一,我們對(duì)人類大腦計(jì)算能力的估計(jì)可能偏差了至少一個(gè)數(shù)量級(jí)。

如果粗略地設(shè)定一個(gè)神經(jīng)元只執(zhí)行一次運(yùn)算,那么整體上看人類大腦可以完成每秒38拍字節(jié)(Peta)的運(yùn)算(1拍字節(jié)=10^15字節(jié))。

如果假定深度學(xué)習(xí)模型里的運(yùn)算都等價(jià)于浮點(diǎn)數(shù)的運(yùn)算,那么大腦的性能可以匹敵一個(gè)每秒3.8億億次浮點(diǎn)運(yùn)算的電腦系統(tǒng)。當(dāng)前最頂尖的超級(jí)計(jì)算機(jī)——中國(guó)的神威·太湖之光(Sunway Taihulight)的峰值性能是每秒12.5億億次/秒。

然而,大腦的實(shí)際運(yùn)算能力很有可能是我們認(rèn)為的10倍之多,也就是38億億次/秒。不過顯而易見的是,生物大腦實(shí)際上只用了較少的計(jì)算就實(shí)現(xiàn)了非常多的認(rèn)知。

第二,未來(lái)在探究深度學(xué)習(xí)架構(gòu)時(shí),人們會(huì)很熱心地采用內(nèi)部結(jié)構(gòu)更復(fù)雜的神經(jīng)元或者節(jié)點(diǎn)。

現(xiàn)在到了重新開始,并探究更復(fù)雜的神經(jīng)元的時(shí)候了。迄今為止,我們遇到的比較復(fù)雜的神經(jīng)元類型來(lái)自于長(zhǎng)短期記憶(Long Short Term Memory, LSTM)。以下展示的是針對(duì)LSTM神經(jīng)元的蠻力架構(gòu)搜索:

目前尚不清楚為什么這些更復(fù)雜的LSTM更為有效,只有架構(gòu)搜索算法才明白其中緣由,不過算法可不會(huì)解釋自己是怎么回事的。

最近發(fā)布的一篇來(lái)自CMU和蒙特利爾大學(xué)的論文探究了設(shè)計(jì)更為復(fù)雜的LSTMs。

大數(shù)據(jù)文摘微信公眾號(hào)后臺(tái)對(duì)話框回復(fù)“生物”獲取論文

Nested LSTMs相對(duì)于標(biāo)準(zhǔn)的LSTMs實(shí)現(xiàn)了重大改進(jìn)。

綜上所述,致力于探究更加復(fù)雜的神經(jīng)元類型的研究計(jì)劃可能會(huì)帶來(lái)豐碩的成果,甚至可以和把復(fù)數(shù)值應(yīng)用于神經(jīng)網(wǎng)絡(luò)上帶來(lái)的碩果相提并論。

在復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)中,只有應(yīng)用于RNN才能體現(xiàn)出性能的改善。這也表明,要想超越簡(jiǎn)單的感知,內(nèi)部神經(jīng)元復(fù)雜度可能是必需的。

這些復(fù)雜性對(duì)于更高級(jí)的認(rèn)知是必要的,這是現(xiàn)有深度學(xué)習(xí)認(rèn)知系統(tǒng)所不具備的。無(wú)論是對(duì)抗特征的強(qiáng)健性,還是讓機(jī)器學(xué)會(huì)忘記、學(xué)會(huì)忽略什么、學(xué)習(xí)抽象和識(shí)別上下文語(yǔ)境的切換,都是相當(dāng)復(fù)雜的事。

預(yù)計(jì)在不久的將來(lái),這一領(lǐng)域會(huì)出現(xiàn)更多積極大膽的研究。畢竟,大自然已經(jīng)明確地告訴我們,神經(jīng)元個(gè)體是更復(fù)雜的,因而我們創(chuàng)造的神經(jīng)元模型也可能需要更復(fù)雜。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    應(yīng)用人工神經(jīng)網(wǎng)絡(luò)模擬污水生物處理

    應(yīng)用人工神經(jīng)網(wǎng)絡(luò)模擬污水生物處理(1.浙江工業(yè)大學(xué)建筑工程學(xué)院, 杭州 310014; 2.鎮(zhèn)江水工業(yè)公司排水管理處,鎮(zhèn)江 212003)摘要:針對(duì)復(fù)雜的非線性污水
    發(fā)表于 08-08 09:56

    神經(jīng)網(wǎng)絡(luò)教程(李亞非)

      第1章 概述  1.1 人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展  1.2 生物神經(jīng)元  1.3 人工神經(jīng)網(wǎng)絡(luò)
    發(fā)表于 03-20 11:32

    人工神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)方法與應(yīng)用實(shí)例(pdf彩版)

    物體所作出的交互反應(yīng),是模擬人工智能的一條重要途徑。人工神經(jīng)網(wǎng)絡(luò)與人腦相似性主要表現(xiàn)在:①神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境學(xué)習(xí)得來(lái)的;②各
    發(fā)表于 10-23 16:16

    【PYNQ-Z2試用體驗(yàn)】神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)

    學(xué)習(xí)和認(rèn)知科學(xué)領(lǐng)域,是一種模仿生物神經(jīng)網(wǎng)絡(luò)(動(dòng)物的中樞神經(jīng)系統(tǒng),特別是大腦)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型,用于對(duì)函數(shù)進(jìn)行估計(jì)或近似。神經(jīng)網(wǎng)絡(luò)
    發(fā)表于 03-03 22:10

    【案例分享】基于BP算法的前饋神經(jīng)網(wǎng)絡(luò)

    }或o koko_{k})的誤差神經(jīng)元偏倚的變化量:ΔΘ ΔΘ Delta Theta=學(xué)習(xí)步長(zhǎng)η ηeta × ×imes 乘以神經(jīng)元的誤差BP神經(jīng)網(wǎng)絡(luò)算法過程
    發(fā)表于 07-21 04:00

    【案例分享】ART神經(jīng)網(wǎng)絡(luò)與SOM神經(jīng)網(wǎng)絡(luò)

    是一種常用的無(wú)監(jiān)督學(xué)習(xí)策略,在使用改策略時(shí),網(wǎng)絡(luò)的輸出神經(jīng)元相互競(jìng)爭(zhēng),每一時(shí)刻只有一個(gè)競(jìng)爭(zhēng)獲勝的神經(jīng)元激活。ART神經(jīng)網(wǎng)絡(luò)由比較層、識(shí)別層、
    發(fā)表于 07-21 04:30

    人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方法有哪些?

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)是一種類似生物神經(jīng)網(wǎng)絡(luò)的信息處理結(jié)構(gòu),它的提出是為了解決一些非線性,非平穩(wěn),復(fù)雜的實(shí)際問題。那有哪些辦法能實(shí)現(xiàn)
    發(fā)表于 08-01 08:06

    卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用

    卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用轉(zhuǎn)載****地址:http://fcst.ceaj.org/CN/abstract/abstract2521.shtml深度學(xué)習(xí)是機(jī)器學(xué)習(xí)
    發(fā)表于 08-02 10:39

    卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介:什么是機(jī)器學(xué)習(xí)?

    不僅限于已知的訓(xùn)練圖像。該神經(jīng)網(wǎng)絡(luò)需要映射到MCU中。模式識(shí)別機(jī)的內(nèi)部到底是什么樣子的?人工智能中的神經(jīng)元網(wǎng)絡(luò)類似于人腦中的生物對(duì)應(yīng)物。一個(gè)神經(jīng)元
    發(fā)表于 02-23 20:11

    不可錯(cuò)過!人工神經(jīng)網(wǎng)絡(luò)算法、PID算法、Python人工智能學(xué)習(xí)等資料包分享(附源代碼)

    ,是模擬人工智能的一條重要途徑。人工神經(jīng)網(wǎng)絡(luò)與人腦相似性主要表現(xiàn)在: ①神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境學(xué)習(xí)得來(lái)的; ②各
    發(fā)表于 09-13 16:41

    神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)課件免費(fèi)下載

    本文檔的主要內(nèi)容詳細(xì)介紹的是神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)控制的學(xué)習(xí)課件免費(fèi)下載包括了:1生物神經(jīng)元模型,2人工
    發(fā)表于 01-20 11:20 ?11次下載
    <b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>與<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>控制的<b class='flag-5'>學(xué)習(xí)</b>課件免費(fèi)下載

    卷積神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn) 卷積神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)的區(qū)別

    深度神經(jīng)網(wǎng)絡(luò)是一種基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法,其主要特點(diǎn)是由多層神經(jīng)元構(gòu)成,可以根據(jù)數(shù)據(jù)自動(dòng)調(diào)整神經(jīng)元
    發(fā)表于 08-21 17:07 ?4651次閱讀

    神經(jīng)元神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系

    人工智能和機(jī)器學(xué)習(xí)的領(lǐng)域中,神經(jīng)元神經(jīng)網(wǎng)絡(luò)是兩個(gè)至關(guān)重要的概念。雖然它們都與人腦中的神經(jīng)系統(tǒng)有著密切的聯(lián)系,但在實(shí)際應(yīng)用和理論研究中,它
    的頭像 發(fā)表于 07-01 11:50 ?1922次閱讀

    人工神經(jīng)網(wǎng)絡(luò)的工作原理是什么

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks,簡(jiǎn)稱ANNs)是一種模擬人腦神經(jīng)網(wǎng)絡(luò)的計(jì)算模型,它通過大量的簡(jiǎn)單計(jì)算單元(神經(jīng)元)和它們之間的連接(突觸)來(lái)實(shí)現(xiàn)對(duì)復(fù)
    的頭像 發(fā)表于 07-02 10:06 ?2104次閱讀

    人工神經(jīng)元由哪些部分組成

    人工神經(jīng)元深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)領(lǐng)域的核心組件之一。 1. 引言 在深入討論
    的頭像 發(fā)表于 07-11 11:17 ?1298次閱讀