99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

果蠅大腦跑NLP任務(wù)效率竟比BERT高?

中科院長(zhǎng)春光機(jī)所 ? 來源:機(jī)器之心 ? 作者:機(jī)器之心 ? 2021-02-04 14:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

研究了半天人工神經(jīng)網(wǎng)絡(luò),還不如復(fù)制粘貼動(dòng)物的答案?

最近一段時(shí)間,有關(guān)摩爾定律終結(jié)的討論時(shí)常出現(xiàn),深度學(xué)習(xí)越來越高的算力需求與芯片制造廠商們「擠牙膏」式的換代速度產(chǎn)生了不可調(diào)和的矛盾。對(duì)此,一些研究者們正在專注于常規(guī)架構(gòu)的效率提升,也有一些研究者把目光轉(zhuǎn)向于常規(guī)計(jì)算機(jī)體系之外,如光電計(jì)算、類腦計(jì)算,以及量子計(jì)算等方向。

現(xiàn)在,又有人想在動(dòng)物身上尋找思路。在 1 月 13 日剛剛放榜的人工智能頂級(jí)會(huì)議ICLR 2021上出現(xiàn)了這樣一篇論文:研究者們「黑」進(jìn)了果蠅的神經(jīng)網(wǎng)絡(luò),用它來跑 NLP 算法,結(jié)果發(fā)現(xiàn)性能與常規(guī)人工神經(jīng)網(wǎng)絡(luò)相當(dāng),而且非常節(jié)約能耗。

這一通操作仿佛打開了新世界的大門。

神經(jīng)科學(xué)中研究最深入的網(wǎng)絡(luò)之一是果蠅的大腦,尤其是稱為蘑菇體的部分。該部分能夠分析氣味、溫度、濕度和視覺數(shù)據(jù)等感官輸入,以便于果蠅學(xué)會(huì)區(qū)分友好刺激和危險(xiǎn)刺激。神經(jīng)科學(xué)家表示果蠅大腦的這一部分是由一組稱為投射神經(jīng)元的細(xì)胞組成,這些細(xì)胞將感覺信息傳遞給 2000 個(gè)稱為 Kenyon 細(xì)胞(簡(jiǎn)稱KC)的神經(jīng)元,Kenyon 細(xì)胞連接在一起形成能夠?qū)W習(xí)的神經(jīng)網(wǎng)絡(luò)。這讓果蠅在學(xué)習(xí)接近食物、潛在伴侶等時(shí)候,學(xué)會(huì)避免潛在的有害感官輸入(例如危險(xiǎn)的氣味和溫度)。

這個(gè)相對(duì)較小的網(wǎng)絡(luò)具備的功能和靈活性讓神經(jīng)科學(xué)家們好奇:是否可以對(duì)其進(jìn)行編程以解決其他任務(wù)?

在倫斯勒理工學(xué)院、MIT-IBM Watson AI Lab 的研究者進(jìn)行的一項(xiàng)入侵果蠅大腦網(wǎng)絡(luò)的研究中,人們成功地在生物大腦中執(zhí)行了自然語(yǔ)言處理等任務(wù)。這是自然界的神經(jīng)網(wǎng)絡(luò)第一次以這種方式被征用。研究者表示這個(gè)生物大腦網(wǎng)絡(luò)與人工學(xué)習(xí)網(wǎng)絡(luò)的性能相當(dāng),但使用的計(jì)算資源卻更少。

這種方法相對(duì)簡(jiǎn)單直接,該團(tuán)隊(duì)首先使用計(jì)算機(jī)程序重建蘑菇體所依賴的網(wǎng)絡(luò),大量神經(jīng)元將數(shù)據(jù)提供給大約 2000 個(gè) Kenyon 細(xì)胞。然后研究者訓(xùn)練了該網(wǎng)絡(luò)以識(shí)別文本中詞之間的相關(guān)性。該任務(wù)基于的思想是:一個(gè)詞可以通過其語(yǔ)境或通常在其附近出現(xiàn)的其他詞來表征。該想法首先從一個(gè)文本語(yǔ)料庫(kù)開始,然后面向每一個(gè)詞,分析出現(xiàn)在該詞前后的其他詞。

這樣機(jī)器學(xué)習(xí)系統(tǒng)可以在給定已經(jīng)出現(xiàn)的詞的情況下預(yù)測(cè)句子中下一個(gè)詞。許多系統(tǒng)(例如 BERT)都使用這種方法來生成看起來自然的句子,該研究也采用了這種方法。事實(shí)證明即使自然界的網(wǎng)絡(luò)完全不是基于這一目的進(jìn)化的,但它也非常擅長(zhǎng)這種方式。該研究表明該網(wǎng)絡(luò)可以學(xué)習(xí)詞的語(yǔ)義表征。

研究者表示,果蠅的大腦網(wǎng)絡(luò)可與現(xiàn)有的自然語(yǔ)言處理方法相媲美,并且最重要的是生物網(wǎng)絡(luò)僅使用很少一部分計(jì)算資源。這意味著它僅使用較少的訓(xùn)練時(shí)間和內(nèi)存占用量。

生物的效率

這是一個(gè)有趣的結(jié)果?!肝覀儼堰@樣的結(jié)果視為生物啟發(fā)算法普適性的一個(gè)范例,其與傳統(tǒng)的非生物算法相比更具效率,」該論文的作者 Yuchen Liang 等人說道。

這項(xiàng)工作除了展示生物計(jì)算的效率,還提出了一些有趣的問題。其中最明顯的就是:為什么生物神經(jīng)網(wǎng)絡(luò)計(jì)算是如此的高效?當(dāng)然按照進(jìn)化的理論,自然界會(huì)選擇效率更高的神經(jīng)網(wǎng)絡(luò)存留下來,但在論文中,研究者們尚未對(duì) Kenyon 細(xì)胞為何具有高效率提出自己的看法。

這項(xiàng)工作顯然也開啟了「入侵」其他生物大腦的方向。不過目前看來人們?nèi)悦媾R一些挑戰(zhàn),一個(gè)潛在的問題是神經(jīng)科學(xué)家們?nèi)匀浑y以對(duì)更復(fù)雜化的大腦進(jìn)行表征(如哺乳動(dòng)物)。果蠅的大腦相對(duì)較小,只有 10 萬個(gè)神經(jīng)元,相比之下,老鼠的大腦有 1 億個(gè)神經(jīng)元,而人類的大腦有 1000 億個(gè)神經(jīng)元。因此在我們看到有小鼠、海豚或人類的大腦「被黑客入侵」之前,還需等待一段時(shí)間。

研究概況

果蠅腦蘑菇體是神經(jīng)科學(xué)中研究最多的系統(tǒng)之一,其核心由一群 Kenyon 細(xì)胞組成。這些細(xì)胞接受來自多種感官方式的輸入,被伽馬氨基丁酸能神經(jīng)元(Anterior Paired Lateral Neurons,APL 神經(jīng)元)抑制,從而創(chuàng)造了輸入的稀疏高維表征。

具體而言,其主要感知方式是嗅覺,但也有來自感知溫度、濕度、視覺的神經(jīng)元的輸入。這些輸入通過一組突觸權(quán)重傳遞給大約 2000 個(gè) Kenyon 細(xì)胞。Kenyon 細(xì)胞通過 APL 神經(jīng)元相互連接,后者會(huì)發(fā)送一個(gè)強(qiáng)大的抑制信號(hào)到 Kenyon 細(xì)胞。這個(gè)循環(huán)網(wǎng)絡(luò)形成了 Kenyon 細(xì)胞之間的贏者通吃效應(yīng),并讓一小部分「冠軍」神經(jīng)元之外的所有神經(jīng)元都失聲了。

在這項(xiàng)論文中,研究者將該網(wǎng)絡(luò)模體(motif)進(jìn)行了數(shù)學(xué)化建模,并將其應(yīng)用于一項(xiàng)常見的 NLP 任務(wù):學(xué)習(xí)非結(jié)構(gòu)化文本語(yǔ)料庫(kù)中的詞與上下午之間的相關(guān)結(jié)構(gòu)。

該研究提出的網(wǎng)絡(luò)模體如圖 1 所示,KC 也將輸出發(fā)送到蘑菇體輸出神經(jīng)元 (MBON),但是蘑菇體網(wǎng)絡(luò)的這一部分不包含在數(shù)學(xué)模型中。

9e3e5810-64a5-11eb-8b86-12bb97331649.png

圖 1: 網(wǎng)絡(luò)架構(gòu)圖。幾組對(duì)應(yīng)不同方式的神經(jīng)元將它們的活動(dòng)發(fā)送到 KC 層,而 KC 層通過與 APL 神經(jīng)元的相互連接而被抑制。

總體而言,研究貢獻(xiàn)如下:

受果蠅網(wǎng)絡(luò)的啟發(fā),研究者提出了一種算法,使得為單詞及其上下文生成 binary (相對(duì)于連續(xù)) 詞嵌入成為可能,并系統(tǒng)評(píng)估了該算法在詞匯相似性任務(wù)、詞義消歧和文本分類等任務(wù)上的表現(xiàn);

與連續(xù) GloVe 嵌入相比,本文的 binary 嵌入能產(chǎn)生更緊密和更好分離的概念集群,并且符合 GloVe 的 binarized 版本的集群特性;

研究者發(fā)現(xiàn),訓(xùn)練果蠅網(wǎng)絡(luò)所需要的計(jì)算時(shí)間比訓(xùn)練傳統(tǒng)的 NLP 架構(gòu)(如 BERT)所需要的計(jì)算時(shí)間要少一個(gè)數(shù)量級(jí),但是在分類準(zhǔn)確率上有所降低。

這一成果展示了人類將自然界算法及行為進(jìn)行「重新編程」,并將其轉(zhuǎn)化為原始生物體從未參與過的任務(wù)的目標(biāo)算法的巨大潛力。

實(shí)驗(yàn)結(jié)果

在論文的第三章,研究者從靜態(tài)詞嵌入、詞聚類、上下文相關(guān)的詞嵌入、文本分類等幾個(gè)方面對(duì)研究提出的網(wǎng)絡(luò)進(jìn)行了評(píng)估,以下是實(shí)驗(yàn)結(jié)果。

靜態(tài)詞嵌入評(píng)價(jià)

9e68ef12-64a5-11eb-8b86-12bb97331649.png

9f059cb8-64a5-11eb-8b86-12bb97331649.png

詞聚類

9f5a4ae2-64a5-11eb-8b86-12bb97331649.png

上下文相關(guān)的詞嵌入

9fedf9c2-64a5-11eb-8b86-12bb97331649.png

a0a91f2c-64a5-11eb-8b86-12bb97331649.png

文本分類

a0bdbe1e-64a5-11eb-8b86-12bb97331649.png

計(jì)算效率

a141d6d6-64a5-11eb-8b86-12bb97331649.png

原文標(biāo)題:科學(xué)家「黑進(jìn)」果蠅大腦跑NLP任務(wù),發(fā)現(xiàn)效率比BERT高

文章出處:【微信公眾號(hào):中科院長(zhǎng)春光機(jī)所】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:科學(xué)家「黑進(jìn)」果蠅大腦跑NLP任務(wù),發(fā)現(xiàn)效率比BERT高

文章出處:【微信號(hào):cas-ciomp,微信公眾號(hào):中科院長(zhǎng)春光機(jī)所】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    十年磨劍!通王炸芯片加持,零突圍成為新勢(shì)力銷冠的密碼

    41,039輛。6月27日,在蘇州舉辦的“2025通汽車技術(shù)與合作峰會(huì)”上,零汽車創(chuàng)始人、董事長(zhǎng)兼CEO朱江明提到,2025年前5個(gè)月,零汽車銷量超17萬臺(tái),海外超1.7萬臺(tái),處于新勢(shì)力汽車陣營(yíng)的銷冠。 ? 圖1:零
    的頭像 發(fā)表于 06-29 22:36 ?4171次閱讀
    十年磨劍!<b class='flag-5'>高</b>通王炸芯片加持,零<b class='flag-5'>跑</b>突圍成為新勢(shì)力銷冠的密碼

    工業(yè)皮帶偏報(bào)警智能數(shù)據(jù)采集方案:低成本部署賦能設(shè)備安全運(yùn)行與效率提升

    皮帶偏報(bào)警數(shù)據(jù)采集解決方案
    的頭像 發(fā)表于 06-24 17:19 ?163次閱讀
    工業(yè)皮帶<b class='flag-5'>跑</b>偏報(bào)警智能數(shù)據(jù)采集方案:低成本部署賦能設(shè)備安全運(yùn)行與<b class='flag-5'>效率</b>提升

    禾賽科技與零汽車深化戰(zhàn)略合作

    汽車與禾賽科技在零科技總部正式達(dá)成深化戰(zhàn)略合作。后續(xù)零預(yù)計(jì)將采購(gòu)約 20 萬臺(tái)的禾賽 ATX 激光雷達(dá),覆蓋零 2025 年起多款量產(chǎn)車型。作為零
    的頭像 發(fā)表于 04-08 17:14 ?539次閱讀

    機(jī)器人“大腦+小腦”范式:算力魔方賦能智能自主導(dǎo)航

    ?在機(jī)器人技術(shù)的發(fā)展中,“大腦+小腦”的架構(gòu)模式逐漸成為推動(dòng)機(jī)器人智能化的關(guān)鍵。其中, “大腦”作為機(jī)器人的核心決策單元,承擔(dān)著復(fù)雜任務(wù)規(guī)劃、環(huán)境感知和決策制定的重要角色,而“小腦”則專注于運(yùn)動(dòng)控制
    的頭像 發(fā)表于 01-20 13:35 ?570次閱讀

    汽車選擇驍龍數(shù)字底盤解決方案賦能全新零B10車型

    1月6日,零汽車與通技術(shù)公司今日宣布,雙方持續(xù)開展技術(shù)合作,為全新的全球車型帶來智能座艙和智能駕駛功能。全新發(fā)布的零B10車型搭載了第四代驍龍座艙平臺(tái),同時(shí)也是全球首批搭載驍龍智駕平臺(tái)的車型。
    發(fā)表于 01-15 10:02 ?897次閱讀
    零<b class='flag-5'>跑</b>汽車選擇驍龍數(shù)字底盤解決方案賦能全新零<b class='flag-5'>跑</b>B10車型

    汽車與通合作,B10車型搭載驍龍平臺(tái)

    汽車與通技術(shù)公司近日宣布,雙方將繼續(xù)深化技術(shù)合作,為全球車型帶來更加智能的座艙和駕駛功能。全新發(fā)布的零B10車型,便是這一合作的最新成果。 零B10搭載了先進(jìn)的第四代驍龍?座
    的頭像 發(fā)表于 01-10 13:53 ?1095次閱讀

    正力新能榮獲零汽車“零價(jià)值獎(jiǎng)”

    近日,主題為“同心 聚勢(shì) 共贏”的2025年零汽車合作伙伴大會(huì)在杭州隆重舉行,正力新能榮獲此次大會(huì)最具含金量的獎(jiǎng)項(xiàng)“零價(jià)值獎(jiǎng)”,這也是正力新能連續(xù)第三年獲得零汽車供應(yīng)商大獎(jiǎng)。
    的頭像 發(fā)表于 01-09 18:04 ?835次閱讀

    B10搭載通驍龍數(shù)字底盤解決方案

    汽車與通技術(shù)公司今日宣布,雙方持續(xù)開展技術(shù)合作,為全新的全球車型帶來智能座艙和智能駕駛功能。
    的頭像 發(fā)表于 01-07 10:33 ?709次閱讀

    使用任務(wù)通知提高RTOS應(yīng)用的效率

    在實(shí)時(shí)嵌入式系統(tǒng)中,性能和資源效率是決定設(shè)計(jì)成敗的關(guān)鍵因素。傳統(tǒng)的實(shí)時(shí)操作系統(tǒng)(RTOS)提供了如隊(duì)列、信號(hào)量和事件組機(jī)制,實(shí)現(xiàn)任務(wù)之間的同步和通信。FreeRTOS/SAFERTOS還提供一種方法可以使這些過程更快、更輕量化,即任務(wù)
    的頭像 發(fā)表于 12-27 14:54 ?703次閱讀

    使用LSTM神經(jīng)網(wǎng)絡(luò)處理自然語(yǔ)言處理任務(wù)

    NLP任務(wù)的處理能力得到了顯著提升。 LSTM網(wǎng)絡(luò)簡(jiǎn)介 LSTM網(wǎng)絡(luò)是一種特殊的RNN,它通過引入門控機(jī)制來解決傳統(tǒng)RNN在處理長(zhǎng)序列數(shù)據(jù)時(shí)的梯度消失和梯度爆炸問題。LSTM的核心組件包括輸入門、遺忘門和輸出門,這些門控單元能夠控制信息的流動(dòng),從而實(shí)現(xiàn)
    的頭像 發(fā)表于 11-13 09:56 ?1170次閱讀

    NLP技術(shù)在聊天機(jī)器人中的作用

    的第一個(gè)作用是幫助聊天機(jī)器人理解用戶的意圖。聊天機(jī)器人需要能夠識(shí)別用戶的問題或請(qǐng)求,并將其轉(zhuǎn)化為可執(zhí)行的任務(wù)。這涉及到以下幾個(gè)步驟: 詞義消歧 :NLP技術(shù)可以幫助聊天機(jī)器人理解單詞的多種含義,并根據(jù)上下文選擇正確的解釋。 意圖識(shí)
    的頭像 發(fā)表于 11-11 10:33 ?1039次閱讀

    如何設(shè)計(jì)散熱效率高的集成BLDCM電機(jī)驅(qū)動(dòng)PCB

    電子發(fā)燒友網(wǎng)站提供《如何設(shè)計(jì)散熱效率高的集成BLDCM電機(jī)驅(qū)動(dòng)PCB.pdf》資料免費(fèi)下載
    發(fā)表于 09-29 09:59 ?0次下載
    如何設(shè)計(jì)散熱<b class='flag-5'>效率高</b>的集成BLDCM電機(jī)驅(qū)動(dòng)PCB

    內(nèi)置誤碼率測(cè)試儀(BERT)和采樣示波器一體化測(cè)試儀器安立MP2110A

    BERTWave MP2110A是一款內(nèi)置誤碼率測(cè)試儀(BERT)和采用示波器的一體化測(cè)量?jī)x器,支持光模塊的誤碼率(BERT)測(cè)量、眼圖模式測(cè)試、眼圖分析等評(píng)估操作
    的頭像 發(fā)表于 09-23 14:34 ?875次閱讀
    內(nèi)置誤碼率測(cè)試儀(<b class='flag-5'>BERT</b>)和采樣示波器一體化測(cè)試儀器安立MP2110A

    M8020A J-BERT 高性能比特誤碼率測(cè)試儀

    M8020A 比特誤碼率測(cè)試儀 J-BERT M8020A 高性能 BERT 產(chǎn)品綜述 Keysight J-BERT M8020A 高性能比特誤碼率測(cè)試儀能夠快速、準(zhǔn)確地表征傳輸速率高達(dá) 16 或
    的頭像 發(fā)表于 08-21 17:13 ?517次閱讀

    AWG和BERT常見問題解答

    隨著信號(hào)的速率越來越高,調(diào)制格式越來越復(fù)雜,對(duì)測(cè)試儀器的性能要求也越來越高。是德科技也一直在推出業(yè)界領(lǐng)先的帶寬、采樣率的AWG和高性能的BERT。
    的頭像 發(fā)表于 08-06 17:27 ?1284次閱讀