99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何使用模仿患者聲音的計(jì)算機(jī)程序?qū)⑽谋局匦路g成語音

微流控 ? 來源:微流控 ? 2023-09-04 11:33 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

《Nature》雜志同時發(fā)表了兩篇新論文,幫助那些因腦損傷和疾病而失去語言能力的人恢復(fù)語言能力,向前邁出了重要一步。兩個多學(xué)科團(tuán)隊(duì)展示了最先進(jìn)的人工智能輔助腦機(jī)接口(BCI)系統(tǒng)的速度和準(zhǔn)確性的新記錄,帶來了前所未有的將大腦信號翻譯成句子的能力——速度接近正常語音,詞匯量超過1000個單詞。這些進(jìn)步為那些不能說話的人提供了以接近對話水平的速度進(jìn)行交流的能力,甚至展示了如何使用模仿患者聲音的計(jì)算機(jī)程序?qū)⑽谋局匦路g成語音。 背景

各種神經(jīng)系統(tǒng)疾病會麻痹對言語和肢體功能至關(guān)重要的肌肉,同時影響認(rèn)知功能,可能導(dǎo)致鎖定綜合癥——個體無法再發(fā)起交流,只能通過眨眼或最小的動作來回應(yīng)詢問。有多種系統(tǒng)(稱為替代和增強(qiáng)通信技術(shù))可幫助患有閉鎖綜合癥的人進(jìn)行交流,但這些系統(tǒng)需要付出努力,并且比正常語音慢得多(通常每分鐘僅幾個單詞)。腦機(jī)接口有潛力解決這些問題。

1969年,Macaca mulatta發(fā)表了第一個證明,可以訓(xùn)練受試者增加單個神經(jīng)元的活動,從而做出有意的行為。人體實(shí)驗(yàn)開始于20世紀(jì)90年代末,當(dāng)時將一個電極連接到患有運(yùn)動神經(jīng)元疾?。∥s側(cè)索硬化癥,ALS引起的閉鎖綜合征患者的神經(jīng)元。隨后在2006年進(jìn)行了一項(xiàng)研究,其中將毫米級電極陣列(稱為微電極)植入脊髓損傷患者的大腦中。這種微電極陣列(MEA)記錄了運(yùn)動皮層(負(fù)責(zé)控制隨意運(yùn)動的大腦區(qū)域)中數(shù)百個神經(jīng)元的活動,從而控制機(jī)械臂。MEA此后已被用于實(shí)現(xiàn)通信,例如通過解碼手寫嘗試。

腦電圖(EEG)的補(bǔ)充技術(shù)(將電極沿著頭皮放置以記錄大腦中的電活動)自1999年以來一直被使用,通過控制自定義拼寫軟件來幫助癱瘓患者進(jìn)行交流。大約在同一時間,人們發(fā)現(xiàn)放置在大腦表面的小盤形電極(直徑2 ~ 3毫米)可以獲得比使用頭皮電極獲得的質(zhì)量更高的信號。這種記錄大腦活動的方法稱為皮質(zhì)電圖(ECoG)。

2000年代初,ECoG電極被用于接受耐藥性癲癇手術(shù)的患者,以記錄與言語和身體運(yùn)動相關(guān)的大腦信號。這最終導(dǎo)致了第一個完全嵌入式ECoG設(shè)備的開發(fā),該設(shè)備使患有閉鎖綜合癥的人能夠在家使用打字程序。迄今為止,已有約50名不同程度癱瘓的人植入了腦機(jī)接口以進(jìn)行交流,其中大多數(shù)人使用MEA。

突破技術(shù)

a64f5462-43ac-11ee-a2ef-92fbcf53809c.png 圖1 將思想轉(zhuǎn)化為言語的先進(jìn)技術(shù) ?

加州大學(xué)舊金山分校華裔科學(xué)家張復(fù)倫報告了一位癱瘓參與者的研究結(jié)果,該患者在參加這項(xiàng)研究17年前經(jīng)歷了腦干中風(fēng),導(dǎo)致她的講話難以理解。張復(fù)倫的BCI系統(tǒng)采用了嵌入253個ECoG電極的硅片,每個電極都記錄了數(shù)千個神經(jīng)元的平均活動(圖1a)。該設(shè)備通過手術(shù)植入感覺運(yùn)動皮層的左側(cè)“面部區(qū)域”——大腦中服務(wù)于口腔和面部肌肉(包括聲道)的部分。該研究以之前的ECoG記錄報告為基礎(chǔ),其中包括植入另一個腦干中風(fēng)患者體內(nèi)的類似BCI。

大腦到文本的解碼是通過兩個系統(tǒng)的組合實(shí)現(xiàn)的:循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,一種人工神經(jīng)網(wǎng)絡(luò)),它運(yùn)行的算法可以破譯與發(fā)音器官(聲道的一部分)運(yùn)動相關(guān)的大腦活動;其次是語言模型,該模型以每分鐘78個單詞的速度從1024個單詞組成句子(盡管單詞錯誤率為25.5%)?;蛘?,將大腦信號直接翻譯成合成語音,對于1024個單詞的詞匯,單詞錯誤率為54.4%;較小詞匯量的錯誤率有所下降(119個單詞的詞匯量為8.2%)。BCI還解碼嘗試的面部表情,并使用數(shù)字化身再現(xiàn),從而為文本或語音提供視覺反饋,極大地豐富了參與者的溝通能力??傮w而言,與之前報道的ECoG BCI相比,該設(shè)備在詞匯量、通信速度和語音解碼的多功能性方面都有顯著改進(jìn)。

與此同時,斯坦福大學(xué)Francis R. Willett一作兼通訊,報道了通過使用兩個MEA(總共包含128個電極)從一名因ALS而無法清晰說話的參與者的左側(cè)感覺運(yùn)動面部區(qū)域的小斑塊進(jìn)行記錄(圖1b)。與張復(fù)倫教授及其同事的設(shè)備一樣,RNN和語言模型被用來將大腦信號翻譯成文本,并針對不同大小的詞匯進(jìn)行訓(xùn)練和測試。使用該設(shè)備,參與者能夠以平均每分鐘62個單詞的速度進(jìn)行交流,125000個單詞的詞匯錯誤率為23.8%,50個單詞的詞匯錯誤率為9.1%。

RNN使用參與者嘗試說出顯示器上顯示的260 ~ 480個句子時收集的神經(jīng)活動記錄進(jìn)行訓(xùn)練——整個過程平均每天需要140分鐘,持續(xù)8天。分析表明,這種日常訓(xùn)練可以大大減少,而不會造成很大的表現(xiàn)損失。重要的是,作者觀察到,從被廣泛認(rèn)為對語音產(chǎn)生至關(guān)重要的大腦區(qū)域(稱為布羅卡區(qū))記錄的神經(jīng)活動無法被解碼,這引發(fā)了關(guān)于該區(qū)域是否包含對語音解碼有用的信息的疑問。

a695d568-43ac-11ee-a2ef-92fbcf53809c.png 圖2 口面部運(yùn)動和嘗試言語的神經(jīng)表征 ?

意義與影響

這兩份報告構(gòu)成了重要的概念證明,即可以使用植入式腦機(jī)接口恢復(fù)通信,這兩個腦機(jī)接口代表了神經(jīng)科學(xué)和神經(jīng)工程研究的巨大進(jìn)步,并在提高因癱瘓神經(jīng)損傷和疾病而失聲的人的生活質(zhì)量方面顯示出巨大的希望。即使是允許用戶在輔助技術(shù)軟件中選擇字母或圖標(biāo)的基本BCI植入程序,也能為他們的日常生活帶來巨大的好處和滿意度??梢詫?shí)現(xiàn)通信的先進(jìn)BCI系統(tǒng)(例如這里討論的系統(tǒng))預(yù)計(jì)將產(chǎn)生更大的影響。

但有幾個問題需要進(jìn)一步調(diào)查才能得到更廣泛的使用。首先,這兩項(xiàng)研究中使用的語音模型都使用具有殘余(盡管微弱)發(fā)音運(yùn)動的參與者的模仿語音進(jìn)行訓(xùn)練和測試。現(xiàn)在需要更多的研究來證明對于缺乏殘余運(yùn)動的參與者(如鎖定綜合征(包括晚期ALS))的療效。另一個問題是,對于這兩種設(shè)備,高帶寬記錄是從數(shù)百個電極中獲取的,這些電極必須通過穿透皮膚的“基座”連接到外部放大器,這在美觀上沒有吸引力。需要開發(fā)完全植入式無線腦機(jī)接口,以復(fù)制或超越這些研究中報告的性能。

此外,高技能的研究人員積極參與了所報告的腦機(jī)接口的操作,但對于護(hù)理人員來說,如果沒有大量的培訓(xùn)和維護(hù),這些腦機(jī)接口仍然太復(fù)雜,無法在家庭環(huán)境中操作。未來將需要類似的、在最少或無需研究人員干預(yù)的情況下運(yùn)行的有效BCI系統(tǒng)。這需要使用以用戶為中心的設(shè)計(jì)原則,在臨床人群中進(jìn)行廣泛的開發(fā)和測試。目前還不清楚用戶對其他人語音的感知是否會導(dǎo)致大腦到文本解碼的錯誤,因?yàn)樵絹碓蕉嗟淖C據(jù)表明,除了語音產(chǎn)生之外,語音感知還會激活感覺運(yùn)動皮層。

最后,哪種BCI方法(MEA或ECoG)最能滿足用戶在現(xiàn)實(shí)應(yīng)用中的安全性和長期有效性方面的需求,還有待觀察。MEA從較小的皮質(zhì)區(qū)域捕獲豐富的功能信息,但信號往往不穩(wěn)定,需要頻繁更新語音解碼模型。此外,MEA的壽命可能會受到電極材料的降解和裝置的組織封裝的限制。ECoG電極需要植入的面積比MEA更大,但ECoG電極位于皮質(zhì)組織外部,通??梢远嗄晏峁┏錾男盘栙|(zhì)量,盡管它們會引起淺表組織反應(yīng)。

審核編輯:彭菁

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 計(jì)算機(jī)
    +關(guān)注

    關(guān)注

    19

    文章

    7663

    瀏覽量

    90834
  • 人工智能
    +關(guān)注

    關(guān)注

    1807

    文章

    49029

    瀏覽量

    249666
  • 程序
    +關(guān)注

    關(guān)注

    117

    文章

    3826

    瀏覽量

    83011
  • 腦機(jī)接口
    +關(guān)注

    關(guān)注

    10

    文章

    401

    瀏覽量

    22022

原文標(biāo)題:腦機(jī)接口研究獲重大突破,幫助失聲患者實(shí)現(xiàn)接近對話水平速度的交流能力

文章出處:【微信號:Micro-Fluidics,微信公眾號:微流控】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    自然語言處理包括哪些內(nèi)容 自然語言處理技術(shù)包括哪些

    (Speech Synthesis):將計(jì)算機(jī)生成的文本轉(zhuǎn)換為人類語言。 機(jī)器翻譯(Machine Translation):一種語言翻譯成
    的頭像 發(fā)表于 08-03 16:22 ?8829次閱讀

    計(jì)算機(jī)語言概述

    。Basic語言是典型的解釋型語言。編譯型翻譯程序也叫編譯程序,它在翻譯語言程序時,加工整個源程序,最終
    發(fā)表于 12-06 00:17

    Fortran的程序,要翻譯成matlab

    不知有哪位大神,能幫一下忙,有一段Fortran的程序,要翻譯成matlab,翻譯了一些但數(shù)據(jù)不對
    發(fā)表于 02-18 20:58

    cold crank, warm crank 具體翻譯成中文是什么

    cold crank, warm crank 翻譯成中文具體是什么場景, 越詳細(xì)越好!想入門汽車電子的小白現(xiàn)行謝過!
    發(fā)表于 05-23 14:26

    請問snap翻譯成中文是什么?

    snap翻譯成中文是什么 我查沒有對應(yīng)的翻譯
    發(fā)表于 05-07 07:35

    請問spartan3an支持mcs程序翻譯成位?

    我的合作伙伴項(xiàng)目交給我。它由pcb布局,sch,F(xiàn)PGA Mcs組成。主設(shè)備是spartan3an。在影響中,Ididnot發(fā)現(xiàn)它支持mcs文件。mcs可以翻譯成位嗎?以上來自于谷歌翻譯以下為原文
    發(fā)表于 07-18 09:43

    怎么符號翻譯成節(jié)拍?

    你好,我想了解一下符號翻譯成節(jié)拍的方法,反之亦然。在MLA中,在文件..h中寫入://Time單元,它是根據(jù)IEEE 802.15.4規(guī)范定義的。/一個刻度等于一個符號時間,或16Us。Tick
    發(fā)表于 09-11 11:38

    什么是程序?什么是計(jì)算機(jī)

    什么是程序?程序(Program)流程、議程、行程、…為了完成某項(xiàng)任務(wù),解決某個問題需要執(zhí)行的一系列步驟計(jì)算機(jī)程序為了完成某項(xiàng)任務(wù),解決某個問題由計(jì)
    發(fā)表于 11-23 09:02

    SignAloud手套美語手語翻譯成英語

    )翻譯成英語,然后將之說出來。它叫做SignAloud手套。 這兩名學(xué)生也因此獲得了10000美元的勒梅森-麻省理工學(xué)生獎金(Lemelson-MIT Student Prize)。這款手套內(nèi)置有傳感器,能夠通過測量坐標(biāo)和手指的彎曲,來捕捉美語手語信息。隨后,傳感器數(shù)據(jù)通過藍(lán)牙傳輸?shù)揭慌缘囊慌_
    的頭像 發(fā)表于 04-24 02:44 ?4480次閱讀

    計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)到底是怎么樣的

    通常由用戶用高級語言編寫程序,然后講它和數(shù)據(jù)一起送入計(jì)算機(jī)內(nèi),再由計(jì)算機(jī)將其翻譯成機(jī)器能識別的機(jī)器語言程序,機(jī)器自動運(yùn)行該機(jī)器語言
    的頭像 發(fā)表于 12-21 11:21 ?4645次閱讀

    為什么國內(nèi)silicon翻譯成硅而不是矽

    提到半導(dǎo)體,大家都知道各種處理器、閃存、內(nèi)存等芯片都是基于半導(dǎo)體技術(shù)的,而我們現(xiàn)在常用的半導(dǎo)體實(shí)質(zhì)上是硅基半導(dǎo)體,硅是這個行業(yè)最重要的材料。說到硅,很多人也見過另一個詞矽,為什么國內(nèi)現(xiàn)在翻譯成硅而不是矽了呢?
    的頭像 發(fā)表于 12-21 11:25 ?6197次閱讀

    計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)詳細(xì)說明

    通常由用戶用高級語言編寫程序,然后講它和數(shù)據(jù)一起送入計(jì)算機(jī)內(nèi),再由計(jì)算機(jī)將其翻譯成機(jī)器能識別的機(jī)器語言程序,機(jī)器自動運(yùn)行該機(jī)器語言
    的頭像 發(fā)表于 02-22 16:44 ?7243次閱讀

    借助手部動作控制機(jī)械臂的手語翻譯成文本語音手套

    電子發(fā)燒友網(wǎng)站提供《借助手部動作控制機(jī)械臂的手語翻譯成文本語音手套.zip》資料免費(fèi)下載
    發(fā)表于 10-21 11:57 ?0次下載
    借助手部動作控制機(jī)械臂的手語<b class='flag-5'>翻譯成文本</b>和<b class='flag-5'>語音</b>手套

    Python-環(huán)境與第一個程序

    計(jì)算機(jī)不能直接理解除機(jī)器語言外的語言,所以必須把程序員編寫的語言最終翻譯成機(jī)器語言,而翻譯成機(jī)器語言的工具
    的頭像 發(fā)表于 02-16 14:46 ?839次閱讀
    Python-環(huán)境與第一個<b class='flag-5'>程序</b>

    人工智能計(jì)算范式和理論總結(jié)趨勢

    傳統(tǒng)的語音文本翻譯是通過語音識別和文本機(jī)器翻譯的串聯(lián)實(shí)現(xiàn)。這個方法的缺點(diǎn)是推理過程中的錯誤會累加。ConST 可以直接
    發(fā)表于 06-07 11:35 ?976次閱讀
    人工智能<b class='flag-5'>計(jì)算</b>范式和理論總結(jié)趨勢