《Nature》雜志同時發(fā)表了兩篇新論文,幫助那些因腦損傷和疾病而失去語言能力的人恢復(fù)語言能力,向前邁出了重要一步。兩個多學(xué)科團(tuán)隊(duì)展示了最先進(jìn)的人工智能輔助腦機(jī)接口(BCI)系統(tǒng)的速度和準(zhǔn)確性的新記錄,帶來了前所未有的將大腦信號翻譯成句子的能力——速度接近正常語音,詞匯量超過1000個單詞。這些進(jìn)步為那些不能說話的人提供了以接近對話水平的速度進(jìn)行交流的能力,甚至展示了如何使用模仿患者聲音的計(jì)算機(jī)程序?qū)⑽谋局匦路g成語音。 背景
各種神經(jīng)系統(tǒng)疾病會麻痹對言語和肢體功能至關(guān)重要的肌肉,同時影響認(rèn)知功能,可能導(dǎo)致鎖定綜合癥——個體無法再發(fā)起交流,只能通過眨眼或最小的動作來回應(yīng)詢問。有多種系統(tǒng)(稱為替代和增強(qiáng)通信技術(shù))可幫助患有閉鎖綜合癥的人進(jìn)行交流,但這些系統(tǒng)需要付出努力,并且比正常語音慢得多(通常每分鐘僅幾個單詞)。腦機(jī)接口有潛力解決這些問題。
1969年,Macaca mulatta發(fā)表了第一個證明,可以訓(xùn)練受試者增加單個神經(jīng)元的活動,從而做出有意的行為。人體實(shí)驗(yàn)開始于20世紀(jì)90年代末,當(dāng)時將一個電極連接到患有運(yùn)動神經(jīng)元疾?。∥s側(cè)索硬化癥,ALS引起的閉鎖綜合征患者的神經(jīng)元。隨后在2006年進(jìn)行了一項(xiàng)研究,其中將毫米級電極陣列(稱為微電極)植入脊髓損傷患者的大腦中。這種微電極陣列(MEA)記錄了運(yùn)動皮層(負(fù)責(zé)控制隨意運(yùn)動的大腦區(qū)域)中數(shù)百個神經(jīng)元的活動,從而控制機(jī)械臂。MEA此后已被用于實(shí)現(xiàn)通信,例如通過解碼手寫嘗試。
腦電圖(EEG)的補(bǔ)充技術(shù)(將電極沿著頭皮放置以記錄大腦中的電活動)自1999年以來一直被使用,通過控制自定義拼寫軟件來幫助癱瘓患者進(jìn)行交流。大約在同一時間,人們發(fā)現(xiàn)放置在大腦表面的小盤形電極(直徑2 ~ 3毫米)可以獲得比使用頭皮電極獲得的質(zhì)量更高的信號。這種記錄大腦活動的方法稱為皮質(zhì)電圖(ECoG)。
2000年代初,ECoG電極被用于接受耐藥性癲癇手術(shù)的患者,以記錄與言語和身體運(yùn)動相關(guān)的大腦信號。這最終導(dǎo)致了第一個完全嵌入式ECoG設(shè)備的開發(fā),該設(shè)備使患有閉鎖綜合癥的人能夠在家使用打字程序。迄今為止,已有約50名不同程度癱瘓的人植入了腦機(jī)接口以進(jìn)行交流,其中大多數(shù)人使用MEA。
突破技術(shù)
圖1 將思想轉(zhuǎn)化為言語的先進(jìn)技術(shù) ?
加州大學(xué)舊金山分校華裔科學(xué)家張復(fù)倫報告了一位癱瘓參與者的研究結(jié)果,該患者在參加這項(xiàng)研究17年前經(jīng)歷了腦干中風(fēng),導(dǎo)致她的講話難以理解。張復(fù)倫的BCI系統(tǒng)采用了嵌入253個ECoG電極的硅片,每個電極都記錄了數(shù)千個神經(jīng)元的平均活動(圖1a)。該設(shè)備通過手術(shù)植入感覺運(yùn)動皮層的左側(cè)“面部區(qū)域”——大腦中服務(wù)于口腔和面部肌肉(包括聲道)的部分。該研究以之前的ECoG記錄報告為基礎(chǔ),其中包括植入另一個腦干中風(fēng)患者體內(nèi)的類似BCI。
大腦到文本的解碼是通過兩個系統(tǒng)的組合實(shí)現(xiàn)的:循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,一種人工神經(jīng)網(wǎng)絡(luò)),它運(yùn)行的算法可以破譯與發(fā)音器官(聲道的一部分)運(yùn)動相關(guān)的大腦活動;其次是語言模型,該模型以每分鐘78個單詞的速度從1024個單詞組成句子(盡管單詞錯誤率為25.5%)?;蛘?,將大腦信號直接翻譯成合成語音,對于1024個單詞的詞匯,單詞錯誤率為54.4%;較小詞匯量的錯誤率有所下降(119個單詞的詞匯量為8.2%)。BCI還解碼嘗試的面部表情,并使用數(shù)字化身再現(xiàn),從而為文本或語音提供視覺反饋,極大地豐富了參與者的溝通能力??傮w而言,與之前報道的ECoG BCI相比,該設(shè)備在詞匯量、通信速度和語音解碼的多功能性方面都有顯著改進(jìn)。
與此同時,斯坦福大學(xué)Francis R. Willett一作兼通訊,報道了通過使用兩個MEA(總共包含128個電極)從一名因ALS而無法清晰說話的參與者的左側(cè)感覺運(yùn)動面部區(qū)域的小斑塊進(jìn)行記錄(圖1b)。與張復(fù)倫教授及其同事的設(shè)備一樣,RNN和語言模型被用來將大腦信號翻譯成文本,并針對不同大小的詞匯進(jìn)行訓(xùn)練和測試。使用該設(shè)備,參與者能夠以平均每分鐘62個單詞的速度進(jìn)行交流,125000個單詞的詞匯錯誤率為23.8%,50個單詞的詞匯錯誤率為9.1%。
RNN使用參與者嘗試說出顯示器上顯示的260 ~ 480個句子時收集的神經(jīng)活動記錄進(jìn)行訓(xùn)練——整個過程平均每天需要140分鐘,持續(xù)8天。分析表明,這種日常訓(xùn)練可以大大減少,而不會造成很大的表現(xiàn)損失。重要的是,作者觀察到,從被廣泛認(rèn)為對語音產(chǎn)生至關(guān)重要的大腦區(qū)域(稱為布羅卡區(qū))記錄的神經(jīng)活動無法被解碼,這引發(fā)了關(guān)于該區(qū)域是否包含對語音解碼有用的信息的疑問。
圖2 口面部運(yùn)動和嘗試言語的神經(jīng)表征 ?
意義與影響
這兩份報告構(gòu)成了重要的概念證明,即可以使用植入式腦機(jī)接口恢復(fù)通信,這兩個腦機(jī)接口代表了神經(jīng)科學(xué)和神經(jīng)工程研究的巨大進(jìn)步,并在提高因癱瘓神經(jīng)損傷和疾病而失聲的人的生活質(zhì)量方面顯示出巨大的希望。即使是允許用戶在輔助技術(shù)軟件中選擇字母或圖標(biāo)的基本BCI植入程序,也能為他們的日常生活帶來巨大的好處和滿意度??梢詫?shí)現(xiàn)通信的先進(jìn)BCI系統(tǒng)(例如這里討論的系統(tǒng))預(yù)計(jì)將產(chǎn)生更大的影響。
但有幾個問題需要進(jìn)一步調(diào)查才能得到更廣泛的使用。首先,這兩項(xiàng)研究中使用的語音模型都使用具有殘余(盡管微弱)發(fā)音運(yùn)動的參與者的模仿語音進(jìn)行訓(xùn)練和測試。現(xiàn)在需要更多的研究來證明對于缺乏殘余運(yùn)動的參與者(如鎖定綜合征(包括晚期ALS))的療效。另一個問題是,對于這兩種設(shè)備,高帶寬記錄是從數(shù)百個電極中獲取的,這些電極必須通過穿透皮膚的“基座”連接到外部放大器,這在美觀上沒有吸引力。需要開發(fā)完全植入式無線腦機(jī)接口,以復(fù)制或超越這些研究中報告的性能。
此外,高技能的研究人員積極參與了所報告的腦機(jī)接口的操作,但對于護(hù)理人員來說,如果沒有大量的培訓(xùn)和維護(hù),這些腦機(jī)接口仍然太復(fù)雜,無法在家庭環(huán)境中操作。未來將需要類似的、在最少或無需研究人員干預(yù)的情況下運(yùn)行的有效BCI系統(tǒng)。這需要使用以用戶為中心的設(shè)計(jì)原則,在臨床人群中進(jìn)行廣泛的開發(fā)和測試。目前還不清楚用戶對其他人語音的感知是否會導(dǎo)致大腦到文本解碼的錯誤,因?yàn)樵絹碓蕉嗟淖C據(jù)表明,除了語音產(chǎn)生之外,語音感知還會激活感覺運(yùn)動皮層。
最后,哪種BCI方法(MEA或ECoG)最能滿足用戶在現(xiàn)實(shí)應(yīng)用中的安全性和長期有效性方面的需求,還有待觀察。MEA從較小的皮質(zhì)區(qū)域捕獲豐富的功能信息,但信號往往不穩(wěn)定,需要頻繁更新語音解碼模型。此外,MEA的壽命可能會受到電極材料的降解和裝置的組織封裝的限制。ECoG電極需要植入的面積比MEA更大,但ECoG電極位于皮質(zhì)組織外部,通??梢远嗄晏峁┏錾男盘栙|(zhì)量,盡管它們會引起淺表組織反應(yīng)。
審核編輯:彭菁
-
計(jì)算機(jī)
+關(guān)注
關(guān)注
19文章
7663瀏覽量
90834 -
人工智能
+關(guān)注
關(guān)注
1807文章
49029瀏覽量
249666 -
程序
+關(guān)注
關(guān)注
117文章
3826瀏覽量
83011 -
腦機(jī)接口
+關(guān)注
關(guān)注
10文章
401瀏覽量
22022
原文標(biāo)題:腦機(jī)接口研究獲重大突破,幫助失聲患者實(shí)現(xiàn)接近對話水平速度的交流能力
文章出處:【微信號:Micro-Fluidics,微信公眾號:微流控】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
自然語言處理包括哪些內(nèi)容 自然語言處理技術(shù)包括哪些
Fortran的程序,要翻譯成matlab
cold crank, warm crank 具體翻譯成中文是什么
請問spartan3an支持mcs程序翻譯成位?
怎么將符號翻譯成節(jié)拍?
什么是程序?什么是計(jì)算機(jī)
SignAloud手套將美語手語翻譯成英語
計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)到底是怎么樣的
為什么國內(nèi)將silicon翻譯成硅而不是矽
計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)詳細(xì)說明
借助手部動作控制機(jī)械臂的手語翻譯成文本和語音手套

人工智能計(jì)算范式和理論總結(jié)趨勢

評論