在很多科幻電影中經(jīng)常會出現(xiàn)以下炫酷的場景：無需鍵盤也能打字，無需控制器也可以玩電子游戲，無需方向盤也能駕駛汽車。

由加州大學(xué)伯克利分校（University of California at Berkeley）、蘇黎世IBM研究院（IBM Research Zurich）、博洛尼亞大學(xué)（University of Bologna）等多家研究機構(gòu)的的工程師們聯(lián)合開發(fā)出了一種新型可穿戴設(shè)備或許可以實現(xiàn)這些場景。該項研究以《A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition》為題，在線發(fā)表在 《Nature Electronics》上。

研究人員設(shè)計并開發(fā)的這種新型可穿戴設(shè)備通過將可穿戴生物傳感器與人工智能相結(jié)合，利用該設(shè)備可以獲取佩戴者前臂的電信號，根據(jù)電信號模式，識別出他計劃做出的手勢。研究人員表示，該設(shè)備有望用于控制假肢，并且可與各種類型的電子設(shè)備進(jìn)行交互。

對于該項技術(shù)，加州大學(xué)伯克利分校博士 Ali Moin 表示：“假肢是該項技術(shù)的重要應(yīng)用之一，它同時也提供了一種非常直觀的、可與計算機交互的方式。改善人機交互的方式有很多種，比如利用攝像頭和計算機視覺技術(shù)，而讀取手勢是一個很好的解決方案，同時，該種方式還可以保護(hù)個人隱私?！?/p>

引入機器學(xué)習(xí)模型進(jìn)行本地信號處理的系統(tǒng)具有許多優(yōu)勢，但同樣面臨著多種問題，在低功耗嵌入式處理器中，所使用的機器學(xué)模型通常需要事先進(jìn)行離線訓(xùn)練，如果訓(xùn)練達(dá)不到預(yù)期效果，模型的分類精度就會降低，導(dǎo)致性能欠佳或用戶體驗不佳等問題。

為了解決當(dāng)前可穿戴生物傳感設(shè)備面臨的技術(shù)壁壘，Moin 等人通過檢測人體皮膚表面肌電圖（surface electromyography，sEMG），研發(fā)了可穿戴的高密度 sEMG 生物傳感系統(tǒng)。該可穿戴系統(tǒng)總重量為 26g，佩戴十分方便；系統(tǒng)所使用的電池為 3.7V、240mAh 的鋰離子電池，連續(xù)手勢識別續(xù)航時間長達(dá) 6 小時。

sEMG 可穿戴生物傳感系統(tǒng)。a. 位于前臂上的設(shè)備；b. 絲網(wǎng)印刷過程的圖解；c. 定制設(shè)計的 16*4 電極陣列；d. 小型八層 PCB 電路板；e. 構(gòu)成可穿戴系統(tǒng)的主要組件的框架圖。

為了創(chuàng)建手勢識別系統(tǒng)，研究人員設(shè)計了一個靈活的臂帶。該臂帶可以讀取佩戴者前臂上 64 個不同點的電信號，并將電信號輸入到一個使用 AI 算法編程的電子芯片中。與其他人工智能算法一樣，該算法首先要“學(xué)習(xí)”手臂上檢測到的電信號，并與特定的手勢相關(guān)聯(lián)。要實現(xiàn)這一點，每個用戶都必須戴上臂帶，同時逐一做出手勢。

（學(xué)術(shù)頭條制作，素材來自 YouTube）

研究人員表示，該生物傳感系統(tǒng)穿戴體驗還可以，并且可以提供快速的初始訓(xùn)練，自適應(yīng)性較強，這一特點對于可穿戴的人機界面應(yīng)用至關(guān)重要。然而，目前該系統(tǒng)所檢測的生理信號并不穩(wěn)定。

研究人員在該設(shè)備中使用超維計算（HDC）來實現(xiàn)傳感器中的自適應(yīng)學(xué)習(xí)，通過本地數(shù)據(jù)實時訓(xùn)練、推理和模型更新，來適應(yīng)不斷變化的情境，對手勢分類進(jìn)行實時推斷的實時推斷。例如，如果設(shè)備佩戴者的手臂上有汗水或手臂舉過頭頂，與特定手勢相關(guān)的電信號會發(fā)生變化，HD 算法可以將這些新信息納入其模型。

Moin表示：“在手勢識別中，sEMG 信號會隨著時間的推移而改變，這可能會影響模型的性能，我們能夠通過更新設(shè)備上的模型來大大提高分類精度?！?/p>

研究中使用的手勢類別和 sEMG 記錄特征

上圖中，圖a為單自由度手勢子集包括單個手指的彎曲（flex.）和伸展（ext.）以及“休息”手勢。多自由度手勢子集包括涉及多個手指的等距手勢。圖b展示的是中指屈伸過程中所有64個通道的原始波形記錄。根據(jù)對參與者的指示，每個11秒鐘的手勢試驗均分為1.5 s休息，2 s過渡到手勢，4 s保持期，2 s過渡到休息和1.5 s休息。波形的顏色表示sEMG的局部幅度。圖e是在所有單自由度手勢的執(zhí)行過程中，三種比較系統(tǒng)在所有通道的總信噪比分布。陰影區(qū)域是信噪比值的概率密度直方圖。直線是符合分布的高斯核。向下的三角形代表中值。

編碼的時空超向量（spatiotemporal hypervectors）既可以用作創(chuàng)建或更新模型的訓(xùn)練示例，也可以用作使用訓(xùn)練后的模型進(jìn)行推理的查詢。研究人員將這些原型超向量存儲在關(guān)聯(lián)存儲器（AM）中，這是一次完全前饋操作，只需傳遞一次訓(xùn)練數(shù)據(jù)即可（下圖a）。 這與其他受神經(jīng)啟發(fā)的方法形成對比，在其他方法中，訓(xùn)練通常采用復(fù)雜的迭代框架，并且比分類對計算的要求更高。

用于訓(xùn)練、訪問和上下文更新的AM操作

研究人員比較了該項技術(shù)在基準(zhǔn)環(huán)境中實時進(jìn)行傳感器內(nèi)分類性能。如下圖所示。

在基準(zhǔn)環(huán)境中實時進(jìn)行傳感器內(nèi)分類性能

上圖a展示了在基線上下文測試的4 s保持期內(nèi)，用于實時實驗的分類混淆矩陣。白色文本值是正確預(yù)測的百分比，紅色文本值是錯誤預(yù)測的百分比?；叶炔噬尘按眍A(yù)測類別的比例。圖b為四種手勢試驗的實時預(yù)測輸出示例。對于每個手勢測試，最上方的圖表顯示所有通道在50毫秒段內(nèi)計算出的特征。底部圖顯示了相對于試用時間的20 Hz分類結(jié)果。紫色豎線表示在第一個過渡時期中離線計算的手勢開始，在第二個過渡時期中表示手勢偏移。預(yù)測的垂直位置表示手勢類別，并且基于相對于脫機估計的地面真相標(biāo)簽的準(zhǔn)確性，對預(yù)測進(jìn)行顏色編碼。

圖c展示了在所有基線上下文測試中，手勢開始對齊（左）和偏移對齊（右）的預(yù)測統(tǒng)計數(shù)據(jù)。前13行中的每一行均顯示給定手勢的平均20 Hz分類結(jié)果，其中深色塊表示較高的比例。綠色方框表示正確的預(yù)測；紅色塊表示錯誤的預(yù)測。底部圖顯示了相對于開始時間和偏移時間，正確（綠色）和錯誤（紅色）分類隨時間的百分比。

傳感器內(nèi)訓(xùn)練，更新和分類結(jié)果

上圖為傳感器內(nèi)訓(xùn)練，更新和分類結(jié)果。每個實驗有兩名參與者進(jìn)行三次。條形表示所有六個試驗的平均準(zhǔn)確度，每個試驗的數(shù)據(jù)點重疊。a.用新的手勢更新HD分類模型的能力。最初的模型只在單自由度手勢上進(jìn)行訓(xùn)練和測試（黃條）。模型隨后更新為多自由度手勢，以覆蓋所有21個手勢（綠色條）。還顯示了僅通過多自由度手勢進(jìn)行訓(xùn)練和測試的單獨模型的結(jié)果（藍(lán)色條）。b，使用單自由度手勢更新HD分類模型的能力。對于三種不同的上下文變化（手臂位置、新磨損和長時間磨損），在初始上下文（步驟1）上訓(xùn)練初始模型，并在初始上下文（步驟2）和新上下文（步驟3）上測試（實心條）。然后，模型在新的環(huán)境（第4步）中使用每個手勢的單一試驗來更新（第5步和第6步），并在兩種環(huán)境（條紋條）中再次測試（第5步和第6步）。更新的模型只在新的磨損階段和長時間磨損實驗的新上下文中測試，因為舊的上下文不再可用。

通過模型訓(xùn)練，該系統(tǒng)成功識別了 21 個單獨的手勢，包括豎起大拇指、握拳、平手、舉起單個手指和數(shù)數(shù)字。

該設(shè)備的另一個優(yōu)點是，所有的數(shù)據(jù)運算都在設(shè)備中集成的芯片上進(jìn)行，無需將個人數(shù)據(jù)傳送到附近的電腦或設(shè)備上，這不僅加快了計算速度，還確保了個人生物數(shù)據(jù)的私密性。

論文通訊作者之一、加州大學(xué)伯克利分校Jan Rabaey教授 表示：“當(dāng)亞馬遜或蘋果公司創(chuàng)建他們的算法時，他們會在云端運行一堆軟件來創(chuàng)建模型，然后將模型下載到設(shè)備上。但是，在設(shè)備的使用過程中，往往會被所輸入的特定模型所困。而我們設(shè)計的算法在設(shè)備就能完成學(xué)習(xí)的過程，而且它的速度極快，你只需要執(zhí)行一次，它就會開始做這項工作。你做的次數(shù)越多，設(shè)備的性能就會變得越好?！?br /> 責(zé)任編輯人：CC