面部表情是人類通過面部肌肉的運動和變化來表達情緒、態(tài)度和反應(yīng)的重要表達渠道。面部表情識別是指利用技術(shù)自動檢測和分析面部表情的變化，以識別和分類不同的情緒狀態(tài)。近年來的研究推動了面部表情識別技術(shù)的發(fā)展，但仍存在一些不足，其中主要原因是目前的研究主要依靠單一傳感器信號進行面部表情識別，這可能導(dǎo)致以下問題：從單個傳感器信號中提取的面部表情特征有限，數(shù)據(jù)量不足，在采集過程中容易受到外部因素的干擾，降低了系統(tǒng)的抗干擾能力。上述問題將導(dǎo)致人臉表情識別系統(tǒng)的準確性下降，影響其整體魯棒性。

為了解決這一問題，山東大學(xué)李陽教授團隊創(chuàng)造性地提出了一種融合多傳感器信號的方法，采集更多的面部表情分類特征，提高了面部表情識別的準確率。通過使用生物相容性材料制備柔性傳感器，并集成多個傳感器信號，有望克服單個信號的局限性，提高系統(tǒng)的魯棒性、識別精度和可穿戴性。該研究以“Machine-Learning Enabled Biocompatible Capacitive-Electromyographic Bimodal Flexible Sensor for Facial Expression Recognition”為題，發(fā)表在最新一期《Advanced Functional Materials》上，濟南大學(xué)碩士郜建強為第一作者，濟南大學(xué)牛閎森副教授、青島大學(xué)李元岳副教授和山東大學(xué)李陽教授為論文共同通訊作者。

【基于電容-肌電雙模傳感器的面部表情識別系統(tǒng)的概念圖】

本研究提出了一種電容-肌電雙模傳感器（CEDS）用于獲取高保真的電容和肌電信號，并結(jié)合一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）算法構(gòu)建了一個先進的面部表情識別系統(tǒng)，實現(xiàn)了面部表情的高精度識別（圖1a）。對傳感器進行生物相容性和抑菌性測試。結(jié)果表明，它穿著舒適，具有良好的耐磨性，并表現(xiàn)出優(yōu)異的生物相容性和抑菌性能。


圖1 基于柔性傳感器的面部表情識別系統(tǒng)的概念圖、表征和生物相容性測試
【CEDS的性能測試】

CEDS由電容式壓力傳感單元和用于電生理信號監(jiān)測的干電極組成，并使用3D堆疊方法組裝。其中，上部為電容式壓力傳感器，電極基板采用混合液相分離法制備多孔結(jié)構(gòu)，以提高電容性能。使用靜電紡絲構(gòu)建介電層，以產(chǎn)生具有紡錘結(jié)（SK）結(jié)構(gòu)的納米纖維膜，在電極層和介電層之間形成雙耦合微觀結(jié)構(gòu)。此外，1-丁基-2,3-二甲基咪唑氯化物鹽（BMMICl）的摻雜實現(xiàn)了雙電層（EDL）效應(yīng)，顯著提高了傳感器的性能。與凝膠電極相比，使用干電極簡化并縮短了生理電信號信號的采集過程。此外，由于需要與皮膚直接接觸，傳統(tǒng)的凝膠電極通常會造成皮膚刺激和感染的風險，而干電極更有可能滿足生物相容性要求。因此，干電極傳感器用于電生理信號監(jiān)測，解決了水凝膠電極引起的皮膚刺激和失水問題，更適合長期使用。

圖2 CEDS的電容響應(yīng)性能
圖3 CEDS的電生理信號響應(yīng)性能

【面部表情識別系統(tǒng)的應(yīng)用】

面部表情是表達情感和意圖的主要方式之一，涵蓋了豐富的情感和認知信息。人臉的主要肌肉群幫助我們實現(xiàn)各種豐富的表情，如圖4a所示。與僅使用單個信號識別面部表情的傳統(tǒng)方法不同，作者結(jié)合了面部EMG信號和電容信號，通過綜合分析這兩個信號的特征來提高面部表情識別的準確性（圖4b）。該系統(tǒng)包括電容式數(shù)字轉(zhuǎn)換器（CDC）模塊、EMG信號采集模塊、主控制芯片（MCU）和藍牙模塊。它能夠同時采集電容和EMG信號，并通過藍牙將其無線傳輸?shù)街鳈C，用于數(shù)據(jù)分析和面部表情識別。在本研究中，創(chuàng)新性地捕獲了面部表情變化過程中的電容信號和肌電信號，并利用1D-CNN進行分類。這兩種信號的協(xié)同效應(yīng)提供了更多的面部表情特征，顯著提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果和分類能力，大大提高了面部表情識別的準確性。

圖4、5 基于一維卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別系統(tǒng)

總結(jié)：在這項工作中，作者提出了一種電容-肌電雙模傳感器，結(jié)合1D-CNN實現(xiàn)了高精度的面部表情分類。為了提高電容響應(yīng)性能，巧妙地引入PVDF膜的多孔結(jié)構(gòu)和PVA/BMMICl膜的SK結(jié)構(gòu)，在電極層和介電層之間創(chuàng)建雙耦合微觀結(jié)構(gòu)；同時，通過摻雜BMMICl，電容式傳感器產(chǎn)生了EDL效應(yīng)，有效地提高了傳感器的響應(yīng)性能。此外，干電極傳感器用于電生理信號監(jiān)測，克服了與水凝膠電極相關(guān)的皮膚刺激和失水問題，并顯示出更好的長期使用適用性。通過細胞毒性和細菌抑制試驗驗證了CEDS的良好生物相容性和抗菌性能。最后，作者探索了一種基于離子電效應(yīng)的疲勞駕駛監(jiān)測系統(tǒng)、一種基于電生理信號監(jiān)測的機器人控制系統(tǒng)和一種結(jié)合電容和肌電信號的面部表情識別系統(tǒng)，該系統(tǒng)能夠?qū)崟r監(jiān)測和識別八種面部表情。研究表明，CEDS顯著提高了識別精度，展示了其在面部表情監(jiān)測系統(tǒng)中的巨大潛力，并為智能可穿戴設(shè)備和人機交互技術(shù)的發(fā)展提供了寶貴的見解。

審核編輯 黃宇