無(wú)需打字、無(wú)需搜索表情，只需對(duì)著手機(jī)微笑，就能發(fā)出微笑表情包。

同樣的，對(duì)著手機(jī)皺眉，就能發(fā)出皺眉表情包。

以上功能來(lái)自一款名為 C-Face 耳機(jī)的設(shè)備，它誕生于康奈爾大學(xué)華人科學(xué)家張鋮的 SciFi 實(shí)驗(yàn)室。他近日以通訊作者身份在 UIST 2020（User Interface Software and Technology）會(huì)議上發(fā)表了這項(xiàng)研究，論文名為《即使戴著口罩耳機(jī)也可以跟蹤面部表情》（Earphone tracks facial expressions, even with a face mask）。 圖 | 張鋮（來(lái)源：受訪(fǎng)者） 除張鋮之外，論文第一作者還有來(lái)自北京大學(xué)、目前在康奈爾大學(xué)訪(fǎng)問(wèn)的本科生陳拓潮。 論文表示，該耳機(jī)可通過(guò)觀(guān)察臉頰輪廓，來(lái)連續(xù)跟蹤面部表情，并能把表情轉(zhuǎn)換為表情符號(hào)、或無(wú)聲語(yǔ)音命令。DeepTech 聯(lián)系到張鋮，并就該耳機(jī)和其進(jìn)行了深入交流。 圖 | 耳機(jī)的展示視頻 他表示，C-Face 耳機(jī)是實(shí)驗(yàn)室系列研究的其中一款設(shè)備。該系列研究主要探索信息的獲知，如果缺乏信息，計(jì)算機(jī)就很難理解人類(lèi)動(dòng)機(jī)和行為。而 SciFi 實(shí)驗(yàn)室的長(zhǎng)期工作，是致力于提升人機(jī)交流，但是第一步，計(jì)算機(jī)需要獲取到信息。 攝像頭是獲取信息的最常用手段之一，比如在室內(nèi)外布置攝像頭，并且攝像頭必須沒(méi)有遮擋，這就導(dǎo)致傳統(tǒng)的 “攝像頭方法” 會(huì)在某些場(chǎng)景中失靈。比如，在獲取臉部表情時(shí)，是用攝像頭直接 “捕捉” 人臉，但用戶(hù)在外面時(shí)，不可能時(shí)刻臉部對(duì)著攝像頭。 而本次的 C-Face 耳機(jī)，正是一款可用于實(shí)時(shí)獲取臉部信息的耳機(jī)。其原理是，由于人臉有很多肌肉，肌肉之間相互連接，臉部在做不同表情時(shí)，其他肌肉也會(huì)被牽動(dòng)，嘴巴、眼睛和眉毛的位置與形狀也會(huì)發(fā)生變化。基于此，經(jīng)該實(shí)驗(yàn)室的設(shè)計(jì)后，耳機(jī)可通過(guò)比較容易捕捉到的肌肉變化來(lái)推測(cè)出面部表情。

圖 | 不戴口罩時(shí)戴著耳機(jī)做表情 由于新冠疫情的影響，研究人員只能在 9 名參與者的情況下測(cè)試耳機(jī)。盡管如此，表情符號(hào)的識(shí)別準(zhǔn)確度仍然超過(guò) 88％，面部提示的準(zhǔn)確度超過(guò) 85％。

圖 | 戴口罩時(shí)戴著耳機(jī)做表情 具體來(lái)說(shuō)，耳機(jī)內(nèi)置兩個(gè)迷你攝像頭，它們可以捕捉到側(cè)面臉頰形狀，并通過(guò)臉頰形狀來(lái)判斷你的臉部表情。因?yàn)槿嗽趫?zhí)行面部特征時(shí)，面部肌肉組織就會(huì)拉伸和收縮，進(jìn)而推動(dòng)和拉動(dòng)毛孔和皮膚，并對(duì)面部肌肉組織的緊繃產(chǎn)生影響，這種影響會(huì)導(dǎo)致臉頰輪廓發(fā)生改變。

在耳機(jī)中，攝像頭可以傳輸數(shù)據(jù)，數(shù)據(jù)會(huì)傳輸?shù)?a target="_blank">微處理器（Raspberry Pi），微處理器收集數(shù)據(jù)，并把它發(fā)到計(jì)算機(jī)上，這時(shí)深度學(xué)習(xí)算法就能開(kāi)始工作。 深度學(xué)習(xí)在耳機(jī)中的應(yīng)用 很多情況下，深度學(xué)習(xí)在數(shù)據(jù)上的效果，比傳統(tǒng)機(jī)器學(xué)習(xí)的效果更好。本次耳機(jī)之要想實(shí)現(xiàn)根據(jù)側(cè)臉和臉頰形狀來(lái)推斷整個(gè)面部表情，其實(shí)并不容易，因?yàn)槊總€(gè)人的側(cè)臉都不一樣。 因此，就得通過(guò)深度學(xué)習(xí)來(lái)采集訓(xùn)練數(shù)據(jù)，具體做法是先采集到用戶(hù)臉頰變化情況，并結(jié)合前置攝像頭來(lái)捕捉面部表情，以標(biāo)記出相對(duì)應(yīng)的臉部表情。 這相當(dāng)于攝像頭每一幀圖片，都有一個(gè)對(duì)應(yīng)的面部表情。采集到訓(xùn)練數(shù)據(jù)后，研究人員就能發(fā)掘出不同臉頰形狀與面部表情間的復(fù)雜對(duì)應(yīng)關(guān)系。

張鋮表示，深度學(xué)習(xí)的好處是能通過(guò)復(fù)雜學(xué)習(xí)，來(lái)學(xué)習(xí)一些人類(lèi)不擅長(zhǎng)的技能。有的技能人類(lèi)很擅長(zhǎng)，比如一眼就能識(shí)別某些物體。但有些技能人類(lèi)并不擅長(zhǎng)，比如只根據(jù)側(cè)面臉頰，我們很難判斷出臉部全部形狀。 深度學(xué)習(xí)的能力是，可通過(guò)算法找出事物間的復(fù)雜聯(lián)系，從而根據(jù)側(cè)部面頰，準(zhǔn)確推斷出面部表情。 具體工作時(shí)，在攝像機(jī)捕獲圖像后，計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)模型會(huì)對(duì)其進(jìn)行重建。由于原始數(shù)據(jù)是二維的，因此卷積神經(jīng)網(wǎng)絡(luò)（一種擅長(zhǎng)對(duì)圖像進(jìn)行分類(lèi)、檢測(cè)和檢索的人工智能模型）有助于將輪廓重構(gòu)為表達(dá)式。 此外，該模型可將臉頰圖像轉(zhuǎn)換為 42 個(gè)面部特征點(diǎn)，它們分別代表受表情變化影響最大的部位，如嘴巴、眼睛、眉毛等。 這 42 個(gè)特征點(diǎn)代表的面部表情，也可用于推測(cè)出 8 個(gè)表情符號(hào)，包括 “無(wú)表情”“生氣” 和 “ Kissy-face”，另外還有 8 個(gè)可用于控制音樂(lè)設(shè)備的靜音語(yǔ)音命令，如 “播放” ，“下一首” 和 “音量增大” 等。

相比傳統(tǒng)方法用前置攝像頭來(lái)識(shí)別表情，C-Face 耳機(jī)的獨(dú)特優(yōu)勢(shì)是戴著口罩也能被耳機(jī)捕捉到表情，即攝像機(jī)無(wú)需對(duì)著人臉，只需觀(guān)察從耳朵到側(cè)面臉頰的形狀就能識(shí)別表情。 因?yàn)榧词鼓愦髦谡郑ǔ罂谡殖猓?，?cè)面臉頰形狀并不會(huì)發(fā)生巨大改變，這時(shí)深度學(xué)習(xí)仍然可以工作。

本次研究還展示了 C-Face 耳機(jī)的兩大功能：無(wú)聲語(yǔ)音識(shí)別和前文的輸入表情包。 無(wú)聲語(yǔ)音識(shí)別指的是，一般的語(yǔ)音識(shí)別，都是通過(guò)聲音來(lái)識(shí)別。如果不通過(guò)聲音，是否也能識(shí)別？因?yàn)?，假如你在開(kāi)會(huì)、看電影等場(chǎng)合，突然說(shuō)話(huà)就會(huì)很奇怪。再就是，當(dāng)周?chē)泻芏嘣胍?，即便說(shuō)話(huà)也無(wú)法識(shí)別。 而 C-Face 耳機(jī)可通過(guò)分析用戶(hù)表情，來(lái)識(shí)別沉默的語(yǔ)音指令。這一功能的常見(jiàn)應(yīng)用場(chǎng)景有，當(dāng)你跑步時(shí)只需做個(gè)嘴形，相關(guān)智能設(shè)備就能以非常私密的方式，來(lái)獲悉你的指令。 另一個(gè)可以想象的應(yīng)用場(chǎng)景是健康預(yù)測(cè)，張鋮表示，未來(lái)該耳機(jī)有望連續(xù)記錄表情。獲得大量表情數(shù)據(jù)后，就可獲知用戶(hù)每天的心情狀況。這樣大量的情緒信息，還可幫助計(jì)算機(jī)了解用戶(hù)的精神健康狀況。

兩款耳機(jī)：入耳式和頭戴式 本次耳機(jī)分為兩款：入耳式和頭戴式，功能上它們非常類(lèi)似。張鋮表示，它們所屬項(xiàng)目都叫 C-Face，該項(xiàng)目并不局限于某一種特定的設(shè)備，只是在本次論文中展示了入耳式耳機(jī)和頭戴式耳機(jī)。 唯一的區(qū)別是，兩種耳機(jī)的攝像頭位置略微不同。頭戴耳機(jī)相對(duì)大一點(diǎn)，有較大空間放攝像頭。 談及耳機(jī)是否可用于 VR 游戲，張鋮表示，經(jīng)常有人問(wèn)他這個(gè)問(wèn)題，而他的答案一直是 Yes or NO。 即當(dāng)然可以用在 VR 上面，但以他了解到的最新技術(shù)來(lái)說(shuō)，VR 眼鏡已有更好的解決方案。 VR 眼鏡本身已經(jīng)很大，通過(guò)在上面加設(shè)備來(lái)捕捉人的表情，此前已經(jīng)有人做過(guò)。而 C-Face 耳機(jī)的好處是它非常小，日?？梢赃M(jìn)行穿戴。因此，他覺(jué)得 VR 眼鏡不一定是 C-Face 耳機(jī)最核心的爆點(diǎn)。

他舉例稱(chēng)，該實(shí)驗(yàn)室的耳機(jī)可以潛在地提供視頻聊天功能?，F(xiàn)在的視頻聊天，都需要用戶(hù)面前放置一個(gè)攝像頭 （桌子上或者手舉著）。 但如果用耳機(jī)來(lái)聊天，耳機(jī)自己就能捕捉你的面部表情，你也不需要把攝像頭對(duì)著臉，你的朋友時(shí)時(shí)刻刻都能看到你的臉，包括走路時(shí)、開(kāi)車(chē)時(shí)、甚至做飯時(shí)都可以跟人聊天。 解決功耗問(wèn)題，就能加速落地 談及商業(yè)落地，張鋮表示本次論文發(fā)表后，有廠(chǎng)商已經(jīng)和他們聯(lián)系討論一些初步的合作可能性。但想在短期內(nèi)實(shí)現(xiàn)到現(xiàn)有設(shè)備，最需要解決的仍然是可穿戴設(shè)備上的功耗問(wèn)題。而這一難題，超出了該實(shí)驗(yàn)室的能力，因此需要工業(yè)界投入資金去優(yōu)化功耗問(wèn)題。

目前的耳機(jī)，是研究人員買(mǎi)來(lái)零件組裝的，攝像頭可以選配，只是價(jià)錢(qián)和分辨率會(huì)有區(qū)別。在零件的選擇上，他們未做過(guò)高要求，目的是讓設(shè)備更快速落地成產(chǎn)品。 他認(rèn)為，該實(shí)驗(yàn)室做這款設(shè)備，更多是著眼于未來(lái)。他們做研究的目的，更多是描述研究人員眼中的未來(lái)可能性。 張鋮表示，未來(lái)的攝像頭可能會(huì)變得非常小、功耗也非常低。盡管現(xiàn)在的耳機(jī)只是實(shí)驗(yàn)室設(shè)備，但是如果能耗問(wèn)題得以解決，它有可能在 5 到 10 年后實(shí)現(xiàn)應(yīng)用。 如果想把小型攝像頭利用到現(xiàn)有設(shè)備上，能耗是個(gè)很大的問(wèn)題。因?yàn)?，攝像頭會(huì)耗電，處理攝像頭數(shù)據(jù)也會(huì)耗電，這是該設(shè)備的最大局限性。 就落地為產(chǎn)品來(lái)說(shuō)，頭戴式耳機(jī)短期內(nèi)可能相對(duì)方便一點(diǎn)，因?yàn)樗梢苑胖酶蟮碾姵?。?duì)于入耳式耳機(jī)，該實(shí)驗(yàn)室未來(lái)也會(huì)尋找更加低功耗的方法來(lái)解決問(wèn)題。

因?yàn)槿绻褦z像頭裝在耳機(jī)上，那么攝像頭的耗電量肯定比耳機(jī)多。這種情況下，無(wú)論產(chǎn)品有多么酷炫，如果使用十分鐘就沒(méi)電了，也不會(huì)有人愿意購(gòu)買(mǎi)。 如果想快速推出該耳機(jī)，可能只能先實(shí)現(xiàn)一部分功能，因?yàn)楣I(yè)界做產(chǎn)品都有一個(gè)提前周期，比如要想現(xiàn)在發(fā)布一款產(chǎn)品，可能兩年前就得開(kāi)始規(guī)劃。 與此同時(shí)，該實(shí)驗(yàn)室并不局限于耳機(jī)，他們關(guān)注的是 “無(wú)處不在的計(jì)算和人機(jī)交互”，未來(lái)還有可能研發(fā)出智能耳環(huán)、智能衣服，而他們的愿望就是讓似乎無(wú)法智能的物體也變得智能起來(lái)。 -End-

原文標(biāo)題：耳機(jī)可檢測(cè)表情？戴著口罩也可以，華人科學(xué)家新發(fā)明讓人臉變成“表情包”

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq