新加坡南洋理工大學(xué)（NTU新加坡）的科學(xué)家開(kāi)發(fā)了一種人工智能（AI）系統(tǒng)，該系統(tǒng)通過(guò)將類似皮膚的電子設(shè)備與計(jì)算機(jī)視覺(jué)結(jié)合起來(lái)來(lái)識(shí)別手勢(shì)。

在過(guò)去的十年中，人工智能系統(tǒng)對(duì)人的手勢(shì)的識(shí)別已成為一項(xiàng)有價(jià)值的發(fā)展，并且已被高精度的外科手術(shù)機(jī)器人，健康監(jiān)測(cè)設(shè)備和游戲系統(tǒng)采用。

通過(guò)整合可穿戴式傳感器的輸入，改進(jìn)了最初僅用于視覺(jué)的AI手勢(shì)識(shí)別系統(tǒng)，這種方法稱為“數(shù)據(jù)融合”?？纱┐魇絺鞲衅骺芍亟ㄆつw的感知能力，其中之一被稱為“體感”。

但是，手勢(shì)識(shí)別精度仍然受到可穿戴式傳感器提供的數(shù)據(jù)質(zhì)量低的困擾，這通常是由于它們的體積大，與用戶的接觸不良以及視覺(jué)上受阻的物體和光線不足的影響。視覺(jué)和感官數(shù)據(jù)的集成帶來(lái)了進(jìn)一步的挑戰(zhàn)，因?yàn)樗鼈兇砹瞬黄ヅ涞臄?shù)據(jù)集，必須分別處理然后在最后合并，這效率低下，導(dǎo)致響應(yīng)時(shí)間變慢。

為了應(yīng)對(duì)這些挑戰(zhàn)，NTU團(tuán)隊(duì)創(chuàng)建了一個(gè)“生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)使用由單壁碳納米管制成的類似于皮膚的可拉伸應(yīng)變傳感器，以及一種類似于皮膚的感知和視覺(jué)處理方式的AI方法。大腦。

NTU科學(xué)家通過(guò)在一個(gè)系統(tǒng)中結(jié)合三種神經(jīng)網(wǎng)絡(luò)方法來(lái)開(kāi)發(fā)他們的生物啟發(fā)式AI系統(tǒng)：他們使用了“卷積神經(jīng)網(wǎng)絡(luò)”，這是一種用于早期視覺(jué)處理的機(jī)器學(xué)習(xí)方法，是一種多層神經(jīng)網(wǎng)絡(luò)，用于早期的體感信息處理，和“稀疏神經(jīng)網(wǎng)絡(luò)”將視覺(jué)和體感信息融合在一起。

結(jié)果是該系統(tǒng)可以比現(xiàn)有方法更準(zhǔn)確，更有效地識(shí)別人的手勢(shì)。

該研究的主要作者，南大材料科學(xué)與工程學(xué)院的陳曉東教授說(shuō)：“我們的數(shù)據(jù)融合架構(gòu)具有其自身獨(dú)特的生物啟發(fā)特征，其中包括類似于人體感覺(jué)-視覺(jué)融合層次的人工系統(tǒng)。大腦。我們相信這些功能使我們的架構(gòu)對(duì)于現(xiàn)有方法而言是獨(dú)一無(wú)二的?！?/p>

“與剛性穿戴式傳感器相比，剛性穿戴式傳感器與用戶之間無(wú)法形成足夠緊密的接觸以準(zhǔn)確收集數(shù)據(jù)，我們的創(chuàng)新技術(shù)使用可拉伸的應(yīng)變傳感器，可舒適地貼附??在人體皮膚上。這可實(shí)現(xiàn)高質(zhì)量的信號(hào)采集，這對(duì)于高強(qiáng)度采集至關(guān)重要精確識(shí)別任務(wù)”，同時(shí)也是南大柔性設(shè)備創(chuàng)新中心（iFLEX）主任的陳教授說(shuō)。

由NTU新加坡和悉尼科技大學(xué)（UTS）的科學(xué)家組成的團(tuán)隊(duì)于6月在科學(xué)期刊《自然電子》上發(fā)表了他們的發(fā)現(xiàn)。

為了從手勢(shì)捕獲可靠的感官數(shù)據(jù)，研究團(tuán)隊(duì)制造了一種透明的，可拉伸的應(yīng)變傳感器，該傳感器附著在皮膚上，但在相機(jī)圖像中看不到。

作為概念證明，該團(tuán)隊(duì)使用通過(guò)手勢(shì)控制的機(jī)器人測(cè)試了他們的生物啟發(fā)式AI系統(tǒng)，并引導(dǎo)其通過(guò)了迷宮。

結(jié)果表明，與基于視覺(jué)的識(shí)別系統(tǒng)產(chǎn)生的六個(gè)識(shí)別錯(cuò)誤相比，由生物啟發(fā)的AI系統(tǒng)提供動(dòng)力的手勢(shì)識(shí)別能夠以零錯(cuò)誤引導(dǎo)機(jī)器人穿越迷宮。

當(dāng)新的AI系統(tǒng)在惡劣條件下（包括噪音和不利的照明條件）進(jìn)行測(cè)試時(shí)，也保持了較高的準(zhǔn)確性。人工智能系統(tǒng)在黑暗中有效工作，識(shí)別準(zhǔn)確率高達(dá)96.7%。

該研究的第一作者，新加坡南大材料科學(xué)與工程學(xué)院的王明博士說(shuō)：“我們的體系結(jié)構(gòu)的高精度背后的秘密在于，視覺(jué)和體感信息可以相互作用并相互補(bǔ)充。因此，該系統(tǒng)可以合理地收集具有較少冗余數(shù)據(jù)和較少感知模糊性的連貫信息，從而提高準(zhǔn)確性?！?/p>

德國(guó)馬克斯·普朗克膠體與界面研究所所長(zhǎng)Markus Antonietti教授發(fā)表了獨(dú)立的見(jiàn)解，他說(shuō)：“本文的發(fā)現(xiàn)使我們向更智能，更受機(jī)器支持的世界邁出了一步。就像智能手機(jī)的發(fā)明一樣這場(chǎng)革命給社會(huì)帶來(lái)了革命，這項(xiàng)工作使我們寄希望于我們有一天能夠通過(guò)手勢(shì)以極大的可靠性和精確性來(lái)物理控制我們周圍的整個(gè)世界。”

“在市場(chǎng)上，支持這種未來(lái)的技術(shù)只是無(wú)窮無(wú)盡的應(yīng)用。例如，從對(duì)智能工作場(chǎng)所的遠(yuǎn)程機(jī)器人控制到老年人的外骨骼。”

NTU研究團(tuán)隊(duì)正在尋求基于開(kāi)發(fā)的AI系統(tǒng)構(gòu)建VR和AR系統(tǒng)，用于需要高精度識(shí)別和控制的領(lǐng)域，例如娛樂(lè)技術(shù)和家庭康復(fù)。