安富利手勢識別平臺又進(jìn)化了，在樹莓派上，安富利實現(xiàn)了攝像頭和毫米波雷達(dá)融合的手勢識別方案。攝像頭負(fù)責(zé)識別靜態(tài)手勢，攝像頭讀取的圖像，經(jīng)過openCV和機(jī)器學(xué)習(xí)分類器后，完成手勢識別，最后輸出1,2,3,4 等結(jié)果。后期借助于TensorFlow架構(gòu)將Hand Tracking GPU整合進(jìn)融合平臺。毫米波雷達(dá)負(fù)責(zé)動態(tài)手勢的識別， 相對于攝像頭，毫米波雷達(dá)可以更好的保護(hù)客戶隱私，而且算法簡單不需要GPU以及神經(jīng)網(wǎng)絡(luò)的支持，因此反應(yīng)更快功耗更低。目前安富利借助于英飛凌BGT60TR13芯片，實現(xiàn)了揮手，旋轉(zhuǎn)手勢以及揉搓手指等6種手勢識別。關(guān)于毫米波雷達(dá)的手勢控制具體內(nèi)容和演示視頻可參考往期文章《利用毫米波完成精細(xì)化手勢識別》。

硬件平臺

攝像頭負(fù)責(zé)采集圖像，在樹莓派上借助于Python開發(fā)環(huán)境，實現(xiàn)了手勢提取和識別。利用攝像頭完成手勢識別，目前有很多架構(gòu)和開源代碼可以參考，目前比較火熱甚至被玩壞的 Hand Tracking GPU，這款應(yīng)用基于TensorFlow 目前已經(jīng)開源，小伙伴們可以盡情的玩起來了。

英飛凌60GHz雷達(dá)處理芯片BGT60TR13，5GHz的掃頻帶寬，在FMCW工作模式中，可以實現(xiàn)3cm的距離分辨率，可以識別精細(xì)的手勢。安富利目前的手勢識別算法運(yùn)行在60GHz的毫米波雷達(dá)平臺上，掃頻帶寬為3GHz，目前已經(jīng)實現(xiàn)旋轉(zhuǎn)，左右揮手，上下?lián)]手以及揉搓手指等手勢識別。樹莓派作為中央處理器，接收來自攝像頭和毫米波雷達(dá)的傳感器數(shù)據(jù)，并完成手勢識別并顯示在顯示屏上，方案如圖 1所示。

圖 1安富利手勢識別平臺

軟件流程 安富利北京實驗室目前已經(jīng)完成一整套代碼開發(fā)，方便客戶做二次開發(fā)。具體功能如圖 2所示，在毫米波雷達(dá)方向上信號流為2-D FFT變換， 基于硬件加速的峰值搜索，恒虛警算法篩選潛在目標(biāo)，基于相差比較方法計算角度波達(dá)方向角，以及在SDK環(huán)境下的手勢分類識別，最后將手勢識別結(jié)果顯示在GUI上。在攝像頭方向上，借助于openCV完成攝像頭采集，輪廓提取并借助于scikit-learn庫函數(shù)中的SVC分類器完成手勢分類。

圖 2 軟件功能框圖

演示效果截圖

在截圖中，第一排顯示的是基于攝像頭的手勢識別，簡單演示了識別1,2,3,4,5。第二排，主要是演示了基于毫米波雷達(dá)的手勢識別，能夠識別左揮手，右揮手，順時針旋轉(zhuǎn)手勢，逆時針旋轉(zhuǎn)手勢。以及包括揉搓手指的微多普勒手勢，包括接近雷達(dá)和遠(yuǎn)離雷達(dá)。