ABI Research的數(shù)據(jù)顯示，預(yù)計(jì)到2024年底，設(shè)備端AI推理功能將覆蓋60%的設(shè)備。但許多可以利用人工智能和機(jī)器學(xué)習(xí)(AI/ML)功能的網(wǎng)絡(luò)邊緣設(shè)備，往往需要在極其嚴(yán)苛的功耗限制下運(yùn)行，充一次電或者僅依靠收集和存儲(chǔ)能量就要工作幾個(gè)月甚至幾年。另一方面，近十年來(lái)AI模型快速發(fā)展，不斷有新的實(shí)現(xiàn)方式產(chǎn)生，需要有更出色的硬件來(lái)承載，這就需要硬件和算法上的優(yōu)化。

作為深耕低功耗FPGA領(lǐng)域多年的領(lǐng)先公司，萊迪思敏銳的意識(shí)到將低功耗FPGA與AI/ML進(jìn)行深度融合，創(chuàng)建出一系列從硬件到應(yīng)用層的端到端AI解決方案，將為消費(fèi)電子、嵌入式系統(tǒng)、制造業(yè)、工業(yè)、汽車、農(nóng)業(yè)等領(lǐng)域帶來(lái)更多此前從未設(shè)想過(guò)的創(chuàng)新方案。

例如Glance by Mirametrix計(jì)算機(jī)視覺(jué)軟件現(xiàn)在允許用戶創(chuàng)建3D虛擬頭像用于視頻會(huì)議。這項(xiàng)新功能結(jié)合了Lattice在AI面部跟蹤和軟件開(kāi)發(fā)方面的經(jīng)驗(yàn)，可在所有視頻通話平臺(tái)上運(yùn)行，任何人都可以通過(guò)動(dòng)畫頭像參與會(huì)議。AI/ML功能還可以增強(qiáng)用戶參會(huì)的其他體驗(yàn)。例如，基于AI/ML的面部取景功能可以利用內(nèi)置視頻會(huì)議攝像頭的較高分辨率來(lái)裁剪和居中用戶的頭像，為視頻會(huì)議提供較好的畫面。

同樣，手勢(shì)識(shí)別可以為筆記本電腦、智能電視或任何其他支持視頻的物聯(lián)網(wǎng)設(shè)備添加非接觸式手勢(shì)操作功能。換句話說(shuō)，手勢(shì)控制可讓消費(fèi)者通過(guò)直觀的手勢(shì)輕松實(shí)現(xiàn)導(dǎo)航和控制，帶來(lái)沉浸式的電視體驗(yàn)。從頻道切換到音量調(diào)節(jié)，每一個(gè)動(dòng)作都能變成控制命令。

與此同時(shí)，萊迪思也正在與合作伙伴和客戶合作，利用多模式、智能傳感器融合和AI/ML技術(shù)、以及Lattice SensAI解決方案集合，實(shí)現(xiàn)更深入的情景感知，助力下一代智能AI PC體驗(yàn)。

Lattice SensAI解決方案集合是業(yè)界第一款用于網(wǎng)絡(luò)邊緣設(shè)備端AI處理的完整解決方案集合，不但包括多種類型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)加速器，對(duì)硬件平臺(tái)的支持也從最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX，拓展到了新推出的低功耗中端FPGA平臺(tái)Avant，可實(shí)現(xiàn)3D人臉識(shí)別、屏幕光自動(dòng)調(diào)節(jié)、自動(dòng)熄屏、人臉解鎖等多種功能。

于是，我們看到在持續(xù)追蹤用戶ID應(yīng)用中，通過(guò)將AI/ML分析和決策、計(jì)算機(jī)現(xiàn)有的傳感器(攝像頭和麥克風(fēng))與狀態(tài)和注意力追蹤結(jié)合使用，智能PC可在攝像頭未檢測(cè)到已注冊(cè)用戶時(shí)自動(dòng)鎖定用戶的計(jì)算機(jī)。

存在檢測(cè)另一個(gè)簡(jiǎn)單且實(shí)用的用途是在周圍無(wú)人時(shí)關(guān)閉計(jì)算機(jī)。當(dāng)用戶長(zhǎng)時(shí)間遠(yuǎn)離屏幕時(shí)，注意力追蹤功能可以調(diào)暗計(jì)算機(jī)屏幕并激活低功耗模式，充當(dāng)智能傳感器中心的低功耗、小尺寸FPGA可以接收來(lái)自計(jì)算機(jī)傳感器的輸入，然后根據(jù)情況決定何時(shí)關(guān)閉顯示器和CPU，以及何時(shí)應(yīng)該給它們重新供電。

同樣，這些功能也可以增強(qiáng)計(jì)算機(jī)的隱私和安全性。計(jì)算機(jī)的內(nèi)置會(huì)議攝像頭可用于監(jiān)控用戶身后的背景，檢測(cè)是否有人從用戶的肩膀后面窺視。如果計(jì)算機(jī)被配置為保護(hù)隱私，當(dāng)授權(quán)用戶背后有人疑似在偷窺計(jì)算機(jī)屏幕時(shí)，它可以彈出警告提醒用戶甚至自動(dòng)調(diào)暗屏幕。需要強(qiáng)調(diào)的是，使用這些解決方案，所有推理數(shù)據(jù)都保存在FPGA本地。僅將原數(shù)據(jù)傳遞給SoC，這進(jìn)一步增強(qiáng)了隱私并提高了安全性。

在農(nóng)業(yè)智能機(jī)器解決方案中，萊迪思利用FPGA芯片來(lái)實(shí)現(xiàn)基于AI的顏色篩選機(jī)器具有相當(dāng)?shù)拇硇?。傳統(tǒng)的顏色篩選機(jī)器往往采用精度較低的CV方案，采用AI方案后，超輕量級(jí)AI模型會(huì)在掉落的物體中對(duì)可能存在的形狀進(jìn)行標(biāo)注，然后將這些數(shù)據(jù)放置在神經(jīng)網(wǎng)絡(luò)里進(jìn)行訓(xùn)練，之后再將訓(xùn)練出來(lái)的神經(jīng)網(wǎng)絡(luò)參數(shù)放到NN Demo當(dāng)中，從而實(shí)現(xiàn)判斷準(zhǔn)確性的大幅提高。

上述所有案例都表明，萊迪思在本地和網(wǎng)絡(luò)邊緣領(lǐng)域具有獨(dú)特的優(yōu)勢(shì)，積累了諸多令人印象深刻的產(chǎn)品組合，可以滿足網(wǎng)絡(luò)邊緣AI設(shè)備快速變化的市場(chǎng)需求。設(shè)計(jì)人員可以在不依賴云端的情況下，快速為網(wǎng)絡(luò)邊緣設(shè)備提供更多計(jì)算資源。此外，通過(guò)使用針對(duì)低功耗運(yùn)行而優(yōu)化的低密度、小尺寸封裝FPGA，設(shè)計(jì)人員還可以滿足新的消費(fèi)和工業(yè)應(yīng)用對(duì)功耗和尺寸的嚴(yán)格限制。