隨著越來越多的不同應用對AI處理的需求增長，包括在消費級和企業(yè)級設備中對低功耗芯片應用的廣泛需求，邊緣AI推斷正受到越來越多的關注。大部分注意力都集中在優(yōu)化這些較小部件的神經網絡處理引擎及其運行所需的模型上，但優(yōu)化在許多情況下具有更廣泛的意義。在圖像識別用例中，圖像必須來自某個地方，通常來自具有MIPI接口的傳感器。因此，Perceive公司將來自Mixel的低功耗MIPI D-PHY IP集成到最新的Ergo 2 Edge AI處理器上，為AI推理帶來片上圖像是有道理的。

分辨率和幀速率呈上升趨勢

人工智能處理器已經得到了增強，6現在可以通過高分辨率傳感器以較高的幀速率處理更大的圖像。能夠在場景實時變化之前快速推斷和做出決定是至關重要的。鑒于此，Ergo 2中的圖像處理模塊受到了極大重視。

Ergo 2 Edge AI處理器系統(tǒng)示意圖，由Perceive提供

具有大量像素的大圖像對設備開發(fā)人員來說是一個巨大的挑戰(zhàn)。在某種意義上，圖像識別這一說法并不恰當。AI推理增加價值的大多數用例都要求查看一個感興趣的區(qū)域，或者其中的幾個區(qū)域，其中相對較少的像素包裹在一個充滿大多數無趣像素的大得多的圖像中。更快更準確地發(fā)現那些感興趣的區(qū)域將決定應用程序的運行狀況。

Ergo 2圖像處理單元具有雙重同時管道，可以隔離感興趣的像素，使AI模型更容易處理感知。第一個管道支持4個感興趣的區(qū)域，最大圖像大小為4672 x 3506像素，每秒24幀(fps)。第二個管道可以以60 fps的速度在2048 x 1536像素的圖像中瞄準單個區(qū)域。IPU還可以處理圖像范圍內的任務，如縮放、范圍壓縮、旋轉、失真和鏡頭陰影校正等。

丟失的幀會影響感知

在這些快速、高分辨率的圖像中，過多的噪聲或抖動會由于數據錯誤而導致幀丟失。圖像流中丟失的幀可能會影響推斷操作的準確性，導致錯過或不正確的感知。在具有挑戰(zhàn)性的環(huán)境中，可靠的圖像傳輸是在邊緣進行準確感知的必要條件。

Mixel MIPI D-PHY IP的一個典型特征是其時鐘轉發(fā)同步鏈路，提供高抗干擾性和高抖動容忍度。在Ergo 2中，有三種不同的MIPI IP解決方案在工作:四通道CSI-2 TX、兩通道CSI-2 RX和四通道CSI-2 RX。每個IP塊集成了一個發(fā)射器或接收器和一個32位的CSI-2控制器核心。鏈接速度高達2.5 Gbps，下面是典型的眼圖。

第一步成功與否是關鍵

在大型SoC中出現缺陷是很嚴重的，重新設計可能代價非常高。然而，更大的SoC項目往往有更大的設計團隊，更長的時間表和更高的預算。在一個較小的芯片上，一個失敗可以扼殺一個項目，調試和重新啟動的成本迅速上升到超過最初的開發(fā)成本。

盡管在半導體行業(yè)中，首次成功并不是必然的，但Perceive能夠通過Mixel IP實現這一目標。Mixel支持Perceive的合規(guī)性測試，使完整的集成設計能夠在SoC轉向大批量生產之前承受嚴格的MIPI接口表征。Mixel MIPI D-PHY IP包含驅動前和驅動后環(huán)回和內置的自檢功能，用于測試發(fā)送和接收接口。

Perceive集成Mixel的MIPI D-PHY IP的結果是達到了Ergo 2的功率、性能和成本目標。反過來，Perceive的客戶可以在更小的、功耗有限的設備上實現Ergo 2，其中電池壽命是一個關鍵指標，但AI推理性能必須不受影響。這是一個很好的例子，通過精心設計的集成，將圖像放在芯片上用于AI推理，有助于在小系統(tǒng)級別上節(jié)省成本。

審核編輯 ：李倩