2023年末工信部，公安部，住房和城鄉(xiāng)建設(shè)部，交通運(yùn)輸部四部門聯(lián)合發(fā)布的《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知》正式打響了中國L3級自動(dòng)駕駛賽道的第一聲發(fā)令槍，也意味著L3/L4級自動(dòng)駕駛商業(yè)化落地即將到來。

感知智能始終是實(shí)現(xiàn)L3/L4級自動(dòng)駕駛的技術(shù)難點(diǎn)，現(xiàn)在自動(dòng)駕駛市場無法有效解決的技術(shù)痛點(diǎn)在于1）基于純視覺網(wǎng)絡(luò)的Corner Cases問題（環(huán)境光照影響、樣本長尾效應(yīng)等）；2）4D毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的豐富度與置信度之間的矛盾；3）許多車企選用激光雷達(dá)作為主要傳感器之一，但激光雷達(dá)的性價(jià)比較低，且受大雨大霧天氣影響較大，另外大功率激光雷達(dá)還有掃到人眼可能致盲的潛在風(fēng)險(xiǎn)。

昱感微的“多傳感器多維像素融合感知芯片”可以解決問題：昱感微融合感知芯片創(chuàng)新性地將可見光攝像頭、紅外攝像頭以及4D毫米波雷達(dá)的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時(shí)）交互，將各傳感器的探測數(shù)據(jù)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”，圖像與雷達(dá)數(shù)據(jù)完成像素級實(shí)時(shí)“時(shí)空對齊同步”并以“多維像素”格式輸出，基于“物理感知”數(shù)據(jù)驅(qū)動(dòng)，能很好地避免純視覺網(wǎng)絡(luò)的corner cases問題；同時(shí)，毫米波雷達(dá)和攝像頭的結(jié)合還可以達(dá)到1+1>2的效果，使感知系統(tǒng)能夠不受天氣光線等場景限制，實(shí)時(shí)完成精準(zhǔn)目標(biāo)感知。

昱感微融合感知芯片的“多維像素”數(shù)據(jù)輸出是昱感微的核心技術(shù)創(chuàng)新之一。多維像素是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標(biāo)感知的信息，將感知系統(tǒng)的感知維度擴(kuò)展以實(shí)現(xiàn)多維度（多模態(tài)）感知目標(biāo)的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達(dá)探測目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個(gè)像素不僅有視覺信息，還包含了4D毫米波雷達(dá)和紅外傳感器的探測數(shù)據(jù)，形成多維度（多模態(tài)）測量參數(shù)矩陣數(shù)組。基于圖像像素為基準(zhǔn)+雷達(dá)數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計(jì)算平臺完全兼容，助力客戶高效平滑升級產(chǎn)品。

昱感微的雷視融合感知方案提供目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知信息。多模態(tài)是指傳感器對目標(biāo)與環(huán)境感知的圖像數(shù)據(jù)（明暗、紋理、顏色等）+雷達(dá)數(shù)據(jù)（目標(biāo)的距離、速度、材質(zhì)等）+紅外輻射數(shù)據(jù)（紋理、溫度等）的綜合感知。當(dāng)人眼看到路上行駛的汽車，大腦中反映出的信息不僅是一輛汽車，還有它的顏色、型號/品牌、方向、以及大概的速度和距離等信息，這就是人眼解讀出的視覺語言。昱感微的雷視融合方案可以比人眼更敏銳，為自動(dòng)駕駛系統(tǒng)提供更豐富更精準(zhǔn)的“視覺語言”——目標(biāo)與環(huán)境的多模態(tài)精準(zhǔn)感知數(shù)據(jù)，使自動(dòng)駕駛系統(tǒng)實(shí)時(shí)精準(zhǔn)感知道路上的各種狀況。

對目標(biāo)的感知，4D毫米波雷達(dá)在立體空間的每個(gè)檢測點(diǎn)（3D空間的密集數(shù)據(jù)采樣點(diǎn)）可以取得推算出來的包含此處（采樣點(diǎn)）的距離、相對運(yùn)動(dòng)速度（多普勒信息）、水平方位角和俯仰角維度的功率測量信息——業(yè)界稱其為：雷達(dá)4D張量信息（“4D Radar Tensors”，簡稱為: “4DRT”信息）。雷達(dá)4D張量信息數(shù)據(jù)量非常豐富，最大程度地保留有效的感知信息。目前4D雷達(dá)產(chǎn)品點(diǎn)云仍較稀疏，其主要原因之一是現(xiàn)有通用的信號過濾器會(huì)造成大量信息損失（例如采用目前流行的CFAR：“Constant False Alarm Rate”即“恒定虛警率”檢測算法）；但如果沒有進(jìn)行數(shù)據(jù)過濾提取（對比用CFAR算法處理的步驟），系統(tǒng)輸出且后續(xù)模塊再需要處理的數(shù)據(jù)量又太大，對于系統(tǒng)的傳輸帶寬、內(nèi)存緩存、后續(xù)系統(tǒng)算力都提出了極高的要求，在算法里如何有效區(qū)分與識別目標(biāo)的有效反射信息（系統(tǒng)希望獲取的）與雜波信號和噪聲信號就更加挑戰(zhàn)了。最挑戰(zhàn)的還是在雷達(dá)算法本身，在雷達(dá)系統(tǒng)獲取的大量的4D張量采樣信息里，如何區(qū)分出哪些信息是目標(biāo)對雷達(dá)信號產(chǎn)生的有效反射信息（系統(tǒng)希望獲取的），哪些信息是背景噪聲，哪些信息是其它雷達(dá)系統(tǒng)帶來的信號串?dāng)_，哪些信息是雷達(dá)信號的多徑串?dāng)_……如何有效地區(qū)分它們并最大限度地識別出目標(biāo)有效反射信息，是解決4D毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的豐富度與置信度之間的矛盾的方法，也是目前行業(yè)正期待有技術(shù)突破的方向，需要重新定義與設(shè)計(jì)雷達(dá)感知、定位和映射的算法，以強(qiáng)化并重新演繹出4D毫米波雷達(dá)的強(qiáng)感知特性。

昱感微的融合感知芯片將雷達(dá)4D張量信息與圖像像素信息做對接，形成類似的“多維像素?cái)?shù)據(jù)矩陣”，將雷達(dá)的每個(gè)4D張量信息與圖像像素矩陣層中的像素元素建立一一對應(yīng)關(guān)系。這樣可以高效地識別分辨出雷達(dá)信號產(chǎn)生的有效反射信息，在最大限度地保留雷達(dá)點(diǎn)云數(shù)據(jù)豐富度的同時(shí)增加其數(shù)據(jù)的置信度。

引入圖像信息帶來的好處：系統(tǒng)基于圖像信息帶入的語義信息來構(gòu)建更精細(xì)的雷達(dá)數(shù)據(jù)處理算法，在圖像語義信息的支持下，機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等算法更精確高效完成雷達(dá)4D張量信息對目標(biāo)與環(huán)境完整感知信息的獲取。

“雷達(dá)4D張量信息＋圖像的像素信息”是實(shí)現(xiàn)目標(biāo)與環(huán)境多模態(tài)精準(zhǔn)感知、助力毫米波雷達(dá)感知跨越目前門檻的最佳方式。多模態(tài)視覺語言（多模態(tài)語義）解析的傳感器融合方式已經(jīng)是業(yè)界新一輪傳感器融合產(chǎn)品起飛的跑道，是完全滿足L3/L4級自動(dòng)駕駛要求的感知最優(yōu)解。

昱感微的融合感知方案將視覺圖像信息和雷達(dá)探測信息實(shí)現(xiàn)“坐標(biāo)統(tǒng)一、時(shí)序?qū)R”的“多維像素”信息輸出，將賦予產(chǎn)業(yè)界前所未有的感知能力。