需要專(zhuān)門(mén)的圖像處理硬件

通用DSP，例如Texas Instruments 的C66x設(shè)備或 Analog Devices 的Blackfin處理器，是能夠處理圖像數(shù)據(jù)的兩個(gè)示例設(shè)備。然而，重要的是要認(rèn)識(shí)到成像系統(tǒng)對(duì)處理硬件有特殊要求，ISP 通常會(huì)比通用設(shè)備更有效地完成工作。

也許重要的考慮是數(shù)據(jù)的數(shù)量。如果我們以 44.1 kHz 和 16 位分辨率對(duì)音頻進(jìn)行采樣，則實(shí)時(shí) DSP 應(yīng)用程序每秒將處理 88，200 字節(jié)的音頻數(shù)據(jù)。以每秒一幀的速度連續(xù)拍攝的 24 兆像素 DSLR 相機(jī)在完全不同的領(lǐng)域中運(yùn)行；即使我們假設(shè)每個(gè)像素一個(gè)字節(jié)，我們也在談?wù)撁棵氤^(guò) 2400 萬(wàn)字節(jié)。一些圖像處理算法非常復(fù)雜，當(dāng)涉及如此多的數(shù)據(jù)時(shí)，專(zhuān)用硬件模塊比由負(fù)擔(dān)過(guò)重的中央處理器 （CPU） 執(zhí)行的定制代碼例程更可取。

此外，此示例還演示了為什么 ISP 可能需要以并行處理功能或作為芯片上的多核系統(tǒng)來(lái)實(shí)現(xiàn)。這是當(dāng)所有這些圖像數(shù)據(jù)流入時(shí)，相機(jī)的計(jì)算電子設(shè)備必須能夠支持其他功能——例如焦點(diǎn)跟蹤或自動(dòng)曝光。

什么是圖像信號(hào)處理器？

這個(gè)問(wèn)題并不像我想的那么簡(jiǎn)單。首先，讓我們考慮一下德州儀器 （TI） 的“成像信號(hào)處理器” LM98519 。在下面的圖 1 中，我們可以看到該設(shè)備的黑色圖表。

圖 1.方框圖取自 LM98519 數(shù)據(jù)表。圖片由Texas Instruments提供［點(diǎn)擊圖片放大］

在此示例產(chǎn)品中，此 ISP 只是用于基于電荷耦合器件 （CCD）的成像器的數(shù)據(jù)轉(zhuǎn)換器?；旧?，它在白電平和黑電平反饋系統(tǒng)的幫助下對(duì)兩個(gè)多路復(fù)用 CCD 輸出波形進(jìn)行采樣和數(shù)字化。但是，我發(fā)現(xiàn)術(shù)語(yǔ)成像信號(hào)處理器 也用于指代為互補(bǔ)金屬氧化物半導(dǎo)體 （CMOS）傳感器設(shè)計(jì)的英特爾硬件和用于高動(dòng)態(tài)范圍視頻處理的 IP 核。

這里，在圖 2 中，是標(biāo)識(shí)為“圖像信號(hào)處理器”（因此不完全是圖像信號(hào)處理器）的另一部分的框圖。

圖 2.該圖取自 Arm 的 Mali-C55 ISP 的數(shù)據(jù)表。圖片由Arm提供［點(diǎn)擊圖片放大］

盡管術(shù)語(yǔ)幾乎相同，但這部分顯然屬于不同的類(lèi)別并且具有更廣泛的功能。這個(gè)Arm ISP對(duì)圖像數(shù)據(jù)執(zhí)行各種復(fù)雜的數(shù)學(xué)運(yùn)算：

缺陷修正

降噪

去馬賽克以從拜耳過(guò)濾像素中提取 RGB 值

顏色空間轉(zhuǎn)換等

Texas Instruments 的 DaVinci 處理器，如圖 3 所示）甚至比 Arm ISP 的集成度更高：

圖 3. DMVA3/DMVA4 數(shù)據(jù)表中的框圖。圖片由Texas Instruments提供 ［點(diǎn)擊圖片放大］

在這里，您可以看到用于圖像處理操作的硬件與微處理器和大量可供選擇的數(shù)字外圍設(shè)備相結(jié)合。TI 將此設(shè)備稱(chēng)為“數(shù)字媒體處理器”，盡管它可以被描述為圖像信號(hào)處理器。實(shí)際上，TI 使用術(shù)語(yǔ)圖像信號(hào)處理器 來(lái)表示達(dá)芬奇“成像子系統(tǒng)”中的一個(gè)部分。