圖像傳感器上的像素可以變得多??？

我們可能不知道答案，只是它們可能會變得非常非常小。半導(dǎo)體加工能夠產(chǎn)生小至 5 納米的特征。雖然這種極小的尺寸可能不適用于圖像傳感器上的像素，但它表明我們還沒有接近尺寸限制。

在機器視覺的早期，像素為 17μm。稍后，隨著 2/3 英寸格式的 VGA 分辨率傳感器的出現(xiàn)，它們變成了 13μm。從那時起，更小的傳感器和更高的分辨率將像素尺寸向下推到了 10μm、7μm、3.45μ、2.2μm，甚至是今天的 0.8μm。多家圖像傳感器公司制定了 0.4μm 像素尺寸的發(fā)展路線。

圖1

圖 2- 硅晶片

是什么激發(fā)了較小的像素？ 主要是成本，這與圖像傳感器的尺寸直接相關(guān)。 一個加工過的 300 毫米晶圓成本在 4,000 到 14,000 美元之間，主要取決于“節(jié)點”或特征的大小。節(jié)點范圍從 45nm 到 5nm，較小的節(jié)點工藝成本更高。它還取決于制造晶圓所需的工藝步驟數(shù)量。此外，晶圓以至少 20 個晶圓的批次進行處理。 為了獲得經(jīng)濟性，有必要增加每個晶片的圖像傳感器數(shù)量。最簡單的方法是使圖像傳感器更小。較小的圖像傳感器與更高圖像分辨率（像素的數(shù)量或行和列）相沖突。公司如何創(chuàng)建更小的圖像傳感器并保持或提高圖像分辨率？只能通過使像素更小。

小像素的缺點是什么？

第一個缺點是噪聲。圖像傳感中一種主要的噪聲形式是光子散粒噪聲——一種量子物理學(xué)的效應(yīng)。光子散粒噪聲與光生電子數(shù)的平方根成反比。光生電子越多，光子散粒噪聲占信號的百分比就越低。 更大的像素具有更大的區(qū)域來捕獲光子和更大的容量來存儲稱為全阱容量的光生電子。因為較小的像素具有相應(yīng)的較小的全阱容量，所以它們的光子散粒噪聲將成比例地放大。 小像素的另一個缺點是具有與像素尺寸相匹配的光學(xué)元件。 有一個衍射公式，鏡頭分辨率的基本限制：R = 1.22 λ f# 其中 λ 是光的波長，f# 是鏡頭的 f 值。 對于 λ=555nm，人眼最敏感的綠光，f-number = 1，非常寬的鏡頭，分辨率極限為 0.68μm。在您得出光學(xué)可以解決與小像素相稱的細節(jié)的結(jié)論之前，請意識到這是一個沒有考慮鏡頭像差的理論限制。此外，具有低 f 值的鏡頭更難設(shè)計且制造成本更高。 設(shè)計具有大光圈的衍射受限透鏡是可能的。它是一種非常復(fù)雜的鏡頭，具有非常嚴(yán)格的制造公差，并且不具備很多靈活性，例如不能夠使我們聚焦到不同的工作距離。因此，它將成為一個非常昂貴的定制鏡頭。

圖 3- 鏡頭 MTF

圖 4- 圖像傳感器的 MTF

小像素的一些優(yōu)點是什么？

當(dāng)我們更深入地研究分辨率時，這一點會變得很明顯。當(dāng)我們研究如何將小像素分組使用時，可能會出現(xiàn)另一種情況。

鏡頭的調(diào)制傳遞函數(shù) (MTF)。這顯示了鏡頭可以產(chǎn)生的對比度，它作為空間頻率的細節(jié)的函數(shù)。空間頻率就是有一對線，一條白色和一條黑色，寬度相等?，F(xiàn)在這些線對中有多少可以并排放置在一毫米內(nèi)。隨著線條變得更窄，更多線對將放置在一毫米內(nèi)。線條的寬度代表鏡頭可以光學(xué)解析的細節(jié)。 請注意，隨著空間頻率的增加，鏡頭無法產(chǎn)生任何對比度。它無法解析這些細節(jié)。對于視覺系統(tǒng)工作，20% 的對比度通常用作鏡頭分辨率或空間頻率的目標(biāo)限制。 許多人沒有意識到圖像傳感器也有 MTF。它與鏡頭不同。對比度從 100% 開始，逐漸下降到零。然后奇怪的事情發(fā)生了；它繼續(xù)下降到負值。在這個負值區(qū)域發(fā)生的情況是信息受到混疊的影響，由空間頻率、明暗線間距和像素間距影響。對比度達到零的點是奈奎斯特極限，線對的大小是像素大小的兩倍。

圖 5- 圖像傳感器和高分辨率鏡頭的 MTF

圖 6- 鏡頭和圖像傳感器的匹配 MTF 曲線

人們通常會選擇光學(xué)分辨率低于奈奎斯特極限的鏡頭。這意味著圖像傳感器獲取到了劣質(zhì)的光信息，最后導(dǎo)致圖像邊緣輪廓損壞。精確測量系統(tǒng)的準(zhǔn)確性可能會受到這種損壞的限制。 一種可能的解決方案是選擇光學(xué)分辨率極限正好在奈奎斯特極限附近的鏡頭。這可以防止圖像數(shù)據(jù)損壞。組合成像 MTF 只是兩條 MTF 曲線相乘。在鏡頭提供 20% 的對比度和圖像傳感器提供 20% 的對比度時，圖像中的對比度僅為 4%，對于許多應(yīng)用來說可能太低了。

圖 7- Lens Limited MTF.

圖 8- 圖像傳感器上的拜耳濾波器模式

當(dāng)圖像傳感器的奈奎斯特極限低于鏡頭的光學(xué)分辨率時，混疊不會破壞圖像，并且組合對比度可以高于匹配的傳感器和鏡頭的對比度。但是，我們不應(yīng)該忘記，高像素是以圖像噪聲更大以及要傳輸和處理更多的圖像數(shù)據(jù)為代價的。 使用小像素組而不是單個像素可以提高成像能力。例如，非常常見的拜耳濾光片圖案，其中每個像素都有一個彩色濾光片，而用于三色成像的其他兩種顏色是通過插值最近鄰得到的，這會產(chǎn)生諸如紫邊之類的偽影。

圖 9- 顯示紫色邊緣的放大圖

圖 10- 4x4 Bayer 濾波器

假設(shè)，代替相鄰像素上的拜耳模式，一個四乘四的小相鄰像素陣列具有濾色器，并且圖像傳感器可以對來自具有相同濾色器的像素的信號進行合并，即組合。這實際上將消除紫邊，并通過分箱減少光子散粒噪聲的影響。 三個濾色器（紅色、綠色和藍色）的目的是再現(xiàn)人類可見的大部分色域，這些色域在視網(wǎng)膜上具有三種不同的顏色傳感器（視錐細胞）。對于不同的模型，看看螳螂蝦。它的眼睛有十二個不同的視錐細胞，使其能夠看到超出可見光譜的紫外線和紅外線。螳螂蝦不僅可以看到人類看不到的波長，它還具有比人類更好分顏色的潛力。螳螂蝦也能感知光的偏振。

圖 11- 螳螂蝦照片

圖 12- 多光譜和偏振濾光片圖案來源

回到四乘四的小像素組，可以使用一系列濾色器來擴展色域和辨別力，還可以感知光的偏振。這種安排將在 2D 圖像傳感器中引入執(zhí)行多光譜或高光譜成像的能力。

寫在最后

總之，像素將在消費設(shè)備的成本壓力的推動下縮小，其中工程師減輕其成本的方式是將成本在大量生產(chǎn)中攤銷。對于大多數(shù)技術(shù)成像，像素尺寸可能會保持在 3μm 左右，這樣噪聲更易于管理，鏡頭設(shè)計和制造更實用。然而，以獨特方式使用的小像素組也可能帶來新的成像機會。

審核編輯 ：李倩