蘋(píng)果公司近期正式推出了新款iPad Pro，吸引了不少人的關(guān)注。在官方的宣傳標(biāo)語(yǔ)中，有一句話尤其引人關(guān)注，“它的Pro級(jí)攝像頭打通了真實(shí)和虛擬的交界”。

新款iPad Pro搭載的Pro級(jí)攝像頭不僅包含了全新的超廣角攝像頭，還包含了一款激光雷達(dá)掃描儀。該掃描儀利用dToF技術(shù)，結(jié)合運(yùn)動(dòng)傳感器和iPadOS內(nèi)的架構(gòu)，可以進(jìn)行深度測(cè)量，為增強(qiáng)現(xiàn)實(shí)及更廣泛的領(lǐng)域開(kāi)啟無(wú)盡可能。

那么dToF是什么呢，它和我們之前市面上已有的iToF又有什么不同呢？

本文將會(huì)介紹dToF和iToF的成像原理，對(duì)比分析dToF和iToF兩者的差異性，帶領(lǐng)大家了解一下ToF領(lǐng)域。

一．TOF

首先，讓我們先來(lái)了解一下ToF的基本概念。

Time-of-Flight(ToF)，顧名思義，是一種利用光飛行時(shí)間的技術(shù)。接觸過(guò)3D視覺(jué)的讀者應(yīng)該知道，ToF和結(jié)構(gòu)光、雙目立體視覺(jué)是近年來(lái)三種主流的3D成像方式。ToF向場(chǎng)景中發(fā)射近紅外光，利用光的飛行時(shí)間信息，測(cè)量場(chǎng)景中物體的距離。ToF相比較另外兩種3D成像方式，深度信息計(jì)算量小，抗干擾性強(qiáng)，測(cè)量范圍遠(yuǎn)。種種優(yōu)勢(shì)推動(dòng)了ToF在機(jī)器人、交互以及其他工業(yè)領(lǐng)域中的應(yīng)用。尤其是在移動(dòng)端，已有多品牌手機(jī)，比如華為、OPPO、蘋(píng)果，將其用于手機(jī)后置攝像。

二．dTOF和iTOF

了解了ToF的概念之后，讓我們?cè)賮?lái)深入了解一下兩類ToF的基本成像原理，也就是文章標(biāo)題中提到的iToF和dToF。

dToF，全稱是direct Time-of-Flight。顧名思義，dToF直接測(cè)量飛行時(shí)間。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD和時(shí)間數(shù)字轉(zhuǎn)換器TDC。Single Photon Avalanche Diode(SPAD)是一種具有單光子探測(cè)能力的光電探測(cè)雪崩二極管，只要有微弱的光信號(hào)就能產(chǎn)生電流。dToF模組的VCSEL向場(chǎng)景中發(fā)射脈沖波，SPAD接收從目標(biāo)物體反射回來(lái)的脈沖波。Time Digital Converter(TDC)能夠記錄每次接收到的光信號(hào)的飛行時(shí)間，也就是發(fā)射脈沖和接收脈沖之間的時(shí)間間隔。dToF會(huì)在單幀測(cè)量時(shí)間內(nèi)發(fā)射和接收N次光信號(hào)，然后對(duì)記錄的N次飛行時(shí)間做直方圖統(tǒng)計(jì)，其中出現(xiàn)頻率最高的飛行時(shí)間t用來(lái)計(jì)算待測(cè)物體的深度。

圖1是dToF單個(gè)像素點(diǎn)記錄的光飛行時(shí)間直方圖，其中，高度最高的柱對(duì)應(yīng)的時(shí)間就是該像素點(diǎn)的最終光飛行時(shí)間。

dToF的原理看起來(lái)雖然很簡(jiǎn)單，但是實(shí)際能達(dá)到較高的精度很困難。除了對(duì)時(shí)鐘同步有非常高的精度要求以外，還對(duì)脈沖信號(hào)的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而dToF中的核心組件SPAD由于制作工藝復(fù)雜，能勝任生產(chǎn)任務(wù)的廠家并不多，并且集成困難。所以目前研究dToF的廠家并不多，更多的是在研究和推動(dòng)iToF。

iToF的概念和dToF相對(duì)應(yīng)，全稱是indirect Time-of-Flight，直譯就是間接光飛行時(shí)間。所謂間接，就是指iToF是通過(guò)測(cè)量相位偏移來(lái)間接測(cè)量光的飛行時(shí)間，而不是直接測(cè)量光飛行時(shí)間。

iToF向場(chǎng)景中發(fā)射調(diào)制后的紅外光信號(hào)，再由傳感器接收?qǐng)鼍爸写郎y(cè)物體反射回來(lái)的光信號(hào)，根據(jù)曝光（積分）時(shí)間內(nèi)的累計(jì)電荷計(jì)算發(fā)射信號(hào)和接收信號(hào)之間的相位差，從而獲取目標(biāo)物體的深度。如圖2所示。

圖2. iToF成像原理示意圖[1]

iToF模組的核心組件包含VCSEL和圖像傳感器。VCSEL發(fā)射特定頻率的調(diào)制紅外光。圖像傳感器在曝光（積分）時(shí)間內(nèi)接收反射光并進(jìn)行光電轉(zhuǎn)換。曝光（積分）結(jié)束后將數(shù)據(jù)讀出，經(jīng)過(guò)一個(gè)模擬數(shù)字轉(zhuǎn)換器再傳給計(jì)算單元，最終由計(jì)算單元計(jì)算每個(gè)像素的相位偏移。iToF計(jì)算深度的方式通常是采用4-sampling-bucket算法，利用4個(gè)相位延遲為0°，90°，180°和270°的采樣信號(hào)計(jì)算深度。如圖3所示

圖3. 連續(xù)波調(diào)制方式測(cè)相位偏移原理示意圖[2]

三．性能對(duì)比

dToF和iToF雖然都是利用光飛行時(shí)間技術(shù)，但是兩者在測(cè)距原理和硬件實(shí)現(xiàn)上都有差異。軟硬件的差異會(huì)導(dǎo)致這兩類ToF在各方面的性能表現(xiàn)上各有千秋。

衡量ToF的性能指標(biāo)，需要考慮幾個(gè)方面。因?yàn)門oF是一個(gè)可以測(cè)距的相機(jī)，作為一個(gè)測(cè)距設(shè)備，基本的評(píng)價(jià)指標(biāo)有測(cè)距精度和有效探測(cè)距離。其次，作為相機(jī)而言，圖像分辨率也是一個(gè)重要的評(píng)價(jià)指標(biāo)。此外，由于ToF本身只能提供3D信息，它將來(lái)更多的發(fā)展是集成到3D相關(guān)的應(yīng)用，比如3D建模、AR以及移動(dòng)平臺(tái)。在集成到其他3D相關(guān)的應(yīng)用時(shí)，尤其是移動(dòng)端和機(jī)器人平臺(tái)，必須要考慮它的能耗和成本，以及在各種復(fù)雜場(chǎng)景下的抗干擾能力。以上的這些特性，決定了dToF和iToF有著各自適用的應(yīng)用場(chǎng)景。

接下來(lái)，本文會(huì)從精度、有效探測(cè)距離、圖像分辨率、能耗、成本、抗干擾等7個(gè)方面，對(duì)比iToF和dToF的優(yōu)劣。

精度

總的來(lái)說(shuō)，目前的iToF深度精度在 cm 級(jí)，并且隨著測(cè)量距離的增大，反射光的強(qiáng)度減小，相位測(cè)量的信噪比減小，絕對(duì)誤差也會(huì)隨之增大。

有效探測(cè)距離

有效探測(cè)距離指相機(jī)能夠輸出可靠深度的距離范圍，可靠深度意味著該深度值和真實(shí)值的誤差小于一定閾值。舉個(gè)簡(jiǎn)單的例子，假設(shè)測(cè)量誤差在2cm以內(nèi)時(shí)，我們視作該深度值是可靠的。如果一個(gè)ToF模組測(cè)量5米的物體時(shí)，測(cè)量值是5.02米，誤差剛好達(dá)到了預(yù)先定義的極限。當(dāng)物體位于5.01米時(shí)，測(cè)量值是5.22米，誤差超出了2cm。我們就可以說(shuō)該ToF模組的有效探測(cè)距離是5米。

當(dāng)然，限制ToF的有效探測(cè)距離的主要因素之一是相位模糊現(xiàn)象。

對(duì)于dToF而言，當(dāng)測(cè)量距離較遠(yuǎn)時(shí)，光飛行一個(gè)來(lái)回的時(shí)間超過(guò)了兩次連續(xù)發(fā)射脈沖的間隔，傳感器在發(fā)射第二個(gè)測(cè)量信號(hào)后，才接收到第一個(gè)測(cè)量信號(hào)的反射波，就會(huì)把該反射波錯(cuò)認(rèn)為是第二個(gè)測(cè)量信號(hào)的近距離反射波，這時(shí)就會(huì)出現(xiàn)相位模糊現(xiàn)象。如圖4所示。圖4中case1表示的是近距離場(chǎng)景下dToF的測(cè)距原理圖，case2表示的是遠(yuǎn)距離場(chǎng)景下，發(fā)生相位模糊現(xiàn)象的測(cè)距原理圖。

§ dToF會(huì)受到測(cè)量頻率（相鄰兩次測(cè)量的間隔時(shí)間）限制，iToF的有效探測(cè)距離會(huì)受到調(diào)制光的頻率限制。dToF在測(cè)量遠(yuǎn)距離物體時(shí)，可以適當(dāng)增加兩次測(cè)量之間的間隔，減少測(cè)量次數(shù)。但是，減少測(cè)量次數(shù)會(huì)同時(shí)降低測(cè)量精度，相當(dāng)于是用精度換取有效探測(cè)距離。而iToF也可以通過(guò)降低調(diào)制光的頻率，從而犧牲一定的測(cè)量精度以獲得更遠(yuǎn)的有效探測(cè)距離。
對(duì)于iToF而言，可以利用雙頻解決相位模糊現(xiàn)象。利用兩個(gè)不同頻率的測(cè)量數(shù)據(jù)去求解相位模糊度，從而恢復(fù)正確深度值。借助雙頻測(cè)量可以同時(shí)實(shí)現(xiàn)高精度測(cè)量和高有效探測(cè)距離。

能耗

從發(fā)射信號(hào)來(lái)看， dToF則采用 級(jí)的脈沖激光，iToF目前大多采用連續(xù)波調(diào)制。相比較而言，脈沖波能夠達(dá)到超低占空比，所以功耗也較低。

從光照模式來(lái)看，由于dToF的測(cè)量精度不會(huì)隨著測(cè)量距離的增大而降低，所以功耗也會(huì)相對(duì)較低。反之，iToF目前采用的大多是面光發(fā)射方式。并且，隨著測(cè)量距離的增大，iToF需要提高光照功率或者延長(zhǎng)曝光時(shí)間來(lái)獲取更高的精度，所需的功耗也會(huì)大幅增加。

成本

dToF采用的是數(shù)字電路架構(gòu)，不需要模數(shù)轉(zhuǎn)換。iToF采用的是模擬電路結(jié)構(gòu)，需要模數(shù)轉(zhuǎn)換芯片。

對(duì)于整體的硬件架構(gòu)而言，dToF的核心組件SPAD的制作工藝復(fù)雜，現(xiàn)有的資源少。iToF沒(méi)有這方面的顧慮。

在系統(tǒng)集成方面， dToF還需要額外的時(shí)間處理電路，系統(tǒng)集成難度較高。iToF的系統(tǒng)集成容易，不需要額外的測(cè)量電路。

抗環(huán)境干擾

環(huán)境干擾包括場(chǎng)景中環(huán)境光干擾、多路徑反射光干擾以及不同表面灰度等影響。這一類環(huán)境干擾發(fā)生在外界，和ToF本身的關(guān)系不大，環(huán)境干擾的差異主要是由不同ToF的測(cè)距原理引起的。

dToF單幀深度圖獲取時(shí)，會(huì)經(jīng)歷多次重復(fù)測(cè)量，并且采用時(shí)間直方圖統(tǒng)計(jì)的方式計(jì)算飛行時(shí)間，比較容易區(qū)分信號(hào)中的干擾成分?？弓h(huán)境干擾能力更強(qiáng)。

iToF在曝光階段，部分環(huán)境光混雜在調(diào)制光中被傳感器接收，然后計(jì)算相位偏移。無(wú)法從單次測(cè)量的結(jié)果中區(qū)分出環(huán)境光引起的干擾。環(huán)境光越強(qiáng)，相應(yīng)的，引起的深度誤差也越大。

應(yīng)用場(chǎng)景

dToF功耗低，并且體積小巧，更加適合工業(yè)機(jī)器人等需快速進(jìn)行測(cè)距避障檢測(cè)的應(yīng)用，以及其他在空間受限的緊湊型設(shè)計(jì)中。

dToF抗環(huán)境干擾表現(xiàn)比較好，目前在戶外場(chǎng)景下的測(cè)距精度比iToF更加高，在戶外應(yīng)用場(chǎng)景中也比較占優(yōu)。

dToF的時(shí)間分辨率高，測(cè)量距離增大時(shí)精度不會(huì)大幅衰減，能耗也不會(huì)大幅提升，在AR應(yīng)用中的優(yōu)勢(shì)也比較顯著。

iToF的圖像分辨率較高，在物體識(shí)別，3D重建以及行為分析等應(yīng)用場(chǎng)景中能夠重現(xiàn)場(chǎng)景中更多的細(xì)節(jié)信息，在機(jī)器人、新零售等應(yīng)用領(lǐng)域占優(yōu)。

dToF和iToF兩者的目標(biāo)都是輸出一幅高質(zhì)量的深度圖像，所以兩者都需要深度數(shù)據(jù)層面的濾波和噪聲修正，比如空域?yàn)V波、點(diǎn)云域的噪聲濾波以及非一致性像素校準(zhǔn)等。此外，兩者都擁有透鏡成像系統(tǒng)，所以無(wú)論是dToF還是iToF，都需要透鏡失真補(bǔ)償。硬件的溫度變化帶來(lái)的噪聲也同時(shí)存在于兩種ToF中，所以溫度補(bǔ)償也是兩者所必需的。

dToF是發(fā)射脈沖波，而不是特定頻率的調(diào)制波，所以dToF不需要做和調(diào)制光的頻率相關(guān)的處理，包括頻率校準(zhǔn)、自動(dòng)頻率選擇、高動(dòng)態(tài)范圍（HDR）。但是dToF的發(fā)射脈沖也有一定的頻率，即相鄰兩個(gè)發(fā)射脈沖之間的時(shí)間間隔，dToF的頻率校準(zhǔn)和發(fā)射脈沖的頻率相關(guān)。dToF僅僅輸出深度圖，而iToF同時(shí)輸出深度圖和幅值圖，所以dToF不需要做幅值校準(zhǔn)。

此外，由場(chǎng)景干擾引起的多徑、相位模糊、運(yùn)動(dòng)模糊、內(nèi)反射等都是兩者所共有的問(wèn)題，雖然dToF因?yàn)槌上裨淼奶匦跃哂懈玫目弓h(huán)境干擾能力，但是還是會(huì)受到這一類場(chǎng)景干擾的影響。不過(guò)不同的是，因?yàn)閐ToF和iToF的成像原理不同，兩者所需要的深度修正方式也會(huì)有所差異。

dToF和iToF兩者因?yàn)闇y(cè)距原理和硬件架構(gòu)的不同，各方面的性能互有優(yōu)劣，適用場(chǎng)景也不盡相同。兩者均面臨場(chǎng)景的適應(yīng)性，如何在任意場(chǎng)景下獲取可靠和準(zhǔn)確的深度數(shù)據(jù)是非常大的技術(shù)挑戰(zhàn)，是ToF技術(shù)普及的關(guān)鍵。ToF應(yīng)用技術(shù)的普及有賴于3D ISP增強(qiáng)引擎來(lái)消除干擾，降低功耗，提高實(shí)時(shí)性能；需要面向3D行業(yè)的ISP IP及中間件，有力支撐上層應(yīng)用。所以說(shuō)3D ISP是3D成像市場(chǎng)爆發(fā)的必要條件。數(shù)跡智能團(tuán)隊(duì)正在研發(fā)3D ToF ISP Smart3D-ISP，以ISP技術(shù)為核心系統(tǒng)性地提升無(wú)論是dToF還是iToF的性能并降低功耗和成本是多年來(lái)的研發(fā)目標(biāo)，將我們的3D ToF技術(shù)植入每部手機(jī)、每輛汽車、每個(gè)機(jī)器人、每臺(tái)家電，從而改變機(jī)器對(duì)世界的“看法”，實(shí)現(xiàn)深度的智能。

審核編輯 ：李倩