背景

單目深度估計(jì)分為兩個(gè)派系，metric depth estimation(度量深度估計(jì)，也稱絕對(duì)深度估計(jì))和relative depth estimation(相對(duì)深度估計(jì))。

絕對(duì)深度估計(jì)：估計(jì)物體絕對(duì)物理單位的深度，即米。預(yù)測(cè)絕對(duì)深度的優(yōu)點(diǎn)是在計(jì)算機(jī)視覺和機(jī)器人技術(shù)的許多下游應(yīng)用中具有實(shí)用價(jià)值，如建圖、規(guī)劃、導(dǎo)航、物體識(shí)別、三維重建和圖像編輯。然而，絕對(duì)深度股即泛化能力（室外、室內(nèi)）極差。因此，目前的絕對(duì)深度估計(jì)模型通常在特定的數(shù)據(jù)集上過(guò)擬合，而不能很好地推廣到其他數(shù)據(jù)集。

相對(duì)深度估計(jì)：估計(jì)每個(gè)像素與其它像素的相對(duì)深度差異，深度無(wú)尺度信息，可以各種類型環(huán)境中的估計(jì)深度。應(yīng)用場(chǎng)景有限。

導(dǎo)讀

現(xiàn)有的單目深度估計(jì)工作，要么關(guān)注于泛化性能而忽略尺度，即相對(duì)深度估計(jì)，要么關(guān)注于特定數(shù)據(jù)集上的最先進(jìn)的結(jié)果，即度量深度（絕對(duì)深度）估計(jì)。論文提出了第一種結(jié)合這兩種形態(tài)的方法，從而得到一個(gè)在泛化性能良好的同時(shí)，保持度量尺度的模型：ZoeD-M12-NK。

具體來(lái)說(shuō)，論文框架包括兩個(gè)關(guān)鍵組成部分：相對(duì)深度估計(jì)網(wǎng)絡(luò)和絕對(duì)深度估計(jì)網(wǎng)絡(luò)。相對(duì)深度估計(jì)網(wǎng)絡(luò)學(xué)習(xí)提取相鄰像素之間的深度差異信息，而絕對(duì)深度估計(jì)網(wǎng)絡(luò)則直接預(yù)測(cè)絕對(duì)深度值。

使用這種框架，論文方法能夠?qū)⒁延袛?shù)據(jù)集的深度信息轉(zhuǎn)移到新的目標(biāo)數(shù)據(jù)集上，從而實(shí)現(xiàn)零樣本（Zero-shot）深度估計(jì)。在實(shí)驗(yàn)中，論文方法使用了幾個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行測(cè)試，并證明了所提方法在零樣本深度估計(jì)方面比現(xiàn)有SOTA表現(xiàn)更好。

貢獻(xiàn)

本文中，作者提出了一個(gè)兩階段的框架，使用一個(gè)通用的編碼-解碼器架構(gòu)進(jìn)行相對(duì)深度估計(jì)的預(yù)訓(xùn)練，在第二階段添加絕對(duì)深度估計(jì)的輕量級(jí)head（metric bins module），并使用絕對(duì)深度數(shù)據(jù)集進(jìn)行微調(diào)。本文的主要貢獻(xiàn)是：

ZoeDepth 是第一個(gè)結(jié)合了相對(duì)深度和絕對(duì)深度的方法，在保持度量尺度的同時(shí)，實(shí)現(xiàn)了卓越的泛化性能。

ZoeDepth 的旗艦?zāi)Ｐ?ZoeD-M12-NK 在12個(gè)數(shù)據(jù)集上使用相對(duì)深度進(jìn)行預(yù)訓(xùn)練，并在兩個(gè)數(shù)據(jù)集上使用絕對(duì)深度進(jìn)行微調(diào)，使其在現(xiàn)有SOTA上有了明顯的提高

ZoeDepth 是第一個(gè)可以在多個(gè)數(shù)據(jù)集(NYU Depth v2 和 KITTI)上聯(lián)合訓(xùn)練而性能不明顯下降的模型，在室內(nèi)和室外域的8個(gè)未見過(guò)的數(shù)據(jù)集上實(shí)現(xiàn)了前所未有的零樣本泛化性能

ZoeDepth 彌補(bǔ)了相對(duì)深度估計(jì)和絕對(duì)深度估計(jì)之間的差距，并且可以通過(guò)在更多的數(shù)據(jù)集上定義更細(xì)化的域和，并在更多的絕對(duì)深度數(shù)據(jù)集微調(diào)來(lái)進(jìn)一步改進(jìn)網(wǎng)絡(luò)性能。

方法

論文首先使用一個(gè)Encoder-Decoder的backbone進(jìn)行相對(duì)深度預(yù)測(cè)，然后將提出的metric bins 模塊附加在decoder上得到絕對(duì)深度預(yù)測(cè)頭(head)，通過(guò)添加一個(gè)或多個(gè)head(每個(gè)數(shù)據(jù)集一個(gè))來(lái)進(jìn)行絕對(duì)深度估計(jì)。最后再進(jìn)行端到端的微調(diào)。下面介紹每個(gè)head(metric bins mdule)是怎么設(shè)計(jì)的：

LocalBins review

global adaptive bins vs local adaptive bins

不同RGB輸入對(duì)應(yīng)的深度分布會(huì)有很大的不同，目前的神經(jīng)網(wǎng)絡(luò)架構(gòu)主要是在低分辨率的bottleneck獲取全局信息，而不能很好地在高分辨率特征獲取全局特征，深度分布的這種變化使得端到端的深度回歸變得困難。因此，此前的一些方法提出將深度范圍劃分為一定數(shù)量的bin，將每個(gè)像素分配給每個(gè)bin，將深度回歸任務(wù)轉(zhuǎn)換為分類任務(wù)。

最終深度估計(jì)是bin中心值的線性組合。上圖介紹了兩種劃分bin的方法，AdaBins預(yù)測(cè)了完整圖像的分布，LocalBins預(yù)測(cè)了每個(gè)像素周圍區(qū)域的分布。本文采用了類似于LocalBins的這種方式。

Metric bins

具體來(lái)說(shuō)，LocalBins使用一個(gè)標(biāo)準(zhǔn)的encoder-decoder作為基本模型，并附加一個(gè)模塊，該模塊將encoder-decoder的多尺度特征作為輸入，預(yù)測(cè)每個(gè)像素深度區(qū)間上的個(gè)bins中心值(channel)。一個(gè)像素的最終深度，由個(gè)bin經(jīng)過(guò)softmax得到的概率加權(quán)其bin中心值的線性組合得到：

Metric bins module

Metric Bins Module

如上圖所示，Metric bins模塊以MiDaS[1](一種有監(jiān)督的Zero-shot深度估計(jì)方法)的解碼器的多尺度（五層）特征作為輸入，預(yù)測(cè)用于絕對(duì)深度估計(jì)的深度區(qū)間的bins的中心。注意論文在bottleneck層就直接預(yù)測(cè)每個(gè)像素上所有的bins（即channel的維度直接就是）。然后在decoder上使用attractor layers逐步進(jìn)行細(xì)化bin區(qū)間。

Attract instead of split

論文通過(guò)調(diào)整bin，在深度區(qū)間上向左或向右移動(dòng)它們，來(lái)實(shí)現(xiàn)對(duì)bin的多尺度細(xì)化。利用多尺度特征，論文預(yù)測(cè)了深度區(qū)間上的一組點(diǎn)用來(lái)”吸引“bin的中心。

具體地說(shuō)，在第1個(gè)decoder層，MLP將一個(gè)像素處的特征作為輸入，并預(yù)測(cè)該像素位置的吸引點(diǎn)。調(diào)整后的bin中心為，調(diào)整如下：

其中，超參數(shù)和決定了attractor(吸引子)的強(qiáng)度。論文把這個(gè)attractor命名為inverse attractor。此外，論文還實(shí)驗(yàn)了一個(gè)指數(shù)變量：

實(shí)驗(yàn)表明，inverse attractor可以導(dǎo)致更好的性能。論文中，深度區(qū)間設(shè)置了個(gè)bin，decoder設(shè)置了個(gè)attractor。

Log-binomial instead of softmax

為了得到最終的絕對(duì)深度預(yù)測(cè)，每個(gè)像素上深度區(qū)間內(nèi)的每個(gè)bin通過(guò)softmax可以得到其概率，所有的bin的中心進(jìn)行按照片概率線性組合得到該像素的深度值。

盡管softmax在無(wú)序類中運(yùn)行得很好，但由于深度區(qū)間內(nèi)bin本身是有序的，softmax方法可能導(dǎo)致附近的bin的概率大大不同，因此論文使用具有排序感知的概率預(yù)測(cè)：

論文使用一個(gè)二項(xiàng)式分來(lái)預(yù)測(cè)概率，將相對(duì)深度預(yù)測(cè)與解碼器特征連接起來(lái)，并從解碼器特征中預(yù)測(cè)一個(gè)2通道輸出（q - mode和t - temperature），通過(guò)以下方法獲得第k個(gè)bin中心的概率得分：

然后再通過(guò)：

得到最終的概率值。

訓(xùn)練策略

Metric fine-tuning on multiple datasets

在具有各種場(chǎng)景的混合數(shù)據(jù)集上訓(xùn)練一個(gè)絕對(duì)深度模型是很困難的，論文首先預(yù)訓(xùn)練一個(gè)的相對(duì)深度估計(jì)的backbone，在一定程度上減輕了對(duì)多個(gè)數(shù)據(jù)集的微調(diào)問(wèn)題。然后為模型配備多個(gè)Metric bins模塊，每個(gè)場(chǎng)景類型（室內(nèi)和室外）對(duì)應(yīng)一個(gè)。最后再對(duì)完整的模型進(jìn)行端到端微調(diào)。

Routing to metric heads

當(dāng)模型有多個(gè)絕對(duì)深度頭時(shí)，在推理的時(shí)候，算法需要根據(jù)輸入數(shù)據(jù)的類型，通過(guò)一個(gè)“路由器”來(lái)選擇用于特定輸入的絕對(duì)深度頭。

論文提供了三種“路由”策略：

Labeled Router(R.1)：訓(xùn)練多個(gè)模型，給它們打上場(chǎng)景標(biāo)簽，推理時(shí)根據(jù)場(chǎng)景手動(dòng)選擇模型

Trained Router(R.2)：訓(xùn)練一個(gè)MLP分類器，它根據(jù)bottleneck預(yù)測(cè)輸入圖像的場(chǎng)景類型，然后“路由”到相應(yīng)的head，訓(xùn)練的時(shí)候需要提供場(chǎng)景類型的標(biāo)簽

Auto Router(R.3)：跟第二種類似，但是訓(xùn)練和推理過(guò)程中不提供場(chǎng)景的標(biāo)簽。

實(shí)驗(yàn)

Comparison to SOTA on NYU Depth V2

表1 Quantitative comparison on NYU-Depth v2

在沒有任何相對(duì)深度預(yù)訓(xùn)練的情況下，論文的模型ZoeD-X-N預(yù)測(cè)的絕對(duì)深度可以比目前的SOTA NeWCRFs提高13.7% (REL = 0.082)。

通過(guò)對(duì)12個(gè)數(shù)據(jù)集進(jìn)行相對(duì)深度預(yù)訓(xùn)練，然后對(duì)NYU Depth v2進(jìn)行絕對(duì)深度微調(diào)，論文的模型ZoeD-M12-N可以在ZoeD-X-N上進(jìn)一步提高8.5%，比SOTA NeWCRFs提高21%(REL = 0.075)。

Qualitative comparison on NYU Depth v2

上面的可視化可以看出，論文方法始終以更少的誤差，產(chǎn)生更好的深度預(yù)測(cè)（藍(lán)色表示誤差小）。

Universal Metric SIDE

表2 Comparison with existing works when trained on NYU and KITTI

使用跨域數(shù)據(jù)集（室內(nèi)NYU和室外KITTI（NK））進(jìn)行絕對(duì)深度訓(xùn)練的模型通常表現(xiàn)更差，如上表2與表1的對(duì)比所示，論文將最近的一些方法在室內(nèi)和室外數(shù)據(jù)集上進(jìn)行聯(lián)合訓(xùn)練，從結(jié)果可以看到，這些方法的性能都顯著下降，甚至直接無(wú)法收斂。而本文的方法ZoeD-M12-NK**只下降了8%**（REL 0.075 to 0.081)，顯著優(yōu)于SOTA NeWCRFs。

表2中，“”表示使用一個(gè)head，可以看到，使用多head的網(wǎng)絡(luò)，泛化能力更強(qiáng)，這些結(jié)果表明，Metric Bins模塊比現(xiàn)有的工作更好地利用了預(yù)訓(xùn)練，從而改進(jìn)了跨域的自適應(yīng)和泛化（Zero-shot性能）。

Zero-shot Generalization

論文將所提模型在8個(gè)未訓(xùn)練的室內(nèi)和室外數(shù)據(jù)上進(jìn)行Zero-shot測(cè)試，來(lái)評(píng)估所提方法的泛化能力。

Zero-shot transfer



Zero-shot transfer



表3 Quantitative results for zero-shot transfer to four unseen indoor datasets



表4 Quantitative results for zero-shot transfer to four unseen outdoor datasets

如表3所示，在室內(nèi)數(shù)據(jù)測(cè)試中，ZoeD-M12-N能夠取得最好的效果（在12個(gè)相對(duì)深度數(shù)據(jù)集上預(yù)訓(xùn)練，只對(duì)NYU數(shù)據(jù)集進(jìn)行微調(diào)），同時(shí)在室內(nèi)NYU數(shù)據(jù)集和室外KITTI數(shù)據(jù)集進(jìn)行微調(diào)效果次之，不使用12個(gè)相對(duì)深度數(shù)據(jù)集上預(yù)訓(xùn)練最差，但都顯著高于SOTA。如表4和上圖所示，在室外數(shù)據(jù)測(cè)試中，結(jié)論類似。甚至在達(dá)到了976.4%的提升！，這證明了它前所未有的Zero-shot能力。

消融實(shí)驗(yàn)

Backbones

Backbone ablation study

在圖像分類task中的backbone性能與深度估計(jì)性能之間有很強(qiáng)的相關(guān)性。較大的backbone可以實(shí)現(xiàn)較低的絕對(duì)相對(duì)誤差（REL）。

Metric Bins Module

Metric head variants

不同的MLP中的分裂因子（Splitter）和吸引子（Attractor）的數(shù)量對(duì)結(jié)果有影響。

Routers

Router variants

Trained Router效果顯著由于另外兩種路由策略。

總結(jié)

論文提出了ZoeDepth，第一個(gè)結(jié)合了相對(duì)深度和絕對(duì)深度而性能沒有顯著下降的方法，彌補(bǔ)相對(duì)和絕對(duì)深度估計(jì)性能之間的差距，在保持度量尺度的同時(shí)，實(shí)現(xiàn)了卓越的泛化性能。ZoeDepth是一個(gè)兩階段的工作，在第一階段，論文使用相對(duì)深度數(shù)據(jù)集對(duì)encoder-decoder架構(gòu)進(jìn)行預(yù)訓(xùn)練。在第二階段，論文基于所提的Metric bins 模塊得到domain-specific頭，將其添加到解碼器中，并在一個(gè)或多個(gè)數(shù)據(jù)集上對(duì)模型進(jìn)行微調(diào)，用于絕對(duì)深度預(yù)測(cè)。

提出的架構(gòu)顯著地改進(jìn)了NYU Depth v2的SOTA（高達(dá)21%），也顯著提高了zero-transfer的技術(shù)水平。論文希望在室內(nèi)和室外之外定義更細(xì)粒度的領(lǐng)域，并在更多的絕對(duì)深度數(shù)據(jù)集上進(jìn)行微調(diào)，可以進(jìn)一步改善論文的結(jié)果。在未來(lái)的工作中，論文希望研究ZoeDepth的移動(dòng)架構(gòu)版本，例如，設(shè)備上的照片編輯，并將該工作擴(kuò)展到雙目深度估計(jì)。

審核編輯：劉清