1.團(tuán)隊(duì)介紹

參賽單位：西安電子科技大學(xué) 指導(dǎo)老師：蔡覺(jué)平、丁瑞雪 參賽隊(duì)員：王瑞青、江立峰、陳培林 總決賽獎(jiǎng)項(xiàng)：二等獎(jiǎng)

2.項(xiàng)目簡(jiǎn)介

2.1項(xiàng)目背景

由于深度對(duì)于理解三維場(chǎng)景非常重要，因此它被廣泛應(yīng)用于機(jī)器人技術(shù)、三維建模和駕駛自動(dòng)化系統(tǒng)等領(lǐng)域。如圖1所示，單目深度估計(jì)從單個(gè)RGB圖像生成像素方向的深度。單目深度估計(jì)有可能取代現(xiàn)有的深度傳感器，如激光雷達(dá)和紅外傳感器，成為低成本和功率單目RGB相機(jī)。由于單目RGB相機(jī)的可靠性和高精度，最近基于CNN的單目深度估計(jì)方法受到關(guān)注。然而，CNN需要大量的乘法運(yùn)算，在有限的功耗限制下，很難對(duì)嵌入式系統(tǒng)進(jìn)行實(shí)時(shí)、準(zhǔn)確的估計(jì)。在以往的單目深度估計(jì)研究中，為了加快gpu上的訓(xùn)練時(shí)間或推理速度，這些研究通常使用具有輕量級(jí)卷積（如可分離卷積）的編解碼網(wǎng)絡(luò)[2]。然而，gpu需要很高的功耗，并且不適合處理編碼器-解碼器網(wǎng)絡(luò)中使用的許多不同卷積的快速內(nèi)存訪問(wèn)。

2.2項(xiàng)目功能

單目深度估計(jì)是指從單個(gè)二維彩色圖像中估計(jì)像素級(jí)深度測(cè)量的任務(wù)。這個(gè)問(wèn)題的輸入是一個(gè)2D RGB彩色圖像，輸出是一個(gè)密集的深度圖，如圖1-1所示。2D RGB圖像提供像素級(jí)的顏色信息，這有助于識(shí)別場(chǎng)景中對(duì)象的相對(duì)位置；然而，圖像本身并不能提供尺度感。因此，可以想象不同的RGB圖像如何能夠產(chǎn)生相同的深度圖，例如，保持對(duì)象的相對(duì)位置但在垂直于圖像平面的深度維度上具有縮放的距離的圖像。這對(duì)單目深度估計(jì)算法提出了挑戰(zhàn)，因?yàn)樗鼈儽仨毻茢噙m當(dāng)?shù)谋壤?，以便生成精確的像素級(jí)深度測(cè)量。

2.3項(xiàng)目應(yīng)用

深度估計(jì)對(duì)于許多機(jī)器人應(yīng)用來(lái)說(shuō)至關(guān)重要，尤其是導(dǎo)航。這通常是即時(shí)定位與地圖構(gòu)建（SLAM）算法中的一個(gè)關(guān)鍵步驟，一些著作已經(jīng)將基于學(xué)習(xí)的深度估計(jì)結(jié)合到SLAM框架中，例如CNN-SLAM 。深度估計(jì)也是3D重建算法的一個(gè)關(guān)鍵步驟，應(yīng)用于增強(qiáng)現(xiàn)實(shí)和醫(yī)學(xué)成像。當(dāng)我們考慮功率受限的小型化機(jī)器人時(shí)，單目深度估計(jì)變得也很重要，這種機(jī)器人上的機(jī)載傳感器技術(shù)可能僅限于簡(jiǎn)單的RGB相機(jī)，并且可能不存在附加信息(例如，立體圖像對(duì)、IMU測(cè)量、稀疏深度點(diǎn)云、光流)。對(duì)于這樣的應(yīng)用，以計(jì)算有效的方式從單個(gè)RGB圖像估計(jì)密集深度的能力成為挑戰(zhàn)和目標(biāo)。

3.系統(tǒng)組成

天乾C216F開(kāi)發(fā)板
我們使用的開(kāi)發(fā)板，完成將RGB圖像處理成深度圖像的功能

全息相冊(cè)
展示天乾C216F處理后的全息影像

上位機(jī)
發(fā)送指令，完成使系統(tǒng)功能在“懷舊模式”、“攝影模式”、“拍照模式”等多種模式之間的切換

單目攝像頭
可以捕獲圖像或者視頻，并輸出給天乾C216F

HDMI顯示器
顯示當(dāng)前模式以及圖像處理情況

4.網(wǎng)路設(shè)計(jì)與優(yōu)化方法

4.1FastDepth簡(jiǎn)介

我們?cè)O(shè)計(jì)的單目深度估計(jì)網(wǎng)絡(luò)FastDepth主要由卷積構(gòu)成，主要由編碼器-解碼器兩部分組成。編碼器從輸入圖像中提取高層次低分辨率特征。然后將這些特征輸入解碼器，在解碼器中對(duì)它們進(jìn)行逐步的上采樣、細(xì)化和合并，以形成最終的高分辨率輸出深度圖。

編碼器用藍(lán)色表示；解碼器用黃色表示。中間特征圖的尺寸對(duì)應(yīng)關(guān)系為高× 寬×深度。從編碼層到解碼層的箭頭表示加法跳過(guò)連接。

FastDepth的大部分卷積層使用深度可分離卷積。只有MobileNet編碼器的第一層（標(biāo)準(zhǔn)卷積層）和解碼器的最后一層（簡(jiǎn)單的逐點(diǎn)卷積，然后是插值）沒(méi)有使用深度可分離卷積。FastDepth中的每個(gè)卷積層后面是一個(gè)標(biāo)準(zhǔn)化層和一個(gè)ReLU函數(shù)。在訓(xùn)練之后，將標(biāo)準(zhǔn)化層和卷積層合并，從而形成一個(gè)僅由卷積層、ReLU函數(shù)和加法跳過(guò)連接操作組成的神經(jīng)網(wǎng)絡(luò)拓?fù)洹?/p>

我們?cè)赑yTorch中建立了FastDepth網(wǎng)絡(luò)，并使用官方的train/test數(shù)據(jù)分割在NYU Depth v2數(shù)據(jù)集上進(jìn)行訓(xùn)練。編碼層使用了已經(jīng)在ImageNet上預(yù)訓(xùn)練的模型的權(quán)重進(jìn)行初始化。然后將網(wǎng)絡(luò)作為一個(gè)整體進(jìn)行20個(gè)epochs的訓(xùn)練，batch size為16，初始學(xué)習(xí)率為0.01。學(xué)習(xí)率每5個(gè)epochs降低2倍。

4.2網(wǎng)絡(luò)優(yōu)化

4.2.1網(wǎng)絡(luò)剪枝

為了進(jìn)一步減少網(wǎng)絡(luò)延遲，我們使用NetAdapt執(zhí)行訓(xùn)練后網(wǎng)絡(luò)修剪。NetAdapt從一個(gè)經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)開(kāi)始，自動(dòng)地從特征映射中識(shí)別和刪除冗余通道，以降低計(jì)算復(fù)雜度。在每次迭代中，NetAdapt都會(huì)生成一組從參考網(wǎng)絡(luò)簡(jiǎn)化而來(lái)的網(wǎng)絡(luò)建議。然后選擇具有最佳精度和復(fù)雜度權(quán)衡的網(wǎng)絡(luò)方案作為下一次迭代的參考網(wǎng)絡(luò)。該過(guò)程一直持續(xù)到達(dá)到目標(biāo)精度或復(fù)雜度。網(wǎng)絡(luò)復(fù)雜性可以通過(guò)間接指標(biāo)（如mac）或直接指標(biāo)（如目標(biāo)硬件平臺(tái)上的延遲）來(lái)衡量。

4.2.2將5×5卷積和最近鄰插值分解為3×3卷積

參考了Yazdanbakhsh等人在他們關(guān)于FlexiGAN的工作中探索的這種分解的一種變體，他們?cè)贔lexiGAN中使用了濾波器和行重新排序，以使零插入后的卷積更加緊湊和密集，從而更好地利用硬件資源。我們采用了一種類似的方法如圖所示。

把5×5核分解成4個(gè)更小的3×3核。當(dāng)5×5卷積之前是最近鄰插值。此處的紅色框表示插值輸入特征圖中具有相同值的像素窗口。隨著5×5核的滑動(dòng)，2×2的窗口中的內(nèi)核值將與相同的特性映射值相乘。與執(zhí)行4次乘法和4次加法不同，內(nèi)核值可以先預(yù)加，然后再與共享像素值相乘一次。（b）經(jīng)過(guò)濾波器分解，每四個(gè)較小的3×3濾波器可與非插值輸入特征映射卷積。這將產(chǎn)生四個(gè)可以交錯(cuò)的輸出。得到的輸出特征映射與最近鄰插值后執(zhí)行的原始5×5卷積的特征映射相匹配。

5.部署方式

本文實(shí)現(xiàn)了兩種部署方式：通過(guò)TVM編譯器和pytorch深度學(xué)習(xí)框架部署。通過(guò)TVM端到端深度學(xué)習(xí)編譯器部署fastdepth模型，顯示效果一般，但由于對(duì)模型經(jīng)過(guò)剪枝、量化等優(yōu)化操作，幀率高達(dá)34.7fps；通過(guò)pytorch深度學(xué)習(xí)框架部署midas，模型精度高，顯示效果好，但幀率下降至0.82fps左右。

TVM是由華盛頓大學(xué)在讀博士陳天奇等人提出的深度學(xué)習(xí)自動(dòng)代碼生成方法，該技術(shù)能自動(dòng)為大多數(shù)計(jì)算硬件生成可部署優(yōu)化代碼，其性能可與當(dāng)前最優(yōu)的供應(yīng)商提供的優(yōu)化計(jì)算庫(kù)相比，且可以適應(yīng)新型專用加速器后端。

TVM可以優(yōu)化CPU和其他專用硬件為后端的常見(jiàn)深度學(xué)習(xí)計(jì)算負(fù)載。

TVM通過(guò)利用多線程、數(shù)據(jù)布局轉(zhuǎn)化和一些新的計(jì)算原語(yǔ)，可以針對(duì)GPU做很多高效優(yōu)化。

同時(shí)，TVM已為x86、ARM等平臺(tái)提供了同意的優(yōu)化框架，利用其部署大大提高了板子資源利用率，幀率高達(dá)34.7fps。

下圖是TVM端到端深度學(xué)習(xí)編譯器的說(shuō)明圖：

6.作品效果展示

通過(guò)全息相冊(cè)上位機(jī)選擇生成后的深度圖即可在全息相冊(cè)上展示。

審核編輯 ：李倩