Facebook 的博客詳細(xì)介紹了其在 3D 內(nèi)容理解領(lǐng)域的研究進(jìn)展。

要想解釋現(xiàn)實(shí)世界，AI 系統(tǒng)必須理解三維視覺(jué)場(chǎng)景。而這需要機(jī)器人學(xué)、導(dǎo)航，甚至增強(qiáng)現(xiàn)實(shí)應(yīng)用等等。2D 圖像和視頻所描述的場(chǎng)景和對(duì)象本身仍是三維的，而真正智能的內(nèi)容理解系統(tǒng)必須能夠從杯子的視頻中識(shí)別出手柄的幾何情況，或者識(shí)別出照片前景和背景中的對(duì)象。

不久之前，F(xiàn)acebook 發(fā)布博客介紹了多個(gè)新研究項(xiàng)目的詳情，這些項(xiàng)目以不同卻互補(bǔ)的方式推進(jìn) 3D 圖像理解領(lǐng)域的當(dāng)前最優(yōu)水平。相關(guān)研究已被 ICCV 2019 接收，它利用不同類(lèi)型和數(shù)量的訓(xùn)練數(shù)據(jù)和輸入，解決了大量用例和環(huán)境中的 3D 內(nèi)容理解問(wèn)題。

Mesh R-CNN 是一種新型的當(dāng)前最優(yōu)方法，可基于大量 2D 現(xiàn)實(shí)世界圖像預(yù)測(cè)出最準(zhǔn)確的 3D 形狀。該方法利用目標(biāo)實(shí)例分割任務(wù)的通用 Mask R-CNN 框架，能夠檢測(cè)出復(fù)雜的對(duì)象，如椅子腿或者重疊的家具。 利用 Mesh R-CNN 的替代和補(bǔ)充性方法 C3DPO，F(xiàn)acebook 通過(guò)解釋三維幾何，首次在三個(gè)基準(zhǔn)數(shù)據(jù)集（涉及超過(guò) 14 種對(duì)象類(lèi)別）上實(shí)現(xiàn)了大規(guī)模非剛性三維形狀重建。而該成果的實(shí)現(xiàn)僅使用了 2D 關(guān)鍵點(diǎn)，未使用 3D 標(biāo)注。 Facebook 提出了一種新方法來(lái)學(xué)習(xí)圖像和 3D 形狀之間的關(guān)聯(lián)，同時(shí)大幅減少對(duì)標(biāo)注訓(xùn)練樣本的需求。這向著為更多對(duì)象類(lèi)別創(chuàng)建 3D 表征的自監(jiān)督系統(tǒng)邁出了一步。 Facebook 開(kāi)發(fā)了一種新技術(shù) VoteNet，可對(duì)激光雷達(dá)等傳感器輸出的 3D 圖像執(zhí)行目標(biāo)檢測(cè)。大部分傳統(tǒng)的目標(biāo)檢測(cè)系統(tǒng)依賴(lài) 2D 圖像信號(hào)，而 VoteNet 僅基于 3D 點(diǎn)云，且取得了高于之前研究的精度。

這些研究基于使用深度學(xué)習(xí)預(yù)測(cè)和定位圖像中對(duì)象的近期進(jìn)展，以及執(zhí)行 3D 形狀理解（如體素、點(diǎn)云和網(wǎng)格）的新工具和架構(gòu)。計(jì)算機(jī)視覺(jué)領(lǐng)域覆蓋大量任務(wù)，而 3D 理解將對(duì)推進(jìn) AI 系統(tǒng)更準(zhǔn)確地理解、解釋現(xiàn)實(shí)世界并在其中運(yùn)行起到核心作用。

在預(yù)測(cè)無(wú)約束受遮擋對(duì)象的 3D 形狀任務(wù)中達(dá)到當(dāng)前最優(yōu)

感知系統(tǒng)（如 Mask R-CNN）是理解圖像的強(qiáng)大通用工具。但是，這些系統(tǒng)只能對(duì) 2D 圖像執(zhí)行預(yù)測(cè)，忽略了世界的 3D 結(jié)構(gòu)。Facebook 利用 2D 感知領(lǐng)域的進(jìn)展，設(shè)計(jì)了一個(gè) 3D 目標(biāo)重建模型，該模型可以基于無(wú)約束現(xiàn)實(shí)世界圖像預(yù)測(cè) 3D 對(duì)象形狀，而這些圖像包含大量視覺(jué)難題，如對(duì)象被遮擋、雜亂，以及多樣化的拓?fù)浣Y(jié)構(gòu)。向?qū)Υ祟?lèi)復(fù)雜性具備穩(wěn)健性的目標(biāo)檢測(cè)系統(tǒng)添加第三個(gè)維度，需要更強(qiáng)大的工程能力，而目前的工程框架阻礙了該領(lǐng)域的進(jìn)步。

Mesh R-CNN 預(yù)測(cè)輸入圖像中的對(duì)象實(shí)例，并推斷其 3D 形狀。為了捕捉幾何和拓?fù)涞亩鄻有?，Mesh R-CNN 首先預(yù)測(cè)粗糙的體素，然后細(xì)化以執(zhí)行準(zhǔn)確的網(wǎng)格預(yù)測(cè)。

為了解決這些挑戰(zhàn)，F(xiàn)acebook 為 Mask R-CNN 的 2D 目標(biāo)分割系統(tǒng)添加了網(wǎng)格預(yù)測(cè)部分，從而構(gòu)建了 Torch3d。這是一個(gè) PyTorch 庫(kù)，具備高度優(yōu)化的 3D 算子以實(shí)現(xiàn)該系統(tǒng)。Mesh R-CNN 使用 Mask R-CNN 來(lái)檢測(cè)和分類(lèi)圖像中的不同對(duì)象，然后利用新的網(wǎng)格預(yù)測(cè)器推斷對(duì)象的 3D 形狀，該預(yù)測(cè)器由體素預(yù)測(cè)和網(wǎng)格細(xì)化兩個(gè)步驟構(gòu)成，這個(gè)兩階段流程可以實(shí)現(xiàn)優(yōu)于之前細(xì)粒度 3D 結(jié)構(gòu)預(yù)測(cè)研究的結(jié)果。Torch3d 保證 chamfer distance、可微網(wǎng)格采樣和可微渲染器等復(fù)雜操作的高效、靈活和模塊化實(shí)現(xiàn)，從而使得上述流程得以順利進(jìn)行。

Facebook 利用 Detectron2 實(shí)現(xiàn) Mesh R-CNN，它使用 RGB 圖像作為輸入，既能檢測(cè)對(duì)象，也能預(yù)測(cè) 3D 形狀。與 Mask R-CNN 利用監(jiān)督學(xué)習(xí)獲得強(qiáng)大的 2D 感知能力類(lèi)似，新方法 Mesh R-CNN 利用完全監(jiān)督學(xué)習(xí)（即圖像和網(wǎng)格對(duì)）學(xué)習(xí) 3D 預(yù)測(cè)。在訓(xùn)練階段中，F(xiàn)acebook 研究人員使用 Pix3D 數(shù)據(jù)集（包含一萬(wàn)個(gè)圖像和網(wǎng)格對(duì)），該數(shù)據(jù)集的規(guī)模遠(yuǎn)遠(yuǎn)小于通常包含數(shù)十萬(wàn)圖像和對(duì)象標(biāo)注的 2D 基準(zhǔn)數(shù)據(jù)集。

Facebook 在兩個(gè)數(shù)據(jù)集上評(píng)估 Mesh R-CNN 的性能，均獲得了優(yōu)秀的結(jié)果。在 Pix3D 數(shù)據(jù)集上，Mesh R-CNN 是首個(gè)能夠同時(shí)檢測(cè)出所有對(duì)象類(lèi)別，并基于多樣、雜亂、被遮擋的家具場(chǎng)景估計(jì)其完整 3D 形狀的系統(tǒng)。之前的研究主要關(guān)注在完美剪裁、未受遮擋的圖像分割部分上訓(xùn)練得到的模型。在 ShapeNet 數(shù)據(jù)集上，將體素預(yù)測(cè)和網(wǎng)格細(xì)化結(jié)合起來(lái)的 Mesh R-CNN 方法的性能比之前的研究高出 7%。

Mesh R-CNN 系統(tǒng)概覽。研究人員用 3D 形狀推斷增強(qiáng)了 Mask R-CNN。

在現(xiàn)實(shí)世界中準(zhǔn)確預(yù)測(cè)和重建無(wú)約束場(chǎng)景的形狀是提升新體驗(yàn)的重要一步，如虛擬現(xiàn)實(shí)以及其他形式的遠(yuǎn)程呈現(xiàn)。不過(guò)，收集標(biāo)注 3D 圖像數(shù)據(jù)要比 2D 圖像更加復(fù)雜、耗時(shí)，這也是 3D 形狀預(yù)測(cè)數(shù)據(jù)集落后于 2D 數(shù)據(jù)集的原因。因而，F(xiàn)acebook 探索了不同的方法，嘗試?yán)帽O(jiān)督和自監(jiān)督學(xué)習(xí)重建 3D 對(duì)象。

Mesh R-CNN 相關(guān)論文，參見(jiàn)：https://arxiv.org/abs/1906.02739

利用 2D 關(guān)鍵點(diǎn)重建 3D 對(duì)象類(lèi)別

當(dāng)訓(xùn)練過(guò)程中無(wú)法獲得網(wǎng)格及其對(duì)應(yīng)圖像時(shí)，對(duì)靜態(tài)對(duì)象或場(chǎng)景執(zhí)行完整重建則無(wú)必要，而 Facebook 開(kāi)發(fā)出一種替代方法——C3DPO 系統(tǒng)（Canonical 3D Pose Networks）。該系統(tǒng)構(gòu)建 3D 關(guān)鍵點(diǎn)模型重建，重建結(jié)果堪比使用充足 2D 關(guān)鍵點(diǎn)監(jiān)督信號(hào)獲得的當(dāng)前最優(yōu)結(jié)果。C3DPO 幫助我們用弱監(jiān)督的方式理解 3D 幾何，該系統(tǒng)適合大規(guī)模部署。

對(duì)于廣泛的對(duì)象類(lèi)別，C3DPO 能夠基于檢測(cè)出的 2D 關(guān)鍵點(diǎn)生成 3D 關(guān)鍵點(diǎn)，并準(zhǔn)確區(qū)分視角變化和形狀變化。

2D 關(guān)鍵點(diǎn)追蹤對(duì)象類(lèi)別的特定部分（如人體關(guān)節(jié)或鳥(niǎo)類(lèi)翅膀），為對(duì)象幾何及其變形或視角變化提供完整的線(xiàn)索。得到的 3D 關(guān)鍵點(diǎn)很有用，比如可用于建模 3D 人臉和全身網(wǎng)格，以輸出更逼真的 VR 頭像圖。與 Mesh R-CNN 類(lèi)似，C3DPO 使用具備遮擋和缺失值的無(wú)約束圖像重建 3D 對(duì)象。

C3DPO 是首個(gè)利用數(shù)千個(gè) 2D 關(guān)鍵點(diǎn)，重建包含數(shù)十萬(wàn)圖像的數(shù)據(jù)集的方法。該模型在三個(gè)數(shù)據(jù)集（超過(guò) 14 種不同非剛性對(duì)象類(lèi)別）上獲得了當(dāng)前最優(yōu)的重建準(zhǔn)確率。

代碼地址：https://github.com/facebookresearch/c3dpo_nrsfm

該模型有兩個(gè)重要?jiǎng)?chuàng)新。首先，給定一組單目 2D 關(guān)鍵點(diǎn)，C3DPO 可以預(yù)測(cè)對(duì)應(yīng)攝像機(jī)視角的參數(shù)，以及 3D 關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)位置。其次，F(xiàn)acebook 提出了一種新型正則化技術(shù) canonicalization，它包含一個(gè)輔助深度網(wǎng)絡(luò)，可以與 3D 重建網(wǎng)絡(luò)一道學(xué)習(xí)。該技術(shù)解決了對(duì) 3D 視角和形狀執(zhí)行因式分解導(dǎo)致的模糊性。這兩個(gè)創(chuàng)新促使更優(yōu)秀數(shù)據(jù)統(tǒng)計(jì)模型的誕生。

以前，這樣的 3D 重建是不可實(shí)現(xiàn)的，原因在于之前基于矩陣分解的方法會(huì)帶來(lái)內(nèi)存限制。與深度網(wǎng)絡(luò)不同，之前方法無(wú)法以「minibatch」機(jī)制運(yùn)行。之前方法在建模變形時(shí)利用了多個(gè)同步圖像，并構(gòu)建圖像與即時(shí) 3D 重建結(jié)果之間的對(duì)應(yīng)關(guān)系，這對(duì)硬件有很高要求，此類(lèi)硬件通常出現(xiàn)在特殊實(shí)驗(yàn)室中。而 C3DPO 使得在無(wú)法部署 3D 捕捉硬件時(shí)也能實(shí)現(xiàn) 3D 重建。

C3DPO 相關(guān)論文，參見(jiàn)：https://research.fb.com/publications/c3dpo-canonical-3d-pose-networks-for-non-rigid-structure-from-motion/

從圖像集中學(xué)習(xí)像素-表面映射（pixel-to-surface mapping）

該系統(tǒng)學(xué)得一個(gè)參數(shù)化卷積神經(jīng)網(wǎng)絡(luò)（CNN），該網(wǎng)絡(luò)以圖像作為輸入，并預(yù)測(cè)像素級(jí)標(biāo)準(zhǔn)表面圖（per-pixel canonical surface map，表示像素在模板形狀上的對(duì)應(yīng)位置點(diǎn)）。2D 圖像和 3D 形狀之間的標(biāo)準(zhǔn)表面圖中的類(lèi)似顏色表示對(duì)應(yīng)關(guān)系。

Facebook 進(jìn)一步減少了開(kāi)發(fā)通用對(duì)象類(lèi)別 3D 理解系統(tǒng)所需的監(jiān)督信號(hào)。研究人員提出一種利用無(wú)標(biāo)注圖像集的方法，這些圖像僅具備恰當(dāng)?shù)淖詣?dòng)實(shí)例分割。他們沒(méi)有顯式地預(yù)測(cè)圖像的底層 3D 結(jié)構(gòu)，轉(zhuǎn)而處理一個(gè)補(bǔ)充性任務(wù)：將圖像中的像素映射至類(lèi)別級(jí) 3D 形狀模板的表面。

該映射不僅可以幫助我們?cè)陬?lèi)別級(jí) 3D 形狀背景下理解圖像，還提供泛化同類(lèi)對(duì)象之間對(duì)應(yīng)關(guān)系的能力。例如，人們?cè)诳吹较聢D左側(cè)突出顯示的鳥(niǎo)喙時(shí)，可以很輕松地在右圖中找出對(duì)應(yīng)點(diǎn)的位置。

這是因?yàn)槲覀冎庇^上理解這些實(shí)例之間的共享 3D 結(jié)構(gòu)。Facebook 提出的將圖像像素映射至標(biāo)準(zhǔn) 3D 表面的新方法幫助學(xué)得系統(tǒng)也具備這種能力。對(duì)該方法在不同實(shí)例上遷移對(duì)應(yīng)關(guān)系的效果進(jìn)行評(píng)估后，研究人員發(fā)現(xiàn)其準(zhǔn)確率是之前未利用圖像底層 3D 結(jié)構(gòu)的自監(jiān)督方法的 2 倍。

使得模型在監(jiān)督信號(hào)大量減少的情況下還能學(xué)習(xí)的關(guān)鍵要素是：從像素到 3D 表面的映射，輔以從 3D 表面到像素的逆運(yùn)算，可形成一個(gè)完整循環(huán)。Facebook 提出的新方法使這一關(guān)鍵要素得以運(yùn)行，且學(xué)習(xí)過(guò)程中僅需使用免費(fèi)無(wú)標(biāo)注、具備恰當(dāng)實(shí)例分割結(jié)果的公共圖像集。得到的系統(tǒng)還可即拿即用，與其他自上而下的 3D 預(yù)測(cè)方法一道應(yīng)用，提供像素級(jí) 3D 理解。

代碼地址：https://github.com/nileshkulkarni/csm/

上述視頻中移動(dòng)車(chē)輛的顏色是一致的，這表面該系統(tǒng)對(duì)正在移動(dòng)和旋轉(zhuǎn)的對(duì)象生成不變的像素級(jí)嵌入。這種一致性可擴(kuò)展到特定實(shí)例，也可用于需要理解不同對(duì)象共性的場(chǎng)景中。

Facebook 提出的方法沒(méi)有直接學(xué)習(xí)兩張圖像之間的 2D 對(duì)應(yīng)關(guān)系，而是學(xué)習(xí) 2D 到 3D 的對(duì)應(yīng)，并確保 3D 到 2D 重新投影的一致性，這種一致性循環(huán)可作為學(xué)習(xí) 2D 到 3D 對(duì)應(yīng)關(guān)系的監(jiān)督信號(hào)。

例如，如果我們訓(xùn)練一個(gè)系統(tǒng)去學(xué)習(xí)坐在椅子上的正確位置或者握杯子的合適位置，則學(xué)到的表征應(yīng)在系統(tǒng)理解坐在另外一把椅子的合適位置或如何握住另一只杯子的時(shí)候依然有用。此類(lèi)任務(wù)不僅能夠深化對(duì)傳統(tǒng) 2D 圖像和視頻內(nèi)容的理解，還可以通過(guò)遷移對(duì)象表征提升 AR/VR 體驗(yàn)。關(guān)于標(biāo)準(zhǔn)表面映射的更多信息，參見(jiàn)：https://research.fb.com/publications/canonical-surface-mapping-via-geometric-cycle-consistency/

在目前的 3D 系統(tǒng)中，改進(jìn)目標(biāo)檢測(cè)的基礎(chǔ)要素

隨著前沿技術(shù)（如掃描 3D 空間的自動(dòng)智能體和系統(tǒng)）的發(fā)展，我們需要推進(jìn)針對(duì) 3D 數(shù)據(jù)的目標(biāo)檢測(cè)機(jī)制。在這些案例中，3D 場(chǎng)景理解系統(tǒng)需要了解場(chǎng)景中有哪些對(duì)象以及它們的位置，以支持導(dǎo)航等高級(jí)任務(wù)。Facebook 對(duì)已有系統(tǒng)進(jìn)行了改進(jìn)，提出了高度準(zhǔn)確的端到端 3D 目標(biāo)檢測(cè)網(wǎng)絡(luò) VoteNet，該網(wǎng)絡(luò)專(zhuān)為點(diǎn)云設(shè)計(jì)，相關(guān)論文《Deep Hough Voting for 3D Object Detection in Point Clouds》獲得了 ICCV 2019 最佳論文提名。與依賴(lài) 2D 圖像信號(hào)的傳統(tǒng)系統(tǒng)不同，VoteNet 是首批僅依賴(lài) 3D 點(diǎn)云數(shù)據(jù)的系統(tǒng)。該方法比之前研究更加高效，識(shí)別準(zhǔn)確率也更高。

VoteNet 開(kāi)源地址：https://github.com/facebookresearch/votenet

VoteNet 在 3D 目標(biāo)檢測(cè)任務(wù)上的性能超過(guò)了之前所有方法，獲得了當(dāng)前最優(yōu) 3D 檢測(cè)結(jié)果，在 SUN RGB-D 和 ScanNet 數(shù)據(jù)集上的性能較之之前方法至少提升了 3.7 和 18.4 mAP。VoteNet 優(yōu)于之前方法的原因是：僅使用幾何信息，不依賴(lài)標(biāo)準(zhǔn)彩色圖像。

VoteNet 設(shè)計(jì)簡(jiǎn)單，模型緊湊，效率高，對(duì)全景圖像的處理速度約為 100 毫秒，內(nèi)存占用也比之前方法小。該方法以深度相機(jī)獲得的 3D 點(diǎn)云作為輸入，返回對(duì)象的 3D 邊界框，且標(biāo)明對(duì)象的語(yǔ)義類(lèi)別。

VoteNet 架構(gòu)圖示。

受經(jīng)典 Hough voting 算法啟發(fā)，F(xiàn)acebook 提出了一種投票機(jī)制。利用該機(jī)制可生成緊鄰對(duì)象中心的新點(diǎn)，將這些點(diǎn)分組并聚合以生成邊界框候選。使用通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)得的投票基本思路，一組 3D 種子點(diǎn)投票競(jìng)爭(zhēng)對(duì)象中心，以恢復(fù)對(duì)象的位置和類(lèi)別。

隨著 3D 掃描儀在現(xiàn)實(shí)中的使用，尤其是在自動(dòng)駕駛汽車(chē)、生物醫(yī)學(xué)等領(lǐng)域的普遍應(yīng)用，通過(guò)定位和分類(lèi) 3D 場(chǎng)景中的對(duì)象來(lái)實(shí)現(xiàn)對(duì) 3D 內(nèi)容的語(yǔ)義理解變得尤為重要。向 2D 攝像頭補(bǔ)充一些更先進(jìn)的深度相機(jī)傳感器以方便 3D 識(shí)別，這可以幫助我們捕捉到任意給定場(chǎng)景的更穩(wěn)健視圖。使用 VoteNet，系統(tǒng)可以更好地識(shí)別出場(chǎng)景中的主要對(duì)象，并支持放置虛擬對(duì)象、導(dǎo)航和 LiveMap 構(gòu)建等任務(wù)。

開(kāi)發(fā)對(duì)現(xiàn)實(shí)世界具備更多了解的系統(tǒng)

3D 計(jì)算機(jī)視覺(jué)領(lǐng)域存在很多開(kāi)放性研究問(wèn)題，F(xiàn)acebook 正在試驗(yàn)多個(gè)問(wèn)題陳述、技術(shù)和監(jiān)督方法，正如過(guò)去探索推動(dòng) 2D 理解的最佳方式一樣。隨著數(shù)字世界更多地使用 3D 圖像和浸入式 AR/VR 體驗(yàn)等產(chǎn)品，我們需要持續(xù)推進(jìn)更準(zhǔn)確理解視覺(jué)場(chǎng)景并與其中對(duì)象互動(dòng)的復(fù)雜系統(tǒng)的開(kāi)發(fā)。 當(dāng) AI 系統(tǒng)與其他感官結(jié)合起來(lái)時(shí)，如觸覺(jué)和自然語(yǔ)言理解，這些系統(tǒng)（如虛擬助手）可以更加無(wú)縫地發(fā)揮作用。這一前沿研究幫助我們向著構(gòu)建和人類(lèi)一樣更直觀理解三維世界的 AI 系統(tǒng)更進(jìn)了一步。

本文介紹的研究論文已被 ICCV 2019 接收，還有一些新的計(jì)算機(jī)視覺(jué)工作，包括：

SlowFast：使用不同幀率的輸入從視頻中提取信息的方法。

TensorMask：使用密集的滑動(dòng)窗口技術(shù)執(zhí)行目標(biāo)分割的方法。

審核編輯 ：李倩