一致性正則化，在隨機(jī)修改輸入或模型function后，利用預(yù)測(cè)分布的一致性約束。

偽標(biāo)記，也稱為自訓(xùn)練，使用模型預(yù)測(cè)作為監(jiān)督。

對(duì)比預(yù)訓(xùn)練，側(cè)重于模型預(yù)訓(xùn)練，然后使用較少的標(biāo)簽對(duì)下游任務(wù)進(jìn)行微調(diào)。

雖然現(xiàn)有方法取得了令人鼓舞的成果，但仍有一些局限性有待解決。首先，他們沒有充分考慮大規(guī)模場(chǎng)景中相鄰類的語義屬性和3D類的全局特征，未能充分利用有限但有價(jià)值的標(biāo)記[33]。其次，許多pipelines [33，38]使用固定/人工的數(shù)據(jù)增強(qiáng)來獲得多視圖表示，導(dǎo)致次優(yōu)的學(xué)習(xí)，因?yàn)樵鰪?qiáng)的強(qiáng)度和類型強(qiáng)烈依賴于模型和數(shù)據(jù)集大小。此外，在fixed增強(qiáng)中忽略了樣本的形狀復(fù)雜度。第三，現(xiàn)有方法[9，37]通常涉及多個(gè)階段的預(yù)訓(xùn)練和微調(diào)，與端到端訓(xùn)練方案相比，這增加了訓(xùn)練和部署的難度。 為了解決上述缺點(diǎn)，我們探索分別在標(biāo)記空間和特征空間中同時(shí)利用一致性和對(duì)比性。受最近3D PSD[38]和2D FixMatch[27]的啟發(fā)，我們將偽標(biāo)簽和一致性正則化策略結(jié)合到大規(guī)模點(diǎn)云的端到端訓(xùn)練方案中。為了更好地使用對(duì)比信息，我們重新設(shè)計(jì)了錨點(diǎn)的正對(duì)和負(fù)對(duì)。一個(gè)關(guān)鍵的觀察結(jié)果是，高級(jí)語義場(chǎng)景理解不僅需要局部幾何特征，而且還需要全局幾何特征，使得點(diǎn)云實(shí)例的對(duì)比更加充分。此外，受分類任務(wù)中的PointAugment[15]的點(diǎn)云實(shí)例對(duì)比啟發(fā)，我們進(jìn)一步引入動(dòng)態(tài)點(diǎn)云增強(qiáng)器，以提供一致性和對(duì)比正則化的轉(zhuǎn)換，并進(jìn)行聯(lián)合優(yōu)化。 為了實(shí)現(xiàn)上述思想，我們提出了一種新的范式，稱為混合對(duì)比正則化（HybridCR），用于大規(guī)模點(diǎn)云的弱監(jiān)督語義分割，該范式包括局部和全局指導(dǎo)的對(duì)比學(xué)習(xí)以及動(dòng)態(tài)點(diǎn)云變換。如圖1所示，局部引導(dǎo)對(duì)比正則化迫使不同視圖的數(shù)據(jù)樣本靠近其相鄰點(diǎn)，遠(yuǎn)離其他點(diǎn)。對(duì)于全局引導(dǎo)對(duì)比正則化，每個(gè)樣本都被要求靠近其類原型，遠(yuǎn)離不同類原型。從根本上講，HybridCR顯式有效地考慮了局部相鄰點(diǎn)之間的語義相似性和3D點(diǎn)云類的全局特征。此外，所提出的動(dòng)態(tài)點(diǎn)云增強(qiáng)器使用多層感知機(jī)（MLP）和高斯噪聲來豐富上下文位移中的數(shù)據(jù)多樣性，其中增強(qiáng)器的參數(shù)可以與模型訓(xùn)練聯(lián)合優(yōu)化。大量實(shí)驗(yàn)表明，HybridCR在室內(nèi)場(chǎng)景（即S3DIS[1]和ScanNet-V2[6]）和室外場(chǎng)景（即Semantic3D[8]和SemanticKITTI[2]）中都達(dá)到了SOTA性能，證明了提出的框架的有效性。 總之，貢獻(xiàn)有四個(gè)方面： ? 提出了框架HybridCR，第一個(gè)以端到端的方式利用點(diǎn)一致性和對(duì)比特性進(jìn)行弱監(jiān)督點(diǎn)云語義分割。 ? 引入了局部和全局引導(dǎo)對(duì)比正則化，以促進(jìn)high-level的3D語義場(chǎng)景理解任務(wù)。 ? 設(shè)計(jì)了一種新的動(dòng)態(tài)點(diǎn)云增強(qiáng)器，用于轉(zhuǎn)換不同且穩(wěn)健的樣本視圖，并在整個(gè)訓(xùn)練過程中對(duì)其進(jìn)行了聯(lián)合優(yōu)化。 ? 與最近的弱監(jiān)督方法相比，HybridCR取得了顯著的性能，在室內(nèi)和室外數(shù)據(jù)集中，AP分別提高了平均2.4%和1.0%。 圖1. 局部和全局的混合對(duì)比正則化。 1）左圖：鼓勵(lì)錨點(diǎn)與匹配的正點(diǎn)及其相鄰點(diǎn)（綠色圓圈）相似，而與負(fù)點(diǎn)及其相鄰點(diǎn)（紅色圓圈）不同。 2）右圖：鼓勵(lì)錨點(diǎn)與匹配的正點(diǎn)和屬于同一類別的其他點(diǎn)（綠色框中）相似，而與不同類別的負(fù)點(diǎn)（紅色框中）不同。

2、相關(guān)工作

2.1、弱監(jiān)督點(diǎn)云分割

弱監(jiān)督學(xué)習(xí)是降低高人工成本的有效方法。一些弱標(biāo)記方法已經(jīng)做了初步嘗試，例如標(biāo)記一小部分點(diǎn)[18、33、38]或語義類[31]。現(xiàn)有方法使用各種手段來提高模型的表達(dá)能力。它們可以大致分為三類： 一致性正則化 在弱監(jiān)督圖像分類中實(shí)現(xiàn)了透視性能[28、36、40]。Xu等人[33]介紹了一種點(diǎn)云特征的多分支監(jiān)督方法，且采用了兩種類型的點(diǎn)云增強(qiáng)和一致性正則化。Zhang等人[38]通過擾動(dòng)自蒸餾為隱式信息傳播提供了額外的監(jiān)督。Shi等人[26]研究了label-efficient學(xué)習(xí)，并引入了基于 super-point的主動(dòng)學(xué)習(xí)策略。盡管受益于不同網(wǎng)絡(luò)分支的一致性，但它們沒有考慮特征空間中的對(duì)比特性。 偽標(biāo)記 根據(jù)由鄰域圖[11]或自訓(xùn)練[19，35]指定的訓(xùn)練模型[14，24]的預(yù)測(cè)創(chuàng)建監(jiān)督。在弱監(jiān)督環(huán)境中。Zhang等人[37]提出了一種基于轉(zhuǎn)移學(xué)習(xí)的方法，并引入稀疏偽標(biāo)簽來正則化網(wǎng)絡(luò)學(xué)習(xí)。Hu等人[18]提出了一種自訓(xùn)練策略，以利用偽標(biāo)簽來提高網(wǎng)絡(luò)性能。Cheng等人[4]利用動(dòng)態(tài)標(biāo)簽傳播方案基于構(gòu)建的超點(diǎn)圖生成偽標(biāo)簽。然而，它們只使用偽標(biāo)簽來獲得更多的監(jiān)督信號(hào)，而忽略了標(biāo)簽空間中的一致性屬性。 對(duì)比預(yù)訓(xùn)練 首先由謝等人[32]提出，并通過提出點(diǎn)云場(chǎng)景的對(duì)比學(xué)習(xí)框架來啟動(dòng)這項(xiàng)工作。然而，它主要關(guān)注具有100%標(biāo)簽的下游任務(wù)。Hou等人[9]利用場(chǎng)景的內(nèi)在屬性來擴(kuò)展網(wǎng)絡(luò)可轉(zhuǎn)移性。Li等人[12]提出了引導(dǎo)點(diǎn)對(duì)比損失，并利用偽標(biāo)記學(xué)習(xí)區(qū)分特征。然而，它們只在特征空間中進(jìn)行point-level的對(duì)比，而忽略了點(diǎn)云的內(nèi)在屬性，即幾何結(jié)構(gòu)和類語義。 HybridCR重新設(shè)計(jì)了大規(guī)模點(diǎn)云的局部和全局的正負(fù)對(duì)，并充分探索了如何以端到端的方式利用且增強(qiáng)一致性和對(duì)比性。

2.2、點(diǎn)云增強(qiáng)

現(xiàn)有網(wǎng)絡(luò)中的數(shù)據(jù)增強(qiáng)[33，38]主要包括隨機(jī)旋轉(zhuǎn)、縮放和抖動(dòng)，這些都是在整個(gè)訓(xùn)練過程中手工/固定的。Li等人[15]提出了一種利用對(duì)抗學(xué)習(xí)策略的自動(dòng)增強(qiáng)框架。Chen等人[3]通過實(shí)例之間的插值來說明這一點(diǎn)。Kim等人[13]利用局部加權(quán)變換產(chǎn)生非剛性變形。但是，他們只關(guān)注 object-level的點(diǎn)云。此外，在實(shí)際應(yīng)用中實(shí)現(xiàn)它們很復(fù)雜，這在訓(xùn)練期間給調(diào)整參數(shù)帶來了困難，并且僅關(guān)注object-level點(diǎn)云。我們引入了一個(gè)動(dòng)態(tài)點(diǎn)云增強(qiáng)器，在訓(xùn)練期間為大規(guī)模點(diǎn)云生成各種變換。 圖2. 原始點(diǎn)云首先被輸入動(dòng)態(tài)增強(qiáng)器以生成增強(qiáng)點(diǎn)。然后，原始點(diǎn)和增強(qiáng)點(diǎn)通過Siamese網(wǎng)絡(luò)生成模型對(duì)所有點(diǎn)的預(yù)測(cè)，以及高置信度的未標(biāo)記點(diǎn)的偽標(biāo)簽。Point-level的一致性損失Lcon和對(duì)比損失Lcra用于所有點(diǎn)的預(yù)測(cè)，而softmax交叉熵?fù)p失Lseg用于有標(biāo)記點(diǎn)的監(jiān)督。同時(shí)，偽標(biāo)簽用于計(jì)算每個(gè)類的原型。最后，HybridCR從局部和全局兩個(gè)角度進(jìn)行，以形成局部和全局引導(dǎo)對(duì)比損失（即Llcl和Lgcl），為特征學(xué)習(xí)提供正則化。通過這種方式，HybridCR為端到端訓(xùn)練方案中的弱監(jiān)督框架服務(wù)。

3、方法

在本部分中，我們首先描述了第3.1節(jié)中的符號(hào)和預(yù)備知識(shí)。然后，我們?cè)诘?.2節(jié)中介紹了具有局部和全局引導(dǎo)對(duì)比正則化的HybridCR的一般框架。接下來，我們?cè)?.3節(jié)中介紹動(dòng)態(tài)點(diǎn)云增強(qiáng)器。最后，我們?cè)诘?.4節(jié)中介紹了training的總體目標(biāo)。

3.1、預(yù)備知識(shí)

問題設(shè)置和符號(hào)。

點(diǎn)級(jí)一致性和對(duì)比。點(diǎn)級(jí)一致性[33,38]已廣泛用于弱監(jiān)督點(diǎn)云語義分割，它將具有不同增強(qiáng)的關(guān)聯(lián)點(diǎn)對(duì)強(qiáng)制到Siamese網(wǎng)絡(luò)中，以具有相同的特征表示。形式上，點(diǎn)級(jí)一致性損失公式為

高級(jí)語義場(chǎng)景理解任務(wù)不僅需要局部信息，還需要全局信息，僅在point-level直接對(duì)比3D實(shí)例是不夠的[17，32]。因此，這促使我們探索更有效的對(duì)比策略，以充分利用點(diǎn)云在幾何結(jié)構(gòu)和類語義中的固有特性。

3.2、混合對(duì)比正則化

如圖2所示，我們?yōu)榇笠?guī)模點(diǎn)云提出了一個(gè)緊湊的弱監(jiān)督語義分割框架，該框架包含新型混合對(duì)比正則策略（HybridCR），且具有有效的動(dòng)態(tài)點(diǎn)云增強(qiáng)器。原始點(diǎn)云首先被輸入到動(dòng)態(tài)點(diǎn)云增強(qiáng)器，以生成不同的變換。然后，原始輸入點(diǎn)和增強(qiáng)點(diǎn)通過Siamese網(wǎng)絡(luò)，使用模型對(duì)未標(biāo)記點(diǎn)的預(yù)測(cè)來生成偽標(biāo)簽。通過使用不同變換的匹配3D點(diǎn)對(duì)，鼓勵(lì)模型在訓(xùn)練期間學(xué)習(xí)相似和魯棒的特征。同時(shí)，生成的偽標(biāo)簽用于計(jì)算每個(gè)類的原型。最后，在局部和全局引導(dǎo)的角度上，進(jìn)行HybridCR，以學(xué)習(xí)未標(biāo)記點(diǎn)和標(biāo)記點(diǎn)之間的特征關(guān)系，這也利用了標(biāo)記點(diǎn)的傳統(tǒng)分割損失，且具有點(diǎn)級(jí)一致性和對(duì)比損失。 3.2.1 局部引導(dǎo)對(duì)比正則化 局部鄰域信息對(duì)于點(diǎn)云對(duì)象的特征學(xué)習(xí)至關(guān)重要。例如，遮擋和孔洞始終存在于室內(nèi)和室外場(chǎng)景的對(duì)象中。如果模型從其他完整對(duì)象中學(xué)習(xí)局部結(jié)構(gòu)信息（球體、角點(diǎn)等），則可以在訓(xùn)練期間增強(qiáng)模型對(duì)不完整對(duì)象的魯棒性。而點(diǎn)云的局部特征主要來自于點(diǎn)及其鄰域，這啟迪我們通過提出的局部引導(dǎo)對(duì)比正則化，來建模點(diǎn)云的局域信息。為了實(shí)現(xiàn)這一點(diǎn)，我們首先查詢錨點(diǎn)的相鄰點(diǎn)，然后促使每個(gè)點(diǎn)的不同增強(qiáng)視圖靠近其相鄰點(diǎn)，遠(yuǎn)離其他點(diǎn)。

事實(shí)上，提出的局部引導(dǎo)對(duì)比損失更一般化為等式2。注意，如果K設(shè)置為1，等式4退化為等式2。 3.2.2 全局引導(dǎo)對(duì)比正則化

3.3、動(dòng)態(tài)點(diǎn)云增強(qiáng)器

數(shù)據(jù)增強(qiáng)器是所提出的HybridCR中一個(gè)重要的組成部分，它生成各種錨點(diǎn)、正負(fù)樣本，并通過在輸入中添加特定噪聲來提取不變表示。受[15]的啟發(fā)，我們使用MLP和高斯噪聲來實(shí)現(xiàn)可學(xué)習(xí)的動(dòng)態(tài)點(diǎn)云增強(qiáng)器，它豐富了上下文位移中的數(shù)據(jù)多樣性，并在同一場(chǎng)景中生成不同的變換。

圖3. 動(dòng)態(tài)點(diǎn)云增強(qiáng)器的架構(gòu)。與[33,38]中采用的傳統(tǒng)增強(qiáng)器相比，在訓(xùn)練期間進(jìn)行了聯(lián)合優(yōu)化。

3.4、總體目標(biāo)

如上所述，在端到端地訓(xùn)練方案中，HybridCR可以作為弱監(jiān)督點(diǎn)云語義分割框架的有效對(duì)比正則化策略。網(wǎng)絡(luò)的總體目標(biāo)如下：

4、實(shí)驗(yàn)

4.1、實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)集包含S3DIS[1]、ScanNetV2[6]、Semantic3D[8]和SemanticKITTI[2]。S3DIS是用于語義分割的常用室內(nèi)3D點(diǎn)云數(shù)據(jù)集。它有271個(gè)點(diǎn)云場(chǎng)景，跨越6個(gè)區(qū)域，共13個(gè)類別。ScanNet-V2也是一個(gè)室內(nèi)三維點(diǎn)云數(shù)據(jù)集，包含1613個(gè)三維掃描，共20個(gè)類別。整個(gè)數(shù)據(jù)集被分成訓(xùn)練集（1201個(gè)掃描）、驗(yàn)證集（312個(gè)掃描）和測(cè)試集（100個(gè)掃描）。Semantic3D是一個(gè)室外數(shù)據(jù)集，它提供了一個(gè)具有超過40億個(gè)點(diǎn)的大規(guī)模標(biāo)記3D點(diǎn)云。它涵蓋了一系列不同的城市場(chǎng)景，原始3D點(diǎn)有8類，包含多種信息，如3D坐標(biāo)、RGB信息和強(qiáng)度。SemanticKITTI是一個(gè)大型戶外點(diǎn)云數(shù)據(jù)集，用于自動(dòng)駕駛場(chǎng)景中的3D語義分割，共有19個(gè)類。數(shù)據(jù)集包含22個(gè)序列，這些序列被劃分為訓(xùn)練集（10個(gè)序列，有19k幀）、驗(yàn)證集（1個(gè)序列，有4k幀）和測(cè)試集（11個(gè)序列，有20k幀）。 實(shí)現(xiàn)細(xì)節(jié)。我們使用初始學(xué)習(xí)率為0.001、動(dòng)量為0.9的Adam優(yōu)化器，在NVIDIA RTX Titan GPU上為所有數(shù)據(jù)集訓(xùn)練100個(gè)epochs。相鄰點(diǎn)的數(shù)量K為16，batch-size為6，初始學(xué)習(xí)率為0.01，衰減率為0.98，每個(gè)epoch的迭代steps設(shè)置為500。注意，由于其有效性和效率，我們選擇基于點(diǎn)的backbone PSD[38]作為baseline。 評(píng)估協(xié)議。我們?cè)u(píng)估原始測(cè)試集中所有點(diǎn)的最終性能。為了進(jìn)行定量比較，我們使用平均交并比（mIoU）作為度量標(biāo)準(zhǔn)。我們實(shí)驗(yàn)研究了兩種類型的弱標(biāo)記：1pt和1%設(shè)置。此外，我們將HybridCR擴(kuò)展到全監(jiān)督的方式。 表1 . S3DIS區(qū)域5的定量結(jié)果?！?”表示我們使用官方代碼訓(xùn)練的方法的結(jié)果。請(qǐng)注意，我們的1pt表示整個(gè)空間中每個(gè)類別僅有一個(gè)標(biāo)記點(diǎn)，而不是Xu等人[33]的小塊（例如1×1米）。在我們的1pt設(shè)置中，標(biāo)記點(diǎn)的數(shù)量占總點(diǎn)的0.03%，在Xu等人[33]中約為0.2%。

4.2、與SOTA方法比較

在S3DIS和ScanNet-V2上的定量結(jié)果。首先，我們將HybridCR與S3DIS Area-5上的SOTA方法進(jìn)行了比較，其定量結(jié)果在表1中總結(jié)。顯然，與Zhang等人[37]、PSD[38]、Π模型[25]、MT[28]、Xu等人[33]和RandLA Net[10]相比，我們所提出的HybridCR在1pt和1%的設(shè)置下實(shí)現(xiàn)了最高的mIoU。例如，在1pt（0.03%）的設(shè)置時(shí)，我們的方法比PSD和RandLA Net分別高出3.3%和10.8%。此外，與Xu等人[33]相比，我們的方法還實(shí)現(xiàn)了7.0%的性能增益，Xu等人利用了約0.2%的更多點(diǎn)標(biāo)記。在1pt（0.03%）設(shè)置下的特定類方面，我們的方法顯著提高了性能，相對(duì)于PSD，“椅子”、“桌子”和“沙發(fā)”分別提高了8.7%、16.4%和8.9%。 對(duì)于1%的設(shè)置，我們的方法比PSD baseline獲得1.8%的mIoU增益，甚至超過Xu等人在設(shè)置為10%時(shí)[33]。為了解釋這一點(diǎn)，我們的方法通過添加所提出的hydrid對(duì)比正則化，從大規(guī)模點(diǎn)云數(shù)據(jù)中學(xué)習(xí)不同的幾何結(jié)構(gòu)?；诖?，我們的方法僅使用1%的點(diǎn)來優(yōu)于全監(jiān)督的RandLA-Net和PSD。為了進(jìn)行公平的比較，我們還擴(kuò)展了在 6-fold設(shè)置時(shí)、基于S3DIS數(shù)據(jù)集與其他方法的比較，其結(jié)果如表2所示。對(duì)于ScanNet-V2，與基于場(chǎng)景或者subcloud-level標(biāo)注的WyPR[23]和MPRM[31]相比，HybridCR在測(cè)試集上的1%設(shè)置下實(shí)現(xiàn)了56.8%的最高mIoU。同時(shí)，在相同數(shù)量的標(biāo)注下，HybridCR比Zhang等人實(shí)現(xiàn)了5.7%的mIoU增益。此外，在全監(jiān)督的情況下，我們的方法比RandLA-Net實(shí)現(xiàn)了2.1%的mIoU增益。 S3DIS和ScanNet-V2的定性結(jié)果。 我們分別在圖4和圖5中展示了S3DIS的定性結(jié)果和Scanne-V2的定量結(jié)果。在S3DIS上，與PSD相比，HybridCR在“板”和“椅子”上實(shí)現(xiàn)了更好的分割。此外，HybridCR的分割結(jié)果與真實(shí)情況非常一致。在ScanNet-V2上，我們觀察到HybridCR獲得了良好且真實(shí)的分割結(jié)果。在ScanNet-V2上，與PSD相比，HybridCR在“沙發(fā)”和“書桌”上表現(xiàn)良好。原因可能是，HybridCR可以有效地利用動(dòng)態(tài)點(diǎn)云增強(qiáng)器生成的各種變換來提高表示能力并提高分割性能。 Semantic3D和SemanticKITTI的定量結(jié)果。我們進(jìn)一步評(píng)估了在室外大型點(diǎn)云數(shù)據(jù)集Semantic3D（reduced-8）和SemanticKITTI上的HybridCR，并將結(jié)果分別顯示在表2中。對(duì)于Semantic3D，與Zhang等人[37]和PSD相比，我們的方法在1%的設(shè)置下也實(shí)現(xiàn)了更好的性能，mIoU改善了4.2%和1.0%。對(duì)于SemanticKITTI，我們的方法在1%的設(shè)置下，在驗(yàn)證和測(cè)試數(shù)據(jù)集上報(bào)告的結(jié)果分別為51.9%和52.3%。可以看出，我們的方法在標(biāo)注有限的情況下大大優(yōu)于其他基于點(diǎn)的方法。 Semantic3D和SemanticKITTI的定性結(jié)果。 我們分別在圖6和圖7中給出了Semantic3D和SemanticKITTI的定性結(jié)果。在Semantic3D上，我們的方法是對(duì)PSD的改進(jìn)，特別是實(shí)現(xiàn)了對(duì)“建筑物”的精確分割。在SemanticKITTI上，可以看出，我們的方法實(shí)現(xiàn)了與ground-truth的一致性分割結(jié)果，特別是在“道路”和“汽車”中，這兩個(gè)場(chǎng)景在自動(dòng)駕駛應(yīng)用中很難區(qū)分，但在稀疏的室外場(chǎng)景中很關(guān)鍵。結(jié)果證明了該方法在室外數(shù)據(jù)集上的有效性。 全監(jiān)督設(shè)置的結(jié)果。 基于室內(nèi)和室外數(shù)據(jù)集，我們進(jìn)一步擴(kuò)大了與當(dāng)前SOTA方法的全監(jiān)督設(shè)置上的比較，其定量結(jié)果在表2中總結(jié)?？梢钥闯?，HybridCR在它們之間具有競(jìng)爭(zhēng)力。例如，HybridCR在S3DIS和ScanNet-V2上分別以0.7%和2.1%的mIoU改進(jìn)超過了RandLA Net，在SemanticKITTI上獲得0.1%mIoU改善。此外，在mIoU中，HybridCR在Semantic3D上比KPConv高1.8%。 圖4. S3DIS Area-5測(cè)試集的可視化結(jié)果。原始點(diǎn)云、語義標(biāo)簽、baseline結(jié)果和我們的結(jié)果，分別從左到右顯示。 圖5. ScanNetV2驗(yàn)證集的可視化結(jié)果。原始點(diǎn)云、語義標(biāo)簽、基線結(jié)果和我們的結(jié)果，分別從左到右顯示。 表2. S3DIS 6-fold、ScanNetV2驗(yàn)證集、Semantic3D（reduced-8）和SemanticKITTI驗(yàn)證集的定量結(jié)果（mIoU（%）），帶有完全標(biāo)記數(shù)據(jù)和1%標(biāo)記數(shù)據(jù)。特別地是，在100%標(biāo)記數(shù)據(jù)的實(shí)驗(yàn)中，我們的混合對(duì)比損失用作輔助特征學(xué)習(xí)損失。“*”表示我們使用官方代碼訓(xùn)練的方法的結(jié)果。 圖6. Semantic3D驗(yàn)證集的可視化。原始點(diǎn)云、語義標(biāo)簽、基線結(jié)果和我們的結(jié)果，從左到右分別顯示。 圖7. SemanticKITTI驗(yàn)證集的可視化結(jié)果。語義標(biāo)簽、基線結(jié)果和我們的結(jié)果，從左到右分別顯示。

4.3、消融研究

我們進(jìn)一步評(píng)估消融研究的基本組件的有效性，包括動(dòng)態(tài)點(diǎn)云增強(qiáng)器和局部/全局引導(dǎo)對(duì)比正則化。所有實(shí)驗(yàn)均在S3DIS Area-5上進(jìn)行，結(jié)果如表3所示。請(qǐng)注意，#1由PSD報(bào)告，而#8由HybridCR報(bào)告，我們使用平均值和標(biāo)準(zhǔn)偏差（5 runs）報(bào)告結(jié)果。 動(dòng)態(tài)數(shù)據(jù)增廣器的有效性。為了驗(yàn)證數(shù)據(jù)增廣帶來的改進(jìn)，我們比較了Base。在帶有數(shù)據(jù)增強(qiáng)時(shí)，進(jìn)行相比，在1pt和1%的設(shè)置下，#1和#2分別獲得了2.5%和1.0%的增益。對(duì)于#5和#8，在1pt和1%設(shè)置下，其分別比HybridCR獲得了0.4%和0.3%的增益。結(jié)果表明，通過不同的轉(zhuǎn)換，HybridCR從數(shù)據(jù)增強(qiáng)中獲得了許多好處。 局部引導(dǎo)對(duì)比損失的有效性。在1pt和1%設(shè)置下，從#1和#3的比較來看，它在mIoU方面分別比Base 優(yōu)于1.6%和0.4%。對(duì)于#7和#8，其分別比HybridCR提高0.5%和0.2%。這些結(jié)果表明。這進(jìn)一步提高了性能，因?yàn)樗谠鰪?qiáng)特征學(xué)習(xí)的同時(shí)，利用了模型訓(xùn)練期間的相鄰信息。 全局引導(dǎo)對(duì)比損失的有效性。類似地，從#1和#4的比較來看，它優(yōu)于Base。在1pt和1%的設(shè)置下分別增加2.0%和0.5%。對(duì)于#6和#8，它分別比HybridCR獲得1.3%和0.6%的增益。結(jié)果表明，全局引導(dǎo)利用類原型有效地提高了弱監(jiān)督語義分割任務(wù)的性能。 圖8. 1%設(shè)置下點(diǎn)embedding的可視化。（a） 是PSD的embedding，（b）是HybridCR的embedding。從S3DIS的測(cè)試集中隨機(jī)選擇場(chǎng)景。（c）是標(biāo)記點(diǎn)的數(shù)量與性能之間的關(guān)系。

4.4、分析

點(diǎn)embedding的可視化。如圖8（a）和（b）所示，與PSD相比，HybridCR學(xué)習(xí)的點(diǎn)embedding變得更加緊湊和分離。這表明，通過利用局部和全局引導(dǎo)對(duì)比損失以及動(dòng)態(tài)點(diǎn)云增強(qiáng)器生成的有效變換，分割網(wǎng)絡(luò)可以生成更多的區(qū)別特征，并產(chǎn)生有前景的結(jié)果。 標(biāo)記點(diǎn)和性能。在圖8（c）中，我們進(jìn)一步討論了性能與標(biāo)記比率{1pt，0.1%，1%，10%，50%，100%}之間的關(guān)系。隨著比率的增加，兩種方法的性能都有所提高，增長(zhǎng)趨勢(shì)逐漸放緩。注意，當(dāng)比率小于1%時(shí)，性能略有下降，這表明保持一定量的監(jiān)督信號(hào)是必要的。此外，當(dāng)比率為10%時(shí)的性能接近100%，這表明不需要密集標(biāo)注來獲得良好的分割結(jié)果。 表3. S3DIS Area-5上不同組件的消融實(shí)驗(yàn)情況。

5、結(jié)論

在本文中，我們提出了一種用于弱監(jiān)督大規(guī)模點(diǎn)云語義分割的混合對(duì)比正則化框架。利用我們提出的局部和全局引導(dǎo)對(duì)比正則化，網(wǎng)絡(luò)通過利用相鄰點(diǎn)和偽標(biāo)簽學(xué)習(xí)更多的鑒別特征。同時(shí)，我們提出了一種動(dòng)態(tài)點(diǎn)云增強(qiáng)器，用于在訓(xùn)練過程中通過聯(lián)合優(yōu)化實(shí)現(xiàn)更多樣的轉(zhuǎn)換，從而有利于對(duì)比策略。室內(nèi)和室外數(shù)據(jù)集的大量實(shí)驗(yàn)結(jié)果表明，和SOTA方法相比，HybridCR獲得了顯著的增益。此外，消融研究驗(yàn)證了引入的關(guān)鍵部件的有效性。結(jié)果進(jìn)一步證明了我們的方法利用有限標(biāo)記的大規(guī)模點(diǎn)云方面的有效性，并提高模型的泛化能力。