亚洲欧洲一级二级三级运动无码,超碰在线五月92,超碰人人爱夜夜操

首發(fā)：AIWalker

標(biāo)題&作者團(tuán)隊(duì)

1. 論文簡(jiǎn)要

在這項(xiàng)工作中，視頻中的3D姿態(tài)可以通過(guò)全卷積模型來(lái)估計(jì)，具體是在二維關(guān)鍵點(diǎn)上通過(guò)空洞時(shí)間卷積的模型得到3D姿態(tài)。我們還介紹了一種不帶標(biāo)簽（反向投影）的半監(jiān)督式訓(xùn)練方法。我們先從未標(biāo)注視頻中得到2D姿態(tài)，然后估計(jì)3D姿態(tài)和最后反向投影到輸入的2D關(guān)鍵點(diǎn)。在實(shí)驗(yàn)中，全卷積模型相比之前state-of-arts，在Human3.6 M上平均每個(gè)關(guān)節(jié)位置誤差小6mm，對(duì)應(yīng)誤差降低11%，模型在HumanEva-I中也有顯著改進(jìn)。

代碼和模型的下載地址：https://github.com/facebookre...

2. 背景介紹

我們的工作重點(diǎn)是視頻中的三維人體姿態(tài)估計(jì)。我們以最先進(jìn)的方法為基礎(chǔ)，然后將問(wèn)題描述為2D關(guān)鍵點(diǎn)檢測(cè)三維姿態(tài)估計(jì)，這種方法可能導(dǎo)致不同的3D姿態(tài)對(duì)應(yīng)相同的2D關(guān)鍵點(diǎn)。早期為解決這一問(wèn)題主要通過(guò)RNN構(gòu)建時(shí)序信息，但是由于RNN的串行結(jié)構(gòu)無(wú)法多幀并行處理，因此本文提出一個(gè)完整的卷積架構(gòu)，在二維關(guān)鍵點(diǎn)上執(zhí)行時(shí)序卷積用于視頻中準(zhǔn)確的三維姿態(tài)預(yù)測(cè)，該方法兼容任何二維關(guān)鍵點(diǎn)檢測(cè)器，并能通過(guò)空洞卷積有效地處理較大的上下文信息。與依賴RNNs的方法相比，它在計(jì)算復(fù)雜度和參數(shù)數(shù)量方面都提供了更高的精度、簡(jiǎn)單性和效率。

在構(gòu)建一個(gè)高度精確和高效的架構(gòu)之后，接下來(lái)需要關(guān)注訓(xùn)練數(shù)據(jù)，本文引入了半監(jiān)督訓(xùn)練的方案，因?yàn)?D姿態(tài)的監(jiān)督學(xué)習(xí)需要大量的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，收集3D人體姿態(tài)標(biāo)簽需要昂貴的動(dòng)作捕捉設(shè)備和長(zhǎng)時(shí)間錄制。本文的方法的靈感來(lái)自于無(wú)監(jiān)督機(jī)器翻譯中的循環(huán)一致性，即翻譯到中間語(yǔ)言和翻譯回原始語(yǔ)言的往返應(yīng)該接近恒等函數(shù)。具體地說(shuō)，使用現(xiàn)有的2D關(guān)鍵點(diǎn)檢測(cè)器為未標(biāo)記的視頻預(yù)測(cè)2D關(guān)鍵點(diǎn)，然后預(yù)測(cè)3D姿態(tài)，最后將它們映射回2D空間中。

本文創(chuàng)新點(diǎn)有兩個(gè)：（1）在網(wǎng)絡(luò)結(jié)構(gòu)方面，基于空洞時(shí)序卷積將2D關(guān)鍵點(diǎn)軌跡推理出3D人體姿態(tài)，在計(jì)算量和模型參數(shù)量上遠(yuǎn)小于基于RNN的模型；（2）在訓(xùn)練數(shù)據(jù)方面，采用半監(jiān)督學(xué)習(xí)解決數(shù)據(jù)量不足的問(wèn)題，相比于其他方法，該方法僅僅需要相機(jī)內(nèi)部參數(shù)（數(shù)據(jù)增強(qiáng)的過(guò)程中需要相機(jī)參數(shù)對(duì)ground-truth姿態(tài)進(jìn)行幾何變換），不需要2D標(biāo)簽或帶有外部攝像機(jī)參數(shù)的多視圖圖像。

image-20201126105219606

3. 相關(guān)工作

在深度學(xué)習(xí)成功之前，大部分的三維姿態(tài)估計(jì)方法都是基于特征工程和骨骼和關(guān)節(jié)靈活性的假設(shè)。目前大多數(shù)的姿態(tài)估計(jì)方法是在二維姿態(tài)估計(jì)器的基礎(chǔ)上，建立了一種新的三維姿態(tài)估計(jì)器，然后被提升到3D空間中。

視頻姿態(tài)估計(jì)，大多數(shù)以前的工作都是在單幀的背景下進(jìn)行的，但最近幾年利用視頻的時(shí)間信息來(lái)產(chǎn)生更可靠的預(yù)測(cè)，并降低對(duì)噪音的敏感性。最近，有人提出了LSTM序列到序列學(xué)習(xí)模型，該模型將視頻中的二維姿態(tài)序列編碼為固定大小的向量，然后解碼為三維姿態(tài)序列。然而，輸入和輸出序列具有相同的長(zhǎng)度，2D姿態(tài)的確定性轉(zhuǎn)換是更自然的選擇。用seq2seq模型進(jìn)行的實(shí)驗(yàn)表明，輸出姿勢(shì)在較長(zhǎng)的序列上容易產(chǎn)生漂移。

4. 本文方法

4.1 時(shí)序空洞卷積模型

image-20201126112311029

我們的模型是一個(gè)具有殘差結(jié)構(gòu)的完全卷積的架構(gòu)，它將一個(gè)2D姿態(tài)序列作為輸入，并通過(guò)時(shí)間卷積對(duì)其進(jìn)行轉(zhuǎn)換。卷積模型允許在批處理維度和時(shí)間維度上并行化，而RNNs不能在時(shí)間維度上并行化。在卷積模型中，無(wú)論序列長(zhǎng)度如何，輸出和輸入之間的梯度路徑都是固定長(zhǎng)度的，這可以緩解影響RNN的消失和爆炸梯度。卷積架構(gòu)也提供了對(duì)時(shí)間感受域的精確控制，這有利于建立三維姿態(tài)估計(jì)任務(wù)的時(shí)間依賴模型。此外，使用空洞卷積能夠?qū)﹂L(zhǎng)期依賴關(guān)系進(jìn)行建模，同時(shí)也保持較高計(jì)算效率。（上圖表示帶有2D關(guān)鍵點(diǎn)的243幀圖像，經(jīng)過(guò)網(wǎng)絡(luò)推理得到3D關(guān)節(jié)點(diǎn)）

4.2 半監(jiān)督訓(xùn)練方法

image-20201126113555405

本文引入了一種半監(jiān)督訓(xùn)練方法，以提高真實(shí)的標(biāo)記數(shù)據(jù)不足的情況下的模型的準(zhǔn)確性。我們利用未標(biāo)記的視頻，然后結(jié)合一個(gè)現(xiàn)成的2D關(guān)鍵點(diǎn)檢測(cè)器，來(lái)擴(kuò)展監(jiān)督損失函數(shù)一個(gè)反向投影損失項(xiàng)。解決了未標(biāo)記數(shù)據(jù)的自動(dòng)編碼問(wèn)題：編碼器（位姿估計(jì)器）根據(jù)二維關(guān)節(jié)坐標(biāo)進(jìn)行三維位姿估計(jì)，解碼器（投影層）將三維位姿投影回二維關(guān)節(jié)坐標(biāo)。當(dāng)來(lái)自解碼器的二維關(guān)節(jié)坐標(biāo)遠(yuǎn)離原始輸入時(shí)，訓(xùn)練就會(huì)受到懲罰。

上圖將監(jiān)督組件與充當(dāng)正則化器的非監(jiān)督組件組合在一起。這兩個(gè)目標(biāo)是共同優(yōu)化的，標(biāo)記數(shù)據(jù)占據(jù)Batch的前半部分，未標(biāo)記數(shù)據(jù)占據(jù)Batch的后半部分一半。對(duì)于標(biāo)記數(shù)據(jù)，我們使用真實(shí)三維姿態(tài)作為目標(biāo)，訓(xùn)練一個(gè)監(jiān)督損失。未標(biāo)記的數(shù)據(jù)用于實(shí)現(xiàn)自動(dòng)編碼器損失，其中預(yù)測(cè)的3D姿態(tài)被投影回2D，然后檢查與輸入的一致性。

軌跡模型，由于透視投影，屏幕上的2D姿態(tài)都取決于軌跡（人體根節(jié)點(diǎn)整體位置，可以理解成人體中心點(diǎn)）和3D姿態(tài)（所有關(guān)節(jié)點(diǎn)相對(duì)于根關(guān)節(jié)的位置）。目標(biāo)函數(shù)為每個(gè)關(guān)節(jié)的加權(quán)平均軌跡的位置誤差（WMPJPE）。

骨骼長(zhǎng)度損失，添加一個(gè)軟約束來(lái)近似匹配未標(biāo)記batch的受試者與已標(biāo)記batch的受試者的平均骨長(zhǎng)度。

5. 實(shí)驗(yàn)論證

5.1 數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn)

數(shù)據(jù)集有兩個(gè)分別是Human3.6M，HumanEva-I，評(píng)價(jià)標(biāo)準(zhǔn)是Protocol 1: MPJPE（每個(gè)關(guān)節(jié)點(diǎn)的平均誤差）， Protocol 2：P-MPJPE（與標(biāo)簽數(shù)據(jù)對(duì)準(zhǔn)后的平移、旋轉(zhuǎn)、縮放誤差），Protocol 3：N-MPJPE（只在比例上與真實(shí)標(biāo)簽相匹配）

5.2 2D姿態(tài)估計(jì)

2D姿態(tài)估計(jì)網(wǎng)絡(luò)模型：stacked hourglass detector, Mask R-CNN with ResNet-101-FPN，CPN

5.3 3D姿態(tài)估計(jì)

image-20201126140916717

image-20201126141002629

image-20201126141144006

6. 總結(jié)

介紹了一個(gè)簡(jiǎn)單的完全卷積模型用于視頻中三維人體姿態(tài)估計(jì)。網(wǎng)絡(luò)結(jié)構(gòu)利用時(shí)間信息在2D關(guān)鍵點(diǎn)軌跡上進(jìn)行空洞卷積。這項(xiàng)工作的第二個(gè)貢獻(xiàn)是反向投影，這是一種半監(jiān)督訓(xùn)練方法，在標(biāo)記數(shù)據(jù)稀缺的情況下提高性能。該方法適用于未標(biāo)記的視頻，只需要內(nèi)在的攝像機(jī)參數(shù)，使其在運(yùn)動(dòng)捕捉具有挑戰(zhàn)性的場(chǎng)景中切實(shí)可行。