視頻理解是計(jì)算機(jī)視覺(jué)中的重要任務(wù)，近年來(lái)隨著深度學(xué)習(xí)特別是監(jiān)督學(xué)習(xí)的應(yīng)用視頻理解取得了飛速的發(fā)展，例如視頻行為分類(lèi)和視頻片段總結(jié)等任務(wù)都取得了令人矚目的成果。

不過(guò)，現(xiàn)實(shí)生活中很多場(chǎng)景的應(yīng)用視頻片段需要不止一個(gè)標(biāo)簽來(lái)提供足夠的信息。舉個(gè)例子，機(jī)器人往杯子里倒水，一個(gè)簡(jiǎn)單的“傾倒液體”標(biāo)簽不足以預(yù)測(cè)出杯子何時(shí)倒?jié)M，機(jī)器人需要逐幀追蹤杯中的水量。再比如說(shuō)，在運(yùn)動(dòng)分析領(lǐng)域，棒球教練不僅僅想要看到投球的動(dòng)作，而是想精確地分析投手投出棒球離手的一瞬間，單一的視頻標(biāo)簽不足以完成這樣的視頻檢索任務(wù)。這意味著視頻理解模型需要逐幀理解視頻的能力。

然而如果使用監(jiān)督學(xué)習(xí)的方法將會(huì)使學(xué)習(xí)成本變得非常昂貴，這需要針對(duì)視頻里每一幀的動(dòng)作進(jìn)行細(xì)粒度的標(biāo)注，訓(xùn)練不同的動(dòng)作還需要新的標(biāo)注來(lái)提供監(jiān)督信號(hào)。但從機(jī)器人到運(yùn)動(dòng)分析等領(lǐng)域，細(xì)粒度的視頻理解有著很強(qiáng)的需求，那么如何在不需要大量標(biāo)簽的情況下對(duì)視頻進(jìn)行學(xué)習(xí)以理解細(xì)粒度的信息呢？

來(lái)自谷歌的研究人員們提出了一種稱(chēng)為時(shí)間循環(huán)一致性學(xué)習(xí)（Temporal Cycle-Consistency Learning，TCC）的自監(jiān)督方法。通過(guò)學(xué)習(xí)不同樣本相似過(guò)程的表示來(lái)實(shí)現(xiàn)細(xì)粒度的時(shí)域視頻理解，為逐幀視頻檢索、動(dòng)作分析、視頻同步和多模態(tài)遷移提供了新的解決方案。

基于TCC的視頻表示學(xué)習(xí)

世間的萬(wàn)事萬(wàn)物發(fā)展的過(guò)程都有特定的規(guī)律，從嫩芽到參天大樹(shù)的植物生長(zhǎng)到起床上班回家兩點(diǎn)一線的996工作，再到簡(jiǎn)單倒水的動(dòng)作都在時(shí)間上滿足一定的順序。

多個(gè)不同實(shí)例的相同過(guò)程可以從視頻捕捉到的信息中找到對(duì)應(yīng)的聯(lián)系。全世界的人往容器中倒水動(dòng)作都差不多，無(wú)論對(duì)象是茶壺、酒瓶、水壺都有著相似的過(guò)程。其中傾倒液體的關(guān)鍵時(shí)刻在多個(gè)不同的視頻中都有著相同的特性——都需要舉起起一個(gè)容器向另一個(gè)容器中傾倒，而視頻中的其他特性則與拍攝的視角、光照、環(huán)境、尺度、容器以及速度有關(guān)。TCC的關(guān)鍵在于通過(guò)循環(huán)一致性的原則，從多個(gè)視頻中尋找出對(duì)應(yīng)的相同動(dòng)作。

算法的目標(biāo)在于訓(xùn)練出一個(gè)有效的幀編碼器來(lái)獲取對(duì)應(yīng)動(dòng)作的表示編碼。研究人員首先將兩個(gè)待配準(zhǔn)的視頻傳入編碼器中獲取對(duì)應(yīng)的嵌入信息，而后選擇兩個(gè)視頻來(lái)進(jìn)行TCC的訓(xùn)練，其中video1作為參考視頻，從中取出一幀并利用最鄰近方法在嵌入空間中找到video2中最為近似的一幀；而后以video2中找到的這一幀作為輸入，從新到嵌入空間中尋找video中對(duì)應(yīng)的幀（circle過(guò)程）。如果學(xué)習(xí)出的嵌入空間具有循環(huán)一致性的話，這一幀和先前輸入video1的參考幀應(yīng)該是同一幀。

上圖中可以看到，左邊的嵌入在循環(huán)檢索后對(duì)應(yīng)原來(lái)的幀，說(shuō)明循環(huán)一致性得到滿足；而右邊的嵌入在循環(huán)檢索后獲取的幀與輸入的幀有差異，則表示這一嵌入的循環(huán)一致性沒(méi)有得到滿足，他們?cè)谇度肟臻g中的差值就表示為循環(huán)一致性損失。模型的訓(xùn)練過(guò)程通過(guò)不斷提高對(duì)于每個(gè)視頻幀的語(yǔ)義理解來(lái)減小循環(huán)一致性誤差。充分訓(xùn)練后的TCC可以學(xué)習(xí)出時(shí)域的細(xì)粒度理解能力，并能夠有效對(duì)齊相關(guān)的視頻。

TCC學(xué)習(xí)到的表達(dá)

研究人員隨后驗(yàn)證了TCC學(xué)習(xí)到的表達(dá)，是否有效理解了多個(gè)視頻中的相似動(dòng)作。實(shí)驗(yàn)在Penn Action數(shù)據(jù)集上進(jìn)行，研究人員將多個(gè)包含人體深蹲訓(xùn)練的視頻利用T后發(fā)現(xiàn)了空間可視化學(xué)習(xí)到的隱含特征。

左圖中亮度較高的點(diǎn)是當(dāng)前幀對(duì)應(yīng)的表示。紫色為輸入的參考視頻，其余為其他視頻中檢索到的最鄰近幀?？梢钥吹诫m然各個(gè)視頻的角度、場(chǎng)景、主體不同，但對(duì)應(yīng)的嵌入表示和對(duì)應(yīng)的視頻幀卻以相同的趨勢(shì)在運(yùn)動(dòng)，TCC有效地將深蹲動(dòng)作的不同過(guò)程進(jìn)行了編碼而無(wú)需顯式的人工標(biāo)注。

TCC的潛在應(yīng)用

由于這種方法可以有效學(xué)習(xí)逐幀視頻的遷移表達(dá)可廣泛應(yīng)用于小樣本視頻動(dòng)作分類(lèi)、無(wú)監(jiān)督視頻對(duì)齊、多模態(tài)遷移和逐幀視頻檢索。

小樣本動(dòng)作階段分類(lèi)。當(dāng)只有很少的標(biāo)注視頻樣本時(shí)，TCC方法可以有效地將不同動(dòng)作階段進(jìn)行分類(lèi)。研究人員將基于TCC的方法與監(jiān)督學(xué)習(xí)方法進(jìn)行比較，可以發(fā)現(xiàn)只用一個(gè)完全標(biāo)記的視頻樣本訓(xùn)練就可與監(jiān)督學(xué)習(xí)需要五十個(gè)標(biāo)注的視頻樣本訓(xùn)練獲得同樣的效果。下圖中可以看到TCC方法在兩種動(dòng)作識(shí)別中小樣本學(xué)習(xí)的良好表現(xiàn)。

對(duì)齊或同步視頻。當(dāng)視頻的數(shù)量增加時(shí)對(duì)齊或同步不同視頻間的動(dòng)作將會(huì)是耗時(shí)耗力的工作，但利用TCC多個(gè)視頻的同步可以利用參考視頻的幀來(lái)在每個(gè)目標(biāo)視頻中尋找最鄰近的幀實(shí)現(xiàn)對(duì)齊：

視頻標(biāo)簽/模態(tài)遷移。由于TCC可以在嵌入空間中找到每一幀對(duì)應(yīng)的最鄰近幀進(jìn)行視頻匹配，所以這種方法還可以將視頻對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行遷移，包括時(shí)域語(yǔ)義標(biāo)簽或者音頻數(shù)據(jù)。研究人員展示了一個(gè)可以把倒水的聲音遷移到一段沒(méi)有聲音的視頻上，倒水的聲音別成功遷移到了倒牛奶的視頻上了，甚至放瓶子的聲音也很逼真！

逐幀視頻檢索。TCC還可以作為關(guān)鍵幀在嵌入空間中用于視頻中相似幀的檢索。學(xué)習(xí)出的嵌入表達(dá)具有很強(qiáng)的分辨能力，可以區(qū)分出某一個(gè)動(dòng)作前后的相鄰幀。

研究人員還將整個(gè)工作的代碼開(kāi)源，不僅包括了TCC，還包括了多個(gè)先進(jìn)自監(jiān)督方法的實(shí)現(xiàn)，將為會(huì)視頻理解的研究以及藝術(shù)家利用視頻同步進(jìn)行創(chuàng)作帶來(lái)很大的幫助。