ST-GCN: Spatial Temporal Graph Convolutional Networks時(shí)空圖卷積網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來源于2018年發(fā)表的一篇文章《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》，也就是基于時(shí)空圖卷積網(wǎng)絡(luò)來做人體動作識別。 今天，我們就來了解下，如何基于ST-GCN來實(shí)現(xiàn)人體動作的識別與生成。

Why：為什么要使用ST-GCN？

ST-GCN網(wǎng)絡(luò)訓(xùn)練好之后要達(dá)到的效果就是：用戶提供一段視頻，網(wǎng)絡(luò)會輸出視頻中人的動作分類。

類似于上圖中的視頻，如何來識別視頻中的人在做什么動作呢? 視頻其實(shí)就是一幀一幀的圖片拼接而成的，而傳統(tǒng)處理圖像識別的網(wǎng)絡(luò)最常用的就是CNN（卷積神經(jīng)網(wǎng)絡(luò)），那ST-GCN是否跟CNN有關(guān)系呢？為什么要使用這個(gè)網(wǎng)絡(luò)呢？

可以從以下三點(diǎn)來理解：

(1) 輸入數(shù)據(jù)有量級的差別。舉個(gè)例子，數(shù)據(jù)為一段10秒左右的視頻，大概300幀，像素1920*1080，分別輸入兩個(gè)網(wǎng)絡(luò)中。傳統(tǒng)CNN是將所有視頻拆分為一幀一幀的圖片輸入網(wǎng)絡(luò)，而ST-GCN則直接輸入人體的骨架關(guān)節(jié)數(shù)據(jù)，CNN的輸入數(shù)據(jù)量約為ST-GCN的83000倍。

(2) 輸入數(shù)據(jù)純凈度高，噪聲少。CNN是將視頻數(shù)據(jù)直接輸入網(wǎng)絡(luò)，包括了視頻的背景以及圖片中的各種噪音，而ST-GCN是僅僅將人體骨架關(guān)節(jié)點(diǎn)的信息輸入網(wǎng)絡(luò)，只保留了主要的有效信息，噪聲低。

(3) 考慮了空間和時(shí)間上的相鄰關(guān)節(jié)，效果更好。ST-GCN不僅考慮了空間上的相鄰節(jié)點(diǎn)，也考慮了時(shí)間上的相鄰節(jié)點(diǎn)，將鄰域的概念擴(kuò)展到了時(shí)間上，實(shí)驗(yàn)效果表明精度也更高。

What：ST-GCN到底是什么？

ST-GCN是TCN與GCN的結(jié)合。TCN，對時(shí)間維度的數(shù)據(jù)進(jìn)行卷積操作；GCN，則對空間維度的數(shù)據(jù)進(jìn)行卷積操作。GCN屬于GNN，而GNN的基礎(chǔ)是圖論。神經(jīng)網(wǎng)絡(luò)處理的傳統(tǒng)數(shù)據(jù)都是歐式距離結(jié)構(gòu)的數(shù)據(jù)，比如二維的圖像、一維的聲音等等。而對于非歐式距離結(jié)構(gòu)的數(shù)據(jù)，比如社交網(wǎng)絡(luò)、交通運(yùn)輸網(wǎng)等等，傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)無法直接處理，而GNN就是用來處理這類型數(shù)據(jù)的。所以要了解ST-GCN，就要先從圖論的一些基本理論入手，然后再延伸到GNN、GCN、ST-GCN。

2.1 圖論

這里的圖并不是指我們?nèi)粘Ｋ姷膱D片，圖的廣泛概念包含具體的事物，以及事物之間的聯(lián)系。圖論中的圖由兩部分構(gòu)成，即點(diǎn)和邊。

點(diǎn)：圖上具體的節(jié)點(diǎn)。

邊：連接圖上點(diǎn)和點(diǎn)之間的東西，邊分為有向邊和無向邊。

圖：節(jié)點(diǎn)V(G)和邊E(G)構(gòu)成的集合就是圖，可以表示為：G = {V(G), E(G)}。圖可以簡單分為有向圖和無向圖（如下圖所示）。

2.2 GNN

GNN: Group Neural Network 圖神經(jīng)網(wǎng)絡(luò)，即結(jié)合圖論與深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)。目前主要包含：Graph Convolutional Networks (GCN)、Graph Attention Networks、Graph Auto-encoder、Graph Generative Networks、Graph Spatial-Temporal Networks。最初的GNN網(wǎng)絡(luò)，就是將點(diǎn)和邊的特征一起傳入網(wǎng)絡(luò)中學(xué)習(xí)。

2.3 GCN

GCN：Graph Convolutional Networks 圖卷積神經(jīng)網(wǎng)絡(luò)，顧名思義，是將圖與卷積結(jié)合起來。根據(jù)卷積核的不同，主要分為spectral method（頻譜方法）和spatial method（空間方法）。二者的區(qū)別在于：頻譜方法基于拉普拉斯矩陣，與圖的關(guān)系緊密聯(lián)系，可泛化能力弱；空間方法則直接在圖上定義卷積，對有緊密關(guān)系的節(jié)點(diǎn)進(jìn)行操作，分為點(diǎn)分類和圖分類。ST-GCN中的GCN屬于圖分類，且采用的是空間方法。

2.4 ST-GCN

ST-GCN：Spatial Temporal Graph Convolutional Networks時(shí)空圖卷積網(wǎng)絡(luò)，是在GCN的基礎(chǔ)上提出的。核心觀點(diǎn)是將TCN與GCN相結(jié)合，用來處理有時(shí)序關(guān)系的圖結(jié)構(gòu)數(shù)據(jù)。網(wǎng)絡(luò)分為2個(gè)部分：GCN_Net與TCN_Net。

GCN_Net對輸入數(shù)據(jù)進(jìn)行空間卷積，即不考慮時(shí)間的因素，卷積作用于同一時(shí)序的不同點(diǎn)的數(shù)據(jù)。TCN_Net對數(shù)據(jù)進(jìn)行時(shí)序卷積，考慮不同時(shí)序同一特征點(diǎn)的關(guān)系，卷積作用于不同時(shí)序同一點(diǎn)的數(shù)據(jù)。

How：ST-GCN具體如何使用？

前部分講了ST-GCN是什么，那我們回歸到ST-GCN的具體應(yīng)用上，首次提出ST-GCN是用來做人體動作識別，即通過一段視頻來判斷其中人的動作，也就是人體動作識別。

數(shù)據(jù)集：論文中使用的數(shù)據(jù)集為NTU-RGB+D，包含60種動作，共56880個(gè)樣本，其中有40類為日常行為動作，9類為與健康相關(guān)的動作，11類為雙人相互動作。數(shù)據(jù)集已經(jīng)將視頻中的人體動作轉(zhuǎn)換為了骨架關(guān)節(jié)的數(shù)據(jù)，其中人體的骨架標(biāo)注了25個(gè)節(jié)點(diǎn)，就是一種圖結(jié)構(gòu)的數(shù)據(jù)。

NTU-RGB+D數(shù)據(jù)集的分類

亮點(diǎn)：

(1) 鄰接矩陣不采用傳統(tǒng)的方式，采用一種新的方式，將鄰接矩陣分為3個(gè)子集：根節(jié)點(diǎn)本身、向心力群，離心群。這一策略的靈感來自于身體部位的運(yùn)動可以被廣泛地歸類為同心運(yùn)動和偏心運(yùn)動，通常距離重心越近，運(yùn)動幅度越小，同時(shí)能更好地區(qū)分向心運(yùn)動和離心運(yùn)動。即下圖中的（d）。

(2) 網(wǎng)絡(luò)中加入可學(xué)習(xí)的邊的權(quán)重，即加入attention機(jī)制。每層網(wǎng)絡(luò)中鄰接矩陣A都與可學(xué)習(xí)的權(quán)重相乘，這些權(quán)重在反向傳播中更新。添加的原因是考慮到人體做不同的動作所側(cè)重的關(guān)節(jié)點(diǎn)不同，而且添加了注意力機(jī)制更有利于提高網(wǎng)絡(luò)的泛化能力。

整體效果：

使用ST-GCN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行人體動作識別，論文中在NTU-RGB+D數(shù)據(jù)集的x_sub模式下識別精度達(dá)到81.5%，NTU-RGB+D數(shù)據(jù)集的x-view模式下識別精度達(dá)到88.3%，優(yōu)于傳統(tǒng)的人體動作識別網(wǎng)絡(luò)。

團(tuán)隊(duì)工作亮點(diǎn)

ST-GCN的技術(shù)延展-動作生成

基于對ST-GCN在人體動作識別上的效果，我們將ST-GCN網(wǎng)絡(luò)與VAE網(wǎng)絡(luò)結(jié)合。目的在于獲取人體動作的語義，進(jìn)而生成人體的動作，最終可以應(yīng)用于機(jī)器人動作模仿或者其他強(qiáng)化學(xué)習(xí)項(xiàng)目中。

目前項(xiàng)目已在進(jìn)行中，下圖展示的是真實(shí)的人體骨架節(jié)點(diǎn)3D圖與網(wǎng)絡(luò)生成的人體骨架節(jié)點(diǎn)3D圖。具體的研究結(jié)果，之后再跟大家分享，敬請期待。

責(zé)任編輯：lq