昨天arXiv出現(xiàn)了好幾篇被CVPR 2019接收的論文。

其中來(lái)自微軟和中國(guó)科技大學(xué)研究學(xué)者的論文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相應(yīng)代碼甫一公布，立刻引起大家的關(guān)注，不到一天之內(nèi)，github上已有將近50顆星。

今天就跟大家一起來(lái)品讀此文妙處。

該文作者信息：

該文為第一作者Ke Sun在微軟亞洲研究院實(shí)習(xí)期間發(fā)明的算法。

基本思想

作者觀察到，現(xiàn)有姿態(tài)估計(jì)算法中往往網(wǎng)絡(luò)會(huì)有先降低分辨率再恢復(fù)高分辨率的過(guò)程，比如下面的幾種典型網(wǎng)絡(luò)。

為便于表達(dá)，在下面的a、b、c、d四幅圖中，同一水平線上的特征圖為相同分辨率，越向下分辨率越小，在最終的高分辨率特征圖heatmap中計(jì)算姿態(tài)估計(jì)的關(guān)鍵點(diǎn)。

Hourglass

Cascaded pyramid networks

Simple baseline

Combined with dilated convolutions

其中的網(wǎng)絡(luò)結(jié)構(gòu)說(shuō)明如下：

作者希望不要有這個(gè)分辨率恢復(fù)的過(guò)程，在網(wǎng)絡(luò)各個(gè)階段都存在高分辨率特征圖。

下圖簡(jiǎn)潔明了地表達(dá)作者的思想。

在上圖中網(wǎng)絡(luò)向右側(cè)方向，深度不斷加深，網(wǎng)絡(luò)向下方向，特征圖被下采樣分辨率越小，相同深度高分辨率和低分辨率特征圖在中間有互相融合的過(guò)程。

作者描述這種結(jié)構(gòu)為不同分辨率子網(wǎng)絡(luò)并行前進(jìn)。

關(guān)鍵點(diǎn)的heatmap是在最后的高分辨率特征圖上計(jì)算的。

網(wǎng)絡(luò)中不同分辨率子網(wǎng)絡(luò)特征圖融合過(guò)程如下：

主要是使用strided 3*3的卷積來(lái)下采樣和up sample 1*1卷積上采樣。

這么做有什么好處？

作者認(rèn)為：

1）一直維護(hù)了高分辨率特征圖，不需要恢復(fù)分辨率。

2）多次重復(fù)融合特征的多分辨率表示。

實(shí)驗(yàn)結(jié)果

該算法在COCO姿態(tài)估計(jì)數(shù)據(jù)集的驗(yàn)證集上測(cè)試結(jié)果：

與目前的state-of-the-art比較，取得了各個(gè)指標(biāo)的最高值。相同分辨率的輸入圖像，與之前的最好算法相比增長(zhǎng)了3個(gè)百分點(diǎn)！

在COCO test-dev數(shù)據(jù)集上，同樣一騎絕塵！

在MPII test 數(shù)據(jù)集上，同樣取得了最好的結(jié)果！

作者進(jìn)一步與之前最好模型比較了參數(shù)量、計(jì)算量，該文發(fā)明的HRNet-W32在精度最高的同時(shí)，計(jì)算量最低！

如下圖：

在PoseTrack2017姿態(tài)跟蹤數(shù)據(jù)集上的結(jié)果比較：

同樣取得了最好的結(jié)果。

下圖是算法姿態(tài)估計(jì)的結(jié)果示例：

（請(qǐng)點(diǎn)擊查看大圖）

不僅僅是姿態(tài)估計(jì)

作者在官網(wǎng)指出，深度高分辨率網(wǎng)絡(luò)不僅對(duì)姿態(tài)估計(jì)有效，也可以應(yīng)用到計(jì)算機(jī)視覺(jué)的其他任務(wù)，諸如語(yǔ)義分割、人臉對(duì)齊、目標(biāo)檢測(cè)、圖像分類(lèi)中，期待更多具有說(shuō)服力的結(jié)果公布。