一 、人臉檢測/跟蹤

人臉檢測/跟蹤的目的是在圖像/視頻中找到各個(gè)人臉?biāo)诘奈恢煤痛笮。粚?duì)于跟蹤而言，還需要確定幀間不同人臉間的對(duì)應(yīng)關(guān)系。

1. Robust Real-time Object Detection.Paul Viola,Michael Jones. IJCV 2004.

入選理由：

Viola的人臉檢測工作使得人臉檢測真正變得實(shí)時(shí)可用。他們發(fā)表了一系列文章，這篇是引用率最高的一篇。

2. Fast rotation invariant multi-view face detection based on real Adaboost.Bo Wu,Haizhou Ai,Chang Huang,Shihong Lao. AFGR 2004.

人選理由:

自viola之后，有很多改進(jìn)文章，這篇文章只是其中之一。之所以選擇這篇，是因?yàn)槠湄暙I(xiàn)點(diǎn)相對(duì)比較多：一是因?yàn)檫@篇文章第一次將real adaboost應(yīng)用于物體檢測，二是其提出了一個(gè)比較成熟實(shí)用的多姿態(tài)人臉檢測框架，三是其提出的nest結(jié)構(gòu)對(duì)cascade結(jié)構(gòu)的改進(jìn)確實(shí)有不錯(cuò)的效果。

3. Tracking in Low Frame Rate Video: A Cascade Particle Filter with Discriminative Observers of Different Life Spans.Yuan Li,Haizhou Ai,Yamashita T.,Shihong Lao. CVPR 2007.

入選理由：

人臉跟蹤是人臉識(shí)別中非常重要的模塊。這篇文章是比較好的將人臉檢測模型與跟蹤進(jìn)行結(jié)合，將離線模型和在線模型結(jié)合的工作，而且獲得了CVPR 2007 Best Student Paper，是中國大陸學(xué)生第一次獲此殊榮。

二、人臉特征點(diǎn)定位

人臉特征點(diǎn)定位的目的是在人臉檢測/跟蹤獲取的人臉區(qū)域的基礎(chǔ)上，進(jìn)一步，確定臉部特征點(diǎn)（眼睛、嘴巴中心點(diǎn)、眼睛、嘴巴輪廓特征點(diǎn)、器官輪廓特征點(diǎn)等）的位置。人臉特征點(diǎn)定位的基本思路，主要是將人臉局部器官的紋理特征和器官特征點(diǎn)之間的位置約束進(jìn)行結(jié)合來進(jìn)行處理。

4. Active Shape Models-Their Training and Application. T. F. COOTES, C. J. TAYLOR, D. H. COOPER, AND J. GRAHA. COMPUTER VISION AND IMAGE UNDERSTANDING. 1995.

入選理由：

早期的人臉特征點(diǎn)定位，很多工作主要集中在定位眼球中心點(diǎn)和嘴巴中心點(diǎn)等兩三個(gè)關(guān)鍵點(diǎn)上，但是，后來慢慢大家認(rèn)為，引入更多的點(diǎn)，并加入相互約束會(huì)提高定位精度和穩(wěn)定性。ASM是后來被大家所follow最多的將數(shù)十個(gè)臉部特征點(diǎn)的紋理和位置關(guān)系約束一起考慮來進(jìn)行計(jì)算的模型，COOTES的這篇文章發(fā)表于1995年，絕對(duì)是開先河之作，絕對(duì)經(jīng)典。

5. Boosted Regression Active Shape Models. David Cristinacce and Tim Cootes. BMVC, 2007.

入選理由：

ASM相關(guān)改進(jìn)的文章非常多，最值得一提的當(dāng)然是AAM（也是cootes最早提出）模型，除此之外還有一個(gè)非常重要的思路，就是改進(jìn)原文章基于邊緣的紋理模型。個(gè)人認(rèn)為，這篇文章中所給出的基于回歸方式表示紋理模型的方式比基于分類表觀模型的方法更有前途，因?yàn)槭莄ootes的文章，自然就更應(yīng)該被推薦。

6. Face Alignment by Explicit Shape Regression. Xudong Cao, Yichen Wei, Fang Wen, Jian Sun. CVPR 2012.

入選理由：

這篇文章是上述提到的ASM相關(guān)改進(jìn)的另外一個(gè)方向，就是對(duì)形狀模型本身的改進(jìn)。這篇文章沒有用PCA去約束形狀模型，而是基于訓(xùn)練樣本的線性組合來約束形狀。而且，其在alignment的效果(LFPW測試集)上是目前看到最好的，此外，這個(gè)方法的速度非?？臁Ｓ捎谑荕SRA孫劍組的文章，確實(shí)應(yīng)該被關(guān)注更多。

三、人臉表示

人臉表示是指根據(jù)人臉特征點(diǎn)的位置，對(duì)人臉進(jìn)行幾何校正并割取人臉區(qū)域（歸一化到固定大小）之后，得到最具有鑒別（區(qū)分）能力的特征的過程。

7. Eigenfaces for recognition. M. Turk and A. Pentland. Journal of Cognitive Neuroscience. 1991.

入選理由：

這需要理由嗎？基于PCA的特征臉是人臉識(shí)別最經(jīng)典的算法之一，雖然今天PCA在實(shí)際系統(tǒng)中更多的是用來降維，而不是用來分類，但是這么經(jīng)典的方法還是要關(guān)注的。其實(shí)，基于LDA的方法也非常經(jīng)典，不過，考慮到篇幅有限，就不再列舉了。

8. Local Gabor Binary Pattern Histogram Sequence (LGBPHS):

A Novel Non-Statistical Model for Face Representation and Recognition

入選理由：

個(gè)人認(rèn)為這可能是最接近于很多成熟商用系統(tǒng)思路的文章（不等同于實(shí)際系統(tǒng)就是這樣）。在很多實(shí)際系統(tǒng)中，一個(gè)提取鑒別信息的框架就是PCA+LDA,用PDA進(jìn)行降維避免LDA求解的矩陣奇異問題，然后用LDA提取更適合分類的特征；進(jìn)一步，將各種原始特征(Gabor, LBP等)進(jìn)行鑒別特征提取后進(jìn)行決策級(jí)融合。此外，對(duì)人臉進(jìn)行分塊然后ensemble融合也是非常重要的提高系統(tǒng)效果的思路。

9. Blessing of Dimensionality: High-dimensional Feature and Its Efficient Compression for Face Verification. Dong Chen. Xudong Cao. Fang Wen. Jian Sun.CVPR 2013.

入選理由：

LFW是目前最接近實(shí)際數(shù)據(jù)的人臉識(shí)別庫，雖然其測試協(xié)議有一些不盡合理的地方，但是如果能在LFW上面取得非常好的效果，說明方法還是比較好的。而這篇MSRA孫劍組發(fā)表在CVPR2013的文章，在LFW上面取得了93%的準(zhǔn)確率（未引入外部數(shù)據(jù)的情況下）。文章中的一個(gè)是采用精確定位點(diǎn)作為參考對(duì)人臉進(jìn)行多尺度、多局部區(qū)域的表示思路很值得借鑒，可以和各種表示方法結(jié)合。

10，其實(shí)可以列在此處的論文非常多，有各種子空間方法的改進(jìn)，有各種特征提取方法，有各種基于metric learning的方法，bunch graph（將gabor應(yīng)用于人臉識(shí)別的經(jīng)典工作），稀疏表示的方法，feature learning的方法等等。但是，我都感覺不是特別滿意。我總覺得，人臉表示方面的工作還做得遠(yuǎn)遠(yuǎn)不夠，應(yīng)該會(huì)有框架清晰簡潔、易于實(shí)現(xiàn)、但效果絕佳的文章出現(xiàn)。現(xiàn)在的我會(huì)傾向于認(rèn)為也許deep learning是一個(gè)方向。

其實(shí)嘗試將deep learning用在人臉識(shí)別上面的工作已經(jīng)有一些，但是結(jié)果都不是很驚艷（百度的工作沒有公開結(jié)果），我列上一篇不夠好但是效果勉強(qiáng)接近非deep learning方法的一篇：

Deep nonlinear metric learningwithindependent subspace analysisforface verification. X Cai, C Wang, B Xiao, X Chen, J Zhou. MM 2012.

人臉識(shí)別在未來的一些可能方向：

1，深度學(xué)習(xí)在人臉方面的應(yīng)用，目前已經(jīng)看到deep learning在人臉表示和人臉特征點(diǎn)定位方面的工作，相信后續(xù)會(huì)有更多更好的工作出現(xiàn)；

2，大規(guī)模人臉?biāo)阉飨嚓P(guān)的應(yīng)用近來開始被大家關(guān)注（比如最近百度上線的人臉?biāo)阉鳎@些應(yīng)用中除了需要傳統(tǒng)的人臉表示，還需要關(guān)注如何能夠快速準(zhǔn)確地在大規(guī)模人臉數(shù)據(jù)庫中搜索到相似人臉，當(dāng)然這部分工作可以借鑒其他視覺搜索中的方法，但人臉可能也會(huì)有自己的特殊性；

3，基于3D模型和具有深度信息的人臉識(shí)別的方法，在允許使用特殊設(shè)備的實(shí)際應(yīng)用中，可以考慮用3D模型和深度信息來提高系統(tǒng)的穩(wěn)定性；

4，在做人臉識(shí)別實(shí)際系統(tǒng)時(shí)，可以更關(guān)注姿態(tài)、遮擋、表情變化對(duì)于識(shí)別效果的影響，對(duì)于人臉光照問題，雖然之前學(xué)術(shù)界關(guān)注很多，但是對(duì)于實(shí)際數(shù)據(jù)（非實(shí)驗(yàn)室采集的光照模擬數(shù)據(jù)），可能基于大規(guī)模訓(xùn)練數(shù)據(jù)和feature learning就可以比較好的解決，反而是由于目前的人臉表示框架，對(duì)于大的姿態(tài)變化，遮擋以及表情變化引起的表觀改變，很多情況下表現(xiàn)并不好，可能需要重新改變目前的人臉表示方式，比如采用類似推薦論文9中的方式，采用多個(gè)局部模型而不是一個(gè)整體模型來進(jìn)行表示，還可以考慮一些人臉姿態(tài)/表情矯正方法；

5，學(xué)術(shù)界的朋友，鑒于目前LFW上面已經(jīng)做到準(zhǔn)確率95%（引入外部訓(xùn)練數(shù)據(jù)且無約束訓(xùn)練協(xié)議），可以考慮創(chuàng)建一個(gè)更大的人臉庫（如果能達(dá)到真正意義上的大規(guī)模數(shù)據(jù)就更贊了），設(shè)計(jì)一個(gè)更加合理全面的評(píng)測協(xié)議，這必將成為一個(gè)非常有影響力的工作；

未來智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。由互聯(lián)網(wǎng)進(jìn)化論作者，計(jì)算機(jī)博士劉鋒與中國科學(xué)院虛擬經(jīng)濟(jì)與數(shù)據(jù)科學(xué)研究中心石勇、劉穎教授創(chuàng)建。

未來智能實(shí)驗(yàn)室的主要工作包括：建立AI智能系統(tǒng)智商評(píng)測體系，開展世界人工智能智商評(píng)測；開展互聯(lián)網(wǎng)（城市）云腦研究計(jì)劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。