眾所周知，人臉識(shí)別在攝像頭無法捕捉到完整面部圖像的情況下很難獲得理想的效果。最近布拉德福德大學(xué)的研究人員在不完整面部識(shí)別方面獲得了突破性進(jìn)展，實(shí)驗(yàn)表明，掃描整個(gè)面部的3/4、甚至1/2的識(shí)別準(zhǔn)確率能夠達(dá)到100%!

基于計(jì)算機(jī)的人臉識(shí)別已經(jīng)成為一種成熟且可靠的機(jī)制，實(shí)際上已被應(yīng)用于許多訪問控制場景，不過目前面部識(shí)別或認(rèn)證，主要使用全正臉面部圖像的“完美”數(shù)據(jù)來執(zhí)行。但實(shí)際上，有許多情況下比如閉路電視攝像機(jī)往往只能拍到臉的一側(cè)，或者如果被拍攝者戴了帽子、口罩等遮擋物，就無法獲得完整的正臉。因此，使用不完整面部數(shù)據(jù)的面部識(shí)別是一個(gè)亟待開發(fā)的研究領(lǐng)域。

來自布拉德福德大學(xué)的研究團(tuán)隊(duì)的最新研究在不完整面部識(shí)別方面，取得了突破性進(jìn)展，實(shí)驗(yàn)使用最先進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)以及預(yù)先訓(xùn)練的VGG-Face模型，使用余弦相似度和線性支持向量機(jī)來測試識(shí)別率。團(tuán)隊(duì)在兩個(gè)公開可用的數(shù)據(jù)集(受控的巴西FEI和不受控制的LFW)上進(jìn)行了實(shí)驗(yàn)。

實(shí)驗(yàn)表明，掃描整個(gè)面部的3/4、甚至1/2的識(shí)別準(zhǔn)確率能夠達(dá)到100%!除此之外，團(tuán)隊(duì)還研究了面部的某個(gè)獨(dú)立的部位，比如鼻子、臉頰、前額或嘴巴的識(shí)別率，以及圖像的旋轉(zhuǎn)和縮放對(duì)面部識(shí)別主體的影響。結(jié)果發(fā)現(xiàn)，如果只針對(duì)面部的某個(gè)獨(dú)立的部位，比如鼻子、臉頰、前額或嘴巴，識(shí)別率總是相對(duì)較低。

據(jù)悉，這是第一個(gè)使用機(jī)器學(xué)習(xí)來測試面部不同部位識(shí)別率的研究，論文已發(fā)表在Future Generation Computer Systems上。下面新智元對(duì)本次實(shí)驗(yàn)進(jìn)行介紹。

人類可以不受環(huán)境影響的

識(shí)別人臉，那么計(jì)算機(jī)也可以嗎?

面部是人類生命中視覺系統(tǒng)中繪制得最多的圖片，所以大部分人類擁有卓越的面部識(shí)別能力。一般來說，我們不需要像面部識(shí)別AI那樣必須正視別人的正臉才能識(shí)別出對(duì)方，通常對(duì)于我們只要一瞥即可分辨。

普遍認(rèn)為大腦通過記住重要的細(xì)節(jié)，例如與眼睛，鼻子，前額，臉頰和嘴巴相對(duì)應(yīng)的關(guān)鍵特征的形狀和顏色，對(duì)面部進(jìn)行區(qū)分。此外，人類大腦可以應(yīng)對(duì)不同光線環(huán)境下、不同面部表情，以及遠(yuǎn)處面部的顯著變化。

然而，與此相反，任何在光線、表情、姿勢和即眼鏡或胡子等等的變化，都可能對(duì)計(jì)算機(jī)的識(shí)別率產(chǎn)生巨大影響。不過，因?yàn)橛?jì)算機(jī)處理海量數(shù)據(jù)的能力不斷提高，可以認(rèn)為機(jī)器算法(例如CNN)至少在面部匹配方面擁有優(yōu)異的表現(xiàn)。

順著這個(gè)邏輯，研究團(tuán)隊(duì)使用有遮擋的不完整人臉照片作為測試集，下面是一個(gè)測試集的示例圖片，以及計(jì)算機(jī)對(duì)不完整人臉照片的識(shí)別過程。

示例圖片

識(shí)別過程

使用CNN和VGG-Face，

利用兩個(gè)分類器進(jìn)行不完整人臉的識(shí)別

團(tuán)隊(duì)主要研究面部的不同部分如何有利于識(shí)別，以及在機(jī)器學(xué)習(xí)場景中如何在對(duì)面部照片進(jìn)行不同程度旋轉(zhuǎn)、縮放的識(shí)別。實(shí)驗(yàn)使用基于CNN的架構(gòu)以及預(yù)訓(xùn)練的VGG-Face模型來提取特征。然后使用兩個(gè)分類器，即余弦相似度(CS)和線性SVM來測試識(shí)別率。下圖表現(xiàn)了特征提取步驟的概述：

遮擋臉部的示例圖片

基于VGGF的特征提取過程

VGG-Face模型

目前最流行和廣泛應(yīng)用于人臉識(shí)別的是VGGF模型，由Oxford Visual Geometry Group開發(fā)。該模型在一個(gè)超過2.6 K個(gè)體的2.6M面部圖像的巨大數(shù)據(jù)集上進(jìn)行訓(xùn)練。

在VGGF中，其中13層是卷積網(wǎng)絡(luò)，其他是ReLU、pooling的混合體，最后一層是softmax。

13個(gè)卷積層

為了確定VGGF模型中用于面部特征提取的最佳層，通常必須進(jìn)行一些試驗(yàn)和錯(cuò)誤實(shí)驗(yàn)。在本實(shí)驗(yàn)中，團(tuán)隊(duì)發(fā)現(xiàn)最好的結(jié)果來自第34層。值得注意的是，該層是完全連接的層，位于神經(jīng)網(wǎng)絡(luò)的末端，這意味著提取的特征代表代表了全臉。

特征分類：為什么使用

余弦相似度和線性SVM

本次實(shí)驗(yàn)中，研究團(tuán)隊(duì)使用了余弦相似度(CS)和線性SVM分類器。做出這樣的選擇基于兩個(gè)原因：首先，團(tuán)隊(duì)測試了其他分類器后發(fā)現(xiàn)CS和線性SVM的效果最好;其次，通過實(shí)驗(yàn)和分析，團(tuán)隊(duì)發(fā)現(xiàn)這兩個(gè)分類器能夠更準(zhǔn)確地分離數(shù)據(jù)。

余弦相似度

兩個(gè)向量間的余弦值可以通過使用歐幾里得點(diǎn)積公式求出：

給定兩個(gè)屬性向量， A 和B，其余弦相似性θ由點(diǎn)積和向量長度給出，如下所示：

這里的Ai和Bi分別代表向量A和B的各分量。

本次實(shí)驗(yàn)需要計(jì)算CS以通過使用Eqs找到測試圖像和訓(xùn)練圖像之間的最小距離。如圖8所示：

線性SVM

SVM是一個(gè)二元分類算法，線性分類和非線性分類都支持。經(jīng)過演進(jìn)，現(xiàn)在也可以支持多元分類，同時(shí)經(jīng)過擴(kuò)展，也能應(yīng)用于回歸問題。在本實(shí)驗(yàn)中，研究團(tuán)隊(duì)對(duì)兩種SVM都進(jìn)行了測試，發(fā)現(xiàn)當(dāng)使用部分面部作為測試集的時(shí)候，線性SVM能夠獲得更好的效果。

例如，對(duì)于右臉頰，線性SVM的識(shí)別準(zhǔn)確率達(dá)到了24.44%，而具有徑向基函數(shù)的非線性SVM的識(shí)別率僅為2.77%。

遮掉半張臉，

準(zhǔn)確率也能高達(dá)100%!

這項(xiàng)工作提供了一組全面的實(shí)驗(yàn)，使用面部的不同部分進(jìn)行面部識(shí)別。

利用了兩個(gè)流行的人臉數(shù)據(jù)集的人臉圖像，即FEI和LFW數(shù)據(jù)集。使用級(jí)聯(lián)物體檢測器對(duì)兩個(gè)數(shù)據(jù)庫中的所有圖像進(jìn)行裁剪以盡可能地去除背景，以便提取面部和內(nèi)部面部特征。但是，對(duì)于某些具有非常復(fù)雜背景的圖像，如LFW數(shù)據(jù)庫的情況，作者手動(dòng)裁剪這些面部。

在這項(xiàng)工作中，已經(jīng)進(jìn)行了許多遮擋設(shè)置，以驗(yàn)證該方法可以處理正常和遮擋的面部識(shí)別任務(wù)。為此，進(jìn)行了兩組主要的實(shí)驗(yàn)：一組不使用局部，旋轉(zhuǎn)和縮放的面部作為訓(xùn)練面部數(shù)據(jù)的一部分，另一部分使用部分，旋轉(zhuǎn)和縮放的面部作為訓(xùn)練的一部分。

在每種情況下，使用兩個(gè)分類器進(jìn)行了14個(gè)涉及部分，旋轉(zhuǎn)和縮小人臉的子實(shí)驗(yàn)。出于訓(xùn)練目的，使用了每個(gè)受試者70%的圖像，這些圖像也通過諸如填充和翻轉(zhuǎn)之類的操作來增強(qiáng)。在每種情況下，剩余的30%的圖像用于測試。

從FEI數(shù)據(jù)集中采樣面部數(shù)據(jù)

用于測試FEI數(shù)據(jù)集上識(shí)別率的面部部分

在FEI數(shù)據(jù)庫中使用基于面部部分的SVM和CS分類器的面部識(shí)別率 - 在訓(xùn)練中不使用/使用面部的面部部分

在FEI數(shù)據(jù)集上顯示面旋轉(zhuǎn)(10°到180°)

在FEI數(shù)據(jù)集上使用SVM和CS分類器的人臉識(shí)別率(基于訓(xùn)練集中沒有和有旋轉(zhuǎn)人臉圖片)

一個(gè)在FEI數(shù)據(jù)集中縮小(10%到90%)人臉的例子

利用SVM和CS分類器對(duì)FEI中縮小后的人臉進(jìn)行快速識(shí)別

一些來自LFW數(shù)據(jù)集的人臉圖像樣本

來自LFW數(shù)據(jù)庫的面部部分樣本

在LFW數(shù)據(jù)集上，分別使用SVM和CS兩種分類器對(duì)訓(xùn)練中未使用/使用的人臉各部分進(jìn)行識(shí)別

在LFW數(shù)據(jù)集上使用基于SVM和CS分類器的人臉旋轉(zhuǎn)的人臉識(shí)別率(在沒有和使用單個(gè)旋轉(zhuǎn)面作為訓(xùn)練數(shù)據(jù)的情況下)

在LFW數(shù)據(jù)庫上，基于SVM和CS分類器的圖像縮放識(shí)別率

使用CS進(jìn)行正確匹配的結(jié)果，對(duì)于嘴的部分

使用CS測量的錯(cuò)誤匹配的結(jié)果，對(duì)于嘴的部分

正確匹配的結(jié)果使用CS測量，為右臉頰

應(yīng)用前景

研究團(tuán)隊(duì)負(fù)責(zé)人Hassan Ugail教授表示這個(gè)結(jié)果展示了不完整面部識(shí)別的美好前景：“現(xiàn)在已經(jīng)證明，可以從僅顯示部分臉部的圖像中，獲得非常準(zhǔn)確的面部識(shí)別率，并且已經(jīng)確定哪些部分的識(shí)別準(zhǔn)確率更高，這為該技術(shù)應(yīng)用于安防或預(yù)防犯罪等方面，開辟了更大的可能性。”

不過Hassan Ugail教授還表示，目前實(shí)驗(yàn)還需要在更大的數(shù)據(jù)集上進(jìn)行驗(yàn)證。顯然，將來很可能用于面部識(shí)別的圖像數(shù)據(jù)庫也需要包含不完整面部的圖像。