人臉識別（Facial Recognition），就是通過視頻采集設備獲取用戶的面部圖像，再利用核心的算法對其臉部的五官位置、臉型和角度進行計算分析，進而和自身數據庫裏已有的範本進行比對，後判斷出用戶的真實身份。
人臉識別算法是指在檢測到人臉並定位面部關鍵特征點之後，主要的人臉區域就可以被裁剪出來，經過預處理之後，饋入後端的識別算法。識別算法要完成人臉特征的提取，並與庫存的已知人臉進行比對，完成最終的分類。
人臉識別的算法有 4 種：基於人臉特征點的識別算法、基於整幅 人臉圖像的識別算法、基於模板的識別算法、利用神經網絡進行識別的算法。
人臉識別算法的原理：
系統輸入壹般是壹張或者壹系列含有未確定身份的人臉圖像，以及人臉數據庫中的若幹已知身份的人臉圖象或者相應的編碼，而其輸出則是壹系列相似度得分，表明待識別的人臉的身份。
人臉識別的三個經典算法
1、Eigenfaces（特征臉）算法
Eigenfaces是在人臉識別的計算機視覺問題中使用的壹組特征向量的名稱，Eigenfaces是基於PCA（主成分分析）的，所以學習Eigenfaces需要我們了解PCA的原理。
基本思想
主成分分析（PCA）是壹種矩陣的壓縮算法，在減少矩陣維數的同時盡可能的保留原矩陣的信息，簡單來說就是將 n×m的矩陣轉換成n×k的矩陣，僅保留矩陣中所存在的主要特性，從而可以大大節省空間和數據量。PCA的實現需要進行降維，也就是將矩陣進行變換，從更高的維度降到低的維度，然而PCA的降維離不開協方差矩陣。方差是描述壹維數據樣本本身相對於均值的偏離程度，是壹種用來度量兩個隨機變量關系的統計量，從角度來說，其夾角越小，值越大，方向越相近，也就是越正相關。協方差矩陣度量除了是兩個隨機變量的關系外，還是維度與維度之間的關系，而非樣本與樣本之間的關系。
學習壹種新的東西，尤其是知識，我們需要了解知識中的思想。我在了解和學習Eigenface算法時它的思想是圖像識別首先要選擇壹個合適的子空間，將所有的圖像集中到這個子空間中，然後在這個子空間中衡量相似性或者進行分類學習，再講子空間變換到另壹個空間中，這樣的作用壹是同壹個類別的圖像離得更近，二是不同的類別的圖像會離得比較遠；這樣經過線性分類分開的圖像在新空間就能容易分開。同時特征臉技術會尋找人臉圖像分布的基本元素，即人臉圖像樣本集協方差矩陣的特征向量，以此來表征人臉圖像。人臉圖像的基本元素有很多，比如眼、面頰、唇等基本元素，這些特征向量在特征臉的圖像空間中對應生成的子空間被稱為子臉空間。
生成了子空間之後就要進行空間構造，那麽如何進行空間構造呢？首先要尋找人臉的***性，其次是要尋找個體與***性的差異，還有就是要明白***性其實是空間，個體就是向量。利用協方差矩陣把目標集中所有人臉圖像的特征值進行分解，得到對應的特征向量，這些特征向量就是“特征臉”。尋找特征向量的特性，將其進行線性組合。在以每壹個特征子臉為基的空間，每個人臉就是壹個點，這個點的坐標就是每壹個人臉在每個特征基下的的投影坐標。
Eigenfaces算法過程
獲得人臉圖像數據，將每壹個人臉圖像矩陣按行串成壹維，每個人臉就是壹個向量；
將M個人臉在對應維度上加起來，然後求平均得到“平均臉”；
將每個圖像都減去平均臉向量；
計算協方差矩陣；
運用Eigenfaces記性人臉識別；
算法實踐過程;
訓練圖像
求出平均臉
獲得特征子臉
進行圖像重構
尋找相似度高的人臉圖像。
2、FisherFace算法
FisherFace是Fisher線性判別在人臉識別的應用。線性判別分析（LDA）算法思想最早由英國統計與遺傳學家，現代統計科學的奠基人之壹羅納德*費舍爾(Ronald)提出。LDA算法使用統計學方法，嘗試找到物體間特征的壹個線性組合，在降維的同時考慮類別信息。通過該算法得到的線性組合可以用來作為壹個線性分類器或者實現降維。
基本思想
線性判別分析的基本思想是：將高維的模式樣本投影到低維最佳矢量空間，以達到抽取重要分類信息和壓縮特征空間維度的效果，投影後保證模式樣本在新的子空間有最大的類間距離、最小的類內距離，即模式在該空間中有最佳的可分離性。理論和特征臉裏用到的Eigenfaces有相似之處，都是對原有數據進行整體降維映射到低維空間的方法，fisherfaces和Eigenfaces都是從數據整體入手而不同於LBP提取局部紋理特征。
對降維後的樣本使用Fisher線性判別方法，確定壹個最優的投影方向，構造壹個壹維的體征空間，將多維的人臉圖像投影到 fisherfaces特征空間，利用類內樣本數據形成壹組特征向量，這組特征向量就代表了人臉的特征。
我們知道，該算法是在樣本數據映射到另外壹個特征空間後，將類內距離最小化，類間距離最大化。LDA算法可以用作降維，該算法的原理和PCA算法很相似，因此LDA算法也同樣可以用在人臉識別領域。通過使用PCA算法來進行人臉識別的算法稱為特征臉法，而使用LDA算法進行人臉識別的算法稱為費舍爾臉法。
LDA和PCA相比：
相同：1、在降維的時候，兩者都使用了矩陣的特征分解思想；2、兩者都假設數據符合高斯分布。不同：1、LDA是有監督的降維方法，而PCA是無監督的。2、如果說數據是k維的，那麽LDA只能降到(k-1)維度，而PCA不受此限制。3、從數學角度來看，LDA選擇分類性能最好的投影方向，而PCA選擇樣本投影點具有最大方差的方向。Fisherfaces算法和Eigenfaces算法相比：
相同：兩者均可以對數據進行降維；兩者在降維時均使用了矩陣特征分解的思想。
不同：Fisherfaces是有監督的降維方法，而是Eigenfaces無監督的降維方法；Fisherfaces除了可以用於降維，還可以用於分類。
值得壹提的是，FisherFace算法識別的錯誤率低於哈佛和耶魯人臉數據庫測試的Eigenfaces識別結果。
Fisherface算法流程
獲得人臉圖像數據，然後求出人臉的均值。
觀察各個人臉的特征值。
進行人臉鑒定，觀察人臉特征，判斷是否是個人。
最後進行人臉識別。
3、LBPH（Local Binary Patter Histogram）算法
Local Binary Patterns Histograms即LBP特征的統計直方圖，LBPH將LBP（局部二值編碼）特征與圖像的空間信息結合在壹起。如果直接使用LBP編碼圖像用於人臉識別。其實和不提取LBP特征區別不大，因此在實際的LBP應用中，壹般采用LBP編碼圖像的統計直方圖作為特征向量進行分類識別。
原始的LBP算子定義為在33的窗口內，以窗口中心像素為閾值，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大於或等於中心像素值，則該像素點的位置被標記為1，否則為0。這樣，33鄰域內的8個點經比較可產生8位二進制數（通常轉換為十進制數即LBP碼，***256種），即得到該窗口中心像素點的LBP值，並用這個值來反映該區域的紋理特征。
LBPH的維度： 采樣點為8個，如果用的是原始的LBP或Extended LBP特征，其LBP特征值的模式為256種，則壹幅圖像的LBP特征向量維度為：64256=16384維，而如果使用的UniformPatternLBP特征，其LBP值的模式為59種，其特征向量維度為：6459=3776維，可以看出，使用等價模式特征，其特征向量的維度大大減少，這意味著使用機器學習方法進行學習的時間將大大減少，而性能上沒有受到很大影響。
基本思想
建立在LBPH基礎上的人臉識別法基本思想如下：首先以每個像素為中心，判斷與周圍像素灰度值大小關系，對其進行二進制編碼，從而獲得整幅圖像的LBP編碼圖像；再將LBP圖像分為個區域，獲取每個區域的LBP編碼直方圖，繼而得到整幅圖像的LBP編碼直方圖，通過比較不同人臉圖像LBP編碼直方圖達到人臉識別的目的，其優點是不會受到光照、縮放、旋轉和平移的影響。
LBPH算法“人”如其名，采用的識別方法是局部特征提取的方法，這是與前兩種方法的最大區別。
LBPH 算法流程
LBP特征提取：根據上述的均勻LBP算子處理原始圖像；
LBP特征匹配（計算直方圖）：將圖像分為若幹個的子區域，並在子區域內根據LBP值統計其直方圖，以直方圖作為其判別特征。
4、算法的復現代碼
1）、EigenFaces算法
#encoding=utf-8
import numpy as np
import cv2
import os
class EigenFace(object):
def __init__(self,threshold,dimNum,dsize):
self.threshold = threshold # 閾值暫未使用
self.dimNum = dimNum
self.dsize = dsize
def loadImg(self,fileName,dsize):
‘‘‘
載入圖像，灰度化處理，統壹尺寸，直方圖均衡化
:param fileName: 圖像文件名
:param dsize: 統壹尺寸大小。元組形式
:return: 圖像矩陣
‘‘‘
img = cv2.imread(fileName)
retImg = cv2.resize(img,dsize)
retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY)
retImg = cv2.equalizeHist(retImg)
# cv2.imshow(‘img’,retImg)
# cv2.waitKey()
return retImg
def createImgMat(self,dirName):
‘‘‘
生成圖像樣本矩陣，組織形式為行為屬性，列為樣本
:param dirName: 包含訓練數據集的圖像文件夾路徑
:return: 樣本矩陣，標簽矩陣
‘‘‘
dataMat = np.zeros((10,1))
label = []
for parent,dirnames,filenames in os.walk(dirName):
# print parent
# print dirnames
# print filenames
index = 0
for dirname in dirnames:
for subParent,subDirName,subFilenames in os.walk(parent+’/’+dirname):
for filename in subFilenames:
img = self.loadImg(subParent+’/’+filename,self.dsize)
tempImg = np.reshape(img,(-1,1))
if index == 0 :
dataMat = tempImg
else:
dataMat = np.column_stack((dataMat,tempImg))
label.append(subParent+’/’+filename)
index += 1
return dataMat,label
def PCA(self,dataMat,dimNum):
‘‘‘
PCA函數，用於數據降維
:param dataMat: 樣本矩陣
:param dimNum: 降維後的目標維度
:return: 降維後的樣本矩陣和變換矩陣
‘‘‘
# 均值化矩陣
meanMat = np.mat(np.mean(dataMat,1)).T
print ‘平均值矩陣維度’,meanMat.shape
diffMat = dataMat-meanMat
# 求協方差矩陣，由於樣本維度遠遠大於樣本數目，所以不直接求協方差矩陣，采用下面的方法
covMat = (diffMat.T*diffMat)/float(diffMat.shape[1]) # 歸壹化
#covMat2 = np.cov(dataMat,bias=True)
#print ‘基本方法計算協方差矩陣為’,covMat2
print ‘協方差矩陣維度’,covMat.shape
eigVals, eigVects = np.linalg.eig(np.mat(covMat))
print ‘特征向量維度’,eigVects.shape
print ‘特征值’,eigVals
eigVects = diffMat*eigVects
eigValInd = np.argsort(eigVals)
eigValInd = eigValInd[::-1]
eigValInd = eigValInd[:dimNum] # 取出指定個數的前n大的特征值
print ‘選取的特征值’,eigValInd
eigVects = eigVects/np.linalg.norm(eigVects,axis=0) #歸壹化特征向量
redEigVects = eigVects[:,eigValInd]
print ‘選取的特征向量’,redEigVects.shape
print ‘均值矩陣維度’,diffMat.shape
lowMat = redEigVects.T*diffMat
print ‘低維矩陣維度’,lowMat.shape
return lowMat,redEigVects
def compare(self,dataMat,testImg,label):
‘‘‘
比較函數，這裏只是用了最簡單的歐氏距離比較，還可以使用KNN等方法，如需修改修改此處即可
:param dataMat: 樣本矩陣
:param testImg: 測試圖像矩陣，最原始形式
:param label: 標簽矩陣
:return: 與測試圖片最相近的圖像文件名
‘‘‘
testImg = cv2.resize(testImg,self.dsize)
testImg = cv2.cvtColor(testImg,cv2.COLOR_RGB2GRAY)
testImg = np.reshape(testImg,(-1,1))
lowMat,redVects = self.PCA(dataMat,self.dimNum)
testImg = redVects.T*testImg
print ‘檢測樣本變換後的維度’,testImg.shape
disList = []
testVec = np.reshape(testImg,(1,-1))
for sample in lowMat.T:
disList.append(np.linalg.norm(testVec-sample))
print disList
sortIndex = np.argsort(disList)
return label[sortIndex[0]]
def predict(self,dirName,testFileName):
‘‘‘
預測函數
:param dirName: 包含訓練數據集的文件夾路徑
:param testFileName: 測試圖像文件名
:return: 預測結果
‘‘‘
testImg = cv2.imread(testFileName)
dataMat,label = self.createImgMat(dirName)
print ‘加載圖片標簽’,label
ans = self.compare(dataMat,testImg,label)
return ans
if __name__ == ‘__main__’:
eigenface = EigenFace(20,50,(50,50))
print eigenface.predict(‘d:/face’,’D:/face_test/1.bmp’)2）、FisherFaces算法
#encoding=utf-8
import numpy as np
import cv2
import os
class FisherFace(object):
def __init__(self,threshold,k,dsize):
self.threshold = threshold # 閾值，暫未使用
self.k = k # 指定投影w的個數
self.dsize = dsize # 統壹尺寸大小
def loadImg(self,fileName,dsize):
‘‘‘
載入圖像，灰度化處理，統壹尺寸，直方圖均衡化
:param fileName: 圖像文件名
:param dsize: 統壹尺寸大小。元組形式
:return: 圖像矩陣
‘‘‘
img = cv2.imread(fileName)
retImg = cv2.resize(img,dsize)
retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY)
retImg = cv2.equalizeHist(retImg)
# cv2.imshow(‘img’,retImg)
# cv2.waitKey()
return retImg
def createImgMat(self,dirName):
‘‘‘
生成圖像樣本矩陣，組織形式為行為屬性，列為樣本
:param dirName: 包含訓練數據集的圖像文件夾路徑
:return: 包含樣本矩陣的列表，標簽列表
‘‘‘
dataMat = np.zeros((10,1))
label = []
dataList = []
for parent,dirnames,filenames in os.walk(dirName):
# print parent
# print dirnames
# print filenames
#index = 0
for dirname in dirnames:
for subParent,subDirName,subFilenames in os.walk(parent+’/’+dirname):
for index,filename in enumerate(subFilenames):
img = self.loadImg(subParent+’/’+filename,self.dsize)
tempImg = np.reshape(img,(-1,1))
if index == 0 :
dataMat = tempImg
else:
dataMat = np.column_stack((dataMat,tempImg))
dataList.append(dataMat)
label.append(subParent)
return dataList,label
def LDA(self,dataList,k):
‘‘‘
多分類問題的線性判別分析算法
:param dataList: 樣本矩陣列表
:param k: 投影向量k的個數
:return: 變換後的矩陣列表和變換矩陣
‘‘‘
n = dataList[0].shape[0]
W = np.zeros((n,self.k))
Sw = np.zeros((n,n))
Sb = np.zeros((n,n))
u = np.zeros((n,1))
N = 0
meanList = []
sampleNum = []
for dataMat in dataList:
meanMat = np.mat(np.mean(dataMat,1)).T
meanList.append(meanMat)
sampleNum.append(dataMat.shape[1])
dataMat = dataMat-meanMat
sw = dataMat*dataMat.T
Sw += sw
print ‘Sw的維度’,Sw.shape
for index,meanMat in enumerate(meanList):
m = sampleNum[index]
u += m*meanMat
N += m
u = u/N
print ‘u的維度’,u.shape
for index,meanMat in enumerate(meanList):
m = sampleNum[index]
sb = m*(meanMat-u)*(meanMat-u).T
Sb += sb
print ‘Sb的維度’,Sb.shape
eigVals, eigVects = np.linalg.eig(np.mat(np.linalg.inv(Sw)*Sb))
eigValInd = np.argsort(eigVals)
eigValInd = eigValInd[::-1]
eigValInd = eigValInd[:k] # 取出指定個數的前k大的特征值
print ‘選取的特征值’,eigValInd.shape
eigVects = eigVects/np.linalg.norm(eigVects,axis=0) #歸壹化特征向量
redEigVects = eigVects[:,eigValInd]
print ‘變換矩陣維度’,redEigVects.shape
transMatList = []
for dataMat in dataList:
transMatList.append(redEigVects.T*dataMat)
return transMatList,redEigVects
def compare(self,dataList,testImg,label):
‘‘‘
比較函數，這裏只是用了最簡單的歐氏距離比較，還可以使用KNN等方法，如需修改修改此處即可
:param dataList: 樣本矩陣列表
:param testImg: 測試圖像矩陣，最原始形式
:param label: 標簽矩陣
:return: 與測試圖片最相近的圖像文件夾，也就是類別
‘‘‘
testImg = cv2.resize(testImg,self.dsize)
testImg = cv2.cvtColor(testImg,cv2.COLOR_RGB2GRAY)
testImg = np.reshape(testImg,(-1,1))
transMatList,redVects = fisherface.LDA(dataList,self.k)
testImg = redVects.T*testImg
print ‘檢測樣本變換後的維度’,testImg.shape
disList = []
testVec = np.reshape(testImg,(1,-1))
sumVec = np.mat(np.zeros((self.dsize[0]*self.dsize[1],1)))
for transMat in transMatList:
for sample in transMat.T:
disList.append( np.linalg.norm(testVec-sample))
print disList
sortIndex = np.argsort(disList)
return label[sortIndex[0]/9]
def predict(self,dirName,testFileName):
‘‘‘
預測函數
:param dirName: 包含訓練數據集的文件夾路徑
:param testFileName: 測試圖像文件名
:return: 預測結果
‘‘‘
testImg = cv2.imread(testFileName)
dataMat,label = self.createImgMat(dirName)
print ‘加載圖片標簽’,label
ans = self.compare(dataMat,testImg,label)
return ans
if __name__==“__main__”:
fisherface = FisherFace(10,20,(20,20))
ans = fisherface.predict(‘d:/face’,’d:/face_test/8.bmp’)
print ans3）、LBPH算法
#encoding=utf-8
import numpy as np
import os
import cv2
class LBP(object):
def __init__(self,threshold,dsize,blockNum):
self.dsize = dsize # 統壹尺寸大小
self.blockNum = blockNum # 分割塊數目
self.threshold = threshold # 閾值，暫未使用
def loadImg(self,fileName,dsize):
‘‘‘
載入圖像，灰度化處理，統壹尺寸，直方圖均衡化
:param fileName: 圖像文件名
:param dsize: 統壹尺寸大小。元組形式
:return: 圖像矩陣
‘‘‘
img = cv2.imread(fileName)
retImg = cv2.resize(img,dsize)
retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY)
retImg = cv2.equalizeHist(retImg)
# cv2.imshow(‘img’,retImg)
# cv2.waitKey()
return retImg
def loadImagesList(self,dirName):
‘‘‘
加載圖像矩陣列表
:param dirName:文件夾路徑
:return: 包含最原始的圖像矩陣的列表和標簽矩陣
‘‘‘
imgList = []
label = []
for parent,dirnames,filenames in os.walk(dirName):
# print parent
# print dirnames
# print filenames
for dirname in dirnames:
for subParent,subDirName,subFilenames in os.walk(parent+’/’+dirname):
for filename in subFilenames:
img = self.loadImg(subParent+’/’+filename,self.dsize)
imgList.append(img) # 原始圖像矩陣不做任何處理，直接加入列表
label.append(subParent+’/’+filename)
return imgList,label
def getHopCounter(self,num):
‘‘‘
計算二進制序列是否只變化兩次
:param num: 數字
:return: 01變化次數
‘‘‘
binNum = bin(num)
binStr = str(binNum)[2:]
n = len(binStr)
if n = center)*(1擴展知識：人臉識別算法研究的難點
人臉識別算法研究已久，在背景簡單的情形下，大部分算法都能很好的處理。但是，人臉識別的應用範圍頗廣，僅是簡單圖像測試，是遠遠不能滿足現實需求的。所以人臉識別算法還是存在很多的難點。
光照
光照問題是機器視覺中的老問題，在人臉識別中的表現尤為明顯，算法未能達到使用的程度。
姿態
與光照問題類似，姿態問題也是人臉識別研究中需要解決的壹個技術難點。針對姿態的研究相對比較少，多數的人臉識別算法主要是針對正面，或接近正面的人臉圖像，當發生俯仰或者左右側而比較厲害的情況下，人臉識別算法的識別率也將會急劇下降。
遮擋
對於非配合情況下的人臉圖像采集，遮擋問題是壹個非常嚴重的問題，特別是在監控環境下，往往被監控對象都會帶著眼鏡﹑帽子等飾物，使得被采集出來的人臉圖像有可能不完整，從而影響了後面的特征提取與識別，甚至會導致人臉識別算法的失效。
年齡變化
隨著年齡的變化，面部外觀也在變化，特別是對於青少年，這種變化更加的明顯。對於不同的年齡段，人臉識別算法的識別率也不同。
圖像質量
人臉圖像的來源可能多種多樣，由於采集設備的不同，得到的人臉圖像質量也不同，特別是對於那些低分辨率﹑噪聲大﹑質量差的人臉圖像如何進行有效的人臉識別是個需要關註的問題。同樣的，對於高分辨圖像，對人臉識別算法的影響也需要進壹步研究。
樣本缺乏
基於統計學習的人臉識別算法是人臉識別領域中的主流算法，但是統計學習方法需要大量的培訓。由於人臉圖像在高維空間中的分布是壹個不規則的流行分布，能得到的樣本只是對人臉圖像空間中的壹個極小部分的采樣，如何解決小樣本下的統計學習問題有待進壹步的研究。
大量數據
傳統人臉識別算法如PCA、LDA等在小規模數據中可以很容易進行訓練學習。但是對於大量數據，這些方法其訓練過程難以進行，甚至有可能崩潰。
大規模人臉識別
隨著人臉數據庫規模的增長，人臉算法的性能將呈現下降。