您的当前位置：首页基于参考人脸表情的多特征融合表情识别算法

基于参考人脸表情的多特征融合表情识别算法

来源：化拓教育网

2021年4月1日第44卷第7期

现代电子技术

ModernElectronicsTechniqueApr.2021Vol.44No.7引用格式：王菽裕，宋俊芳，王蒙，等.基于参考人脸表情的多特征融合表情识别算法[J].现代电子技术，2021，44（7）：77⁃81.

DOI：10.16652/j.issn.1004⁃373x.2021.07.015

77基于参考人脸表情的多特征融合表情识别算法

王菽裕，宋俊芳，王

蒙，吴

思，关琛夕

712082）

（民族大学信息工程学院，陕西咸阳

摘

要：人脸表情识别具有巨大的发展潜力，可用于智能人机交互、大众娱乐、安全驾驶、辅助医疗和在线教育等应用

场景。文中提出一种新的表情识别算法。首先，通过局部二值模式（LBP）、局部矢量模式（LVP）和Gabor局部矢量模式（GLVP）创建参考人脸表情，从参考人脸表情提取各类表情特征；其次，采用布谷鸟搜索算法将提取的特征进行聚类；最后，在测试阶段，利用极限学习机（ELM）依据不同表情类别的不同特征进行识别；并对所提出的算法和现有K最近邻（KNN）分类算法、支持向量机（SVM）方法，从识别精度和误差等角度进行了分析比较，所提算法均取得了良好的实验效果。

关键词：表情识别；参考人脸表情；表情特征；特征聚类；LBP；LVP；GLVP；ELM中图分类号：TN911.73⁃34；TP391

文献标识码：A

文章编号：1004⁃373X（2021）07⁃0077⁃05

Multi⁃featurefusionexpressionrecognitionalgorithm

WANGShuyu，SONGJunfang，WANGMeng，WUSi，GUANChenxi

basedonreferencedfacialexpression

（SchoolofInformationEngineering，XizangMinzuUniversity，Xianyang712082，China）

Abstract：Thefaceexpressionrecognitionhastremendousdevelopmentpotentialandcanbeappliedinsituationssuchasintelligenthuman⁃computerinteraction，popularentertainment，safedriving，assistantmedicaltreatmentandonlineeducation.Anewexpressionrecognitionalgorithmisproposedinthispaper.Inthealgorithm，localbinarypattern（LBP），localvectorpattern（LVP）andGaborlocalvectorpattern（GLVP）areusedtocreatereferencefaceexpressions，fromwhichvariousextremelearningmachine（ELM）isusedtorecognizedifferentfeaturesofdifferentexpressions.Inaddition，theproposedanalyzedandcontrastedintermsofrecognitionaccuracyanderror.Itverifiesthattheexperimentalresultsobtainedwiththeproposedalgorithmarebetterthanthatobtainedwiththeexistingalgorithms.

Keywords：expressionrecognition；referencedfaceexpression；expressionfeature；featureclustering；LBP；LVP；GLVP；ELMexpressionfeaturesareextracted.TheCuckoosearchalgorithmisusedtoclustertheextractedfeatures.Intheteststage，thealgorithmandexistingalgorithms，forinstance，K⁃nearestneighbor（KNN）classificationalgorithmandSVMmethod，are

0引言

可以分为两大类：基于全局特征和基于局部特征的识别算法。基于全局特征的识别算法最主要的缺点就是无法处理局部失真或者局部遮挡，所以采用局部特征进行表情特征的描述，有效地满足了这个目的。其中，

[5]

LBP[2⁃3]、LVP[4]以及Gabor局部矢量模式（GLVP）都是很

人脸表情识别是机器视觉研究的一个重要分支，是人机交互、大众娱乐、安全驾驶、辅助医疗和在线教育等应用领域重要的技术组成部分。美国学者Mehrabian提出，通过人脸表情传递的信息占全部信息量的55%，美国心理研究专家Ekman和Friessn定义了六种基本表情：高兴、生气、惊讶、害怕、厌恶和悲伤[1]。

良好的人脸表情识别算法必须能够承受诸如噪声、尺度和光照等条件考验，人脸表情识别算法根据其特征

收稿日期：2020⁃07⁃30

修回日期：2020⁃08⁃20

好的局部特征描述方法。三种方法都有特定的优势，LBP主要可以抵抗单调的光照变化对图像的影响；LVP可以在不同图像像素的距离和方向上体现作用，这就提高了特征描述子的准确性；将GLVP方法结合在Gabor方法处理图像的过程中，其中，Gabor方法主要提取人脸

基金项目：自然科学基金（XZ2017ZRG⁃53（Z））；校内重大培育（19MDZ03）；陕西省教育厅专项（19JK0887）；大学生创新创业

训练项目（S201910695060）

现代电子技术

2021年第44卷

本文算法的主要工作是参考人脸表情的构建、多个特征描述子对不同表情特征的提取和表情特征的聚类。参考人脸表情构建的主要目的是抵抗光照变化的影响，它代表了同一类表情的一个共同人脸表情，这样的处理方式可以节省下一过程的处理时间；然后利用LBP、LVP和CLVP方法从参考人脸表情中提取不同类别表情的特征，将三种方法提取的特征进行结合，通过布谷鸟搜索方法进行特征聚类，其主要目的就是降低特征冗余和节省处理时间，简化人脸表情识别下一阶段的任务。本文算法与现有KNN[6⁃7]、支持向量机SVM[8⁃9]方法相比，从识别精度和误差等角度进行了分析比较，本文算法均取得了良好的实验效果。

[8，23]。LVP是一种高效的基于每个像素向量的局部模应像素及其邻像素。

式描述符，该矢量的计算方法是取距离和方向不同的对

图1局部矢量模式

1.1

相关知识

LBP被证明是一种最好的纹理描述方法，LBP之所LBP算法

设a为角度，d为参考像素与邻像素之间的距离。

LVPa,d(Refp)={LVPa,d|d=1,2,3}LVPa,d(Refp)={LVPa,d|a=0°,45°,90°,135°}（3）

（4）

以效果优良是因为可以降低不同光照的影响且计算开销较小，被广泛应用在人脸识别和人脸表情识别算法中。在LBP方法中，考虑图像每个像素周围像素的特点，使其可以产生良好的描述效果。每幅图像分割出多个区域，继而根据LBP算子生成对应的二值模式图像。LBP的计算原理如下：

LBP(b)=∑v(x)

b-1i=0

由式（3）和式（4）可以看出LVP的重要运算。式（3）表示不同的角度，式（4）表示不同的像素距离。1.3

GLVP是另一种特征描述子，它遵循Gabor滤波的GLVP算法

原理，然后应用LVP。首先，将尺寸为7×7的Gabor滤波

（1）（2）

器应用于图像，再使用LVP算子，如1.2节所述。Gabor滤波器通常用于有效的边缘检测和纹理特征提取。Gabor滤波器是模式识别中非常流行的一种滤波器，它器由方程（7）生成：

gf=f(a,b,ω,θ,σa,σb)

é1a1f(a,b,ω,θ,σa,σb)=expêê-2σa2πσaσbëA=kω(acosθ+bsinθ)LVP=LVPa,d(Refp)GLVPRef=gf⋃LVP

v(x)=

{bp为中心像素的周围像素值。

b为图像中的总块数；bc为区域块的中心像素值；式中：

1,bp≥bc

0,bp与LVP相结合可以提取到更好的像素信息。Gabor滤波

（5）（6）

2通过LBP算子处理图像之后，计算直方图，然后对

直方图进行归一化，这样就可以得到图像的特征向量。LBP最大的优点是它对图像局部特征进行描述，通过将每个像素与相邻像素进行比较得到的，LBP的计算复杂度较低，对单调光照变化的容忍度较高，算子在识别能力、鲁棒性、邻域选择、三维数据扩展等方面都具有很好的表现，并可以很好地与其他方法相结合使用。1.2

LVP是考虑图像区域块中的25个像素的一种特征LVP算法

()()+bσb2ù+Aúúû（7）（8）（9）

ω是频率；θ是方向；b）σ是空间式中：（a，是像素坐标；

宽度。将由此生成的Gabor滤波器应用于图像上，然后对结果再施加LVP算子。

脸表情识别中显示了稳定的结果。因此，本文提出了一种在不同光照条件下的增强型人脸表情识别算法，其中包含了3个新颖的特征描述子。1.4

ELM[10⁃11]用来训练单隐含层前馈神经网络（SLFN），ELM

GLVP是具有Gabor特征的LVP的扩展，GLVP在人

描述子，它可以收集块区域中不同角度的特征，如角度为0°，45°，90°，135°，如图1所示，是将图像分割成7×7的

区域块实现的，考虑中心像素Ref_p所在的整体行和列、与中心像素相邻的像素和与中心像素距离为2的像素。

然后，考虑中心像素的邻近像素和与中心像素距离为2的像素。最后，考虑左右角像素。因此，在一个7×7的图像块中，LVP集中于49个像素中的25个像素

王菽裕，等：基于参考人脸表情的多特征融合表情识别算法

进一步处理。

与传统的SLFN训练算法不同，ELM随机选取输入层权重和隐含层偏置，输出层权重通过最小化由训练误差项和输出层权重范数的正则项构成损失函数，依据广义逆矩阵Moore⁃Penrose（MP）理论计算解析求出。理论研究表明，即使随机生成隐含层节点，ELM仍保持SLFN的通用逼近能力。

（SLFN）一样，采用随机的输入层权值和偏差，对于输出层权重则通过广义逆矩阵理论计算得到。所有网络节点上的权值和偏差得到后，ELM的训练就完成了，这时，测试数据利用刚刚求得的输出层权重便可计算出网络输出，完成对数据的预测。

ELM模型的网络结构与单隐层前馈神经网络

2本文算法

在这项工作中，实验数据库中的每个面都可以在不

图2算法总体流程

同的光照条件下观察到。首先，用不同光照条件下的同一面计算根面。该方法依赖于特征，采用LBP、LVP和GLVP三种不同的模式描述符进行特征提取，为了得到准确的结果，建议结合多个特征描述符。2.1

算法概述

在测试阶段，算法要求用户加载输入图像。然后通过特征提取对输入图像进行处理，特征提取由LBP、LVP和GLVP完成。将提取的特征组合在一起，并将生成的特征集与已存储的聚类特征集进行比较。由于聚类过程已经完成，因此只考虑具有相似特征集的图像，这提高了工作的准确性。分类过程由为输入图像选择合适匹配项的ELM完成。2.2

第一步是为所有图像创建一个参考面，这项工作考构建参考人脸表情

利用LBP、LVP和GLVP提取人脸表情特征进行人

脸识别，该工作主要包括构建参考人脸表情、特征提取、特征聚类。构建参考人脸表情是必要的，因为这项工作处理了在不同的灯光设置下单个人脸的几张照片。此参考面计算具有相同人脸表情的所有图像块的平均值。然后，通过几个特征描述符（例如LBP、LVP、GLVP等）从图像中提取特征，这一步之后，通过布谷鸟搜索算法实现相似的特征分组。最后，结合查询图像对数据库进行分类。

因此，整个工作被分为训练和测试阶段。训练阶段是指系统通过特征提取来获取人脸表情的知识。根据相关性或相似性将提取的所有特征聚类在一起，并将结果存储起来，以便将来进行分类。

在测试阶段，将查询图像传递到系统中。通过LBP、LVP和GLVP提取查询图像的特征，将提取的特征ELM从人脸表情图像库中识别查询人脸表情。整个系统流程如图2所示。

在训练阶段，加载数据库，构建参考面，实验数据库包含不同光照环境下相同的人脸表情，因此，这项工作提出构建一个基面，作为所有面的代表。应用LBP、LVP和GLVP对参考面进行进一步处理。GLVP的应用遵循串行方式，即先应用Gabor滤波器，然后再应用LVP。将提取的特征组合在一起，利用余弦相似度确定相关特征集的聚类。聚类特征集保存在数据库中，以便特征向量的相似程度。最后，将布谷鸟搜索算法应用于连接起来，并与训练后的特征向量进行比较。最后，

虑了不同光照条件下相同的人脸图像。例如，在不同的照明条件下，某一个人脸表情将会有6张。因此，创建了所有各类表情的基本面，并将其命名为参考面，或者参考人脸表情。

通过计算所有6个面的平均值，最后得到的结果面就是参考面。图3和图4分别显示了在不同照明条件下的人脸表情和生成参考人脸表情。

假设人脸被分为“A,B,…,J”几块图像，每个块的大小为8×8。设A1,A2,…,A6为不同光照下图像A的人脸图{A11,A21,…,A61}，{A12,A22,…,A62}计算出“A,B,…,J”参考面。

A=A11⋃A12⋃…⋃A18

{A18,A28,⋯,A68}

像。设A11,A12,…,A18是图像A的分割块。通过

（10）（11）（12）

ì(A11,A21,⋯,A61)6

ï(A12,A22,⋯,A62)6

REA=í

⋮ï

ï(A18,A28,⋯,A68)6î

J中所有图像进行计算得出参同样，分别对B，…，

考面，并对其进行进一步处理以进行特征提取。

2021年第44卷

段，ELM根据特征的相关性对人脸表情进行识别。分类是通过特征集之间的值差来实现的，计算公式如下：

(∑|x

ni=1

-yi|s

)（15）

y面特征集。基于这一差异，式中xi和yi是x，人脸表情

识别是通过与现有的特征集进行匹配来实现的。为了提高分类准确率，本文提出将相关特征聚类在一起，利用ELM实现分类。

图3不同光照条件下部分不同类表情的效果

实验及分析

本节通过与类似算法的比较，分析了本文方法的性

能，并给出了实验结果。该工作利用了日本JAFFE人脸表情数据库，它拥有216张人脸表情，通过设计不同的光照条件，为每张表情在不同的光照下对应出6张不同的图像。比较通过三种方式展开：结果如图5所示。

1）在有和没有参考人脸表情创建的情况下进行，

图4部分参考人脸表情

2.3

在这个过程之前，利用不同的特征描述符LBP、

特征聚类

LVP和GLVP从人脸表情图像中提取特征。另外，将

三种特征描述融合在一起应用于人脸表情特征的提取。特征聚类是利用布谷鸟搜索算法[12]对相关特征进行聚类的过程。利用余弦相似度测量计算特征之间的相关性。布谷鸟搜索算法是一种仿生算法，它根据特征之间的相关性对特征进行聚类。

这种相似性度量用来计算特征之间的相关程度。在两个特征向量之间计算余弦量度，由式（14）表示：

Simc(fta,ftb)=cos(fta,ftb)（13）

cos(fta,ftb)=∑waiwbi

ni=1

图5有无参考人脸表情比较

LVP和GLVP，并与LBP、LVP和GLVP的组合进行了比较，如图6所示。

2）为了验证特征描述子的作用，分别使用了LBP、

(∑w∑w

i=1

2bi

)（14）

等式（14）的结果范围为0~1，然后将相关值输入到布谷鸟搜索算法中，以便将相关的特征进行分组。2.4

此部分仅在测试阶段才会激活。在此阶段，ELM通表情识别

过将输入的人脸表情图像与表情图像数据库进行匹配来识别表情。采用ELM作为人脸表情识别实体，首先利用人脸表情数据库的特征集对ELM进行训练，在测试阶

图6四种特征描述子比较

王菽裕，等：基于参考人脸表情的多特征融合表情识别算法81

性能进行比较，如图7所示。

3）利用KNN、SVM和ELM三种分类方法对算法的

度和特异性。通过改变特征描述符和分类器，分析了具有和不具有参考面等不同场景下的性能，从而验证了结果的正确性。除了特征提取的过程外，参考人脸表情的构建也为文中的算法起到了重要作用，参考人脸表情的构建简化了后续步骤和算法，训练过程中的特征聚类过程在测试输入图像的同时节省了更多的时间。因此，本文算法在提高准确性、特异性、灵敏度的同时，降低了误分类率和时间消耗。

4结语

本文提出了一种基于参考人脸表情创建、特征提取和特征聚类及人脸表情分类的表情识别算法。参考人脸表情创建是一种对抗光照条件变化的新思路。此外，

图7三种分类器比较

本文还提出将LBP、LVP和GLVP三种不同的特征描述符结合起来进行特征提取，这个步骤和参考人脸表情创建一起提高了准确率；然后用布谷鸟搜索算法进行特征聚类，这样测试过程消耗的时间更短。最后利用ELM分类器进行表情识别和分类。

参考文献实验结果证明了本文提出方法的有效性。实验结果如表1所示。

表1算法性能比较和分析

无参考表情有参考表情

LBP

ACC94.698.183.986.192.495.183.2.696.3SEN93.199.282.784.690.994.785.993.396.9%

85.691.583.885.9.292.686.492.997.1SPE有/无参考

人脸表情

[1]胡敏，滕文娣，王晓华，等.融合局部纹理和形状特征的人脸表情识别[J].电子与信息学报，2018，40（6）：1338⁃1344.[2]HUNGTY，FANKC.Localvectorpatterninhigh⁃orderderivativeonImageProcessing（ICIP）.Paris：IEEE，2014：239⁃243.识别[J].国外电子测量技术，2018，37（10）：35⁃39.特征

描述子

LBP+LVP+GLVP

KNNSVMELMGLVP

LVP

spaceforfacerecognition[C]//2014IEEEInternationalConference[3]贾磊，鲁旭涛，孙运强.基于改进的局部二值模式算法的表情[4]刘娟，胡敏，黄忠.Gabor多方向特征融合与分块统计的表情识别[J].电子测量与仪器学报，2015，29（11）：1698⁃1705.师范大学学报（自然科学版），2016，34（3）：39⁃45.法[J].计算机应用，2018（11）：3112⁃3118.[5]宗鸣，龚永红，文国秋，等.基于稀疏学习的KNN分类[J].广西[6]黄宇扬，董明刚，敬超.面向K最近邻分类的遗传实例选择算[7]李昆仑，张炘.级联SVM和分类器融合的人脸性别识别方法[8]郭伟林，邓洪敏，石雨鑫.基于局部二进制和支持向量机的手写体数字识别[J].计算机应用，2018，38（z2）：282⁃285.[9]兰兰，陈万忠，魏庭松.基于融合特征提取与LLE方法的表情识别[J].吉林大学学报（信息科学版），2017，35（4）：384⁃391.海洋大学，2015.理工大学，2017.

[10]马萌萌.基于深度学习的极限学习机算法研究[D].青岛：中国[11]宋亚成.基于极限学习机的目标识别算法研究[D].杭州：浙江

[J].计算机工程与应用，2017，53（8）：1⁃158.分类方法

准确性：通过对人脸表情的准确识别来确定算法有效性的度量。正确率是由正确识别的人脸表情与识别人脸表情的总尝试次数来衡量的。由式（16）定义：

C.R.FACC=×100%

Totalnumberofattempts的人脸表情是有意义的。由式（17）定义：

f.positiveSEN=

f.positive+t.negative（16）

敏感度：也可以称为真阳性率，用于说明正确识别

（17）

特异率分析：特异率也可称为真负率，使人脸识别

算法对与查询图像不相似的人脸表情进行拒绝。由式（18）定义：

SPE=

t.negativet.negative+f.positive（18）

实验结果表明，所提方法具有较高的准确度、灵敏

[12]刘姣.基于布谷鸟搜索的聚类推荐算法研究综述[J].软件导

刊，2019，18（4）：91⁃94.

作者简介：王菽裕（1991—），男，甘肃天水人，硕士，讲师，主要研究方向为图像处理、机器学习。

宋俊芳（1985—），女，内蒙古乌兰察布人，博士，副教授，主要研究方向为模式识别、人工智能、图像处理。

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文