人脸表情识别中情感模型的分析与实现

１５

人脸表情识别中情感模型的分析与实现

赵

黎

（天津师范大学计算机与信息工程学院天津３００３８７）

摘要】【：本文提出了一种新的情感模型用于人脸表情识别与合成中。该情感模型是基于已泛化的和非线性映射表现的五层神经网络，输入和输出层有相同数目的单元，在中间层可以实现特征的映射和情感空间的构造。从输入层到中间层的映射是情感识别，从中间层到输出层的映射是根据情感值进行表情合成。

关键字】神经网络情感模型、【：人脸表情识别、ＦＡＣＳ、

１．引言

采用多媒体技术的友好人机接口是近年来的研究焦点。我

们的目标是通过给计算机终端或通信系统提供人脸图像来实现

面对面的用户和机器间的很自然的人机交互环境，这是虚拟的、

通信系统。为此，我们提出的基本设计方案包括：人脸的三维模型构建，人脸表情的合成及编码技术，图像转换方案和建模。在这些设计方案中，面部活动编码系统（ＦＡＣＳ）是被选定为有效的标准来描述人脸表情和情感的。

人类表情的外部展现通常来自于他的情感状况，因此在人机交互系统中人脸图像表情的展现应该真实的表达人的情感。本文提出了一种新的情感模型，作为识别人脸表情和情感的标准。在心理学领域，很多情感模型是基于统计学的方法，但这些并不适用于人机交互和基于计算机图形学的应用。因为他们关心的只是在每个位置的情感。

该模型是基于五层的神经网络。这个网络具有范化的和非线性映射的特性。输入层和输出层有相同数量的单元，对应到面部表情的各个参数。因此，特征映射可以由反向传导训练得来。因此，单元的数量决定了中间层情感模型和情感空间的测量。从第一层到中间层的映射是指根据面部表情进行的情感分析。从中间层到第五层的映射是指根据情感参数进行的表情合成。２．表情合成２．１模型化

一个能基本展现人脸的普通三维模型，是由大约６００个多边形元素组成的模型，这样的模型是通过测量人体的头部特征建立起来的。这个通用模型通过三维仿射转换，根据二维人脸图像协调其中的多个特征点的位置。这些点的调整是通过半自动化的过程来建造人脸的模型，二维人脸图像中的ＲＧＢ强度被映射到通用模型中，这样，一个三维的人脸模型就建立起来了。这个模型由一系列点组成，每个点都有三维坐标值和每个多边形上的强度值。从二维原始图像得到了三维面部模型，就很容易在任意方向旋转三维模型或通过控制格子中的线框给予嘴唇、颌骨、眼睛、眉毛等许多微妙的面部添加动作。２．２表情参数

要进行人脸图像合成，首先要通过面部表情的参数来变形线框模型，然后将原始图像上每个多边形的纹理映射到变形线框模型的表面上。变形的规则是模拟面部肌肉的运动。Ｅｋｍａｎ和Ｆｒｉｅｓｅｎ将面部肌肉活动分解成４４个基本运动，即所谓的＂运动单元＂（ＡＵ），并将面部表情活动描述为运动单元的组合。

通过对线框模型中一些特定的特征点的运动方向和距离的描述来组成各种ＡＵ。将模型中每个ＡＵ的运动从不运动到最大运动划分为１００个等级，这样任何中间表情可以通过ＡＵ编码和他的强度值来合成。

基本的表情可分为６类：高表１中列出了运动单元的例子。

兴、惊讶、恐惧、悲伤、愤怒和反感。每个情感也可以通过运动单

元的组合来实现，神经网络的训练就基于这六种情感条件。

我们构建了一个叫做ＡＵ编辑器的表情编辑工具。这个工具可以为我们提供一个生成和修改表情的环境。软件的操作只是对ＡＵ编码的选择和强度值的确定，神经网络的训练也由这个工具来实现。

表１用于表情识别的运动单元

３．神经网络结构

图１显示了正反馈类型的五层网络结构。在第一层和第五层有相同数量的单元。隐藏在第二层和第四层中的有１９个单

元，以尽量减少衔接错误值，中间层（第三层）有两个单元。这个网络实现了特征映射和每一运动单元与输入和输出层中单元的

在ＦＡＣＳ对应。单元数目是指ＡＵ的数目，单元值是ＡＵ的强度。

中有４４个运动单元，我们选定了能给表情的表达作出较大影响的１７个单元。这些参数已经列在表１中。ＡＵ参数被范化到［０，１］值并提供给神经网络。

在第一、三、五层中单元的功能是保持参数空间的较宽范围的动态线性函数。第二和第四层是实现非线性映射的函数。从输入到第三层的前三层能从表情参数作为输入来进行情感识别。在中间层的情感空间中的（ｘ，ｙ）值决定了情感状况。后面三层可以通过情感状况实现表情合成系统。人脸表情图像就通过情感空间中（ｘ，ｙ）映射决定的ＡＵ参数合成了。

图１五层神经网络结构

４．表情分析

当任意由运动单元描述的表情被提供给输入层后，这个表情在情感空间中的位置就由神经网络的中间层的值决定。并且，表情活动由情感空间中点的运动来描述。一个包含所有基本情感位置的情感空间中的矩形区域被划分成９×９的矩形网格，每个网格中的中心坐标给定为神经网络的中间层，（下转第５１页）

该项目为天津师范大学校级项目，编号：５２ＬＪ５６

２００８年第９期福建电脑

５１

现实的商业运行环境中，为了有效提高ｗｅｂ服务的安全必须了解．Ｎｅｔ平台的安全保护机制。．Ｎｅｔ安全很大程度上依赖于操作系统的保护，而且所有的安全性检查都建立在代码访问安

许可及基于角色的身份验证等全、策略、．Ｎｅｔ主体和身份验证、

五方面的基础上，针对．Ｎｅｔ平台的安全基础，在实际的ｗｅｂ服务建设和维护中可以此为依据，采取一些相应的措施来增强ｗｅｂ服务的安全，增强ｗｅｂ服务抵抗攻击的能力。

１．强化身份验证功能

ｗｅｂ服务的一个关键的安全需求是能够对客户进行身份验证。Ｗｅｂ服务的身份验证有２大类，一类是面向连接的身份验证系统在消息中附加或嵌入一个或多个身份验证令牌，主要采用两种技术即口令和质询响应，而且所有面向连接的身份验证系统都建立这两种技术基础上，例如基于ｗｅｂ服务器的身份验证使用ｈｔｔｐ中的内置功能采用口令方式；另一类是面向文档的身份验证，采用的方案是在文档主体中嵌入一个与实体有关的信息，接收方可以验证这个文档的创建者。以这两种方案为基础可

强化令牌应用、以从强化操作系统安全、强化ｗｅｂ服务器功能、

强化客户／服务器模式和应用数字签名等增强ｗｅｂ服务的安全性。这里以ａｓｐ．ｎｅｔ为例，在ａｓｐ．ｎｅｔ中主要有三种身份验证方式：ｗｉｎｄｏｗｓ身份验证、ｐａｓｓｐｏｒｔ身份验证和ｆｏｒｍｓ身份验证来保证系统安全。在．ｎｅｔ框架中，ｐａｓｓｐｏｒｔａｕｔｈｅｎｔｉｃａｔｉｏｎｍｏｄｕｌｅ类执行ｐａｓｓｐｏｒｔ身份验证，以下是启用ｐａｓｓｐｏｒｔ身份验证的一段代码：

＜ｃｏｎｆｉｇｕｒａｔｉｏｎ＞＜ｓｙｓｔｅｍ．ｗｅｂ＞

＜ａｕｔｈｅｎｔｉｃａｔｉｏｎｍｏｄｅ＝＂ｐａｓｓｐｏｒｔ＂／＞＜／ｓｙｓｔｅｍ．ｗｅｂ＞＜／ｃｏｎｆｉｇｕｒａｔｉｏｎ＞

ｂａｃｋ方法来管理事务。

３．强化授权功能

前面讨论了用身份验证和数据保护来保护ｗｅｂ服务的安全，那么在ｗｅｂ安全服务的最后一个安全技术就是采用授权，授权（ａｕｔｈｏｒｉｚａｔｉｏｎ）过程负责控制通过了身份验证的客户端可以访问哪些资源，以及可以执行哪些操作，提供访问的权限。在实际的执行过程中，验证了身份，就是要使用这个身份，根据不同的身份我们可以进行不同的操作，处理，最常见的就是对不同的身份进行不同的授权，通常在．ＮＥＴ框架上提供了以下几种授权方式：ＡＳＰ．ＮＥＴ授权、ＥｎｔｅｒｐｒｉｓｅＳｅｒｖｉｃｅｓ授权、ＳＱＬＳｅｒｖｅｒ授权，通过这些授权来保证资源的安全，这里以ａｓｐ．ｎｅｔ授权为例，在ＡＳＰ．ＮＥＴ应用程序中提供两种基本的权限策略：基于角色的授权和基于资源的授权。一般的访问授权是基于角色来设置的，例如ｕｒｌ授权就使用了基于角色对访问页面的权限进行设置，下面的代码不允许未经身份验证的用户访问：

＜ａｕｔｈｏｒｉｚａｔｉｏｎ＞＜ｄｅｎｙｕｓｅｒｓ＝＂？＂／＞＜／ａｕｔｈｏｒｉｚａｔｉｏｎ＞

那么经过身份验证的用户是否就具有了对资源的访问的最大权限呢，我们可以在身份验证模块中ｗｅｂ．ｃｏｎｆｉｇ文件中设置相应主体属性，基于角色给用户相应的授权，可设置如下代码：

＜ａｕｔｈｏｒｉｚａｔｉｏｎ＞

＜ａｌｌｏｗｒｏｌｅｓ＝＂ａｄｍｉｎｉｓｔｒａｔｏｒ＂＜ｄｅｎｙｕｓｅｒｓ＝＂＊＂／＞＜／ａｕｔｈｏｒｉｚａｔｉｏｎ＞

２．增强数据保护功能

在ｗｅｂ服务中传输数据是其很重要的功能，必须采用有效

的方法保证数据的机密性和完整性，阻止数据遭到窃听或者阻止数据被非法修改，使传输的数据能够被预期的接收方理解和识别。为了防止ｗｅｂ服务中的数据泄漏或者被非法修改，通常可以采用密码术，通过加密来保证数据的机密性，采用数字签名可以用来保证数据的完整性，在很多情况下，一个安全机制可以提供不止一个服务，它们之间在功能上往往可以叠加。在ｗｅｂ服务中传输数据时应尽量采用加密功能和数字签名方法，保证数据的安全。这里以ａｓｐ．ｎｅｔ为例，在进行数据库操作过程中，需要通过一种机制来保证数据的完整性，在ａｓｐ．ｎｅｔ中往往采用ａｄｏ．ｎｅｔ的提供的事务机制来保证数据的完整性，事务需要实现ＡＣＩＤ特性即原子性、一致性、不相关性和持久性，在ＡＤＯ．ＮＥＴ里采用Ｔｒａｎｓａｃｔｉｏｎ对象来实现，在ＳｑｌＣｏｎｎｅｃｔｉｏｎ和ＯｌｅＤｂＣｏｎｎｅｃｔｉｏｎ对象有一个ＢｅｇｉｎＴｒａｎｓａｃｔｉｏｎ方法，它可以返回ＳｑｌＴｒａｎｓａｃｔｉｏｎ或者ＯｌｅＤｂＴｒａｎｓａｃｔｉｏｎ对象。而且这个对象有Ｃｏｍｍｉｔ和Ｒｏｌｌ－（上接第１５页）

运动单元参数最终出现在输出层。当三维人脸模型通过这些参数和纹理映射的执行被修改后，测试样本的图像产生。每个样本的图像被打印到１０ｃｍ×１０ｃｍ的彩色图片中，图片通过情感空间中的（ｘ，ｙ）值产生的ＡＵ参数来合成，图片的位置代表着在情感空间中的坐标值，该坐标值就代表了该图像中人脸的表情。

通过五层神经网络可以实现从ＡＵ参数到情感空间的参数映射及逆向映射。对于带有人脸图像的人机交互系统，表情参数可以通过从真实图像中事先确定的点来决定，到目前为止，还没有特别精确的识别特征点的算法。目前的识别算法大多是通过在原始图像上通过半自动化的过程标识出一些特征点，这些点由半自动化的识别过程来决定，如果需要我们还可以手动调整。５．结论

本文提出的一种基于五层神经网络的情感模型，可以根据表情参数实现情感的识别，而且可以基于情感模型进行表情合成。通过生成有效的神经网络，不只是这六种基本的表情，其他中间表情也可以生成。实验证明这个情感空间模型能够有效的

这样只有相应的角色才能具有访问相应页面的权限，不具有该角色的用户的访问将被禁止。五．小结

本文简要论述了基于．ｎｅｔ平台下的ｗｅｂ服务中可能面临的安全问题，针对．ｎｅｔ平台的特点，提出了在．ｎｅｔ平台下增强ｗｅｂ系统安全服务可以采取的方案，同时基于．ｎｅｔ平台的安全模型也体现了可操作性、简化性、灵活性和可扩展性的特点。参考文献：

１．王华章，ａｓｐ．ｎｅｔ２．０网络系统开发实用教程，中国铁道出版社，２００６．７２．ＢｒｅｔＨａｒｔｍａｎ，ＤｏｎａｌｄＪ．Ｆｌｉｎｎ著，杨硕译，全面掌握ｗｅｂ服务安全性，清华大学出版社，２００４．６

３．（意）ＤｉｎａＥｓｐｏｓｉｔｏ著，罗兵顾雁宏詹文军译，精通ａｓｐ．ｎｅｔ程序设计，清华大学出版社，２００６．７

４．（意）ＤｉｎａＥｓｐｏｓｉｔｏ著，施平安译，ａｓｐ．ｎｅｔ２．０技术内幕，清华大学出版社，２００６．８

李律松、李晓栓，ａｓｐ．ｎｅｔ开发技术详解，人民邮电出版社，２００５．５．邹建峰、

１

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!进行表情的识别。通过实现这个情感模型，人机间的智能交互将成为可能。

参考文献：

１．Ｐ．ＥｋｍａｎａｎｄＷ．Ｆｒｉｅｓｅｎ，＂ＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ＂，ＣｏｎｓｕｌｔｉｎｇＰｓｙｃｈｏｌｏｇｉｓｔｓＰｒｅｓｓ，１９７７．

２．Ｓ．ＭｏｒｉｓｈｉｍａａｎｄＨ．Ｈａｒａｓｈｉｍａ，＂ＡＭｅｄｉａＣｏｎｖｅｒｓｉｏｎｆｒｏｍＳｐｅｅｃｈｔｏＦａｃｉａｌＩｍａｇｅｆｏｒＩｎｔｅｌｌｉｇｅｎｔＭａｎ－ＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ＂，ＩＥＥＥＪｏｕｍａｌｏｎＳｅ－ｌｅｃｔｅｄＡｒｅａｓｉｎＣｏｍｍｕｎｉｃａｔｉｏｎ，Ｖｏ１．９，Ｎｏ．４，２００５．

３．Ｓ．ＭｏｒｉｓｈｉｍａａｎｄＨ．Ｈａｒａｓｈｉｍａ，＂Ｓｐｅｅｃｈ－ｔｏ－ＩｍａｇｅＭｅｄｉａＣｏｎｖｅｒｓｉｏｎＢａｓｅｄｏｎＶＱａｎｄＮｅｕｒａｌＮｅｔｗｏｒｋ＂，ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＣＡＳＳＰ９１，Ｍ１０．１１，ｐｐ．２８６５－２８６８，２００６．

４．Ｓ．Ｋｏｂａｙａｓｈｉ，Ｓ．Ｍｏｒｉｓｈｉｍａｅｔ．ａｌ，＂ＲｅｐｒｅｓｅｎｔａｔｉｏｎｏｆＦｅｅｌａｎｄＭｏｔｉｏｎｏｆｔｈｅＴｈｒｅａｄ－ｌｉｋｅＯｂｊｅｃｔｓ＂，Ｐｒｏｃ．ｏｆＮＩＣＯＧＲＡＰＨ９０，ｐｐ．２９－３６，２００４．５．Ｙ．ＦｕｋｕｄａａｎｄＳ．Ｈｉｋｉ，＂Ｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｔｈｅｍｏｕｔｈｓｈａｐｅｉｎｔｈｅｐｒｏｄｕｃ－ｔｉｏｎｏｆＪａｐａｎｅｓｅ－ＳｔｒｏｂｏｓｃｏｐｉｃＯｂｓｅｒｖａｔｉｏｎ＂，ＪｏｕｒｎａｌｏｆＡｃｏｕｓｔｉｃａｌＳｏｃｉ－ｅｔｙｏｆＪａｐａｎ（Ｅ），３．２，ｐｐ．７５－９１，１９８２．