Graph based feature extraction and hybrid classification approach for facial expression recognition

基于图的特征提取和混合分类方法的面部表情识别

Author

G. G. Lakshmi Priya
e-mail:lakshmipriya.gg@vit.ac.in
L. B. Krithika
e-mail:krithika.lb@vit.ac.in
School of Information Technology and Engineering, Vellore
Institute of Technology, Vellore, India
印度韦洛尔韦洛雷技术学院 信息技术与工程学院

Abstract

在当前的趋势中，面部识别对于有利于图像的查询具有显着的吸引力。几种算法被用于识别面部表情，但是它们缺少诸如面部表情识别不准确的问题。为了克服这些问题，提出了一种基于图的特征提取和混合分类方法（GFE-HCA）来识别面部表情。这项工作的主要目的是有效地识别人的情绪。最初，使用Viola–Jones算法识别面部图像。随后，从检测到的面部图像中提取诸如右眼，左眼，鼻子和嘴之类的面部部分。基于边缘的不变变换特征被用于从所提取的面部部分提取特征。从基于边缘的不变特征开始，使用可生成基于图的特征的“加权可见性图”优化尺寸。而且，从面部部分提取基于形状外观的特征。从这些提取的特征中，使用基于自组织映射的神经网络分类器对面部表情进行识别和分类。对这种GFE-HCA方法的性能进行了评估，并与现有技术进行了比较，并通过提高识别率证明了该方法的优越性。

Keywords:

Facial expression · Emotion recognition · Weighted visibility graph · Self-organizing map based neural network

Introduction

情感是人类的独特特征，在非语言交流过程中广泛使用面部表情，并且在识别情感的过程中也起着重要作用（Kim等人2019）。除了语音以外，面部表情最重要的是用于情感交流。这允许一个人表达他们的情绪状态，这也是感觉的指标。因此，关于面部表情的信息可以用于情绪识别的自动系统中。根据面部表情的不同，情绪状态可以分为六个状态，例如喜悦，愤怒，惊奇，厌恶，中立和恐惧（Ratliff和Patterson，2008年））。由于面部表情识别的重要性，人机交互（HMI）系统变得更加重要。因此，为设计HMI引入了各种机器学习以及计算机视觉算法（Fuentes等人2017 ; Samara等人2019）。此外，有许多带有基本表情的带注释的面部数据库，这些面部数据库被人类描绘，并且某些面部在不受控制的环境中被捕获。这种面部表情识别方法有助于对给定图像或图像序列中的面孔进行分类（Mollahosseini等人，2016年）。

问题描述

尽管几个传统的技术被用于检测和分类的面部表情，他们仍然没有检测和分类以灵活的方式对面部表情（Mollahosseini等人2016）。此问题的主要原因在于确定准确的训练数据集，专门针对恐惧或悲伤之类的情绪成为挑战。

目标

根据以前发现的问题，本研究的目的如下：为了有效地检测和分类面部表情，提出了一种GFE-HCA：基于图的特征提取和混合分类方法。Viola–Jones算法用于发现面部图像（Jensen 2008）。使用基于边缘的不变特征变换方法从面部部位提取特征，然后通过实施加权可见性图来优化提取特征的尺寸（Xie和Hu 2017）。类似地，使用面部形状外观提取基于形状的特征。最后，通过提出基于神经网络的自组织分类器，对面部表情进行识别和分类。

组织

这项工作的后续部分安排如下： 图2分析了用于检测和识别面部表情的传统方法。部 3阐明用于精确的面部表情识别所提出的方法。第4节 评估了具有各种性能指标的传统系统和提议系统的结果。最后，这项工作由Sect确定。 5。

Related works

该部门讨论了用于识别面部表情的传统方法。此外，分析了现有技术的优缺点。本节分为三个子类别，例如预处理，特征提取和分类。用于这些细分的技术和算法讨论如下。

预处理

轴对称面的用于制造轴对称的虚拟字典大约增加脸部识别的精度的性质和设计的框架被视为（Xu等人。2016）。所提出的系统易于实施并且在数学上易于处理。与其他预处理方法相比，该方法提供了更好的结果。

使用卷积神经网络和一些图像预处理技术提出了一种简单的情感识别解决方案（Lopes et al.2017）。它用于实时应用程序，并且花费的时间更少。

一种新颖的系统识别的面部表情，将其根据描述符利用的各种前处理的方法，提出的合奏（光皮等人2017）。使用两个不同的数据集（如FERET和LFW）评估了该系统的性能。该系统在两个数据集上均表现良好，并提高了性能。而且，这种新颖的系统以更高的精度提供了更好的结果。

利用静止的作者小波变换用于提取特征来识别面部表情（Qayyum等人2017）。在这里，预处理是使用归一化直方图均衡来完成的，以便更准确地检测人脸。通过预处理步骤，可以有效地确定面部部位，这有助于有效地提取特征。之后，进行分类处理以对面部表情进行分类。这些结果为不同的数据集提供了更高的平均识别率。从结果可以看出，与传统技术相比，该方法可提供更好的识别结果，并且准确性更高。

作者介绍了一种新颖的描述符集合，可以从定向边缘幅度模式（POEM）描述符中识别面部表情（Nanni等人，2017年）。在这里，通过使用预处理方法开发了各种合奏。使用不同的数据集（例如LFW和FERET）对这种方法进行了评估。该方法在两个数据集上均表现良好，结果准确。

本节讨论了针对不同面部数据集的不同传统预处理技术。它具有主要优点，例如平均识别率高和处理时间短，但是提高准确性的需求一直是一个挑战。

特征提取

通过一种新颖的方法来分析面部表情，并从几种表情中发现一些共同的信息（Zhong等人，2014年）。通过通用补丁程序和特定补丁程序来区分总体表达式和特定表达式。为了定位不同的补丁，使用了两个阶段的多任务稀疏学习。在这种方法中，发现了所有表达式的显性补丁。通过结合相关的面部表情识别和面部验证任务，对单个表情中的特定补丁进行了分析。这种方法的主要优点是补丁学习，可以提供更好的性能。

使用了一种依赖于多级Haar小波的方法，以不同尺度从明显的面部区域提取外观特征（Goyani和Patel 2017）。最初，该方法利用Viola–Jones级联对象检测器将最有用的几何元素（如眼睛，眉毛，嘴巴）分割开。在这里，发现了分段元素的Haar特征。然后利用一对所有逻辑回归模型完成分类过程。提取Haar特征的优点是易于计算，并有助于有效地表示以低维呈现的信号。但是，很难识别动态图像中的表达。

一个新的特征提取背景这有助于在标志着在面部表情作为局部基函数的线性混合物的差异，提出（Sariyanidi等人2017）。在这里，使用Gabor相移训练了稀疏线性模型，该相移是根据面部视频计算得出的。它有助于获得预期框架的线性基函数。通过该框架解决了泛化的困难，并通过识别姿势和自发的微观表达，通过相似的学习参数实现了泛化的困难。

作者宣布了一种新颖的方法，可以使用基于自组织图的神经网络分类器提取面部的显着区域（Liu等人，2017年））。首先，归一化发生在面部相似位置的突出区域上。在显着区域，提取诸如LBP和HOG之类的特征。主成分分析用于减小融合特征的尺寸。在显着面积限定方法的帮助下，在此方法中使用了峰值表达框架。使用许多分类器对面部表情进行分类。通过显着区域的归一化，将特定区域与脸上的几种表情对齐。此外，识别的局限性不是用不正确的地标执行的，并且在识别较少的图像数据时也没有改进。

提出一种新的方法来识别具有三个步骤，例如特征提取，特征优化和情感识别（Mistry的等人的面部表情2016）。人脸表示最初是使用更改的本地二进制模式提取的。通过找到重要的和有区别的特征，使用嵌入式PSO算法将面部表情分开。使用不同的分类器来识别快乐，悲伤，愤怒，惊奇，恐惧，厌恶和中立等情绪。使用扩展的Cohn Kanade和MMI数据库评估此方法。这项工作的优点是计算成本和收敛速度。

作者介绍了一种新颖的方法来发现面部表情变化的特异性（Xie et al.2017）。通过根据动作单位（AU）和膜片重量优化通过三联态表达识别来表示表达的特异性。为了获得更好的通用性，使用基于稀疏表示的方法来检测活动AU并将其呈现在测试样本中。这种方法提高了准确性，并且跨数据库的性能更好。在实时应用中，跨数据库的识别很难获得更好的结果。

从本节开始，讨论了不同的传统特征提取技术。它包括一些缺点，例如难以获得更好的结果，使用较少的图像数据就无法提高识别度，以及难以识别动态图像中的表情。

分类

开发了一种自动面部表情系统，用于从其视频序列中提取重要数据（Fang等人，2014年）。该框架探索了参数空间，并使用六种机器学习技术对其进行了测试。机器学习方法的整个集合正在处理面部识别中特定的表情任务。这些方法在人脸识别的情况下效果良好，效果很好。

提出了对应于三个面部检测器的面部识别系统（Yu和Zhang，2015年）。人脸表情识别（FER）挑战提供了预先训练的庞大数据集，并且每种CNN技术都是随机初始化的。两个系统包含了多个CNN模型，用于学习其网络响应的协作负载。

作者用于面部的标准表达数据集，并将其通过影响社会的图像和深模型系统进行被训练基于标准数据库（Peng等人。2016）。特定的关键字用于图像搜索，它是从带有社会标签的图像中获得的。错误标签的图像通过垃圾图像清洁去除。自发表达被深度卷积神经网络识别。

对于情感识别，作者提出了一种新技术，其中从单个图像帧中获取面部识别，该图像帧使用了几何特征以及外观的组合，并借助支持向量机进行了分类（Ghimire等人。2017A，b）。通过将面部区域隔离为规则网格，可以计算出面部表情识别的外观。同样，从各个区域提取几何形状。

情绪识别技术已在Cohn-Kanade数据集上进行了评估。引入了面部表情识别和分析挑战（FERA）以检测更多数据上的动作单位和强度，其中生成了包含九种观点的大量视频（Valstar等，2017年）。FACS解释的数据集被吸收用于估计多个摄像机视觉上的表情，从而扩展了危险姿势。该方法的问题在于估计表情的强度以及检测头部姿势。用于标准结果的几何特征提高了应对特定挑战的可能性。

作者介绍了一种智能手机上的实时面部表情识别系统（Suk和Prabhakaran 2014）。系统通过SVM分类器返回识别出的表情，以实现具有动态特征的面部表情识别。工作结果表明，该系统在移动设备上既高效又准确。

上述研究表明，现有的用于情感识别的图像处理技术存在诸如对情感的识别不准确，效率较低的问题，这降低了对面部表情进行分类的性能。为了解决这些问题，提出的工作旨在通过使用改进的特征提取和分类技术来引入一种有效的人脸识别系统。

Proposed work

本节介绍了GFE-HCA系统的总体流程，该系统用于从特定视频序列中识别面部图像。图 1表示GFE-HCA系统的流程，其中提供了输入面部图像，使用Viola-Jones算法（Jensen 2008）从中检测出前景图像。与其他技术相比，它可以更准确，更快地检测到面部区域。因此，Viola-Jones算法用于提取面部区域，然后提取如图2所示的面部部位，例如右眼，左眼，鼻子和嘴巴 。


在检测面部部分之后执行的步骤如下。

相对于面部部分中的形状外观提取的形状外观特征和基于边缘的特征提取借助于基于边缘的不变变换来执行。

使用提取的基于边缘的不变变换特征，构建基于特征值的加权可见性图。然后从此构造的图中提取以下特征，例如图中的链接密度，平均紧密度中心度，图熵，图的平均分布权重和图的平均度。

提取的基于形状和基于图形的特征??将借助基于自组织图的神经网络分类器进行分类。最后，通过性能分析计算证明了该方法的有效性。

基于边缘的不变变换

边缘是数字图像中强度突然偏离的点。通过使用基于边缘的不变变换来提取面部图像的各部分。通过提取图像的公共信息，在这里提取不变特征以预测情绪之间的唯一性。下面提供用于基于边缘的不变变换的算法I。在这种情况下，首先通过应用Canny Edge检测器预测边缘区域来提取面部部分（Ramadass等人2018）机制。Canny Edge检测器是检测边缘的最佳流行算法之一。它只需要最少的数值计算，并且满足以下规格，例如良好的检测，噪声敏感性，良好的定位性，速度和效率。然后，通过使用脸部每个单独部分的滤波系数，估计零件的滤波系数，并预测拐角。通过检测到的角估计不变特征，在该角中最终识别出区域，像素和点。通过图像中的哈里斯点检测来计算关键点。不变变换取决于对象在指定兴趣点上的外观，并且对于缩放图像和旋转不变，其中不变特征表示检测不同情绪之间的差异。基于边缘的不变变换算法如下。

可见性图构造

使用加权可见性图可以改善提取的基于边缘的不变特征的维数。可见性图具有将基于边缘的不变特征表征为基于图的特征的属性，因为它继承了创建时的特征数据的动态属性。

然后，将所得的网络用于从该图获取有关特征的有价值的信息（即），该信息可以获取基于图的特征，例如链接密度，紧密度中心度的平均值，图熵，图的平均分布权重和图的平均度。图。在这里，加权可视性图是针对基于边缘的不变特征而构建的，方法是将图形视为

$G = \ left（{N} _ {ij}，{E} _ {ij} \ right）$ （1）
其中 ${N} _ {ij}$代表被视为节点的特征数据， ${E} _ {ij}$代表在特征数据之间形成的边缘。自然能见度图算法用于在所构建的加权能见度图的各个节点之间找到链接（Zhu等人，2015）。该可见性图取决于欧几里得平面的思想，其中每个顶点表示点的位置，并且只有在其中包括可见性的情况下，节点之间的关联才是可能的，如图3所示 。

如果一对节点之间的边缘和权重满足可视性图所规定的条件，则它们可以存在，并且可以用等式表示。（2），

$p \ left（{t} _ {z} \ right）<p \ left（{t} _ {x} \ right）+ \ left（p \ left（{t} _ {y} \ right）- p \ left（{t} _ {x} \ right）\ right）\ frac {{t} _ {z}-{t} _ {x}} {{t} _ {y}-{t} _ { x}}，x <z <y$ （2）
其中，\（{p} _ {x} = p \ left（{t} _ {x} \ right）\）和\（{p} _ {y} = p \ left（{t} _ {y} \ right）\）是样本数据点。

\（x <z <y \）表示特征值的索引。

这里\（p \ left（{t} _ {x} \ right）\）表示\（{t} _ {x} \）位置的特征点，\（p \ left（{t} _ {y } \ right）\）表示\（{t} _ {y} \）位置的特征点，\（p \ left（{t} _ {z} \ right）\）表示t处的特征值z位置\（{t} _ {x} \）和\（{t} _ {y} \）表示时间事件，\（{t} _ {z} \）是它们之间存在的一些事件，即，\（{t} _ {x} <{t} _ {z} <{t} _ {y} \）。

此后，确定两个节点之间形成的链接的边缘权重。权重信息的保存有助于获得复杂网络的可靠结果。这个加权的复杂网络在区分弱边缘和潜在的不太重要的边缘方面起着重要作用。在这里，可以通过产生加权可见性图来定义边缘不变数据。此构造图表示为G \（\ left（{V} _ {ij}，{E} _ {ij}，{w} _ {ij} \ right）\）其中\（{w} _ {ij} ：{E} _ {ij} \至R \）加权函数。自然，图的每个边都是有方向的，作为节点\（{n} _ {x} = {p} _ {x} \）和节点\（{n} _ {y} = {p} _ {y} \）被认为具有\（{n} _ {x} \）的方向到\（{n} _ {y} \），其中\（x <y \）。在这里，让我们考虑边缘权重的绝对值，可以将其计算为：

$w = arctan \ frac {eig \ left（p \ left（{t} _ {y} \ right）-p \ left（{t} _ {x} \ right）\ right）} {{t} _ {y}-{t} _ {x}}，x <y$ （3）
其中\（w \）表示节点\（{n} _ {x} \）和\（{n} _ {y} \）之间的边缘权重。此处，每个弧度权重值都在弧度函数中考虑，特征值将权重转换为线性形式。反正切被称为逆三角函数，该函数支持识别数据中的变化。特征值是线性系统中关联的一组特殊值，其中特征向量和特征值用于变换给定的矩阵。在此，特征值用于权重更新。接下来，从图中提取诸如链接密度，平均紧密度中心度，图熵，平均分布权重和图的平均程度之类的特征。用于基于图的特征提取的算法II如下所示。

基于形状的特征提取

提取的基于图的特征将在前面的小节中讨论。即时地，使用面部部分的形状外观提取基于形状的特征。基于形状的特征提取是提取诸如右眼，左眼，鼻子和嘴巴之类的面部部分的过程。基于形状的提取主要集中在每个面部的高度和宽度。最初，根据面部图像中面部的总数计算每个面部的高度和宽度，因此最终提取图像的形状。这种基于形状的特征提取方法的算法III如下所示。

基于自组织图的神经网络分类器

在提取特征之后，然后使用基于自组织图的神经网络分类器对特征进行分类。神经网络系统通常由高度互连的组件组成，这些组件通过它们对外部输入的动态状态响应来处理信息。它在模式识别的应用中得到了最广泛的应用，因为它们具有归纳和响应意外输入模式的能力。自组织映射是一种前馈结构，具有按行和列排列的单个神经元计算层。首先，在训练阶段，估算班级每个特征的平均阈值。然后，处理属于同一类的要素。将为每个功能集计算成对距离。之后，将根据要素之间的距离评估指定类别的密度。根据估计的距离，将确定每个班级的等级。对于该更新的等级，正在识别渐变。基于该梯度，进行质心计算。然后，在测试阶段，通过阈值，成对距离和质心计算的相同操作来处理测试特征。根据质心更新位置。下一阶段是验证阶段，在该阶段中，将应用训练阶段以及测试阶段中的更新功能。由此，由训练网络预测与测试特征相对应的期望类别。用于分类的算法IV如下。

Performance analysis

GFE-HCA系统的实施结果是使用多种方法（如敏感性，特异性，准确性，准确性和召回率）呈现的。使用MMI数据集（MMI面部表情数据库2016）对提出的方法进行了评估，该数据集包含2900个视频，其中包含75个对象的高分辨率图像，这些对象具有不同的面部表情。使用此处开发的数据集解决了分析自动人类行为的问题。

从MMI数据集中选择了175个面部表情序列，将33位受试者的情绪分层。每个序列都标记有以下情绪，即愤怒，厌恶，恐惧，悲伤和快乐。此外，本文考虑了所提出方法的改进，并将其与现有的情绪识别技术相关联（Ghimire等人，2017a，b）。

拟议的工作是使用MATLAB版本R2017b（配置为8 GB RAM和2.5 GHz时钟速度的Intel核心i5-4200U系统）实现的。该工具的选择是由于功能库的种类繁多。

整体表现评估

利用诸如敏感性和特异性之类的措施来评估分类的性能。灵敏度定义了分类器正确识别以下等式中给出的能力，

$Sensitivity = \ frac {TP} {TP + FN}$ （4）
$Specificity = \ frac {TN} {TN + FP}$ （5）
真实阳性（TP）是正确检测到的阳性病例（情绪）的数量。

真阴性（TN）是未检测到的阴性情况（情绪）的数量。

误报（FP）是被错误检测到的积极案例的数量。

假阴性（FN）是被拒绝的否定案例数。

根据这些计算，可以考虑情感识别系统的准确性。精度定义为测量值与标准值的接近程度，其计算方法如下：

$Accuracy = \ frac {TN + TP} {（TN + TP + FN + FP）}$ （6）
精确度定义为除所有积极影响外，真正积极结果的数量。可以使用以下等式对它进行评估，

$Precision = \ frac {TP} {（TP + FP）}$ （7）

性能分析

使用MMI数据集评估提出的方法的执行情况。诸如敏感性，特异性，精确度，召回率和准确性之类的性能指标可用于评估所提出方法的性能。表1列举了针对五种情绪的拟议系统的混淆矩阵。所提出的方法提供了比现有方法更好的结果，如图4所示 。


考虑用于性能分析的交叉验证技术可确保不会发生过度拟合。在将数据集划分为K个相等部分的情况下，采用K折交叉验证。在第一次运行中，第一部分保持不变，其余的K ? 1部分用于执行模型训练。测试是保持不变的部分进行的，类似于所有K次测试，一个分区保持不变，而其他部分则用于训练。训练后，未接触的部分用于评估。这种类型的验证可确保整个数据集均得到同等验证。我们提出的工作的平均准确性显示出96％以上。

从图 4中可以看出，该方法的敏感性比较结果对“愤怒”，“快乐”和“悲伤”情绪的敏感性增加，而对“厌恶”情绪的敏感性较低。同样，所提出的方法为情绪“恐惧”和“悲伤”提供了更高的准确性结果，总体准确性超过94％。类似地，所提出的方法提供了针对情绪“愤怒”，“快乐”和“悲伤”情绪的增加的特异性结果，而对于“恐惧”情绪却给出了较少的特异性结果。从结果可以看出，所提出的方法为“快乐”和“悲伤”情绪提供了更高的精确度结果，而对“恐惧”情绪却给出了较低的精确度结果。

所提出的技术的识别率是通过十次交叉验证使用各种性能指标分别针对列出的五种情绪（如愤怒，厌恶，恐惧，悲伤，快乐）来计算的。如图5 a–e 所示，使用十倍交叉验证对提出的方法的性能进行了敏感性，特异性，精密度，召回率和准确性的分析 。从评估中可以明显看出，所提出的技术在使用现有方法进行测量时可提供更好的识别率。

根据基础论文（Ghimire et al.2017a，b），与其他数据集相比，MMI数据集非常复杂，作者称赞MMI数据集与CK +和MUG数据集相比具有挑战性。在此验证了性能并与现有方法（Ghimire等人2017a，b ; Khan等人2018 ;Gogi?等人2018）方法进行了比较。Weber局部二进制图像余弦变换（WLBI-CT）（Khan et al.2018）提取并整合通过Weber局部描述符和局部二进制描述符获得的图像的频率分量。表2给出了WLBI-CT方法的混淆矩阵。

表3给出了具有个人无关（PI）场景的LBF-NN方法的混淆矩阵。但是，在考虑个人依赖（PD）方案的情况下，与本文讨论的方法相比，该方法产生的结果要好得多。表4 列出了所提出的方法与现有方法（Ghimire等人2017a，b ; Khan等人2018 ;Gogi?等人2018）的比较。

Conclusion

这项工作旨在通过提出一种新颖的方法来有效地识别人的情感。本文介绍了一种GFE-HCA：基于图的特征提取和混合分类方法，用于从给定的输入图像中识别面部表情。最初，在前景检测步骤中检测面部区域，然后提取面部部分。使用基于边缘的不变特征从检测到的面部部分提取特征。然后，构建加权可见性图以优化基于边缘的不变特征的尺寸。然后从图中提取特征，例如链接密度，平均紧密中心度，图熵，平均分布权重和平均图度。而且，从面部部分提取基于形状外观的特征。最后，引入了基于自组织图的神经网络分类器来识别和分类面部表情。该方法与现有技术进行了比较，并通过多个性能指标进行了验证，例如敏感性，特异性，精密度，召回率和准确性。评估结果表明，与各种现有作品相比，该方法在提高情感识别率方面提供了更好的结果。

Future works

最近，研究人员中越来越流行在线学习平台，物联网和自动驾驶汽车。未来的工作集中在以下几个方面。

在我们的工作中，面部图像和相机平面是平行的，在线学习的最新进展还冒着需要对工作进行至少三个不同角度（15°，45°和60°）的挑战。

像大多数IoT设备一样，改进模型以适应资源约束设备并给出准确结果

在自动驾驶汽车中不能保证图像稳定，将来的工作应集中在寻找一种能给出准确结果的机制上。

我们对同一项研究工作的未来目标是增加一个反馈连续训练模块，该模块可以满足连续训练和分层的需要，以适应即将到来的时间变化。这样的一个例子是如何使用相同的模型并添加一个图层，以在CoVID’19蒙版应用的脸部图像期间在脸部情感上获得良好的效果。

翻译不易，若有误请指出！