一种基于AI识别的面部表情识别方法与系统与流程

一种基于ai识别的面部表情识别方法与系统
技术领域
1.本发明涉及ai识别领域，具体涉及一种基于ai识别的面部表情识别方法与系统。


背景技术：

2.在一个科技迅猛的时代，计算机技术和人工智能技术的水平越来越高，社会的自动化程度也不断提高，人们对人机交互的需求越来越强烈。在人们面对面的交流过程中，面部表情和其他肢体动作能够传达非语言的信息，这些信息能够作为语言的辅助帮助听者推断出说话人的意图。而人表情是一种能够表达人类认知、情绪和状态的手段，它包含了众多的个体行为信息，是个体特征的一种复杂表达集合，而这些特征往往与人的精神状态、情感状态、健康状态等其他因素有着极为密切的关联。


技术实现要素：

3.针对现有技术的不足，本发明提供了一种基于ai识别的面部表情识别方法，其特征在于，包括：
4.利用待检测图像进行预处理得到待检测预处理图像；
5.利用所述待检测预处理图像进行面部表情识别得到面部表情识别结果。
6.优选的，所述利用待检测图像进行预处理得到待检测预处理图像包括：
7.利用待检测图像进行背景去噪处理得到初始待检测图像；
8.利用所述初始待检测图像进行图像灰度化处理得到待检测预处理图像。
9.优选的，所述利用待检测预处理图像进行面部表情识别得到面部表情识别结果包括：
10.判断所述待检测预处理图像是否存在人脸信息，若是，则进行人脸定位得到待检测定位图像，否则，放弃处理；
11.根据所述待检测定位图像提取待检测定位图像的表情特征数据；
12.利用所述待检测定位图像的表情特征数据进行面部表情识别得到面部表情识别结果。
13.进一步的，所述根据待检测定位图像提取待检测定位图像的表情特征数据包括：
14.利用所述待检测定位图像进行降维处理得到待检测定位降维图像；
15.利用所述待检测定位降维图像进行特征分解处理得到待检测定位图像的表情特征数据。
16.进一步的，所述利用待检测定位图像的表情特征数据进行面部表情识别得到面部表情识别结果包括：
17.将所述待检测定位图像的表情特征数据带入预先训练的面部表情识别模型后，得到面部表情识别结果。
18.进一步的，所述面部表情识别模型的预先训练包括：
19.采集初始面部表情图像的像素特征基于深度置信网络模型获取初始面部表情抽
象特征；
20.根据所述初始面部表情抽象特征进行初始化多层感知机；
21.利用所述初始面部表情抽象特征基于多层感知机进行训练得到面部表情识别模型。
22.进一步的，所述利用初始面部表情抽象特征基于多层感知机进行训练得到面部表情识别模型包括：
23.根据所述初始面部抽象图像对应的像素向量维数确定多层感知机的输入层节点数；
24.根据所述初始面部抽象图像的像素点作为多层感知机的隐层节点数；
25.根据所述初始面部抽象图像的大确定多层感知机的隐层层数；
26.将所述初始面部表情抽象特征作为输入集，所述初始面部表情抽象特征对应的面部表情结果作为输出集，基于多层感知机进行训练后，得到面部表情识别模型。
27.基于同一发明构思，本发明还提供了一种基于ai识别的面部表情识别系统，其特征在于，包括：
28.预处理模块，用于利用待检测图像进行预处理得到待检测预处理图像；
29.识别模块，用于利用所述待检测预处理图像进行面部表情识别得到面部表情识别结果。
30.与最接近的现有技术相比，本发明具有的有益效果：
31.采用dbns模型进行训练，通过多层感知器对提取到的人脸表情图像的初级特征及人脸表情特征进行学习，得到更高层次的抽象特征，然后结合多层感知器实现人脸表情的分类，该方法表现最好时对像素特征取得了较高人脸表情正确识别率，与传统lbp特征取法人脸表情的正确识别率并且与其它识别方法相比，本方案的人脸表情识别方法有着明显的优势。
附图说明
32.图1是本发明提供的一种基于ai识别的面部表情识别方法流程图；
33.图2是本发明提供的一种基于ai识别的面部表情识别系统示意图；
34.图3是本发明提供的一种基于ai识别的面部表情识别方法实际应用流程图。
具体实施方式
35.下面结合附图对本发明的具体实施方式作进一步的详细说明。
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
37.实施例1：
38.本发明提供了一种基于ai识别的面部表情识别方法，如图1所示，包括：
39.步骤1：利用待检测图像进行预处理得到待检测预处理图像；
40.步骤2：利用所述待检测预处理图像进行面部表情识别得到面部表情识别结果。
41.步骤1具体包括：
42.1-1：利用待检测图像进行背景去噪处理得到初始待检测图像；
43.1-2：利用所述初始待检测图像进行图像灰度化处理得到待检测预处理图像。
44.步骤2具体包括：
45.2-1：判断所述待检测预处理图像是否存在人脸信息，若是，则进行人脸定位得到待检测定位图像，否则，放弃处理；
46.2-2：根据所述待检测定位图像提取待检测定位图像的表情特征数据；
47.2-3：利用所述待检测定位图像的表情特征数据进行面部表情识别得到面部表情识别结果。
48.步骤2-2具体包括：
49.2-2-1：利用所述待检测定位图像进行降维处理得到待检测定位降维图像；
50.2-2-2：利用所述待检测定位降维图像进行特征分解处理得到待检测定位图像的表情特征数据。
51.步骤2-3具体包括：
52.2-3-1：将所述待检测定位图像的表情特征数据带入预先训练的面部表情识别模型后，得到面部表情识别结果。
53.步骤2-3-1具体包括：
54.2-3-1-1：采集初始面部表情图像的像素特征基于深度置信网络模型获取初始面部表情抽象特征；
55.2-3-1-2：根据所述初始面部表情抽象特征进行初始化多层感知机；
56.2-3-1-3：利用所述初始面部表情抽象特征基于多层感知机进行训练得到面部表情识别模型。
57.步骤2-3-1-3具体包括：
58.2-3-1-3-1：根据所述初始面部抽象图像对应的像素向量维数确定多层感知机的输入层节点数；
59.2-3-1-3-2：根据所述初始面部抽象图像的像素点作为多层感知机的隐层节点数；
60.2-3-1-3-3：根据所述初始面部抽象图像的大确定多层感知机的隐层层数；
61.2-3-1-3-4：将所述初始面部表情抽象特征作为输入集，所述初始面部表情抽象特征对应的面部表情结果作为输出集，基于多层感知机进行训练后，得到面部表情识别模型。
62.实施例2：
63.本发明提供了一种基于ai识别的面部表情识别系统，如图2所示，包括：
64.预处理模块，用于利用待检测图像进行预处理得到待检测预处理图像；
65.识别模块，用于利用所述待检测预处理图像进行面部表情识别得到面部表情识别结果。
66.实施例3：
67.本发明提供了一种基于ai识别的面部表情识别实际应用方法，如图3所示，包括：
68.面部的检测、特征提取、表情识别分类：
69.s1需要对输入图像进行人脸进行检测，确定人脸后再进行人脸的眼睛、嘴巴、鼻子等信息进行定位，并且为了有较好的识别效果需要对输入图像进行预处理，比如数字光感
去噪和图像灰度化；
70.s2从人脸表情图像中提取代表输入表情本质的特征信息，原始的特征信息维度较高，为了提高效率，在识别分类之前很有必要对眼睛、嘴巴、鼻子等特征通过各特征之间的距离进行降维处理，也可以进行高阶奇异值法来进行特征分解等；
71.s3进行面部表情的分类，根据不同表情之间不同的特征，如高兴、悲伤、愤怒、恐惧等特征，将输入的面部表情图像进行正确的分类。
72.面部表情特征必须符合下面的条件：
73.1.人脸的本质特征表示要完整；
74.2.去除光照、背景及其他没关的噪声；
75.3.数据的表示形式避免高维；
76.4.不同的表情之间能有较为明显的特征界限。
77.基于以上规则本专利提出了一种先用dbns模型进行训练，然后用训练得到的参数初始化多层感知器(mlp)，用多层感知器再进行识别分类的面部识别新方法。结合方法很简单，在用于分类时，深度信念网络模型通过加一层逻辑回归就形成了mlp，直接用于表情分类。
78.多层感知器神经网络是有指导训练的，所以该模型即可以作为表情识别的分类器，也可以利用有指导训练的优势进行层间的权值参数的调整，在该模型中，误差反向传播算法是其中一种经典的学习算法，通过计算实际输出结果与标准输出结果之间的差值，反向调整层间的权值参数，以达到更优。
79.在实际应用中使用了两个表情图像库，一个是标准图像库jaffe，另外一个是在网上收集表情图像经过处理建立的图像库(dataset)。jaffe面部表情图像库是由十个日本女性作为模特进行采集，每个表情根据幅度的大小选择三到四张图像，每个人做七种表情进行采集，合起来有213张图像，图像的分辨率为256
×
256。第二个数据库，收集了大约13个人，每个有75张表情图像，总共有965张图像。图像分辨率为64
×
64。同样，我也又分别建立了16
×
16、32
×
32两个表情库。由于此表情数据库中的表情比较杂，所以选出其中比较明显且具有代表性的表情图片，总共挑选了六种表情，有高兴、惊讶、悲伤、中性、愤怒和厌恶。
80.本发明的代码实现是使用java语言，ide为android studio图形界面工具，运行环境为3399开发主板，内存2g，arm a17处理器。该方法中进行了5次交叉验证方法，在这里将建立好的面部表情图像库的图像样本平均分为5份，在每次的实验中将4份图像集用于网络训练，其余的用于实验测试。训练-识别这样的实验过程反复进行5次，然后对5次的实验结果求平均值，即为该dbns的结果。因为dbns最主要的优势是特征学习，并不具备识别分类的能力。所以要将dbns应用到面部表情的识别，就把dbns经过多次训练最终得到的最佳参数值(隐层的网网络权重最优值)初始化多层感知器(multi-layer perceptron，mlp) 中的隐层。最后使用初始化的mlp模型来实现面部表情的识别分类测试。整个实验的网络架构如4所示。
81.使用了两个表情图像库。对jaffe图像库分别做了五组，首先用原始像素的图像样本 256
×
256进行表情识别，然后对原始像素进行采样，得到16
×
16、32
×
32、64
×
64、128
×
128 四种像素不同的图像样本，然后进行表情识别。同样，对dataset图像库分别做了三组实验，图像库的样本像素分别为16
×
16、32
×
32和64
×
64，下面是具体的结果和分析：
82.jaffe图像库中的图像做实验，我们通过对应图像库的表情正确识别率来展现实验结果，表情的正确识别率为识别正确的图像数/总的图像数
×
100％，得到的实验结果如表1、表2、表3、表4、表5。
83.由下表1、表2、表3、表4、表5的实验数据可以得出：
[0084][0085]
表1
[0086][0087]
表2
[0088][0089]
表3
[0090][0091]
表4
[0092][0093]
表5
[0094]
以jaffe图像库为样本集时，本方案提出dbns方法分别在五种不同分辨率从小到大的图像集所获得的最高识别率分别为89.68％、90.16％、91.96％、91.98％、95.25％。可以看出随着分辨率的递增，识别率也逐渐变大，得出的结论是图像分辨率越高，图像所包含的相关信息就越多，信息多就意味着识别依据多，这样就更加有利于面部表情的识别分类。此外，尽管识别率随着分辨率的增高而增高，但是仔细观察这五种分辨率大小的图像集所获得的识别率都相当相近。这些结论足以说明dbns拥有非常强的无标签的自主学习能力。
[0095]
dbns的学习能力是随着隐层层数的增加而增强。从上述表1、表2、表3、表4和表5 中可以看出，表情识别率最好的时候往往是出现在隐层1层时，这些数据说明该方案中，dbns 是在隐层层数为1层时，获得的识别率最高，隐层层数越高，获得的识别率反而更高。
[0096]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0097]
本发明是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和 /或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和 /或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0098]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0099]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0100]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。