基于多区域特征融合的人脸表情识别方法及相关设备与流程

1.本技术涉及人脸识别领域，尤其涉及一种基于多区域特征融合的人脸表 情识别方法、系统、设备及存储介质。


背景技术：

2.人脸表情识别是计算机视觉领域一大热点，其技术应用领域非常广，包 括人机交互、安保、机器人制造、医疗和汽车等。人脸表情识别的目的是对 输入的人脸图片提取表情特征后进行表情识别。
3.现有的基于深度学习的人脸表情识别方案主要有三个代表方案：其一为 基于深度差分特征实现人脸表情识别，其二为引入注意力机制的人脸表情识 别技术，其三为基于人脸关键点的人脸表情识别技术。现有技术中用于监督 表情识别模型训练的标签往往是根据全局人脸图片标定的确定标签，但是不 同表情表现在人脸上往往是局部的不同，而不是全局的不同。当某个区域表 现为某种形式时，它产生的表情是不确定的，已有的表情识别方法采用确定 的表情标签进行表情模型学习，这样对于局部形态类似的图片在不同的迭代 中会被指定为不同的标签导致模型最终收敛不佳，准确性低。


技术实现要素：

4.本技术的主要目的在于提供一种基于多区域特征融合的人脸表情识别方 法、系统、设备及存储介质，旨在解决现有技术中人脸表情识别模型准确性 低技术问题。
5.为实现以上目的，本技术提供一种基于多区域特征融合的人脸表情识别 方法，所述基于多区域特征融合的人脸表情识别方法包括：
6.获取待检测人脸图像；
7.将所述待检测人脸图像输入至表情识别模型中，基于所述表情识别模型， 对所述待检测人脸图像进行表情识别处理，得到表情识别结果；
8.其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和所 述人脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到的。
9.可选地，所述获取待检测人脸图像的步骤之前，所述方法包括：
10.获取所述人脸训练样本和所述人脸训练样本的表情标签；
11.基于所述人脸训练样本，确定所述人脸训练样本的初始不确定性指标；
12.基于所述人脸训练样本的表情标签和所述初始不确定性指标，对所述预 设待训练模型进行迭代训练，得到具有满足精度条件的所述表情识别模型。
13.可选地，所述基于所述人脸训练样本的表情标签和所述不确定性指标， 对所述预设待训练模型进行迭代训练，得到具有满足精度条件的所述表情识 别模型的步骤，包括：
14.将所述人脸训练样本输入至所述预设待训练模型，得到预测表情结果；
15.将所述预测表情结果与所述人脸训练样本的表情标签进行差异计算，得 到误差结果；
16.基于所述误差结果，判断所述误差结果是否满足预设误差阈值范围指示 的误差标准；
17.若所述训练误差结果未满足所述预设误差阈值范围指示的误差标准，则 更新区域人脸训练样本的不确定性指标，并返回所述将所述区域人脸训练样 本输入至所述预设待训练模型，得到预测表情结果的步骤，直到所述训练误 差结果满足所述预设误差阈值范围指示的误差标准后停止训练；
18.将停止训练的模型作为具有满足精度条件的所述表情识别模型。
19.可选地，所述人脸样本包括区域人脸样本和完整人脸样本，所述获取人 脸样本的步骤，包括：
20.获取人脸训练样本图像；
21.提取所述人脸训练样本图像中人脸的所述局部特征图像以及所述整体特 征图像，得到所述区域人脸样本和所述完整人脸样本；
22.对所述区域人脸样本和所述完整人脸样本进行人脸图像对齐，得到所述 人脸训练样本。
23.可选地，所述基于所述人脸训练样本，确定所述人脸训练样本的初始不 确定性指标的步骤，包括：
24.基于所述人脸训练样本，确定所述人脸训练样本的logits；
25.基于所述人脸训练样本的logits，确定所述人脸训练样本中，所述区域人 脸样本的第一不确定性指标和所述完整人脸样本的第二不确定性指标；
26.融合所述第一不确定性指标和所述第二不确定性指标，计算得到所述人 脸样本的不确定性指标。
27.可选地，所述基于所述人脸训练样本的logits，确定所述人脸训练样本中， 所述区域人脸样本的第一不确定性指标和所述完整人脸样本的第二不确定性 指标的步骤，包括：
28.基于所述人脸训练样本预测输出的logits，分别计算所述人脸训练样本中， 所述区域人脸样本和所述完整人脸样本在被预测为对应表情标签的第一概率 和第二概率；
29.基于所述区域人脸样本的第一概率和所述完整人脸样本的第二概率，计 算得到所述区域人脸样本的第一不确定性指标和所述完整人脸样本的第二不 确定性指标。
30.可选地，所述获取人脸训练样本和所述人脸训练样本的表情标签的步骤， 包括：
31.基于所述人脸训练样本，提取所述人脸训练样本的场景信息；
32.基于所述人脸训练样本的场景信息，确定所述人脸训练样本的场景类型；
33.基于所述人脸训练样本的场景类型，得到所述人脸训练样本的表情标签。
34.本技术还提供一种基于多区域特征融合的人脸表情识别系统，所述基于 多区域特征融合的人脸表情识别系统包括：
35.获取模块，用于获取待检测人脸图像；
36.处理模块，用于将所述待检测人脸图像输入至表情识别模型中，基于所 述表情识别模型，对所述待检测人脸图像进行表情识别处理，得到表情识别 结果，其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和 所述人脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到 的。
37.本技术还提供一种基于多区域特征融合的人脸表情识别设备，所述基于 多区域特征融合的人脸表情识别设备包括：存储器、处理器以及存储在存储 器上的用于实现所述基于多区域特征融合的人脸表情识别方法的程序，
38.所述存储器用于存储实现基于多区域特征融合的人脸表情识别方法的程 序；
39.所述处理器用于执行实现所述基于多区域特征融合的人脸表情识别方法 的程序，以实现所述基于多区域特征融合的人脸表情识别方法的步骤。
40.本技术还提供一种存储介质，所述存储介质上存储有实现基于多区域特 征融合的人脸表情识别方法的程序，所述实现基于多区域特征融合的人脸表 情识别方法的程序被处理器执行以实现所述基于多区域特征融合的人脸表情 识别方法的步骤。
41.本技术提供的一种基于多区域特征融合的人脸表情识别方法、系统、设 备及存储介质，与现有技术中用于监督表情识别模型训练的标签往往是根据 全局人脸图片标定的确定标签，但是不同表情表现在人脸上往往是局部的不 同，导致最终训练的模型收敛不佳，准确性低相比，在本技术中，获取待检 测人脸图像；将所述待检测人脸图像输入至表情识别模型中，基于所述表情 识别模型，对所述待检测人脸图像进行表情识别处理，得到表情识别结果； 其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和所述人 脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到的。即 在本技术中，提出人脸训练样本的不确定性指标，将人脸训练样本的不确定 性指标和所述人脸训练样本的表情标签进行表情识别模型的迭代训练，利用 人脸表情表现形式的不确定性强化有效特征、弱化干扰特征，提高表情识别 的准确性。
附图说明
42.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申 请的实施例，并与说明书一起用于解释本技术的原理。为了更清楚地说明本 申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所 需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言， 在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1是本技术实施例方案涉及的硬件运行环境的设备结构示意图；
44.图2为本技术基于多区域特征融合的人脸表情识别方法第一实施例的流 程示意图；
45.图3为本技术基于多区域特征融合的人脸表情识别方法中的人脸对齐步 骤的示意图；
46.图4为本技术基于多区域特征融合的人脸表情识别方法中的表情分类训 练的示意图；
47.图5为本技术基于多区域特征融合的人脸表情识别方法中的融合所述第 一不确定性指标和所述第二不确定性指标步骤的示意图；
48.图6为本技术基于多区域特征融合的人脸表情识别方法中的表情识别模 型训练步骤的示意图。
49.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
50.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限 定本技术。
51.如图1所示，图1是本技术实施例方案涉及的硬件运行环境的终端结构 示意图。
52.本技术实施例终端可以是pc，也可以是智能手机、平板电脑、电子书阅 读器、mp3(moving picture experts group audio layer iii，动态影像专家压缩 标准音频层面3)播放器、mp4(moving picture experts group audio layer iv， 动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可 移动式终端设备。
53.如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入 单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、 无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi 接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。
54.可选地，终端还可以包括摄像头、rf(radio frequency，射频)电路， 传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感 器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器， 其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感 器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一 种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静 止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、 敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红 外线传感器等其他传感器，在此不再赘述。
55.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定， 可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布 置。
56.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、 网络通信模块、用户接口模块以及基于多区域特征融合的人脸表情识别程序。
57.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于 多区域特征融合的人脸表情识别程序。
58.参照图2，本技术实施例提供一种基于多区域特征融合的人脸表情识别方 法，所述基于多区域特征融合的人脸表情识别方法包括：
59.步骤s100，获取待检测人脸图像；
60.步骤s200，将所述待检测人脸图像输入至表情识别模型中，基于所述表 情识别模型，对所述待检测人脸图像进行表情识别处理，得到表情识别结果；
61.其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和所 述人脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到的。
62.在本实施例中，具体的应用场景可以是：
63.在对用户进行表情识别的过程中，用于监督表情识别模型训练的标签往 往是根
据全局人脸图片标定的确定标签，但是不同表情表现在人脸上往往是 局部的不同，而不是全局的不同。当某个区域表现为某种形式时，它产生的 表情是不确定的，已有的表情识别方法采用确定的表情标签进行表情模型学 习，这样对于局部形态类似的图片在不同的迭代中会被指定为不同的标签导 致模型最终收敛不佳，用户表情识别的准确性低。
64.具体步骤如下：
65.步骤s100，获取待检测人脸图像；
66.在本实施例中，首先获取待检测人脸图像，其中，获取待检测人脸图像 的方式可以是：
67.方式一：终端的人脸图像获取模块在检测到用户的人脸信息时，人脸图 像获取模块拍摄待检测人脸图像，并将所述待检测人脸图像发送至系统；
68.方式二：用户在终端上传待检测人脸图像，终端将所述待检测人脸图像 发送至系统。
69.其中，所述系统与终端通信连接，通讯接口可以采用目前的网络通讯方 式，可以是通信协议为tls(transport layer security，安全传输层协议)方 式，也可以是udp(user datagram protocol，用户数据包协议)方式，还可 以是tcp(transmission control protocol，传输控制协议)方式等，在此不作 具体限定。
70.步骤s200，将所述待检测人脸图像输入至表情识别模型中，基于所述表 情识别模型，对所述待检测人脸图像进行表情识别处理，得到表情识别结果； 其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和所述人 脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到的。
71.在本实施例中，引入人脸训练样本的不确定性指标，将所述人脸训练样 本的不确定性指标和所述人脸训练样本的表情标签对初始模型进行训练，得 到表情识别模型，利用人脸表情表现形式的不确定性强化有效特征、弱化干 扰特征，使得最终训练得到的表情模型效果更佳。
72.在本实施例提供的基于多区域特征融合的人脸表情识别方法中，在步骤 s100，所述获取待检测人脸图像的步骤之前，所述方法包括以下步骤 a100-a400：
73.步骤a100，获取所述人脸训练样本和所述人脸训练样本的表情标签；
74.在本实施例中，所述人脸训练样本为人脸样本中包含全部人脸特征的样 本，例如，一张人脸训练样本中，包含了人脸中的眼睛区域、嘴巴区域、额 头区域等。所述人脸训练样本的表情标签为对所述人脸训练样本进行确定或 标定好的表情标签，例如，参照图3，图3为确定为惊讶标签的人脸训练样本。
75.具体地，所述步骤a100，包括以下步骤a110-a120：
76.步骤a110，获取人脸训练样本图像；
77.在本实施例中，所述人脸训练样本图像为用于模型训练的人脸样本，具 体地，所述人脸训练样本图像是包含人脸信息的人脸图像。其中，获取人脸 训练样本图像的方式可以是在网上下载所述包含人脸信息的人脸图像，也可 以是通过摄像机获取的所述包含人脸信息的人脸图像。需要说明的是，人脸 训练样本图像包含若干份人脸图像。
78.步骤a120，提取所述人脸训练样本图像中人脸的所述局部特征图像以及 所述整体特征图像，得到所述区域人脸样本和所述完整人脸样本；
79.在本实施例中，所述人脸训练样本图像中人脸的局部特征图像包括人脸 中的额头部分、眼睛部分、嘴巴部分等与人脸表情相关性最强的几个部分的 图像，也可以是包含其他与人脸表情相关的部分的图像，整体特征图像即包 含了全部人脸信息的图像，对所述局部特征图像以及整体特征图像进行人脸 图像对齐，所述区域人脸样本和所述完整人脸样本，即一组所述人脸训练样 本包含所述区域人脸样本和所述完整人脸样本。
80.步骤a130，对所述区域人脸样本和所述完整人脸样本进行人脸图像对齐， 得到所述人脸训练样本。
81.参照图3，在另一实施例中，对所述区域人脸样本和所述完整人脸样本进 行人脸图像对齐的方式为对整体特征图像进行人脸检测和关键点检测，然后 依据关键点对图片进行仿射变换后对齐到特定大小(112*112)的目标图上。 仿射变换的参考点为两眼中心和嘴巴中心。并将对齐后的图片再依据人脸关 键点进行人脸区域切分，每张图片切分后得到三个部分：额头、眼部(包括 眉毛)和嘴巴部分，该三个部分为和人脸表情相关性最强的几个部分。
82.在另一实施例中，所述步骤a100，还包括以下步骤b100-b300：
83.步骤b100，基于所述人脸训练样本，提取所述人脸训练样本的场景信息；
84.步骤b200，基于所述人脸训练样本的场景信息，确定所述人脸训练样本 的场景类型；
85.步骤b300，基于所述人脸训练样本的场景类型，得到所述人脸训练样本 的表情标签。
86.在本实施例中，在确定给定的人脸图片对应的场景类型时，可以根据给 定人脸图片中的人脸所处的背景来确定，如当人脸所处的背景为商场时，则 确定场景类型为购物；也可以根据人脸图片对应的拍摄位置来确定，例如， 人脸图片是在图书馆拍的，则确定场景类型为学习。需要说明的是，若无法 确定人脸图片对应的场景类型，或者确定多个场景类型，则提示用户手动添 加或选择场景类型，如在存储人脸图片时或上传人脸图片以进行表情识别时， 提示用户手动添加或选择场景类型。
87.考虑到在不同的应用场景下，不同类型的表情出现的概率不同，如在购 物场景下，喜欢、厌恶等表情出现的概率较高，而恐惧、害羞、轻蔑等表情 出现的概率较低；在游戏环境下，兴奋、惊奇等表情出现的概率较高，而害 怕、害羞等表情出现的概率较低；而在学习的场景下，惊讶、兴奋等表情出 现概率较高；而恐惧、害羞、生气等表情出现的概率较低。因此，本技术进 一步结合了当前场景下各表情的出现概率来提升用户表情识别的准确性。
88.步骤a200，基于所述人脸训练样本，确定所述人脸训练样本的初始不确 定性指标；
89.在本实施例中，参照图4，采用图4所示的传统表情分类方法对所述人脸 训练样本进行表情模型训练，训练的监督信息为确定的表情标签，得到初始 表情识别模型。
90.具体地，所述步骤a200，包括以下步骤a210-a230：
91.步骤a210，基于所述人脸训练样本，确定所述人脸训练样本的logits；
92.在本实施例中，在模型训练的每次迭代中可以收集得到样本在本次迭代 中预测输出的logits，如图4所示logits1到logits4。
93.步骤a220，基于所述人脸训练样本的logits，确定所述人脸训练样本中， 所述区
域人脸样本的第一不确定性指标和所述完整人脸样本的第二不确定性 指标；
94.具体地，所述步骤a220，包括以下步骤a221-a222：
95.步骤a221，基于所述人脸训练样本预测输出的logits，分别计算所述人 脸训练样本中，所述区域人脸样本和所述完整人脸样本在被预测为对应表情 标签的第一概率和第二概率；
96.在本实施例中，在迭代中样本某区域的输出为logits，该样本对应于其标 签t的logit为logit[t]，则该样本在本次迭代中被预测为其真实标签的第一概 率和第二概率的pt计算如下所示：
[0097][0098]
步骤a222，基于所述区域人脸样本的第一概率和所述完整人脸样本的第 二概率，计算得到所述区域人脸样本的第一不确定性指标和所述完整人脸样 本的第二不确定性指标。
[0099]
在本实施例中，对于具有较强不确定性的样本在不同次的迭代中往往会 被赋予不同的确定性标签，导致训练过程中样本被预测为其真实标签的概率 是一个比1小的多的值；然而对于较弱不确定性的样本，训练过程中样本被 预测为真实标签的概率会无限趋近于1。参照表1，下表为训练过程中两个样 本被预测为给定标签的概率随训练过程变化的情况，pt@en表示在训练第n 个周期后模型将样本预测为给定标签的概率。下表所示的两个样本，第一个 样本给定标签为惊讶，由于该样本不确定性较强，在训练过程将其预测为惊 讶的概率分布在0.5左右，即便在模型训练结束(100个周期后)该样本预测 为给定标签的概率只有0.48；第二个样本给定标签为高兴，该样本不确定性 较弱，随着训练进行，模型将样本预测为给定标签的概率不断趋近于1。
[0100][0101]
表1
[0102]
基于该规律，本专利提出了表情不确定性的候选不确定性计算指标unc， 计算公式如下式所示：
[0103][0104][0105]
unc[e]为样本当前训练周期中的候选不确定性指标，其计算方式为用样本 真实标签对应的概率pt减去所有其它标签对应的概率之和，该值范围是-1到 1，将其加1并除以2后使得该值分布在0到1之间。根据公式定义可知该值 越大，该样本不确定越弱，置信度越
强；将每个训练周期计算的不确定性指 标unc[e]求均值得到候选不确定性指标unc，由于第一个epoch模型尚未得到 充分训练，其指标可靠度较低，故将其省去。
[0106]
步骤a230，融合所述第一不确定性指标和所述第二不确定性指标，计算 得到所述人脸样本的不确定性指标。
[0107]
在本实施例中，获取给定的样本人脸图片中的标签分布，并通过高斯分 布来对标签分布进行拟合，并将拟合出的高斯分布对应的标签均值来确定表 情标签，标准差为关于unc的单调递增函数。即标准差δ＝h(unc)，h可为任意 适当的单调递增函数，例如正比例函数。
[0108]
在通过样本数据确定表情标签后，并将表情标签确定为均值标签，则上 述四个部分人脸的标签概率分布的均值和方差分别为：μ1,σ1、μ2,σ2、μ3,σ3、μ4,σ4的正态分布，将四部分分布融合后得到样本标签的最终概率分布：
[0109][0110]
其中：
[0111][0112][0113]
其中，α,β为经验常数，对于整脸部分α,β设为1.5，其他部分设为1即可， 主要作用为适当加大整脸部分概率分布所贡献的分布。其中和为四部分相 关参数融合得到。如图5所示。最终融合得到了新的标准差，根据该标准差 计算得到最终不确定性指标。
[0114]
步骤a300，基于所述人脸训练样本的表情标签和所述初始不确定性指标， 对所述预设待训练模型进行迭代训练，得到具有满足精度条件的所述表情识 别模型；
[0115]
在本实施例中，在初始训练后，基于所述人脸训练样本的表情标签和所 述初始不确定性指标对所述待训练模型进行迭代训练(达到预设次数等)， 得到具有满足精度条件的所述表情识别模型。参照图6，在,模型训练过程中 应该强化不确定性较弱的样本的特征，同时弱化不确定性较强的样本特征。
[0116]
其中，强化不确定性较弱的样本的特征，同时弱化不确定性较强的样本 特征的步骤如下：神经网络最终输出的样本特征表示为f(xi)，则神经网络最 终优化的目标函数为ls为：
[0117][0118]
其中m为每个训练batch中的样本个数，i表示第i个样本，w
jt
为分类层 中第j个类别对应的权重，unci为第i个样本对应的不确定指标，bj为第j个类 别对应的偏置项，l(f(xi))为特征的l2范数，作为一个正则化项，λ为正则化 系数，加入该项能使得最终特征l2范数更小从而防止特征被不确定指标作用 后产生太大突变造成训练不稳定的问题。
[0119]
本技术采用动态统计训练过程logits的方式得到人脸表情标签的不确定 性指
标。另外由于不同区域贡献的不确定性不一致，本技术采用每个区域的 不确定性指标融合得到最终结合全局和局部的不确定性指标，并采用该指标 强化模型训练过程中的有效特征，弱化无效特征，提高了表情识别模型对表 情识别的准确性。
[0120]
具体地，所述步骤a300，包括以下步骤a310-a350：
[0121]
步骤a310，将所述人脸训练样本输入至所述预设待训练模型，得到预测 表情结果；
[0122]
在本实施例中，先新建一个待训练模型，该待训练模型是基于具有初始 不确定性指标和表情标签的人脸训练样本初步创建的具有不确定性指标和表 情标签的对应关系的模型。该待训练模型不需要有很高的精确度。
[0123]
步骤a320，将所述预测表情结果与所述人脸训练样本的表情标签进行差 异计算，得到误差结果；
[0124]
步骤a330，基于所述误差结果，判断所述误差结果是否满足预设误差阈 值范围指示的误差标准；
[0125]
在本实施例中，所述预设误差阈值包括预设均方误差阈值，本领域技术 人员知晓的是，均方误差阈值越小，则代表模型越精准，所述判断所述训练 误差结果是否满足预设误差阈值指示的误差标准包括：判断所述均方误差结 果是否小于预设均方误差阈值。
[0126]
步骤a340，若所述训练误差结果未满足所述预设误差阈值范围指示的误 差标准，则更新区域人脸训练样本的不确定性指标，并返回所述将所述区域 人脸训练样本输入至所述预设待训练模型，得到预测表情结果的步骤，直到 所述训练误差结果满足所述预设误差阈值范围指示的误差标准后停止训练；
[0127]
步骤a350，将停止训练的模型作为具有满足精度条件的所述表情识别模 型。
[0128]
在本实施例中，通过迭代训练，更新待训练模型的不确定性指标，直到 训练误差结果满足预设误差阈值范围指示的误差标准，完成迭代训练。
[0129]
本技术中的最优实施例，获取人脸训练样本图像，将上述人脸训练样本 图像进行人脸检测和关键点检测，然后依据关键点对图片进行仿射变换后对 齐到112*112的目标图上。仿射变换的参考点为两眼中心和嘴巴中心。并将 对齐后的图片再依据人脸关键点进行人脸区域切分，每张图片切分后得到三 个部分：额头、眼部(包括眉毛)和嘴巴部分，得到区域人脸训练样本，其 中，额头、眼部(包括眉毛)和嘴巴部分的训练样本图像为人脸的局部特征 图像，完整的人脸训练样本图像为人脸的整体特征图像。在确定区域人脸训 练样本的背景类型后，获取给定的多个样本人脸图片中同一场景类型的人脸 图片的标签分布，并通过高斯分布来对标签分布进行拟合，并将拟合出的高 斯分布对应的标签均值来确定为当前场景类型对应的表情标签。基于预先获 取的所述区域人脸训练样本的表情标签，对所述区域人脸训练样本进行迭代 训练，得到初始表情识别模型。获取在初始表情识别模型的训练中每次迭代 中可以收集得到区域人脸训练样本在迭代中预测输出的logits，其中，迭代训 练周期为100，即获取区域人脸训练样本100个周期的logits。基于所述区域 人脸训练样本的logits，计算得到人脸的局部特征图像的第一不确定性指标和 人脸的整体特征图像的第二不确定性指标。融合第一不确定性指标和第二不 确定性指标，确定最终的不确定性指标unc，采用不确定性指标unc与原有表 情标签进行表情识别模型训练。在最终模型训练过程中强化不确定性较弱的 样本的特征，同时弱化不确定性较强的样本特征，提高了
该表情识别模型对 人脸表情识别的准确性。
[0130]
本技术提供的一种基于多区域特征融合的人脸表情识别方法、系统、设 备及存储介质，与现有技术中用于监督表情识别模型训练的标签往往是根据 全局人脸图片标定的确定标签，但是不同表情表现在人脸上往往是局部的不 同，导致最终训练的模型收敛不佳，准确性低相比，在本技术中，获取待检 测人脸图像；将所述待检测人脸图像输入至表情识别模型中，基于所述表情 识别模型，对所述待检测人脸图像进行表情识别处理，得到表情识别结果； 其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和所述人 脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到的。即 在本技术中，提出人脸训练样本的不确定性指标，将人脸训练样本的不确定 性指标和所述人脸训练样本的表情标签进行表情识别模型的迭代训练，利用 人脸表情表现形式的不确定性强化有效特征、弱化干扰特征，提高表情识别 的准确性。
[0131]
本技术还提供一种基于多区域特征融合的人脸表情识别系统，所述基于 多区域特征融合的人脸表情识别系统包括：
[0132]
获取模块，用于获取待检测人脸图像；
[0133]
处理模块，用于将所述待检测人脸图像输入至表情识别模型中，基于所 述表情识别模型，对所述待检测人脸图像进行表情识别处理，得到表情识别 结果，其中，所述表情识别模型是基于具有预设表情标签的人脸训练样本和 所述人脸训练样本的不确定性指标，对预设待训练模型进行迭代训练后得到 的。
[0134]
本技术基于多区域特征融合的人脸表情识别系统具体实施方式与上述基 于多区域特征融合的人脸表情识别方法各实施例基本相同，在此不再赘述。
[0135]
本技术还提供一种基于多区域特征融合的人脸表情识别设备，所述基于 多区域特征融合的人脸表情识别设备包括：存储器、处理器以及存储在存储 器上的用于实现所述基于多区域特征融合的人脸表情识别方法的程序，
[0136]
所述存储器用于存储实现基于多区域特征融合的人脸表情识别方法的程 序；
[0137]
所述处理器用于执行实现所述基于多区域特征融合的人脸表情识别方法 的程序，以实现所述基于多区域特征融合的人脸表情识别方法的步骤。
[0138]
本技术基于多区域特征融合的人脸表情识别设备具体实施方式与上述基 于多区域特征融合的人脸表情识别方法各实施例基本相同，在此不再赘述。
[0139]
本技术还提供一种存储介质，所述存储介质上存储有实现基于多区域特 征融合的人脸表情识别方法的程序，所述实现基于多区域特征融合的人脸表 情识别方法的程序被处理器执行以实现所述基于多区域特征融合的人脸表情 识别方法的步骤。
[0140]
本技术存储介质具体实施方式与上述基于多区域特征融合的人脸表情识 别方法各实施例基本相同，在此不再赘述。
[0141]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下， 由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。
[0142]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0143]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0144]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是 利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。