基于人脸图像的数据增强方法、模型训练方法及分析方法

1.本发明涉及数据增强技术领域，具体地说是基于人脸图像的数据增强方法、模型训练方法及分析方法。


背景技术：

2.面部表情是人类传达情绪状态和意图的最有力、最自然和最普遍的信号之一。由于自动面部表情识别在人机交互、医疗、驾驶员疲劳监测中的实际重要性，研究人员探索了面部表情识别系统(fers)对来自面部特征的表情信息进行了编码。近些年来，随着卷积神经网络(cnns)不断发展，凭借对图像复杂层次特征的学习能力，在fer任务中取得了重大成就。与此同时，fer取得的重大进展离不开大规模的数据集，例如ck ，ferplus，raf-db等等。
3.cnns通常包含上百万甚至更多的学习参数，这些参数为模型提供必要的表征能力，但是随着参数的不断增加，过拟合的可能性也随之增加，从而削弱了模型的泛化能力。为了降低过度拟合，fer模型需要足够的数据来确保对面部表情识别任务的通用性。然而，大多数公开可用的人脸表情数据集没有足够数量的图像用于训练，因此，人脸图像数据增强是深度fer的关键步骤，可以有效减轻过拟合，从而进一步提高模型训练效率和性能。
4.如何对人脸图像数据进行数据增强，以提高用于进行面部表情识别的模型训练效率和性能，是需要解决的技术问题。


技术实现要素：

5.本发明的技术任务是针对以上不足，提供基于人脸图像的数据增强方法、模型训练方法及分析方法，来解决如何对人脸图像数据进行数据增强，以提高用于进行面部表情识别的模型训练效率和性能的技术问题。
6.第一方面，本发明的基于人脸图像的数据增强方法，对于随机选取的两个人脸图像，通过图像分割以及图像合并的方式形成新的人脸图像，将新的人脸图像作为训练图像，所述方法包括如下步骤：
7.从原训练集中随机选取两个训练样本，分别为(xa,ya)和(xb,yb)，其中，xa表示第一人脸图像，ya表示第一人脸图图像对应的标签，xb表示第二人脸图像，yb表示第二人脸图像对应的标签；
8.基于预定的分割组合比例，通过二进制掩码分别将第一人脸图像和第二人脸图像分割为两个部分，并分别将第一人脸图像和第二人脸图像中互补的两部分合并为新的人脸图像，得到两个新人脸图像，将每个新人脸图像以及对应的标签作为一个新训练样本，所述新训练样本表示为：
9.x`＝m
◎
xa (1-m)
◎
xb10.y`＝λya (1-λ)yb11.其中，x`表示新人脸图像，y`表示新人脸图像对应的标签，m＝{0，1}w×h为二进制掩码，表示从两个图像中剪裁和合并指定区域，w表示人脸图像的宽度，h表示人脸图像的高
度；
12.◎
表示元素乘法；
13.λ表示两个两个人脸图像之间的分割组合比例，λ∈{0,1}，且λ服从beta(α,α)分布，α＝1，则λ服从(0,1)分布。
14.作为优选，基于预定的分割组合比例，以纵向分割的方式，通过二进制掩码分别将第一人脸图像和第二人脸图像分割为两个部分，并分别将第一人脸图像和第二人脸图像中互补的两部分合并为新的人脸图像，得到两个新人脸图像；
15.并基于预定的分割组合比例，以横向分割的方式，通过二进制掩码分别将第一人脸图像和第二人脸图像分割为两个部分，并分别将第一人脸图像和第二人脸图像中互补的两部分合并为新的人脸图像，得到两个新人脸图像。
16.作为优选，通过二进制掩码分别将第一人脸图像和第二人脸图像分割为两个部分，并分别将第一人脸图像和第二人脸图像中互补的两部分合并为新的人脸图像，包括如下步骤：
17.将第一人脸图像以及第二人脸图像作为目标图像，对于每个目标图像，对剪裁区域的边界框坐标进行采样，通过边界框坐标对剪裁区域指示标定，所述边界框坐标表示为：
18.b＝(r
x
,ry,rw,rh)
19.其中，剪裁局域为矩形区域，r
x
表示剪裁区域的左上角点的像素坐标，ry表示剪裁区域的左上角点的像素坐标，rw表示剪裁区域的宽度，rh表示剪裁区域的高度；
20.对于每个目标图像，分割为剪裁区域b和剪裁区域1-b两个部分；
21.对于每个目标图像，将二进制掩码中的剪裁区域b置0，并将剪裁区域1-b置1；
22.将第一人脸图像的剪裁区域b和第二人脸图像的剪裁区域1-b合并为新的人脸图像，并将第一人脸图像的剪裁区域1-b和第二人脸图像的剪裁区域b合并为新的人脸图像，得到两个新人脸图像。
23.作为优选，在横向分割的情况下，每个目标图像的边界框坐标表示为：
24.r
x
＝0,rw＝w
25.ry＝(0,h/2),rh＝h(1-λ)
26.裁剪面积比例为
27.对于每个目标图像，上部分对应的剪裁区域b＝(0,0,w,h/2)，下部分对应的剪裁区域1-b＝(0,h/2,w,h/2)；
28.对于每个目标图像，将二进制掩码m＝{0，1}w×h中的上部分对应的裁剪区域b置0，将下部分对应的剪裁区域1-b置1；
29.将第一人脸图像的剪裁区域b和第二人脸图像的剪裁区域1-b合并为新的人脸图像，并将第一人脸图像的剪裁区域1-b和第二人脸图像的剪裁区域b合并为新的人脸图像，得到两个新人脸图像；
30.在纵向分割的情况下，每个目标图像的边界框坐标表示为：
31.r
x
＝(0,w/2),rw＝w(1-λ)
32.ry＝0,rh＝h
33.裁剪面积比例为
34.对于每个目标图像，左部分对应的剪裁区域b＝(0,0,w/2,h)，右部分对应的剪裁区域1-b＝(0,w/2,w/2,h)；
35.对于每个目标图像，将二进制掩码m＝{0，1}w×h中的左部分对应的裁剪区域b置0，将右部分对应的剪裁区域1-b置1；
36.将第一人脸图像的剪裁区域b和第二人脸图像的剪裁区域1-b合并为新的人脸图像，并将第一人脸图像的剪裁区域1-b和第二人脸图像的剪裁区域b合并为新的人脸图像，得到两个新人脸图像。
37.更优的，所述方法还包括如下步骤：
38.对于新训练样本，在将新训练样本输入到模型之前，通过cutout的方式进行数据增强，随机屏蔽人脸图像的固定区域，将固定区域的像素值设置为0。
39.作为优选，所述λ＝1/2，新训练样本对应的标签中ya:yb＝1:1。
40.第二方面，本发明的基于人脸图像的模型训练方法，所述模型为以人脸图像为输入、以用于标识人脸表情的标签为输出的面部表情分析模型，所述训练方法包括如下步骤：
41.获取多个人脸图像，对于每个人脸图像标注用于标识面部表情的标签，以人脸图像和标签为训练样本构建训练集；
42.将所述训练集作为原训练集，通过如第一方面任一项所述的基于人脸图像的数据增强方法构建新训练样本；
43.将所述新训练样本加入原训练集形成新训练集，通过所述新训练集对构建的模型进行训练。
44.第三方面，本发明的基于人脸图像的面部表情分析方法，包括如下步骤：
45.构建面部表情分析模型，所述面部表情分析模块以人脸图像为输入，以用于标识面部表情的标签为输出；
46.通过如第二方面所述的基于人脸图像的模型训练方法对所述面部表情分析模型进行训练，得到训练后面部表情分析模型；
47.获取待测试的人脸图像，通过所述训练后面部表情分析模型对所述待测试的人脸图像进行分析，得到标签。
48.本发明的基于人脸图像的数据增强方法、模型训练方法及分析方法具有以下优点：
49.1、通过对随机两张面部表情图像的对应部分进行替换，从而对数量有限的面部表情数据集进行了扩充；
50.2、对于新训练样本，在新人脸图像输入到模型之前，结合cutout进行数据增强，有效减轻自动面部表情识别的过拟合问题，进一步提高表情识别模型的鲁棒性和人脸检测性能。
附图说明
51.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.下面结合附图对本发明进一步说明。
53.图1为实施例1基于人脸图像的数据增强方法的流程框图；
54.图2为实施例2基于人脸图像的表情分析方法的流程框图。
具体实施方式
55.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
56.需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。
57.本发明实施例提供基于人脸图像的数据增强方法、模型训练方法及分析方法，用于解决如何对人脸图像数据进行数据增强，以提高用于进行面部表情识别的模型训练效率和性能的技术问题。
58.实施例1：
59.本发明的基于人脸图像的数据增强方法，对于随机选取的两个人脸图像，通过图像分割以及图像合并的方式形成新的人脸图像，将新的人脸图像作为训练图像，该方法包括如下步骤：
60.s100、从原训练集中随机选取两个训练样本，分别为(xa,ya)和(xb,yb)，其中，xa表示第一人脸图像，ya表示第一人脸图图像对应的标签，xb表示第二人脸图像，yb表示第二人脸图像对应的标签；
61.基于预定的分割组合比例，通过二进制掩码分别将第一人脸图像和第二人脸图像分割为两个部分，并分别将第一人脸图像和第二人脸图像中互补的两部分合并为新的人脸图像，得到两个新人脸图像，将每个新人脸图像以及对应的标签作为一个新训练样本，新训练样本表示为：
62.x`＝m
◎
xa (1-m)
◎
xbꢀꢀ
(1)
63.y`＝λya (1-λ)ybꢀꢀ
(2)
64.其中，x`表示新人脸图像，y`表示新人脸图像对应的标签，m＝{0，1}w×h为二进制掩码，表示从两个图像中剪裁和合并指定区域，w表示人脸图像的宽度，h表示人脸图像的高度；
65.◎
表示元素乘法；
66.λ表示两个两个人脸图像之间的分割组合比例，λ∈{0,1}，且λ服从beta(α,α)分布，令α＝1，则λ服从(0,1)分布。
67.其中，二进制掩码m实现人脸图像分割和组合的原理为：二进制掩码m通过将图像的一半区域像素置0，其他区域像素置1来裁剪一半图像，然后将图像xa的置0区域与图像xb的置1区域合并，再将图像xa的置1区域与图像xb的置0区域合并。
68.为了对二进制掩码m进行采样，本实施例中首先需要对裁剪区域的边界框坐标b＝(r
x
,ry,rw,rh)进行采样，边界框坐标是用来确定裁剪区域的，r
x
代表裁剪的矩形区域的左上角点的x像素坐标，ry代表y像素坐标，rw代表区域宽度，rh代表区域高度。通过边界框坐标对
人脸图像xa和人脸图像xb做裁剪区域的指示标定。主要过程是xa中的b区域被裁剪，然后从xb中裁剪1-b区域与xa合并。
69.本实施例中对选择的人脸图像从横向和纵向进行分割，一共包含四种采样模式。
70.首先在横向分离的情况下，边界框坐标表示为：
71.r
x
＝0，rw＝w
ꢀꢀ
(3)
72.ry＝(0,h/2),rh＝h(1-λ)
ꢀꢀ
(4)
73.保证裁剪面积比例为w表示训练图像宽度，h表示训练图像高度，r
x
表示裁剪区域。
74.裁剪区域是由边界框b确定的。随机挑选两个训练样本xa和xb，对xa的上半部分进行裁剪，此时裁剪区域b＝(0,0,w,h/2),剩余的下半部分1-b＝(0,h/2,w,h/2)，在xb中同理。确定好裁剪区域后，将二进制掩码m＝{0，1}w×h中的裁剪区域b置0，将剩余部分1-b置1。然后将xa中的区域b和xb中的区域1-b合并，将xa的1-b区域和xb的b区域合并，由此得到了两张新的训练图像。
75.同理，在纵向分离的情况下，边界框坐标表示为：
76.r
x
＝(0,w/2),rw＝w(1-λ),
ꢀꢀ
(5)
77.ry＝0,rh＝h
ꢀꢀ
(6)
78.对xa的左半部分进行裁剪，此时裁剪区域b＝(0,0,w/2,h),剩余的右半部分1-b＝(0,w/2,w/2,h)，在xb中同理。将二进制掩码m＝{0，1}w×h中的裁剪区域b置0，将剩余部分1-b置1。然后将xa中的区域b和xb中的区域1-b合并，将xa的1-b区域和xb的b区域合并，同样得到了两张新的训练图像。
79.经过上述操作，两张训练图像可以合并生成四种新样本作为训练样本。
80.考虑到人脸通常是近乎对称的，含有情感特征的主要是眼睛，鼻子，嘴巴，眉毛以及面部轮廓等，本实施例选择50％的分割组合比例，对人脸图像进行分割组合，以尽可能平均地保留两张人脸图像的重要特征，即本实施例中λ＝1/2，在两张图像中分别取了一半区域，因此新图像的标签比值为1∶1，即新人脸图像中ya:yb＝1:1。
81.本实施例中标签比1:1时按合并图像的像素数量成比例混合的，因为训练样本都是中间分割的，新样本的标签是由one-hot标签的线性插值给出，两个样本的标签进行加权求和，加权之后就变成了“two-hot”，可以认为新样本同时属于混合前的两个样本的类别。
82.上述通过图像分割组合的方式进行图像替换形成新人脸图像，并通过对图像进行中间裁剪，尽可能多地保留了两张图像的关键特征，即使它们出现在不同的新样本上，但这是在数据级别上的操作，并不会改变内部表示以及体系结构。经过图像替换得到的新样本使得fer模型能够从一幅图像上的局部特征识别出两个表情，增强了对象定位能力，提高了训练训练效率，不会产生额外的训练和计算成本。此外，该数据增强方法可以与其他方法同时使用，进一步增强fer模型的鲁棒性和人脸检测性能。
83.本实施例对于新训练样本，在将新训练样本中人脸图像输入模型之前，与cutout相结合，即在模型训练期间，随机屏蔽输入图像的固定区域，将其像素值设置为0，可以提高fer模型的鲁棒性和整体性能。当图像的某些部分被遮挡时，先进的fer模型应该能够从图像的整体结构识别出它的类别。使用cutout的原因是它保留了表情图像的整体结构，这种
技术鼓励神经网络更好地利用表情图像的完整上下文，而不是依赖于特定表情特征的存在。
84.为了验证本实施例公开的数据增强的效果，使用scn模型在raf-db真实人脸表情数据集上进行了表情分类性能测试。与标准scn模型的超参数不同，由于实验条件的约束，将模型参数margin_1设置为0.07，将bitch_size设置为64进行训练和验证，比较在未使用图像替换和cutout、使用图像替换未使用cutout、使用cutout未使用图像替换、同时使用图像替换和cutout时对七种人脸表情的分类精度，以此验证本发明的效果。
85.在每次训练迭代中，根据方程(1)和方程(2)随机选择两个训练样本，进行横向分离还是纵向分离也是随机的，经过图像替换算法生成4种新样本。新样本在模型训练期间应用cutout方法，随机屏蔽输入图像的固定区域，区域大小设置为32
×
32，单位为像素。然后将新样本送入scn模型训练，每经过一轮训练输出一次测试集的分类精度，共训练70个epoch，观察模型达到的最高精度。
86.本实施例使用softmax作为分类器，公式为：
[0087][0088]
其中，si表示第i类表情的softmax预测值，i和j均为类别序号。
[0089]
将经过数据增强的表情图像输入到scn模型中，进行表情类别预测，每一个类别(愤怒，厌恶，恐惧，自然，快乐，悲伤和惊讶)都对应一个小于1的预测值，且总和为1，最大预测值对应的类别为模型的预测结果。将模型的预测类别与真实类别进行比较，然后将所有预测正确的样本之和除以所有样本量，输出即为本次训练的神经网络模型的准确率。
[0090]
本实施例的数据增强方法，通过对随机两张面部表情图像的对应部分进行替换，从而对数量有限的面部表情数据集进行了扩充。同时，该方法可以与其他数据增强方法一起使用，可以有效减轻自动面部表情识别的过拟合问题，进一步提高表情识别模型的鲁棒性和人脸检测性能。
[0091]
实施例2：
[0092]
本发明的基于人脸图像的模型训练方法，该模型为以人脸图像为输入、以用于标识人脸表情的标签为输出的面部表情分析模型。
[0093]
本实施例中训练方法包括如下步骤：
[0094]
s100、获取多个人脸图像，对于每个人脸图像标注用于标识面部表情的标签，以人脸图像和标签为训练样本构建训练集；
[0095]
s200、将训练集作为原训练集，通过如第一方面任一项所述的基于人脸图像的数据增强方法构建新训练样本；
[0096]
s300、将新训练样本加入原训练集形成新训练集，通过新训练集对构建的模型进行训练。
[0097]
实施例3：
[0098]
本发明的基于人脸图像的面部表情分析方法，包括如下步骤：
[0099]
s100、构建面部表情分析模型，该面部表情分析模块以人脸图像为输入，以用于标识面部表情的标签为输出；
[0100]
s200、通过实施例1公开的基于人脸图像的模型训练方法对面部表情分析模型进行训练，得到训练后面部表情分析模型；
[0101]
s300、获取待测试的人脸图像，通过训练后面部表情分析模型对所述待测试的人脸图像进行分析，得到标签。
[0102]
如图2所示，本实施例中选用的scn模型进行表情类别预测，并选用softmax作为分类器。分类器，公式为：
[0103][0104]
其中，si表示第i类表情的softmax预测值，i和j均为类别序号。
[0105]
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。
[0106]
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。