红外与光学图像融合的人脸表情识别方法及装置与流程

技术特征：
1.一种红外与光学图像融合的人脸表情识别方法，其特征在于，所述方法包括：获取待测目标的人脸阵列图像组，所述人脸阵列图像组包括多个人脸阵列图像，所述人脸阵列图像包括红外图像及其对应的光学图像；基于预先构建的图像融合模型将所述人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将所述背景特征图和细节特征图进行融合得到融合图像；将多个所述融合图像生成测试视频；基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、所述测试视频预测所述待测目标的人脸表情；其中，所述图像融合模型是基于预设的图像样本并且利用机器学习算法构件的生成对抗神经网络；所述人脸表情识别模型是基于预设的人脸样本、所述表情标签并且利用机器学习算法构建的卷积神经网络。2.如权利要求1所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述图像融合模型包括生成器和双鉴别器，所述生成器包括编码器和解码器，所述双鉴别器包括红外鉴别器和光学鉴别器；在“基于预先构建的图像融合模型将所述人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将所述背景特征图和细节特征图进行融合得到融合图像”的步骤之前，所述方法还包括：将人脸阵列图像输入所述编码器，所述编码器对所述人脸阵列图像进行双尺度分解获取光学图像与红外图像的背景特征图和细节特征图，基于所述解码器将所述背景特征图和细节特征图进行融合获取融合图像；将红外图像和所述融合图像输入所述红外鉴别器以对所述融合图像进行真假鉴别；将光学图像和所述融合图像输入所述光学鉴别器以对所述融合图像进行真假鉴别；利用红外鉴别器和光学鉴别器的鉴别结果计算所述图像融合模型的损失函数，并且根据所述损失函数更新所述图像融合模型的网络参数，对更新后的图像融合模型重新进行网络训练，直至满足预设的收敛条件。3.如权利要求2所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述损失函数包括生成器损失函数和鉴别器损失函数；所述生成器损失函数和鉴别器损失函数如下式所示：其中，l
g
表示生成器的损失，l
b
表示编码器进行双尺度分解的损失，表示生成器的对抗损失，l
con
表示解码器的损失，l
d
表示双鉴别器的损失，l
dv
表示光学鉴别器的损失，l
di
表示红外鉴别器的损失，λ表示预设的网络系数。4.如权利要求3所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述l1如下式所示：其中，φ表示tanh(
·
)函数且φ∈[-1,1]，表示矩阵的2范数的平方，bv表示光学图
像的背景特征图，b
i
表示红外图像的背景特征图，dv表示光学图像的细节特征图，d
i
表示红外图像的细节特征图，预设的网络系数。5.如权利要求4所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述如下式所示：其中，e表示数学期望，d
i
(f)表示将融合图像输入红外鉴别器中生成的标量，d
v
(f)表示将融合图像输入光学鉴别器中生成的标量，f表示融合图像，β表示预设的网络系数。6.如权利要求5所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述l
con
如下式所示：其中，表示融合图像中的背景损失，表示融合图像中的细节损失，||
·
||
f
表示矩阵的frobenius范数，表示梯度算子，ξ1、ξ2分别为预设的常数，b
f
表示融合图像中的背景特征，d
f
表示融合图像中的细节特征。7.如权利要求6所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述l
dv
如下式所示：其中，d
v
(v)表示将光学图像输入光学鉴别器中生成的标量，d
i
(i)表示将红外图像输入红外鉴别器中生成的标量，i表示红外图像，v表示光学图像。8.如权利要求1所述的红外与光学图像融合的人脸表情识别方法，其特征在于，，所述人脸表情识别模型包括vgg19、resnet18以及由全连接层、softmax函数组成的both网络层；在“基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、所述测试视频预测所述待测目标的人脸表情”的步骤之前，所述方法还包括：基于预设的人脸分割网络获取人脸感兴趣区域数据集；将所述人脸感兴趣区域数据集分别输入所述vgg19和resnet18以获取特征η1和特征η2；将所述特征η1和特征η2进行串行连接获取特征η3，将所述特征η3和预设的表情标签输入所述both网络层获取表情识别结果；利用表情识别结果计算所述人脸表情识别模型的损失函数，并且根据所述损失函数更新所述人脸表情识别模型的网络参数，对更新后的人脸表情识别模型重新进行网络训练，直至满足预设的收敛条件；其中，所述损失函数如下式所示：其中，l
s
表示人脸表情识别模型的损失，l1表示vgg19的交叉熵损失，l2表示resnet18的交叉熵损失，l3表示both网络层的交叉熵损失，分别为预设的平衡系数；
交叉熵损失如下式所示：其中，m表示人脸感兴趣区域数据集中样本的种类，n表示人脸感兴趣区域数据集中样本的个数，y
j
表示第j类的真实标签，p
j
表示样本y属于第j类的概率；其中，z为both网络层的输出值，表示η1、η2进行串行连接，表示softmax函数。9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8中任一项所述的红外与光学图像融合的人脸表情识别方法。10.一种控制装置，包括：处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8中任一项所述的红外与光学图像融合的人脸表情识别方法。

技术总结
本发明公开一种红外与光学图像融合的人脸表情识别方法及装置，方法包括：获取待测目标的人脸阵列图像组，人脸阵列图像组包括多个人脸阵列图像，人脸阵列图像包括红外图像及其对应的光学图像；基于预先构建的图像融合模型将人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将背景特征图和细节特征图进行融合得到融合图像；将多个所述融合图像生成测试视频；基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、测试视频预测待测目标的人脸表情。本发明提高了表情识别的准确性。确性。确性。


技术研发人员：邹建成 李嘉欣
受保护的技术使用者：北方工业大学
技术研发日：2021.09.27
技术公布日：2022/1/21