一种多角度人脸表情识别的方法及装置、设备及存储介质与流程

技术特征：
1.一种多角度人脸表情识别的方法，其特征在于，包括步骤：构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图像训练数据；根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。2.根据权利要求1所述的多角度人脸表情识别的方法，其特征在于，所述构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图像训练数据，包括步骤：对所述多角度人脸表情图像训练数据进行预处理；其中，所述预处理步骤包括格式标准化步骤、角度旋转步骤、水平翻转步骤以及亮度改变步骤的一种或多种。3.根据权利要求2所述的多角度人脸表情识别的方法，其特征在于，所述根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图，包括步骤：根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获得所述多角度人脸表情图像训练数据的每个像素的偏移量；根据所述每个像素的偏移量以及预设的特征提取算法，获取多角度人脸表情图像训练数据的特征，从而获取多角度人脸表情图像训练数据的输出特征图，其中，所述特征提取算法为：其中，y1(p
c
)为对应p
c
像素点下的可变形卷积输出，w(p
n
)为对应像素点的卷积模板值，δp
n
为偏移坐标量。4.根据权利要求3所述的多角度人脸表情识别的方法，其特征在于，所述根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型，包括步骤：根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，获得所述多角度人脸表情图像训练数据的输出值；根据所述输出值以及预设的学习率衰减策略，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型。5.根据权利要求1至4任一项所述的多角度人脸表情识别的方法，其特征在于，所述注意力模块包括平均化层、卷积层以及训练层。6.根据权利要求5所述的多角度人脸表情识别的方法，其特征在于，所述根据所述注意
力模块以及所述多角度人脸表情图像训练数据的输出特征图，获得所述多角度人脸表情图像训练数据的输出值，包括步骤：根据所述注意力模块的平均化层、所述多角度人脸表情图像训练数据的输出特征图以及预设的权重计算算法，获得所述多角度人脸表情图像训练数据的输出特征图的水平方向上的第一权重值以及垂直方向上的第一权重值，其中，所述权重计算算法为：重值以及垂直方向上的第一权重值，其中，所述权重计算算法为：其中，h为所述输出特征图的高度，w为所述输出特征图的宽度，x
c
(h，i)为第c通道上高度为h，宽度为i的对应图像像素值，z
c
(h)为高度为h的第c通道的所述水平方向上的第一权重值的输出，z
c
(w)为宽度为w的第c通道的所述垂直方向上的第一权重值的输出，x
c
(h，i)为第c通道上高度为h，宽度为i的对应图像像素值，x
c
(j，w)为第c通道上高度为j，宽度为w的对应图像像素值；根据所述注意力模块的卷积层以及训练层，分别对所述水平方向上的第一权重值以及垂直方向上的第一权重值进行处理，获得所述水平方向上的第二权重值以及垂直方向上的第二权重值；根据所述水平方向上的第二权重值、垂直方向上的第二权重值以及权重输出算法，获得所述多角度人脸表情图像训练数据的输出值，其中，所述权重输出算法为：其中，y
c
(i，j)表示第c通道输出特征图的第i行第j列的输出，x
c
(i，j)为第c通道输出特征图上高度为i，宽度为j的像素值，为第c通道输出特征图垂直方向上高度为i的位置的水平方向上的第二权重值的输出值，为第c通道输出特征图水平方向上宽度为j的位置的垂直方向上的第二权重值的输出值。7.根据权利要求1所述的多角度人脸表情识别的方法，其特征在于，所述根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型，包括步骤：构建人脸表情图像验证库，其中，所述人脸表情图像验证库包括多角度人脸表情图像验证数据；将所述多角度人脸表情图像验证数据分别输入至所述若干个训练后的神经网络模型，获得所述训练后的神经网络模型的损失值以及准确值；根据所述损失值、准确值以及预设的准确率计算算法，获得准确率最高的神经网络模型，作为最佳神经网络模型。8.一种多角度人脸表情识别的装置，其特征在于，包括步骤：构建单元，用于构建神经网络模型以及人脸表情图像训练库，其中，所述神经网络模型包括可变换卷积模块以及注意力模块；所述人脸表情图像训练库包括多角度人脸表情图像
训练数据；特征提取单元，用于根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；训练单元，用于根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；计算单元，用于根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；识别单元，用于获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。9.一种设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多角度人脸表情识别的方法的步骤。10.一种存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多角度人脸表情识别的方法的步骤。

技术总结
本申请涉及一种多角度人脸表情识别的方法及装置、设备及存储介质，方法包括：构建神经网络模型以及人脸表情图像训练库；根据所述可变换卷积模块以及所述多角度人脸表情图像训练数据，获取多角度人脸表情图像训练数据的输出特征图；根据所述注意力模块以及所述多角度人脸表情图像训练数据的输出特征图，对所述神经网络模型进行若干次训练，获得若干个训练后的神经网络模型；根据预设的准确率计算算法，从所述若干个训练后的神经网络模型中获得准确率最高的神经网络模型，作为最佳神经网络模型；获得用户的识别指令，所述识别指令包括预识别的人脸表情图像，根据所述预识别的人脸表情图像以及所述最佳神经网络模型，获得人脸表情识别结果。情识别结果。情识别结果。


技术研发人员：谢燊 黎铭 唐小煜
受保护的技术使用者：华南师范大学
技术研发日：2021.08.18
技术公布日：2021/11/23