基于多特征融合的表情识别方法及装置与流程

技术特征：
1.一种基于多特征融合的表情识别方法，其特征在于，包括：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对所述总融合特征进行分类，得到表情分类结果。2.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，所述对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点，具体包括：采用改进的yolov5算法对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点，其中，所述改进的yolov5算法为在yolov5算法上增加人脸关键点分支网络。3.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，在所述检测出人脸和人脸关键点之后，还包括：将所述人脸关键点越界的人脸图像去除。4.如权利要求3所述的基于多特征融合的表情识别方法，其特征在于，所述将所述人脸关键点越界的人脸图像去除，具体包括：将所述人脸关键点的坐标和所述人脸图像中人脸区域的坐标范围进行比较，若所述人脸关键点的坐标不在所述人脸区域的坐标范围之内，则去除对应的所述人脸图像。5.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，所述方法还包括：将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络；其中，所述权重系数为多个所述部位图像的权重，多个所述部位图像的权重不同。6.如权利要求5所述的基于多特征融合的表情识别方法，其特征在于，所述方法还包括：将特征提取网络shufflenetv2由单分支扩展成多个分支，得到所述多分支特征提取网络；所述将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络；其中，所述权重系数为多个所述部位图像的权重，多个所述部位图像的权重不同，具体包括：将所述多分支特征提取网络中的每个分支的shufflenet网络通道数乘以权重系数；其中，所述眼睛区域图像的权重和所述嘴巴区域图像的权重相同，所述下巴区域图像的权重和所述鼻子区域图像的权重相同，所述眼睛区域图像的权重和所述嘴巴区域图像的权重大于所述下巴区域图像的权重和所述鼻子区域图像的权重。7.如权利要求6所述的基于多特征融合的表情识别方法，其特征在于，所述利用改进的多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征，具体包括：利用改进的特征提取网络shufflenetv2对赋予了数据标签的多个所述部位图像分别
进行特征提取，每个分支特征提取网络分别负责提取所述人脸图像中的所述眼睛区域图像、所述鼻子区域图像、所述嘴巴区域图像以及所述下巴区域的特征，获得多个所述部位图像的特征。8.一种基于多特征融合的表情识别装置，其特征在于，包括：人脸和人脸关键点检测模块，用于对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；部位区域确定及标签赋予模块，用于基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；特征提取模块，用于利用改进的多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；特征融合模块，用于将多个所述部位图像的特征进行特征融合，获得总融合特征；特征分类模块，用于对所述总融合特征进行分类，得到表情分类结果。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述基于多特征融合的表情识别方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述基于多特征融合的表情识别方法。

技术总结
本发明公开了一种基于多特征融合的表情识别方法及装置，该方法包括：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予所述数据标签的多个所述部位图像进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对总融合特征进行分类，得到表情分类结果。本发明可以更精准的进行表情识别。可以更精准的进行表情识别。可以更精准的进行表情识别。


技术研发人员：陈超村 贾东风 程力行
受保护的技术使用者：奇酷软件（深圳）有限公司
技术研发日：2022.03.15
技术公布日：2022/6/21