表情信息处理方法、表情识别方法、装置、设备及介质与流程

技术特征：
1.一种表情信息处理方法，其特征在于，所述方法包括：获取待识别脸部图像，所述待识别脸部图像包括：目标对象的脸部图像信息；基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域，确定各所述待识别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像的至少一个子表情，其中，所述至少一个子表情的组合用于表征所述目标对象的表情，各所述动作单元分别用于表征所述目标对象的一种子表情。2.根据权利要求1所述的表情信息处理方法，其特征在于，所述脸部表情识别网络包括：编码器、分别与所述编码器连接的掩码解码器和面部特征解码器以及识别网络，所述识别网络中包括：与各所述动作单元对应的识别模块；所述基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域，确定各所述待识别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像的至少一个子表情，包括：将所述待识别脸部图像输入所述编码器中，得到脸部特征向量，所述脸部特征向量用于描述所述目标对象的表情相关的特征信息；将所述脸部特征向量分别输入所述掩码解码器和所述面部特征解码器中，由所述掩码解码器和所述面部特征解码器基于所述预设的多个动作单元得到所述待识别脸部图像中与各所述动作单元对应的待识别区域；将各所述待识别区域分别输入所述识别网络中对应的识别模块，由所述识别模块确定所述待识别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像是否具有所述对应的动作单元所表征的子表情。3.根据权利要求2所述的表情信息处理方法，其特征在于，所述将所述脸部特征向量分别输入所述掩码解码器和所述面部特征解码器中，由所述掩码解码器和所述面部特征解码器基于所述预设的多个动作单元得到所述待识别脸部图像中与各所述动作单元对应的待识别区域，包括：将所述脸部特征向量输入至所述掩码解码器中，得到与各所述动作单元对应的多个脸部掩码矩阵，所述脸部掩码矩阵用于描述所述动作单元对应的目标对象的脸部位置；将所述脸部特征向量输入所述面部特征解码器中，得到与各所述动作单元对应的多个前景特征矩阵，所述前景特征矩阵用于描述所述动作单元对应的表情单元特征，以及所述表情单元特征与所述目标对象的脸部的关联关系；根据各所述脸部掩码矩阵以及对应的各前景特征矩阵，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域。4.根据权利要求3所述的表情信息处理方法，其特征在于，所述根据各所述脸部掩码矩阵以及对应的各前景特征矩阵，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域，包括：将与第一动作单元对应的第一脸部掩码矩阵与第一前景特征矩阵相乘，得到所述第一动作单元对应的待识别区域，其中，所述第一动作单元为所述多个动作单元中的任意一个动作单元，所述第一前景特征矩阵为所述多个前景特征矩阵中与所述第一动作单元对应的前景特征矩阵。
5.根据权利要求2所述的表情信息处理方法，其特征在于，所述将各所述待识别区域分别输入所述识别网络中对应的识别模块，由所述识别模块确定所述待识别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像是否具有所述对应的动作单元所表征的子表情，包括：将第二动作单元对应的待识别区域输入所述识别网络中与所述第二动作单元对应的第二识别模块，由所述第二识别模块分别提取所述待识别区域的特征信息以及所述第二动作单元所表征的子表情的特征信息，并对所述待识别区域的特征信息以及所述第二动作单元所表征的子表情的特征信息进行比对处理，得到所述匹配信息，所述第二动作单元为所述多个动作单元中的任意一个动作单元；若所述匹配信息为预设匹配值，则确定所述待识别脸部图像具有所述第二动作单元所表征的子表情。6.根据权利要求2-5任一项所述的表情信息处理方法，其特征在于，所述方法还包括：构建脸部表情识别初始网络，所述脸部表情识别初始网络包括：初始编码器、初始掩码解码器、初始面部特征解码器以及初始识别网络；获取脸部表情标记数据集，所述脸部表情标记数据集包括：多个标记脸部图像以及各标记脸部图像的标签信息，所述标签信息包括：多个动作单元的标识以及各动作单元在所述标记脸部图像中的位置信息；根据所述脸部表情标记数据集，对所述脸部表情识别初始网络进行训练，得到所述脸部表情识别网络。7.根据权利要求6所述的表情信息处理方法，其特征在于，所述根据所述脸部表情标记数据集，对所述脸部表情识别初始网络进行训练，得到所述脸部表情识别网络，包括：将各所述标记脸部图像输入至所述脸部表情识别初始网络中，基于所述脸部表情识别初始网络中的所述初始编码器、所述初始掩码解码器、所述初始面部特征解码器以及所述初始识别网络，得到多个训练匹配信息；根据所述训练匹配信息以及所述标记脸部图像的标签信息，对所述脸部表情识别初始网络中的所述初始编码器、所述初始掩码解码器、所述初始面部特征解码器以及所述初始识别网络进行修正，得到所述脸部表情识别网络。8.根据权利要求6所述的表情信息处理方法，其特征在于，所述方法还包括：构建预训练编码器；获取表情数据集，所述表情数据集包括：多帧表情不同的脸部图像；利用所述表情数据集，生成多个三元组，各所述三元组包括：三帧表情不同的脸部图像；根据所述三元组，对所述预训练编码器进行表情相似度训练，得到所述初始编码器。9.根据权利要求1所述的表情信息处理方法，其特征在于，所述获取待识别脸部图像，包括：获取输入脸部图像；对所述输入脸部图像进行脸部检测，确定所述输入脸部图像的目标脸部区域；根据所述目标脸部区域，对所述输入脸部图像进行脸部对齐以及裁剪处理，得到所述待识别脸部图像。
10.一种表情识别方法，其特征在于，包括：获取待识别脸部图像的至少一个子表情；根据所述至少一个子表情，确定所述待识别脸部图像的脸部表情。11.一种表情信息提取装置，其特征在于，包括：图像获取模块，用于获取待识别脸部图像，所述待识别脸部图像包括：目标对象的脸部图像信息；表情提取模块，用于基于预先训练得到的脸部表情识别网络以及预设的多个动作单元，确定所述待识别脸部图像中与各所述动作单元对应的待识别区域，确定各所述待识别区域与对应的动作单元的匹配信息，并根据所述匹配信息确定所述待识别脸部图像的至少一个子表情，其中，所述至少一个子表情的组合用于表征所述目标对象的表情，各所述动作单元分别用于表征所述目标对象的一种子表情。12.一种脸表情识别装置，其特征在于，包括：动作单元获取模块，用于获取待识别脸部图像的至少一个子表情；表情确定模块，用于根据所述至少一个子表情，确定所述待识别脸部图像的脸部表情。13.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至9中任一项所述一种表情信息处理方法或权利要求10所述的表情识别方法的步骤。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9中任一项所述一种表情信息处理方法或权利要求10所述的表情识别方法的步骤。

技术总结
本申请的实施例提供了一种表情信息处理方法、表情识别方法、装置、设备及介质，涉及图像处理技术领域。通过获取待识别脸部图像，待识别脸部图像包括：目标人脸的人脸图像信息；基于预先训练得到的人脸表情识别网络以及预设的多个动作单元，确定待识别脸部图像中与各动作单元对应的待识别区域，确定各待识别区域与对应的动作单元的匹配信息，并根据匹配信息确定待识别脸部图像的至少一个子表情，其中，至少一个子表情的组合用于表征目标人脸的表情，各动作单元分别用于表征目标人脸的一种子表情。能够利用人脸表情识别网络，自动获取待识别脸部图像中，与各动作单元对应的待识别区域，进一步基于此获取目标人脸的子表情，既避免了过多无关噪声的引入。免了过多无关噪声的引入。免了过多无关噪声的引入。


技术研发人员：安入东 曾豪 张唯 丁彧 范长杰 胡志鹏
受保护的技术使用者：网易(杭州)网络有限公司
技术研发日：2022.08.17
技术公布日：2022/11/11