表情特征参数处理方法、装置及电子设备与流程

技术特征：
1.一种表情特征参数处理方法，其特征在于，所述方法包括：获取待识别视频中的第一图像帧，通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果；获取所述第一图像帧之前的多个第二图像帧的历史单帧识别结果；所述历史单帧识别结果包括对所述第二图像帧进行表情特征参数识别获得的表情特征参数；将所述目标单帧识别结果及多个所述历史单帧识别结果输入的偏移量预测模型，获得与所述第一图像帧对应的识别偏移量；所述识别偏移量表征通过多个所述历史单帧识别结果的变化趋势预测出的表情特征参数与所述目标单帧识别结果之间的差异；根据所述识别偏移量对所述目标单帧识别结果进行调整，获得调整后的表情特征参数。2.根据权利要求1所述的方法，其特征在于，所述单帧识别模型包括至少一个卷积单元及全连接单元；所述通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果的步骤，包括：通过所述至少一个卷积单元对所述第一图像帧进行处理，获得中间处理结果；通过所述全连接单元对所述中间处理结果进行处理，获得所述目标单帧识别结果，所述目标单帧识别结果包括多个表征不同面部器官的状态的数据。3.根据权利要求1所述的方法，其特征在于，将所述目标单帧识别结果及多个所述历史单帧识别结果输入偏移量预测模型，获得与所述第一图像帧对应的识别偏移量的步骤，包括：基于所述偏移量预测模型中预先训练获得的第一模型参数、第二模型参数和第三模型参数，通过注意力机制根据所述目标单帧识别结果及多个所述历史单帧识别结果计算获得所述识别偏移量；其中，所述第一模型参数和所述第二模型参数用于计算所述目标单帧识别结果和多个所述历史单帧识别结果之间的关联度，所述第三模型参数用于计算多个所述历史单帧识别结果的变化趋势。4.根据权利要求1所述的方法，其特征在于，基于所述偏移量预测模型中预先训练获得的第一模型参数、第二模型参数和第三模型参数，通过注意力机制根据所述目标单帧识别结果及多个所述历史单帧识别结果计算获得所述识别偏移量的步骤，包括：根据所述目标单帧识别结果及所述偏移量预测模型的第一模型参数确定注意力函数的第一计算向量；根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第二模型参数确定注意力函数的第二计算向量；根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第三模型参数确定注意力函数的第三计算向量；所述编码常量矩阵用于指示多个所述历史单帧识别结果的顺序；通过自注意力函数根据所述第一计算向量、第二计算向量及第三计算向量，计算获得所述识别偏移量。5.根据权利要求4所述的方法，其特征在于，所述根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第二模型参数确定注意力函数的第二计算向
量的步骤，包括：将由多个所述历史单帧识别结果组成的历史识别结果矩阵与所述编码常量矩阵相加，获得识别结果调整矩阵，并将所述识别结果调整矩阵与所述第二模型参数相乘，获得所述第二计算向量；所述根据多个所述历史单帧识别结果、预设的编码常量矩阵及所述偏移量预测模型的第三模型参数确定注意力函数的第三计算向量的步骤，包括：由将多个所述历史单帧识别结果组成的历史识别结果矩阵与所述编码常量矩阵相加，获得识别结果调整矩阵，并将所述识别结果调整矩阵与所述第三模型参数相乘，获得所述第三计算向量；其中，所述编码常量矩阵中，时序上靠近所述第一图像帧的第二图像帧对应的数据项的值大于时序上远离所述第一图像帧的第二图像帧对应的数据项的值。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述调整后的表情特征参数进行面部重建。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练视频数据中的第三图像帧，及与所述第三图像帧对应的表情特征参数标签；将所述第三图像帧输入待训练的单帧识别模型，获得所述单帧识别模型输出的表情特征参数预测结果；根据所述表情特征参数预测结果及所述表情特征参数标签对所述单帧识别模型的模型参数进行调整。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：获取在所述训练视频数据中，位于所述第三图像帧之前的多个第四图像帧的历史单帧识别结果；将多个所述第四图像帧的历史单帧识别结果输入待训练的偏移量预测模型，获得所述偏移量预测模型输出的预测偏移量；根据所述第三图像帧的表情特征参数标签及表情特征参数预测结果计算获得实际偏移量；根据所述实际偏移量及所述预测偏移量对所述偏移量预测模型的模型参数进行调整。9.一种表情特征参数处理装置，其特征在于，所述表情特征参数处理装置包括：数据获取模块，用于获取待识别视频中的第一图像帧，及所述第一图像帧之前的多个第二图像帧的历史单帧识别结果；所述历史单帧识别结果包括对所述第二图像帧进行表情特征参数识别获得的表情特征参数；单帧识别模块，用于通过单帧识别模型对所述第一图像帧进行表情特征参数识别，获得目标单帧识别结果；偏移确定模块，用于将所述目标单帧识别结果及多个所述历史单帧识别结果输入基于自注意力机制的偏移量预测模型，获得与所述第一图像帧对应的识别偏移量；结果调整模块，用于根据所述识别偏移量对所述目标单帧识别结果进行调整，获得调整后的表情特征参数。10.一种电子设备，其特征在于，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现权利要求
1
‑
8任意一项所述的方法。11.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现权利要求1
‑
8任意一项所述的方法。

技术总结
本申请提供一种表情特征参数处理方法、装置及电子设备，所述方法包括：获取待识别视频中的第一图像帧的目标单帧识别结果及多个第二图像帧的历史单帧识别结果，再通过偏移量预测模型，根据目标单帧识别结果及历史单帧识别结果获得与所述第一图像帧对应的识别偏移量，然后根据所述识别偏移量对所述目标单帧识别结果进行调整，获得调整后的表情特征参数。如此，可以根据历史单帧识别结果纠正当前的目标单帧识别结果，抵消目标单帧识别结果中可能存在的数据突变错误，使调整后的表情特征参数更符合历史单帧识别结果的变化趋势，并且计算量相对较小，处理效率更高。处理效率更高。处理效率更高。


技术研发人员：林哲 董浩业
受保护的技术使用者：广州虎牙科技有限公司
技术研发日：2021.09.08
技术公布日：2021/11/30