图像处理方法及装置与流程

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取目标图像以及确定动作参考视频，所述动作参考视频包括多帧参考图像，所述多帧参考图像中每帧参考图像包括参考图像对象；当检测到所述目标图像中包括目标图像对象，且确定所述目标图像对象的姿势满足预设条件时，获取所述目标图像对象对应的第一3d模型图；获取所述动作参考视频的目标参考图像中参考图像对象对应的第二3d模型图，所述目标参考图像为所述多帧参考图像中的一帧参考图像；根据所述目标图像对象、所述第一3d模型图、所述第二3d模型图，生成所述目标图像对象模拟所述目标参考图像中参考图像对象动作的合成图像；对多张所述合成图像进行视频合成处理，以得到目标动作视频。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述目标图像进行姿态识别处理，得到所述目标图像中包括的多个人体关键点的关键点信息，其中，关键点信息中包括人体关键点的位置坐标信息和置信度信息；根据所述多个人体关键点信息确定所述目标图像中是否包括目标图像对象，以及根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个人体关键点信息确定所述目标图像中是否包括目标图像对象，包括：确定所述多个人体关键点信息中置信度信息大于或者等于第一预设阈值的人体关键点数量；若所述人体关键点数量大于或者等于第二预设阈值，则确定所述目标图像中包括目标图像对象。4.根据权利要求2或3所述的方法，其特征在于，位置坐标信息包括横坐标值和纵坐标值；所述多个人体关键点包括左肩、左手、右肩和右手；所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，包括：若所述左手的横坐标值小于所述左肩的横坐标值，所述右手的横坐标值大于所述右肩的横坐标值，且所述左手的横坐标值与所述右手的横坐标值的差值绝对值大于第三预设阈值，则确定所述目标图像对象的姿势满足预设条件；其中，所述第三预设阈值由所述左肩的横坐标值与所述右肩的横坐标值的差值绝对值确定。5.根据权利要求2或3所述的方法，其特征在于，位置坐标信息包括横坐标值和纵坐标值；所述多个人体关键点包括左脚和右脚；所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，包括：若所述左脚的横坐标值小于所述右脚的横坐标值，则确定所述目标图像对象的姿势满足预设条件。6.根据权利要求2或3所述的方法，其特征在于，位置坐标信息包括横坐标值和纵坐标值；所述多个人体关键点包括左眼和右眼；所述根据所述多个人体关键点信息确定所述目标图像对象的姿势是否满足预设条件，
包括：根据所述左眼的位置坐标信息和所述右眼的位置坐标信息确定所述左眼与所述右眼之间的连线与水平方向的夹角；若所述夹角小于第四预设阈值，则确定所述目标图像对象的姿势满足预设条件。7.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述根据所述目标图像对象、所述第一3d模型图、所述第二3d模型图，生成所述目标图像对象模拟所述目标参考图像中参考图像对象动作的合成图像，包括：根据所述第一3d模型图和所述第二3d模型图确定转换矩阵；通过人物还原对抗神经网络对所述目标图像对象和所述第一3d模型图进行特征提取处理，并获取所述人物还原对抗神经网络包括的n层第一采样卷积网络中每层第一采样卷积网络输出的第一图像特征参数，n为大于1的整数；通过图片合成对抗神经网络对所述转换矩阵、所述第二3d模型图、所述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到所述合成图像。8.根据权利要求7所述的方法，其特征在于，所述图片合成对抗神经网络包括n层第二采样卷积网络，所述n层第二采样卷积网络与所述n层第一采样卷积网络一一对应；所述通过图片合成对抗神经网络对所述转换矩阵、所述第二3d模型图、所述每层第一采样卷积网络输出的第一图像特征参数进行处理，得到所述合成图像，包括：将所述转换矩阵、所述第二3d模型图和所述n层第一采样卷积网络中第一层第一采样卷积网络输出的第一图像特征参数输入所述n层第二采样卷积网络中的第一层第二采样卷积网络，得到所述第一层第二采样卷积网络输出的第二图像特征参数；将第i层第二采样卷积网络输出的第二图像特征参数，以及第i 1层第一采样卷积网络输出的第一图像特征参数输入第i 1层第二采样卷积网络进行处理，得到所述第i 1层第二采样卷积网络输出的第二图像特征参数，直到获取到第n层第二采样卷积网络输出的第二图像特征参数作为所述合成图像，1≤i≤n
‑
1，i为整数。9.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述对多张所述合成图像进行视频合成处理，以得到目标动作视频，包括：获取所述动作参考视频的帧率和音频信息；获取背景图片，将所述多张合成图像与所述背景图片进行融合，以生成多张融合图像；根据所述帧率将所述多张融合图像合成为视频，并添加所述音频信息，以得到目标动作视频。10.一种终端设备，其特征在于，包括处理器、存储器和收发器，所述处理器、所述存储器和所述收发器相互连接；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器和所述收发器被配置用于调用所述程序指令，执行如权利要求1
‑
9任一项所述的方法。11.一种服务器，其特征在于，包括处理器、存储器和收发器，所述处理器、所述存储器和所述收发器相互连接；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器和所述收发器被配置用于调用所述程序指令，执行如权利要求1
‑
9任一项所述的方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程
序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1
‑
9任一项所述的方法。

技术总结
本申请实施例公开了一种图像处理方法及装置。该方法包括：获取目标图像以及确定动作参考视频。当检测到目标图像中包括目标图像对象，且确定目标图像对象的姿势满足预设条件时，获取目标图像对象对应的第一3D模型图。获取动作参考视频的目标参考图像中参考图像对象对应的第二3D模型图。根据目标图像对象、第一3D模型图、第二3D模型图，生成目标图像对象模拟目标参考图像中参考图像对象动作的合成图像，以便于得到目标动作视频，即对多张合成图像进行视频合成处理，以得到目标动作视频。目标参考图像为多帧参考图像中的一帧参考图像。采用本申请实施例，可提高图像处理效率，增强用户体验感，适用性高。适用性高。适用性高。


技术研发人员：杨跃 董治 雷兆恒
受保护的技术使用者：腾讯音乐娱乐科技（深圳）有限公司
技术研发日：2021.08.10
技术公布日：2021/10/19