一种图像处理方法及装置与流程

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取当前帧和n个历史动作帧，其中，所述当前帧和所述n个历史动作帧均包括目标主体，所述当前帧和所述n个历史动作帧的场景存在交叠，所述目标主体在所述n个历史动作帧中场景的位置不同，n为大于或者等于1的正整数；对所述n个历史动作帧进行图像分割，得到所述n个历史动作帧分别对应的n个目标主体的图像；根据所述n个目标主体分别在所述n个历史动作帧的场景中位置以及所述当前帧的场景，在所述当前帧中确定出n个参考位置；将所述n个目标主体的图像分别融合在所述当前帧的n个参考位置上，得到目标帧。2.根据权利要求1所述的方法，其特征在于，所述获取当前帧和n个历史动作帧之前，所述方法还包括：接收用户的第一选择指令，所述第一选择指令用于指示进入自动拍摄模式或者手动拍摄模式。3.根据权利要求2所述的方法，其特征在于，若所述第一选择指令用于指示进入所述自动拍摄模式，则获取所述历史动作帧，具体包括：对实时视频流进行运动检测确定所述目标主体；检测所述目标主体在所述实时视频流包括的每个视频帧中场景的位置；确定所述目标主体在所述实时视频流包括的视频帧中场景的位置变化满足预设阈值的视频帧为所述历史动作帧。4.根据权利要求2所述的方法，其特征在于，若所述第一选择指令用于指示进入所述手动拍摄模式，则获取所述历史动作帧，具体包括：接收用户对实时视频流包括的视频帧的第二选择指令；确定所述第二选择指令在所述视频帧中对应位置的主体为所述目标主体，并确定所述视频帧为所述历史动作帧。5.根据权利要求1-4任一项所述的方法，其特征在于，对所述历史动作帧进行图像分割，得到所述历史动作帧对应的目标主体的图像，具体包括：根据运动检测技术缩小所述历史动作帧中对应目标主体的图像区域，得到所述历史动作帧中的目标图像区域；通过深度学习算法对所述目标图像区域的图像进行处理，得到所述历史动作帧对应的目标主体的掩码图像。6.根据权利要求5所述的方法，其特征在于，若所述掩码图像中存在多个主体重叠的掩码图像，则所述方法还包括：根据所述历史动作帧中所述多个主体的深度信息，从所述多个主体重叠的掩码图像中分离得到所述目标主体的掩码图像。7.根据权利要求1-6任一项所述的方法，其特征在于，根据所述目标主体在所述历史动作帧的场景中位置以及所述当前帧的场景，在所述当前帧中确定出参考位置，具体包括：根据图像配准技术或者同步定位与建图slam技术，得到至少一个物体在所述历史动作帧中的位置与在所述当前帧中位置的对应关系；根据所述对应关系以及所述目标主体在所述历史动作帧中的位置，在所述当前帧中确
定出所述目标主体的参考位置。8.根据权利要求1-7任一项所述的方法，其特征在于，所述将所述n个目标主体的图像分别融合在所述当前帧的n个参考位置上，具体包括：在所述当前帧的n个参考位置上，分别将所述n个目标主体的图像与所述当前帧中图像的像素信息进行加权融合处理。9.根据权利要求1-8任一项所述的方法，其特征在于，所述将所述n个目标主体的图像分别融合在所述当前帧的n个参考位置上之后，所述方法还包括：对所述当前帧中的目标主体的图像添加至少一个灰度图像得到所述目标帧，其中，若所述灰度图像与所述当前帧中的目标主体的图像之间的距离越近，则所述灰度图像的灰度值越大。10.一种图像处理装置，其特征在于，所述装置包括：获取模块，用于获取当前帧和n个历史动作帧，其中，所述当前帧和所述n个历史动作帧均包括目标主体，所述当前帧和所述n个历史动作帧的场景存在交叠，所述目标主体在所述n个历史动作帧中场景的位置不同，n为大于或者等于1的正整数；图像分割模块，用于对所述n个历史动作帧进行图像分割，得到所述n个历史动作帧分别对应的n个目标主体的图像；映射模块，用于根据所述n个目标主体分别在所述n个历史动作帧的场景中位置以及所述当前帧的场景，在所述当前帧中确定出n个参考位置；图像融合模块，用于将所述n个目标主体的图像分别融合在所述当前帧的n个参考位置上，得到目标帧。11.根据权利要求10所述的装置，其特征在于，所述装置还包括：接收模块，用于接收用户的第一选择指令，所述第一选择指令用于指示进入自动拍摄模式或者手动拍摄模式。12.根据权利要求11所述的装置，其特征在于，若所述第一选择指令用于指示进入所述自动拍摄模式，则所述获取模块具体用于：对实时视频流进行运动检测确定所述目标主体；检测所述目标主体在所述实时视频流包括的每个视频帧中场景的位置；确定所述目标主体在所述实时视频流包括的视频帧中场景的位置变化满足预设阈值的视频帧为所述历史动作帧。13.根据权利要求11所述的装置，其特征在于，若所述第一选择指令用于指示进入所述手动拍摄模式，则所述接收模块还用于接收用户对实时视频流包括的视频帧的第二选择指令；所述获取模块具体还用于：确定所述第二选择指令在所述视频帧中对应位置的主体为所述目标主体，并确定所述视频帧为所述历史动作帧。14.根据权利要求10-13任一项所述的装置，其特征在于，所述图像分割模块具体用于：根据运动检测技术缩小所述历史动作帧中对应目标主体的图像区域，得到所述历史动作帧中的目标图像区域；通过深度学习算法对所述目标图像区域的图像进行处理，得到所述历史动作帧对应的目标主体的掩码图像。
15.根据权利要求14所述的装置，其特征在于，若所述掩码图像中存在多个主体重叠的掩码图像，则所述图像分割模块具体还用于：根据所述历史动作帧中所述多个主体的深度信息，从所述多个主体重叠的掩码图像中分离得到所述目标主体的掩码图像。16.根据权利要求10-15任一项所述的装置，其特征在于，所述映射模块具体用于：根据图像配准技术或者同步定位与建图slam技术，得到至少一个物体在所述历史动作帧中的位置与在所述当前帧中位置的对应关系；根据所述对应关系以及所述目标主体在所述历史动作帧中的位置，在所述当前帧中确定出所述目标主体的参考位置。17.根据权利要求10-16任一项所述的装置，其特征在于，所述图像融合模块具体用于：在所述当前帧的n个参考位置上，分别将所述n个目标主体的图像与所述当前帧中图像的像素信息进行加权融合处理。18.根据权利要求10-17任一项所述的装置，其特征在于，所述图像融合模块具体还用于：对所述当前帧中的目标主体的图像添加至少一个灰度图像得到所述目标帧，其中，若所述灰度图像与所述当前帧中的目标主体的图像之间的距离越近，则所述灰度图像的灰度值越大。19.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至9中任一项所述的图像处理方法。20.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至9中任一项所述的图像处理方法。21.一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至9中任一项所述的图像处理方法。

技术总结
本申请提供一种图像处理方法及装置，涉及多媒体处理技术领域，用于解决现有技术中不能实时生成目标拍摄对象的运动轨迹特效视频的问题。该方法包括：获取当前帧和N个历史动作帧，其中，当前帧和N个历史动作帧均包括目标主体，且当前帧和N个历史动作帧的场景存在交叠，所述目标主体在N个历史动作帧中场景的位置不同；对N个历史动作帧进行图像分割，得到N个历史动作帧分别对应的N个目标主体的图像；根据N个目标主体分别在N个历史动作帧的场景中位置以及当前帧的场景，在当前帧中确定出N个参考位置；将N个目标主体的图像分别融合在当前帧的N个参考位置上，得到目标帧。得到目标帧。得到目标帧。


技术研发人员：彭焕文 宋楠 李宏俏 刘苑文 曾毅华
受保护的技术使用者：华为技术有限公司
技术研发日：2020.05.29
技术公布日：2021/12/16