视频的风格化处理方法、装置、设备和介质与流程
本公开的实施例涉及视频处理,尤其涉及视频的风格化处理方法、装置、设备和介质。
背景技术:
1、随着互联网技术以及数字媒体技术的不断发展,数字媒体在人们的工作和生活中应用越来越广泛,为人们的工作和生活提供了诸多便利。目前,涌现出了很多为用户提供视频服务的平台,不仅促进了视频在互联网中的传播,还为人们提供了更多对视频进行编辑处理的途径。为了使视频更有趣味性,人们希望对已有视频进行风格化处理,使已有视频具有用户指定的风格。目前,需要一种对已有视频进行风格化处理的方案。
技术实现思路
1、本公开的实施例描述了一种视频的风格化处理方法、装置、设备和介质。
2、根据第一方面,提供了一种视频的风格化处理方法,所述方法包括:获取待处理的原始视频以及用于指示预设风格的风格参考信息;基于所述原始视频,确定目标画面布局信息;基于所述原始视频和所述风格参考信息,获取具有预设风格的目标图像;基于所述目标画面布局信息以及所述目标图像,利用目标模型,生成目标视频;所述目标视频与所述原始视频内容相同,且具有所述预设风格。
3、根据第二方面,提供了一种视频的风格化处理装置,所述装置包括:第一获取单元,配置为获取待处理的原始视频以及用于指示预设风格的风格参考信息;确定单元,配置为基于所述原始视频,确定目标画面布局信息;第二获取单元,配置为基于所述原始视频和所述风格参考信息,获取具有预设风格的目标图像;处理单元,配置为基于所述目标画面布局信息以及所述目标图像,利用目标模型,生成目标视频;所述目标视频与所述原始视频内容相同,且具有所述预设风格。
4、根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当上述计算机程序在计算机中执行时,令上述计算机执行第一方面中任一项上述的方法。
5、根据第四方面,提供了一种电子设备,包括存储器和处理器,上述存储器中存储有可执行代码,上述处理器执行上述可执行代码时,实现第一方面中任一项上述的方法。
6、根据本公开实施例提供的视频的风格化处理方案,通过获取待处理的原始视频以及用于指示预设风格的风格参考信息,基于原始视频,确定目标画面布局信息,获取具有预设风格的目标图像,基于目标画面布局信息以及目标图像,利用目标模型,生成与原始视频内容相同、且具有预设风格的目标视频。从而实现了对已有视频进行风格化处理的目的,减小了经过风格化处理之后的视频与原视频的内容差异,避免破坏经过风格化处理之后的视频的连贯性,提高了对已有视频进行风格化处理的效果,提升了用户体验。
7、由于本实施例通过对原始视频进行深度信息的提取,得到深度序列图,并根据深度序列图确定目标画面布局信息,再基于目标画面布局信息生成目标视频,使得经过风格化处理后的目标视频的画面布局更接近原始视频的画面布局,减小了目标视频与原始视频的视频画面差异,进一步提高了对视频进行风格化处理的效果。
8、由于本实施例利用风格参考信息,先对原始视频的原始首帧图像进行风格化处理,得到目标图像,再进一步根据目标图像以及目标画面布局信息,生成目标视频,从而使得经过风格化处理后的目标视频具有更好的连贯性,进一步提高了对视频风格化处理的效果。
9、由于本实施例采用目标模型,根据目标图像和目标画面布局信息,对噪声图像序列进行多步去噪处理,得到目标视频。从而使得经过风格化处理后的目标视频具有更好的连风格化效果。
10、由于本实施例采用目标模型,参考目标画面布局信息和待处理图像序列之间的交叉注意力特征,以及参考包含风格信息的条件向量,对噪声图像进行去噪,从而能够使得经过风格化处理的视频与原视频差异更小,连贯性更好,有助于提高对视频风格化处理的效果。
11、由于本实施例采用重建样本视频的方式,训练目标模型,使得目标模型能够学习到原始视频的视频帧与其深度图之间的关系,从而能够进一步提高对视频风格化处理的效果。
1.一种视频的风格化处理方法,所述方法包括:
2.根据权利要求1所述的方法,其中,所述风格参考信息包括:风格参考图像和/或文本引导信息。
3.根据权利要求1所述的方法,其中,所述基于所述原始视频,确定目标画面布局信息,包括:
4.根据权利要求1所述的方法,其中,所述基于所述原始视频和所述风格参考信息,获取具有所述预设风格的目标图像,包括:
5.根据权利要求4所述的方法,其中,所述基于所述风格化处理的结果,确定所述目标图像,包括:
6.根据权利要求1所述的方法,其中,所述基于所述目标画面布局信息以及所述目标图像,利用目标模型,生成目标视频,包括:
7.根据权利要求6所述的方法,其中,所述多次去噪处理中的任一次去噪处理包括以下步骤:
8.根据权利要求1所述的方法,其中,所述目标模型通过如下方式训练:
9.一种视频的风格化处理装置,所述装置包括:
10.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行权利要求1-8中任一项所述的方法。
11.一种电子设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com