视频恢复模型的训练方法、视频恢复方法、装置、电子设备、存储介质和计算机程序产品与流程

摘要: 本公开涉及视频处理,更具体地说,涉及视频恢复模型的训练方法、视频恢复方法、装置、电子设备、存储介质和计算机程序产品。背景技术:1、随着数字媒体技术的快速发展,视...
视频恢复模型的训练方法、视频恢复方法、装置、电子设备、存储介质和计算机程序产品与流程

本公开涉及视频处理,更具体地说,涉及视频恢复模型的训练方法、视频恢复方法、装置、电子设备、存储介质和计算机程序产品。

背景技术:

1、随着数字媒体技术的快速发展,视频内容已成为信息传播的核心载体,但其在采集、压缩、存储、传输等环节中极易因各种原因导致质量下降或数据丢失。例如,传输过程中的信道误差可能引发码流损坏,具体表现为块状伪影、颜色失真或帧间错位;存储介质的物理损伤或病毒攻击可能导致视频文件丢失;此外,用户在日常使用中误删视频或因系统故障导致数据丢失的情况也极为常见。这些需求共同推动了视频恢复技术的研发与发展,旨在通过算法与工具恢复视频的完整性与视觉质量。

2、相关技术中,视频恢复方法高度依赖大型模型提供的先验知识,导致模型参数量大、计算开销高、可部署性差,难以满足边缘设备对高效架构的需求,严重限制了视频恢复方法的实用性和适用范围。

技术实现思路

1、本公开提供视频恢复模型的训练方法、视频恢复方法、装置、电子设备、存储介质和计算机程序产品,以至少解决上述相关技术中,视频恢复方法高度依赖大型模型提供的先验知识,导致模型参数量大、计算开销高、可部署性差的问题。

2、根据本公开实施例的第一方面,提供一种视频恢复模型的训练方法,所述视频恢复模型包含退化分析网络和退化恢复网络,所述方法包括:获取第一训练样本,其中,所述第一训练样本包含第一退化视频和所述第一退化视频对应的第一原始视频;将所述第一训练样本输入预训练好的教师退化分析网络,获得第一视觉先验特征,其中,所述第一视觉先验特征为由所述教师退化分析网络预测的与所述第一原始视频对应的视觉特征;将所述第一退化视频输入所述退化分析网络,获得第一退化分析结果,其中,所述退化分析网络为与所述教师退化分析网络对应的学生退化分析网络,所述第一退化分析结果包括指示视频是否退化的第一分类结果、在所述第一分类结果指示视频退化时的第一视觉预测特征以及第一退化区域检测结果,所述第一视觉预测特征为由所述退化分析网络预测出的与所述第一原始视频对应的视觉特征;基于所述第一视觉先验特征以及所述第一退化分析结果,计算第一退化分析损失;基于所述第一退化分析损失,调整所述退化分析网络的参数,以对所述退化分析网络进行预训练,获得预训练好的退化分析网络;获取第二训练样本,其中,所述第二训练样本包含第二退化视频和所述第二退化视频对应的第二原始视频;利用所述第二训练样本对所述预训练好的退化分析网络和所述退化恢复网络进行联合训练,获得训练好的视频恢复模型。

3、可选地,所述第一退化视频具有第一真实分类标签以及在所述第一真实分类标签指示视频退化时的第一真实退化区域标签,所述基于所述第一视觉先验特征以及所述第一退化分析结果,计算第一退化分析损失,包括:基于所述第一分类结果和所述第一真实分类标签,计算第一分类损失;基于所述第一退化区域检测结果和所述第一真实退化区域标签,计算第一退化区域检测损失;基于所述第一视觉预测特征和所述第一视觉先验特征,计算知识蒸馏损失;基于所述第一分类损失、所述第一退化区域检测损失和所述知识蒸馏损失,计算所述第一退化分析损失。

4、可选地,所述第一分类损失为交叉熵损失,所述第一退化区域检测损失和所述知识蒸馏损失均为l2损失。

5、可选地,所述第二退化视频具有第二真实分类标签以及在所述第二真实分类标签指示视频退化时的第二真实退化区域标签,所述第二原始视频具有真实退化恢复标签;所述利用所述第二训练样本对所述预训练好的退化分析网络和所述退化恢复网络进行联合训练,获得训练好的视频恢复模型,包括:将所述第二退化视频输入所述预训练好的退化分析网络,获得第二退化分析结果,其中,所述第二退化分析结果包括指示视频是否退化的第二分类结果、在所述第二分类结果指示视频退化时的第二视觉预测特征以及第二退化区域检测结果,所述第二视觉预测特征为由所述预训练好的退化分析网络预测出的与所述第二原始视频对应的视觉特征;将所述第二退化区域检测结果、所述第二视觉预测特征和所述第二退化视频输入所述退化恢复网络,获得退化恢复结果;基于所述第二退化分析结果和所述退化恢复结果,计算联合训练损失;基于所述联合训练损失调整所述预训练好的退化分析网络和所述退化恢复网络的参数以进行联合训练,获得训练好的视频恢复模型。

6、可选地,所述基于所述第二退化分析结果和所述退化恢复结果,计算联合训练损失,包括:基于所述第二分类结果和所述第二真实分类标签,计算第二分类损失;基于所述第二退化区域检测结果和所述第二真实退化区域标签,计算第二退化区域检测损失;基于所述第二分类损失和所述第二退化区域检测损失,计算第二退化分析损失;基于所述退化恢复结果和所述真实退化恢复标签,计算退化恢复损失;对所述第二退化分析损失和所述退化恢复损失进行加权求和,获得所述联合训练损失。

7、可选地,所述第二退化分析损失的加权权重小于所述退化恢复损失的加权权重。

8、可选地,所述预训练好的教师退化分析网络通过以下方式训练获得:获取第三训练样本,其中,所述第三训练样本包含第三退化视频和所述第三退化视频对应的第三原始视频,所述第三退化视频具有第三真实分类标签以及在所述第三真实分类标签指示视频退化时的第三真实退化区域标签;将所述第三训练样本输入教师退化分析网络,获得第三退化分析结果,其中,所述第三退化分析结果包括指示视频是否退化的第三分类结果、在所述第三分类结果指示视频退化时的第三退化区域检测结果;基于所述第三分类结果和所述第三退化区域检测结果,计算教师训练损失;基于所述教师训练损失调整所述教师退化分析网络的参数以进行训练,获得所述预训练好的教师退化分析网络。

9、可选地,所述基于所述第三分类结果和所述第三退化区域检测结果,计算教师训练损失,包括:基于所述第三分类结果和所述第三真实分类标签,计算第三分类损失;基于所述第三退化区域检测结果和所述第三真实退化区域标签,计算第三退化区域检测损失;基于所述第三分类损失和所述第三退化区域检测损失,计算所述教师训练损失。

10、可选地,所述退化分析网络为可插拔的独立插件。

11、根据本公开实施例的第二方面,提供一种视频恢复方法,基于通过根据本公开的训练方法训练获得的视频恢复模型来执行,所述视频恢复方法包括:获取目标视频;将所述目标视频输入所述视频恢复模型中的退化分析网络,获得目标退化分析结果,其中,所述目标退化分析结果包括指示视频是否退化的目标分类结果、在所述目标分类结果指示视频退化时的目标视觉预测特征以及目标退化区域检测结果,所述目标视觉预测特征为由所述退化分析网络预测出的与所述目标视频对应的原始视频对应的视觉特征;在所述目标分类结果指示所述目标视频为退化的视频的情况下,将所述目标视频、所述目标退化区域检测结果和所述目标视觉预测特征输入所述视频恢复模型中的退化恢复网络,获得所述目标视频的退化恢复结果。

12、根据本公开实施例的第三方面,提供一种视频恢复模型的训练装置,所述视频恢复模型包含退化分析网络和退化恢复网络,所述装置包括:第一训练样本获取模块,被配置为获取第一训练样本,其中,所述第一训练样本包含第一退化视频和所述第一退化视频对应的第一原始视频;先验特征获取模块,被配置为将所述第一训练样本输入预训练好的教师退化分析网络,获得第一视觉先验特征,其中,所述第一视觉先验特征为由所述教师退化分析网络预测的与所述第一原始视频对应的视觉特征;退化分析结果获取模块,被配置为将所述第一退化视频输入所述退化分析网络,获得第一退化分析结果,其中,所述退化分析网络为与所述教师退化分析网络对应的学生退化分析网络,所述第一退化分析结果包括指示视频是否退化的第一分类结果、在所述第一分类结果指示视频退化时的第一视觉预测特征以及第一退化区域检测结果,所述第一视觉预测特征为由所述退化分析网络预测出的与所述第一原始视频对应的视觉特征;退化分析损失计算模块,被配置为基于所述第一视觉先验特征以及所述第一退化分析结果,计算第一退化分析损失;预训练模块,被配置为基于所述第一退化分析损失,调整所述退化分析网络的参数,以对所述退化分析网络进行预训练,获得预训练好的退化分析网络;第二训练样本获取模块,被配置为获取第二训练样本,其中,所述第二训练样本包含第二退化视频和所述第二退化视频对应的第二原始视频;联合训练模块,被配置为利用所述第二训练样本对所述预训练好的退化分析网络和所述退化恢复网络进行联合训练,获得训练好的视频恢复模型。

13、可选地,所述第一退化视频具有第一真实分类标签以及在所述第一真实分类标签指示视频退化时的第一真实退化区域标签;所述退化分析损失计算模块被配置为:基于所述第一分类结果和所述第一真实分类标签,计算第一分类损失;基于所述第一退化区域检测结果和所述第一真实退化区域标签,计算第一退化区域检测损失;基于所述第一视觉预测特征和所述第一视觉先验特征,计算知识蒸馏损失;基于所述第一分类损失、所述第一退化区域检测损失和所述知识蒸馏损失,计算所述第一退化分析损失。

14、可选地,所述第一分类损失为交叉熵损失,所述第一退化区域检测损失和所述知识蒸馏损失均为l2损失。

15、可选地,所述第二退化视频具有第二真实分类标签以及在所述第二真实分类标签指示视频退化时的第二真实退化区域标签,所述第二原始视频具有真实退化恢复标签;所述联合训练模块被配置为:将所述第二退化视频输入所述预训练好的退化分析网络,获得第二退化分析结果,其中,所述第二退化分析结果包括指示视频是否退化的第二分类结果、在所述第二分类结果指示视频退化时的第二视觉预测特征以及第二退化区域检测结果,所述第二视觉预测特征为由所述预训练好的退化分析网络预测出的与所述第二原始视频对应的视觉特征;将所述第二退化区域检测结果、所述第二视觉预测特征和所述第二退化视频输入所述退化恢复网络,获得退化恢复结果;基于所述第二退化分析结果和所述退化恢复结果,计算联合训练损失;基于所述联合训练损失调整所述预训练好的退化分析网络和所述退化恢复网络的参数以进行联合训练,获得训练好的视频恢复模型。

16、可选地,所述联合训练模块被配置为:基于所述第二分类结果和所述第二真实分类标签,计算第二分类损失;基于所述第二退化区域检测结果和所述第二真实退化区域标签,计算第二退化区域检测损失;基于所述第二分类损失和所述第二退化区域检测损失,计算第二退化分析损失;基于所述退化恢复结果和所述真实退化恢复标签,计算退化恢复损失;对所述第二退化分析损失和所述退化恢复损失进行加权求和,获得所述联合训练损失。

17、可选地,所述第二退化分析损失的加权权重小于所述退化恢复损失的加权权重。

18、可选地,所述预训练好的教师退化分析网络通过以下方式训练获得:获取第三训练样本,其中,所述第三训练样本包含第三退化视频和所述第三退化视频对应的第三原始视频,所述第三退化视频具有第三真实分类标签以及在所述第三真实分类标签指示视频退化时的第三真实退化区域标签;将所述第三训练样本输入教师退化分析网络,获得第三退化分析结果,其中,所述第三退化分析结果包括指示视频是否退化的第三分类结果、在所述第三分类结果指示视频退化时的第三退化区域检测结果;基于所述第三分类结果和所述第三退化区域检测结果,计算教师训练损失;基于所述教师训练损失调整所述教师退化分析网络的参数以进行训练,获得所述预训练好的教师退化分析网络。

19、可选地,所述基于所述第三分类结果和所述第三退化区域检测结果,计算教师训练损失,包括:基于所述第三分类结果和所述第三真实分类标签,计算第三分类损失;基于所述第三退化区域检测结果和所述第三真实退化区域标签,计算第三退化区域检测损失;基于所述第三分类损失和所述第三退化区域检测损失,计算所述教师训练损失。

20、可选地,所述退化分析网络为可插拔的独立插件。

21、根据本公开实施例的第四方面,提供一种视频恢复装置,基于通过根据本公开的训练方法训练获得的视频恢复模型来执行,所述视频恢复装置包括:视频获取模块,被配置为获取目标视频;退化分析模块,被配置为将所述目标视频输入所述视频恢复模型中的退化分析网络,获得目标退化分析结果,其中,所述目标退化分析结果包括指示视频是否退化的目标分类结果、在所述目标分类结果指示视频退化时的目标视觉预测特征以及目标退化区域检测结果,所述目标视觉预测特征为由所述退化分析网络预测出的与所述目标视频对应的原始视频对应的视觉特征;退化恢复模块,被配置为在所述目标分类结果指示所述目标视频为退化的视频的情况下,将所述目标视频、所述目标退化区域检测结果和所述目标视觉预测特征输入所述视频恢复模型中的退化恢复网络,获得所述目标视频的退化恢复结果。

22、根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现根据本公开的视频恢复模型的训练方法或者视频恢复方法。

23、根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行根据本公开的视频恢复模型的训练方法或者视频恢复方法。

24、根据本公开实施例的第七方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据本公开的视频恢复模型的训练方法或者视频恢复方法。

25、本公开的实施例提供的技术方案至少带来以下有益效果:

26、在本公开中,通过预训练一个可观察原始视频的教师退化分析网络,能够将原始视频知识隐式迁移至视频恢复模型(即学生模型),从而可以在不增加推理开销的前提下显著提升退化区域的定位精度。

27、另外,视频恢复模型所包含的退化分析网络预测出的原始视频的视觉预测特征能够为视频恢复模型所包含的退化恢复网络提供信息丰富的特征引导,进而可以降低视频恢复过程对大型模型先验知识的依赖,从而可以实现轻量化的模型架构。具体地说,视频恢复模型(即学生模型)训练完成后,可以仅保留学生模型的退化分析网络和退化恢复网络用于推理,而教师退化分析网络则可以不再参与推理过程,因此不增加额外推理开销。并且,轻量化的模型架构还可以提升视频恢复模型的可部署性,便于视频恢复模型在资源受限场景下的部署与应用。

28、根据本公开的示例性实施例,学生退化分析网络,即破损区域定位模块属于即插即用的部件,可作为独立插件灵活集成至任意非盲视频恢复方法中,即可以和相关技术中的大部分视频恢复模型无缝结合,使其具备盲视频恢复能力。该设计具有良好的通用性和扩展性,可广泛应用于相关技术中的各类视频恢复系统,而无需对原有恢复架构进行大规模修改。

29、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。