多媒体数据的处理方法、装置、设备、介质及产品与流程

摘要: 本申请实施例涉及机器学习领域,特别涉及一种多媒体数据的处理方法、装置、设备、介质及产品。背景技术:1、随着计算机技术的发展,越来越多的领域需要对当前已有的低分辨...
多媒体数据的处理方法、装置、设备、介质及产品与流程

本申请实施例涉及机器学习领域,特别涉及一种多媒体数据的处理方法、装置、设备、介质及产品。

背景技术:

1、随着计算机技术的发展,越来越多的领域需要对当前已有的低分辨率图像或者低分辨率视频进行分辨率提升,以得到高分辨率图像或者高分辨率视频,以提高数据分析精度。

2、相关技术中,从低分辨率图像/视频生成高分辨率图像/视频的技术主要依赖于超分辨率(super-resolution,sr)技术,如采用视频超分辨率(upscaling a video,upscale-a-video)技术将输入的低分辨率视频分解为单帧图像,然后对每一帧图像应用超分辨率网络(如sr卷积神经网络、增强sr生成对抗网络等)进行处理,从而生成更高分辨率的图像。

3、虽然视频超分辨率技术可以较好地将低分辨率视频转换为高分辨视频,但是由于高分辨率视频的生成是通过算法猜测高频细节的方式实现的,因此容易生成部分虚假的细节,使得高分辨率视频的生成准确性较低。

技术实现思路

1、本申请实施例提供了一种多媒体数据的处理方法、装置、设备、介质及产品,能够通过通道维度的特征拼接处理实现多尺度信息融合,实现对相同多媒体数据在不同维度信息的综合考量,提高第一扩散模型的训练效率和训练鲁棒性。所述技术方案如下。

2、一方面,提供了一种多媒体数据的处理方法,所述方法包括:

3、获取第一多媒体数据和第二多媒体数据,所述第一多媒体数据的第一分辨率高于所述第二多媒体数据的第二分辨率,所述第一多媒体数据和所述第二多媒体数据是分辨率不同的相同多媒体数据;

4、对所述第一多媒体数据执行加噪处理得到第一加噪数据,以及,对所述第二多媒体数据执行所述加噪处理得到第二加噪数据;

5、通过第一扩散模型在通道维度拼接所述第一加噪数据的第一加噪特征表示和所述第二加噪数据的第二加噪特征表示,得到拼接特征表示;

6、基于所述拼接特征表示执行去噪处理时预测的去噪噪声与所述加噪处理中的加噪噪声之间的差异训练所述第一扩散模型,得到第二扩散模型,所述第二扩散模型用于调整多媒体数据的分辨率。

7、另一方面,提供了一种多媒体数据的处理装置,所述装置包括:

8、获取模块,用于获取第一多媒体数据和第二多媒体数据,所述第一多媒体数据的第一分辨率高于所述第二多媒体数据的第二分辨率,所述第一多媒体数据和所述第二多媒体数据是分辨率不同的相同多媒体数据;

9、加噪模块,用于对所述第一多媒体数据执行加噪处理得到第一加噪数据,以及,对所述第二多媒体数据执行所述加噪处理得到第二加噪数据;

10、拼接模块,用于通过第一扩散模型在通道维度拼接所述第一加噪数据的第一加噪特征表示和所述第二加噪数据的第二加噪特征表示,得到拼接特征表示;

11、训练模块,用于基于所述拼接特征表示执行去噪处理时预测的去噪噪声与所述加噪处理中的加噪噪声之间的差异训练所述第一扩散模型,得到第二扩散模型,所述第二扩散模型用于调整多媒体数据的分辨率。

12、另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的多媒体数据的处理方法。

13、另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的多媒体数据的处理方法。

14、另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的多媒体数据的处理方法。

15、本申请实施例提供的技术方案带来的有益效果至少包括:

16、对分辨率较高的第一多媒体数据以及分辨率较低的第二多媒体数据分别执行加噪处理后,通过第一扩散模型在通道维度拼接第一多媒体数据的第一加噪特征表示和第二多媒体数据的第二加噪特征表示得到拼接特征表示,从而基于拼接特征表示执行去噪处理时预测的去噪噪声与加噪处理中的加噪噪声之间的差异训练第一扩散模型。在通道维度对第一加噪特征表示和第二加噪特征表示执行拼接处理,可以实现多尺度信息融合,在保留低分辨率的第二多媒体数据保留的全局结构和语义信息的基础上,通过高分辨率图像捕捉更丰富的细节和局部纹理信息,实现对相同多媒体数据的不同维度信息的综合考量,也有助于以低分辨率的多媒体数据的分辨率先验知识引导高分辨率的多媒体数据的生成过程,降低生成任务的复杂性,提高第一扩散模型的训练效率和训练鲁棒性,也有助于训练后的第二扩散模型可以在得到低分辨率数据乃至噪声数据的情况下依然可以实现高分辨率数据的生成目的,扩展第二扩散模型的使用场景。

1.一种多媒体数据的处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述拼接特征表示执行去噪处理时预测的去噪噪声与所述加噪处理中的加噪噪声之间的差异训练所述第一扩散模型,得到第二扩散模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述通过所述第一扩散模型对所述拼接特征表示执行自注意力分析,得到所述去噪处理时预测的所述去噪噪声,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述去噪速度预测所述拼接特征表示对应的所述去噪噪声,包括:

5.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述去噪特征表示与所述第一多媒体数据对应的第一数据特征表示之间的差异训练所述第一扩散模型,得到所述第二扩散模型,包括:

7.根据权利要求1至4任一所述的方法,其特征在于,所述得到第二扩散模型之后,还包括:

8.根据权利要求1至4任一所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述以所述骨骼图为数据引导信息生成所述第三多媒体数据对应的多媒体生成数据,包括:

10.根据权利要求8所述的方法,其特征在于,所述以所述骨骼图为数据引导信息生成所述第三多媒体数据对应的多媒体生成数据,包括:

11.一种多媒体数据的处理装置,其特征在于,所述装置包括:

12.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至10任一所述的多媒体数据的处理方法。

13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一段程序,所述至少一段程序由处理器加载并执行以实现如权利要求1至10任一所述的多媒体数据的处理方法。

14.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至10任一所述的多媒体数据的处理方法。