图像质量评价方法、模型训练方法、装置、设备和芯片与流程

摘要: 本公开涉及图像处理、人工智能,尤其涉及一种图像质量评价方法、模型训练方法、装置、电子设备、芯片和存储介质。背景技术:1、目前,游戏、动画等应用场景中,大多需要对...
图像质量评价方法、模型训练方法、装置、设备和芯片与流程

本公开涉及图像处理、人工智能,尤其涉及一种图像质量评价方法、模型训练方法、装置、电子设备、芯片和存储介质。

背景技术:

1、目前,游戏、动画等应用场景中,大多需要对图像进行质量评价,比如检测图像是否出现画面模糊、画面遮挡等质量问题。然而,相关技术中,图像质量评价的准确性较低。

技术实现思路

1、本公开提供一种图像质量评价方法、模型训练方法、装置、电子设备、芯片和存储介质,以至少解决相关技术中图像质量评价的准确性较低的问题。本公开的技术方案如下:

2、根据本公开实施例的第一方面,提供一种图像质量评价方法,包括:响应于获取目标图像,以及生成所述目标图像所需的第一渲染信息;基于所述目标图像和所述第一渲染信息,对所述目标图像进行质量评价,以确定所述目标图像的第一质量评价结果。

3、根据本公开实施例的第二方面,提供一种模型训练方法,包括:响应于获取目标图像,以及生成所述目标图像所需的第一渲染信息;通过质量评价模型基于所述目标图像和所述第一渲染信息,对所述目标图像进行质量评价,以得到所述目标图像的第一质量评价结果;获取目标用户针对所述目标图像的第二质量评价结果;基于所述第一质量评价结果和所述第二质量评价结果,对所述质量评价模型进行更新。

4、根据本公开实施例的第三方面,提供一种图像质量评价装置,包括:处理模块,被配置为响应于获取目标图像,以及生成所述目标图像所需的第一渲染信息;评价模块,被配置为基于所述目标图像和所述第一渲染信息,对所述目标图像进行质量评价,以确定所述目标图像的第一质量评价结果。

5、根据本公开实施例的第四方面,提供一种模型训练装置,包括:处理模块,被配置为响应于获取目标图像,以及生成所述目标图像所需的第一渲染信息;评价模块,被配置为通过质量评价模型基于所述目标图像和所述第一渲染信息,对所述目标图像进行质量评价,以得到所述目标图像的第一质量评价结果;获取模块,被配置为获取目标用户针对所述目标图像的第二质量评价结果;更新模块,被配置为基于所述第一质量评价结果和所述第二质量评价结果,对所述质量评价模型进行更新。

6、根据本公开实施例的第五方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本公开实施例第一方面所述图像质量评价方法的步骤,和/或,实现本公开实施例第二方面所述模型训练方法的步骤。

7、根据本公开实施例的第六方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开实施例第一方面所述图像质量评价方法的步骤,和/或,实现本公开实施例第二方面所述模型训练方法的步骤。

8、根据本公开实施例的第七方面,提供一种芯片,该芯片包括相互耦合的接口电路和处理电路,所述接口电路用于输入或输出信号,所述处理电路被配置为实现本公开实施例第一方面所述图像质量评价方法的步骤,和/或,实现本公开实施例第二方面所述模型训练方法的步骤。

9、根据本公开实施例的第八方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现本公开实施例第一方面所述图像质量评价方法的步骤,和/或,实现本公开实施例第二方面所述模型训练方法的步骤。

10、本公开的实施例提供的技术方案至少带来以下有益效果:响应于获取目标图像,以及生成目标图像所需的第一渲染信息,基于目标图像和第一渲染信息,对目标图像进行质量评价,以确定目标图像的第一质量评价结果。由此,第一渲染信息可以更全面地描述目标图像所包含的信息,比如几何信息和材质信息,综合考虑到目标图像和第一渲染信息,对目标图像进行质量评价,即可以考虑到目标图像所包含的更全面的信息进行质量评价,有助于提高图像质量评价的准确性。

11、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

1.一种图像质量评价方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述获取目标用户针对所述目标图像的第二质量评价结果,包括下列操作中的至少一项:

4.根据权利要求2所述的方法,其特征在于,所述目标用户包括所述质量评价模型部署的目标终端设备对应的用户;

5.根据权利要求2所述的方法,其特征在于,所述质量评价模型包括特征提取网络和评价网络,所述基于所述目标图像和所述第一渲染信息,对所述目标图像进行质量评价,以确定所述目标图像的第一质量评价结果,包括:

6.根据权利要求1所述的方法,其特征在于,所述获取目标图像,包括:

7.根据权利要求6所述的方法,其特征在于,所述输入数据还包括所述目标视频中在所述目标图像之前渲染的各历史帧图像,以及生成各所述历史帧图像所需的第二渲染信息;

8.根据权利要求7所述的方法,其特征在于,所述对所述目标图像和所述第一渲染信息进行特征提取,以得到所述目标图像的初始特征,包括:

9.根据权利要求7所述的方法,其特征在于,所述基于所述目标图像的初始特征和所述时序特征,对所述目标图像进行质量评价,以确定所述第一质量评价结果,包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.根据权利要求1-10中任一项所述的方法,其特征在于,所述方法还包括下列操作中的至少一项:

12.根据权利要求11所述的方法,其特征在于,所述基于所述目标图像的质量评价结果,对所述目标图像关联的处理策略进行优化,包括:

13.根据权利要求1-10中任一项所述的方法,其特征在于,任一类所述渲染信息包括法线、深度、反照率中的至少一项。

14.根据权利要求1-10中任一项所述的方法,其特征在于,所述目标图像包括下列图像中的至少一项:

15.一种模型训练方法,其特征在于,包括:

16.根据权利要求15所述的方法,其特征在于,所述质量评价模型包括特征提取网络和评价网络,所述特征提取网络用于对所述目标图像和所述第一目标信息进行特征提取,所述评价网络用于基于所述特征提取网络提取到的特征,对所述目标图像进行质量评价;

17.根据权利要求15所述的方法,其特征在于,所述目标用户包括所述质量评价模型部署的目标终端设备对应的用户;

18.根据权利要求17所述的方法,其特征在于,所述对所述质量评价模型进行更新之前,还包括:

19.根据权利要求15-18中任一项所述的方法,其特征在于,所述通过质量评价模型基于所述目标图像和所述第一目标信息,对所述目标图像进行质量评价之前,还包括:

20.一种图像质量评价装置,其特征在于,包括:

21.根据权利要求20所述的装置,其特征在于,所述评价模块,还被配置为:

22.根据权利要求21所述的装置,其特征在于,所述评价模块,还被配置为执行下列操作中的至少一项:

23.一种模型训练装置,其特征在于,包括:

24.根据权利要求23所述的装置,其特征在于,所述质量评价模型包括特征提取网络和评价网络,所述特征提取网络用于对所述目标图像和所述第一目标信息进行特征提取,所述评价网络用于基于所述特征提取网络提取到的特征,对所述目标图像进行质量评价;

25.根据权利要求23所述的装置,其特征在于,所述目标用户包括所述质量评价模型部署的目标终端设备对应的用户;

26.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现权利要求1-19中任一项所述方法的步骤。

27.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1-19中任一项所述方法的步骤。

28.一种芯片,其特征在于,所述芯片包括相互耦合的接口电路和处理电路,所述接口电路用于输入或输出信号,所述处理电路被配置为实现权利要求1-19中任一项所述方法的步骤。

29.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时,实现权利要求1-19中任一项所述方法的步骤。