图像处理方法、装置、设备、介质及程序产品与流程

本公开涉及数据处理，具体涉及一种图像处理方法、装置、设备、介质及程序产品。

背景技术：

1、随着智能终端设备的不断发展，对图像的自动化处理手段也在不断升级。其中，在图像的自动化处理过程中，对图像质量评价的准确程度和精细程度的高低，已成为提升单帧画质上限、降低人工审核成本的关键门槛。

技术实现思路

1、本公开提供了一种图像处理方法、装置、设备、介质及程序产品。

2、根据本公开实施例的第一方面，提供了一种图像处理方法，所述图像处理方法包括：

3、响应于接收到目标图像，基于预训练的多模态大模型对所述目标图像进行第一图像质量评价，确定第一评价结果，并基于预训练的图像质量评价模型对所述目标图像进行第二图像质量评价，确定第二评价结果；

4、根据所述第一评价结果与所述第二评价结果，输出所述目标图像的目标评价结果，所述目标评价结果包括所述目标图像的评分和画质描述。

5、本实施例中，保留多模态大模型对图像评价可解释性的同时，利用图像质量评价模型在整体感知上的优势，补偿多模态大模型在低级视觉质量，例如在整体视觉质量上的感知能力，实现对多模态大模型的闭环反馈，提升输出结果的准确性和可靠性。

6、本公开的一些实施例中，所述第一评价结果包括第一评分，所述第二评价结果包括第二评分，所述根据所述第一评价结果与所述第二评价结果，输出所述目标图像的目标评价结果，包括：

7、响应于所述第一评分与所述第二评分的差值大于第一阈值，基于所述预训练的多模态大模型和所述第二评价结果对所述目标图像重新进行第一图像质量评价，确定第三评价结果；

8、将所述第三评价结果确定为所述目标评价结果输出。

9、本实施例中，通过图像质量评价模型输出的第二评价结果对多模态大模型输出的第一评价结果进行快速筛选，从而校正针对轻微对比度过高、噪点、过曝等问题的错误第一评价结果，利用匹配的评价结果保证数据评价的准确性和较高的稳定性，且利用匹配的评价结果校正实现迭代优化与推理的过程不会影响到现有成像链路，有利于提升方法应用的灵活性和产品适配的广泛性。

10、本公开的一些实施例中，所述第一评价结果包括第一评分，所述第二评价结果包括第二评分，所述根据所述第一评价结果与所述第二评价结果，输出所述目标图像的目标评价结果，包括：

11、响应于所述第一评分与所述第二评分的差值小于或等于第一阈值，将所述第一评价结果确定为所述目标评价结果输出。

12、本实施例中，通过图像质量评价模型输出的第二评价结果对多模态大模型输出的第一评价结果进行快速筛选，以提升评价结果的准确性，且利用匹配的评价结果保证跨数据集评价的一致性和较高的稳定性。

13、本公开的一些实施例中，所述基于预训练的图像质量评价模型对所述目标图像进行第二图像质量评价，确定第二评价结果，包括：

14、基于所述预训练的图像质量评价模型中的视觉编码器从所述目标图像中提取视觉特征；

15、基于所述预训练的图像质量评价模型中的文本编码器从所述目标图像中提取质量描述文本特征；

16、确定所述视觉特征和所述质量描述文本特征的相似度；

17、基于所述相似度，确定所述第二评分。

18、本实施例中，利用图像质量评价模型对图像中不同区域的视觉特征和文本特征进行相似度计算，并基于相似度计算结果确定图像整体的第二评分，实现从特征相似度到可量化画质分值的转换，确保评分的准确性和可靠性。

19、本公开的一些实施例中，所述多模态大模型的训练方法，包括：

20、确定训练样本，所述训练样本包括携带有标签的图像，所述标签包括所述图像的评分和画质描述；

21、将所述训练样本输入至多模态神经网络模型进行训练，获得所述预训练的多模态大模型；

22、将所述训练样本输入至卷积神经网络模型进行训练，获得所述预训练的图像质量评价模型。

23、本实施例中，通过训练样本对模型进行预训练，从而提升模型使用时输出的准确性。

24、本公开的一些实施例中，所述确定训练样本，包括：

25、响应于所述训练样本的数量小于第二阈值，扩大所述训练样本的样本量；

26、对扩大后的所述训练样本进行数据退化。

27、本实施例中，在训练数据构造上采用由粗到细的两级范式，以保证既具备足够的样本规模，又能在像素级精确模拟真实业务场景中的细粒度画质缺陷。

28、本公开的一些实施例中，所述扩大所述训练样本的样本量，包括：

29、对初始的所述训练样本进行几何变换，得到扩大后的训练样本；其中，扩大后的所述训练样本与初始的所述训练样本具有相同的标签。

30、本实施例中，通过简单的几何变换方式就能将有限数量的训练样本得到更多数量的训练样本，提升样本量获取的简便性，有利于缓解数据稀缺问题。

31、本公开的一些实施例中，所述数据退化，包括以下至少一者：

32、全局亮度强度调整；

33、局部对比度调整；

34、局部曝光强度调整。

35、本实施例中，通过调整亮度、对比度以及曝光强度，确保在不破坏色彩本色的基础上，模拟拍摄成像的细微画质失真情景，从而提升细粒度的训练样本丰富度。

36、根据本公开实施例的第二方面，提供了一种图像处理装置，所述图像处理装置包括：

37、评价模块，用于响应于接收到目标图像，基于预训练的多模态大模型对所述目标图像进行第一图像质量评价，确定第一评价结果，并基于预训练的图像质量评价模型对所述目标图像进行第二图像质量评价，确定第二评价结果；

38、输出模块，用于根据所述第一评价结果与所述第二评价结果，输出所述目标图像的目标评价结果，所述目标评价结果包括所述目标图像的评分和画质描述。

39、根据本公开实施例的第三方面，提供了一种电子设备，所述电子设备包括：

40、处理器；

41、用于存储处理器可执行指令的存储器；

42、其中，所述处理器被配置为执行如第一方面所述的图像处理方法。

43、根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的图像处理方法。

44、根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。

45、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一评价结果包括第一评分，所述第二评价结果包括第二评分，所述根据所述第一评价结果与所述第二评价结果，输出所述目标图像的目标评价结果，包括：

3.根据权利要求1所述的图像处理方法，其特征在于，所述第一评价结果包括第一评分，所述第二评价结果包括第二评分，所述根据所述第一评价结果与所述第二评价结果，输出所述目标图像的目标评价结果，包括：

4.根据权利要求2或3所述的图像处理方法，其特征在于，所述基于预训练的图像质量评价模型对所述目标图像进行第二图像质量评价，确定第二评价结果，包括：

5.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述多模态大模型的训练方法，包括：

6.根据权利要求5所述的图像处理方法，其特征在于，所述确定训练样本，包括：

7.根据权利要求6所述的图像处理方法，其特征在于，所述扩大所述训练样本的样本量，包括：

8.根据权利要求6所述的图像处理方法，其特征在于，所述数据退化，包括以下至少一者：

9.一种图像处理装置，其特征在于，所述图像处理装置包括：

10.根据权利要求9所述的图像处理装置，其特征在于，所述第一评价结果包括第一评分，所述第二评价结果包括第二评分，所述输出模块还用于：

11.根据权利要求9所述的图像处理装置，其特征在于，所述第一评价结果包括第一评分，所述第二评价结果包括第二评分，所述输出模块还用于：

12.根据权利要求10或11所述的图像处理装置，其特征在于，所述评价模块还用于：

13.一种电子设备，其特征在于，所述电子设备包括：

14.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至8任一项所述的图像处理方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的图像处理方法。