一种视觉评分模型的训练方法、视觉评分方法和对应装置与流程

本发明涉及视觉分析领域，更具体地，涉及一种视觉评分模型的训练方法、视觉评分方法和对应装置。

背景技术：

1、随着人工智能和计算机视觉技术的快速发展，图像、视频等视觉内容在多个领域中展现出广泛应用前景，用户对视觉内容质量的要求也随之不断提高。在此背景下，如何客观、准确且快速地评估视觉内容的美学质量，成为支撑高质量视觉内容生成、筛选和推荐的关键。

2、现有视觉评分相关技术多依赖人工直接打分标注并构建训练数据，该方法受限于个人审美主观差异，打分标准难以统一，数据一致性和可靠性较差。此外，现有视觉美学评分模型普遍存在适配性不足、跨类型视觉内容评估偏差大等问题。

技术实现思路

1、有鉴于此，本发明实施例提供一种视觉评分模型的训练方法、视觉评分方法和对应装置，以通过均衡采样策略提升视觉评分模型在多类别场景下的泛化能力，并基于联合损失函数的设计使模型不仅能输出精准的绝对视觉分数，还具备强大的相对优劣判断力。

2、第一方面，提供了一种视觉评分模型的训练方法，所述方法包括：

3、获取多个视觉样本，所述视觉样本的数据类型至少包括图像；

4、为各所述视觉样本分配初始视觉评分，并在视觉对比开始之前，将各所述视觉样本的当前视觉评分初始化为对应的初始视觉评分；

5、基于预设类别均衡策略，从所述多个视觉样本中多次选取成对的视觉样本向用户展示，以获取对应的视觉对比结果，所述预设类别均衡策略用于确保不同内容类别的视觉样本在多轮视觉对比中被均衡采样；

6、在每轮视觉对比中，根据参与本轮视觉对比的两个视觉样本各自的当前视觉评分，分别确定各自对应的预期胜率，并根据本轮视觉对比结果与所述预期胜率之间的偏差，动态更新所述两个视觉样本的当前视觉评分；

7、响应于达到预设的对比结束条件，将各所述视觉样本的当前视觉评分确定为最终视觉评分；

8、将各所述视觉样本的最终视觉评分映射至预设评分区间，作为对应视觉样本的标签；

9、根据所述多个视觉样本和各所述视觉样本的标签，训练视觉评分模型，所述视觉评分模型包括多模态编码器和视觉评分头，所述多模态编码器用于对输入的各数据类型的视觉样本进行处理，以输出融合全局上下文信息的整体视觉表征，所述视觉评分头用于根据所述整体视觉表征预测对应的目标视觉评分；

10、其中，模型训练过程采用联合损失函数，所述联合损失函数包括用于回归所述标签对应最终视觉评分的回归损失项和用于优化所述视觉样本之间相对排序关系的排序损失项。

11、第二方面，提供了一种视觉评分方法，所述方法包括：

12、获取待评分视觉数据，所述待评分视觉数据的数据类型至少包括图像；

13、将所述待评分视觉数据输入预训练的视觉评分模型，确定对应的目标视觉评分；

14、其中，所述视觉评分模型根据上述第一方面所述的方法训练得到。

15、第三方面，提供了一种视觉评分模型的训练装置，所述装置包括：

16、样本获取模块，用于获取多个视觉样本，所述视觉样本的数据类型至少包括图像；

17、评分分配模块，用于为各所述视觉样本分配初始视觉评分，并在视觉对比开始之前，将各所述视觉样本的当前视觉评分初始化为对应的初始视觉评分；

18、样本选取模块，用于基于预设类别均衡策略，从所述多个视觉样本中多次选取成对的视觉样本向用户展示，以获取对应的视觉对比结果，所述预设类别均衡策略用于确保不同内容类别的视觉样本在多轮视觉对比中被均衡采样；

19、评分更新模块，用于在每轮视觉对比中，根据参与本轮视觉对比的两个视觉样本各自的当前视觉评分，分别确定各自对应的预期胜率，并根据本轮视觉对比结果与所述预期胜率之间的偏差，动态更新所述两个视觉样本的当前视觉评分；

20、评分确定模块，用于响应于达到预设的对比结束条件，将各所述视觉样本的当前视觉评分确定为最终视觉评分；

21、标签确定模块，用于将各所述视觉样本的最终视觉评分映射至预设评分区间，作为对应视觉样本的标签；

22、模型训练模块，用于根据所述多个视觉样本和各所述视觉样本的标签，训练视觉评分模型，所述视觉评分模型包括多模态编码器和视觉评分头，所述多模态编码器用于对输入的各数据类型的视觉样本进行处理，以输出融合全局上下文信息的整体视觉表征，所述视觉评分头用于根据所述整体视觉表征预测对应的目标视觉评分；

23、其中，模型训练过程采用联合损失函数，所述联合损失函数包括用于回归所述标签对应最终视觉评分的回归损失项和用于优化所述视觉样本之间相对排序关系的排序损失项。

24、第四方面，提供了一种视觉评分装置，所述装置包括：

25、数据获取模块，用于获取待评分视觉数据，所述待评分视觉数据的数据类型至少包括图像；

26、模型输出模块，用于将所述待评分视觉数据输入预训练的视觉评分模型，确定对应的目标视觉评分；

27、其中，所述视觉评分模型根据上述第一方面所述的方法训练得到。

28、第五方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如上述第一方面或第二方面所述的方法。

29、第六方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第二方面所述的方法。

30、本发明实施例的训练方法首先获取包含图像在内的多种数据类型的视觉样本集，并为各视觉样本分配初始视觉评分，通过引入预设类别均衡策略，系统性地组织多轮人机交互式的视觉对比，均衡采样不同内容类别的视觉样本进行成对展示对比，并依据用户反馈的对比结果，结合动态评分机制更新各视觉样本的当前视觉评分，最后将稳定后的最终视觉评分归一化后作为监督标签，利用该高质量的视觉样本和监督标签数据集，训练由通用多模态编码器和轻量级视觉评分头构成的视觉评分模型，其训练过程采用联合损失函数，同步优化绝对分数的回归精度和视觉样本间相对排序的准确性。上述方法通过均衡采样策略显著提升了模型在多类别场景下的泛化能力，该联合损失函数的设计使模型不仅能输出精准的绝对视觉分数，还具备强大的相对优劣判断力。

1.一种视觉评分模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述内容类别与所述视觉样本的数据类型相关，当所述数据类型为图像时，所述内容类别至少包括人像、风景和物品；

3.根据权利要求1所述的方法，其特征在于，所述从所述多个视觉样本中多次选取成对的视觉样本向用户展示，以获取对应的视觉对比结果，包括：

4.根据权利要求1所述的方法，其特征在于，所述多模态编码器包括用于将所述视觉样本转化为预设多帧序列的预处理模块，用于初步提取时空特征的三维卷积网络、用于将各帧划分为多个数据块并生成各数据块对应特征向量的图像嵌入模块、用于为各所述数据块注入空间位置信息的三维旋转位置编码模块、以及用于融合全局上下文信息并输出整体视觉表征的特征编码器；

5.根据权利要求4所述的方法，其特征在于，所述预处理模块用于：

6.根据权利要求1所述的方法，其特征在于，所述排序损失项的确定方法包括：

7.根据权利要求1所述的方法，其特征在于，所述回归损失项采用平滑l1损失函数确定，所述平滑l1损失函数根据所述视觉样本由所述视觉评分模型预测的目标视觉评分和真实的标签之间的误差进行分段确定，当所述误差的绝对值小于预设阈值，采用平方形式的损失计算，当所述误差的绝对值不小于预设阈值，采用绝对值形式的损失计算。

8.一种视觉评分方法，其特征在于，所述方法包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

11.一种视觉评分模型的训练装置，其特征在于，所述装置包括：

12.一种视觉评分装置，其特征在于，所述装置包括：

13.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-10中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的方法。