面向美术作品的评分模型训练方法及装置

本发明涉及人工智能，尤其涉及一种面向美术作品的评分模型训练方法及装置。

背景技术：

1、近年来，基于深度学习的美术作品自动评分技术逐渐成为研究热点。目前的美术作品评分方法主要有基于卷积神经网络(convolutional neural network,cnn)的方法，该方法利用预训练的卷积神经网络先提取作品的深度视觉特征，再通过全连接层进行评分预测，并采用如均方误差等绝对标量回归损失进行训练。

2、这种方式训练得到的卷积神经网络容易出现分数扎堆现象，难以区分不同水平作品的细微差异，对于相近水平作品的评价能力有限，得出的分数分布不合理。

技术实现思路

1、本发明提供一种面向美术作品的评分模型训练方法及装置，用以解决现有技术中对相近水平作品的评价能力有限的缺陷，实现提高训练得到的评分模型对不同美术作品的区分度。

2、本发明提供一种面向美术作品的评分模型训练方法，包括如下步骤：

3、获取第一美术作品序列样本；

4、利用评分模型分别确定第一美术作品序列样本中各第一美术作品的预测分数；

5、从第一美术作品序列样本中选择出多组对比组，并基于各对比组内两个第一美术作品的预测分数以及各对比组的对比标签，确定对比排序损失；

6、以及，基于各第一美术作品的预测分数与各第一美术作品的分数标签之间的差异确定回归损失；

7、基于对比排序损失以及回归损失，对评分模型的参数进行调整。

8、根据本发明提供的一种面向美术作品的评分模型训练方法，基于各对比组内两个第一美术作品的预测分数以及各对比组的对比标签，确定对比排序损失，包括：

9、利用预设温度系数对所有对比组中各第一美术作品的预测分数进行缩放处理，得到各第一美术作品的新预测分数；

10、对于每组对比组，将对比组的对比标签中较优者作为正例，较差者作为负例，基于正例的新预测分数以及负例的新预测分数，计算正例优于负例的概率；

11、基于各对比组中正例优于负例的概率，得到对比排序损失。

12、根据本发明提供的一种面向美术作品的评分模型训练方法，从第一美术作品序列样本中选择出多组对比组，包括：

13、获取各第一美术作品的预测分数之间的分数差值；

14、将所有分数差值小于或等于预设差值的两个第一美术作品作为一组对比组。

15、根据本发明提供的一种面向美术作品的评分模型训练方法，在基于对比排序损失以及回归损失，对评分模型的参数进行调整之后，将调整后的评分模型作为原始评分模型，并执行迭代优化直至满足预设的第一停止迭代要求，其中，每一轮迭代优化包括：

16、利用奖励模型确定本轮迭代优化中第二美术作品序列样本中各第二美术作品的奖励值，奖励模型是基于第三美术作品序列中若干组对比组以及对比标签训练得到；

17、利用本轮待优化的评分模型以及原始评分模型分别确定第二美术作品序列样本中各第二美术作品的预测概率分布，并基于两个评分模型确定的各第二美术作品的预测概率分布之间的差异，确定kl散度惩罚项，本轮待优化的评分模型为原始评分模型或上一轮迭代优化得到的评分模型；

18、基于奖励值以及kl散度惩罚项，调整上一轮迭代优化得到的评分模型中的参数，得到本轮迭代优化得到的评分模型。

19、根据本发明提供的一种面向美术作品的评分模型训练方法，原始评分模型中包括特征提取模块以及分数预测头，奖励模型的训练过程包括以下步骤：

20、将原始评分模型中的分数预测头调整为奖励输出层，得到初始的奖励模型；

21、执行以下迭代优化过程直至奖励模型满足预设的第二迭代停止条件，每轮迭代优化过程包括：

22、利用本轮待优化的奖励模型确定第三美术作品序列中至少部分第三美术作品的奖励值，本轮待优化的奖励模型为初始的奖励模型或上一轮迭代优化过程得到的奖励模型；

23、基于各第三美术作品的奖励值以及各第三美术作品所处对比组的对比标签，确定偏好排序损失；

24、利用偏好排序损失，对奖励模型中的参数进行调整，得到本轮迭代优化过程得到的奖励模型。

25、根据本发明提供的一种面向美术作品的评分模型训练方法，利用评分模型分别确定第一美术作品序列样本中各第一美术作品的预测分数，包括：

26、识别各第一美术作品的场景类别；

27、对于每一第一美术作品，利用评分模型中与场景类别对应的特征提取子模块对第一美术作品进行特征提取，得到视觉特征；

28、分别基于各视觉特征，得到各第一美术作品的预测分数。

29、根据本发明提供的一种面向美术作品的评分模型训练方法，方法还包括：

30、利用评分模型中通用特征提取子模块对各第一美术作品进行特征提取，得到各第一美术作品的通用特征；

31、分别基于各视觉特征，得到各第一美术作品的预测分数，包括：

32、对于每一第一美术作品，利用评分模型中的特征融合模块将第一美术作品的通用特征以及视觉特征进行融合，得到第一美术作品的融合特征；

33、利用评分模型中的分数预测头分别对各融合特征进行处理，得到各第一美术作品的预测分数。

34、根据本发明提供的一种面向美术作品的评分模型训练方法，特征融合模块包括交叉注意力层，利用评分模型中的特征融合模块将第一美术作品的通用特征以及视觉特征进行融合，得到第一美术作品的融合特征，包括：

35、基于第一美术作品的视觉特征确定交叉注意力层的查询向量，基于通用特征确定交叉注意力层的键向量以及值向量；

36、利用交叉注意力层基于查询向量以及键向量，确定注意力权重矩阵，并将注意力权重矩阵与值向量进行矩阵乘法运算，得到第一美术作品的融合特征。

37、根据本发明提供的一种面向美术作品的评分模型训练方法，评分模型中还包括评语生成模块，评分模型的输入还包括第一美术作品序列样本对应的提示信息，方法还包括：

38、对于每一第一美术作品，执行以下步骤：

39、利用第一美术作品对应的提示信息和预测分数对预设提示词模板进行填充，得到目标提示词；

40、将融合特征映射为第一词元序列以及将目标提示词映射为第二词元序列；

41、将第一词元序列和第二词元序列拼接后作为评语生成模块的输入，得到第一美术作品的评语；

42、利用评语标签与评语之间的差异，对评语生成模块中的参数进行调整。

43、本发明还提供一种面向美术作品的评分模型训练装置，包括如下模块：

44、样本数据获取模块，用于获取第一美术作品序列样本；

45、分数预测模块，用于利用评分模型分别确定第一美术作品序列样本中各第一美术作品的预测分数；

46、对比排序损失确定模块，用于从第一美术作品序列样本中选择出多组对比组，并基于各对比组内两个第一美术作品的预测分数以及各对比组的对比标签，确定对比排序损失；

47、回归损失确定模块，用于基于各第一美术作品的预测分数与各第一美术作品的分数标签之间的差异确定回归损失；

48、参数调整模块，用于基于对比排序损失以及回归损失，对评分模型的参数进行调整。

49、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一种面向美术作品的评分模型训练方法。

50、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种面向美术作品的评分模型训练方法。

51、本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种面向美术作品的评分模型训练方法。

52、本发明提供的面向美术作品的评分模型训练方法及装置，通过同时引入对比排序损失和回归损失，不仅能够利用分数标签约束评分模型的绝对评分准确性，而且利用对比组中两个第一美术作品之间的对比标签构建成对约束，使得评分模型能够学习不同美术作品之间的相对优劣关系，相较于仅采用绝对标量回归损失的训练方式，本发明能够使得评分模型在推理阶段能够对美术作品输出具有合理区分度、符合专家相对排序偏好的分数，有效缓解分数扎堆、细微差异难以区分的问题，提升评分结果的准确度。