奖励模型训练方法以及语音评估方法与流程

本说明书实施例涉及人工智能，特别涉及奖励模型训练方法以及语音评估方法。

背景技术：

1、随着语音合成技术的发展，文本到语音合成系统被广泛应用于语音交互、内容生成等场景。对于合成得到的语音，通常需要从发音准确性、自然度、韵律、音色一致性、情感表达等多个评估维度进行质量评估，以便根据评估结果对候选语音进行排序、筛选或质量检测。

2、相关技术中，可以针对不同评估维度分别训练对应的奖励模型，并利用各奖励模型分别对候选语音进行评分；也可以将不同评估维度的训练数据进行合并，训练输出统一奖励结果的奖励模型。然而，针对不同评估维度分别训练奖励模型时，随着评估维度增加，模型训练、存储以及推理所需的资源相应增加；将不同评估维度的数据合并训练时，又容易混合不同评估维度的评估目标，难以分别表征候选语音在不同评估维度上的质量。因此，需要一种能够适用于多评估维度的奖励模型训练方案。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种奖励模型训练方法。本说明书一个或者多个实施例同时涉及一种语音评估方法，一种奖励模型训练装置，一种语音评估装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种奖励模型训练方法，包括：

3、获取样本集，其中，样本集包括多个样本数据，样本数据包括样本文本、样本评估维度、样本偏好信息以及多个样本候选语音，样本偏好信息用于表征多个样本候选语音在样本评估维度上的偏好关系；

4、调用待训练奖励模型，基于样本文本和多个样本候选语音，确定多个样本候选语音分别对应的样本内容表示，并针对第一样本候选语音，基于样本评估维度对应的样本查询信息和第一样本候选语音对应的样本内容表示，确定第一样本候选语音在样本评估维度上的样本奖励结果，其中，第一样本候选语音为多个样本候选语音中的任一个；

5、根据多个样本候选语音对应的样本奖励结果和样本偏好信息，对待训练奖励模型进行训练，获得训练完成的目标奖励模型。

6、根据本说明书实施例的第二方面，提供了一种语音评估方法，包括：

7、获取待评估文本和待评估语音；

8、调用目标奖励模型，基于待评估文本和待评估语音，确定待评估语音对应的目标内容表示，并针对第一预设评估维度，基于第一预设评估维度对应的目标查询信息和目标内容表示，确定待评估语音在第一预设评估维度上的奖励结果，其中，第一预设评估维度为多个预设评估维度中的任一个。

9、根据本说明书实施例的第三方面，提供了一种奖励模型训练装置，包括：

10、第一获取模块，被配置为获取样本集，其中，样本集包括多个样本数据，样本数据包括样本文本、样本评估维度、样本偏好信息以及多个样本候选语音，样本偏好信息用于表征多个样本候选语音在样本评估维度上的偏好关系；

11、第一确定模块，被配置为调用待训练奖励模型，基于样本文本和多个样本候选语音，确定多个样本候选语音分别对应的样本内容表示，并针对第一样本候选语音，基于样本评估维度对应的样本查询信息和第一样本候选语音对应的样本内容表示，确定第一样本候选语音在样本评估维度上的样本奖励结果，其中，第一样本候选语音为多个样本候选语音中的任一个；

12、训练模块，被配置为根据多个样本候选语音对应的样本奖励结果和样本偏好信息，对待训练奖励模型进行训练，获得训练完成的目标奖励模型。

13、根据本说明书实施例的第四方面，提供了一种语音评估装置，包括：

14、第二获取模块，被配置为获取待评估文本和待评估语音；

15、第二确定模块，被配置为调用目标奖励模型，基于待评估文本和待评估语音，确定待评估语音对应的目标内容表示，并针对第一预设评估维度，基于第一预设评估维度对应的目标查询信息和目标内容表示，确定待评估语音在第一预设评估维度上的奖励结果，其中，第一预设评估维度为多个预设评估维度中的任一个。

16、根据本说明书实施例的第五方面，提供了一种计算设备，包括：

17、存储器和处理器；

18、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面所提供方法的步骤。

19、根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面所提供方法的步骤。

20、根据本说明书实施例的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面所提供方法的步骤。

21、本说明书一个实施例提供的奖励模型训练方法，通过在样本数据中设置样本评估维度以及用于表征多个样本候选语音在该样本评估维度上的偏好关系的样本偏好信息，使训练过程中采用的偏好监督可以与相应的样本评估维度建立对应关系；进一步地，基于样本文本和多个样本候选语音确定各样本候选语音对应的样本内容表示，并针对任一样本候选语音，根据样本评估维度对应的样本查询信息和该样本候选语音对应的样本内容表示，确定该样本候选语音在相应样本评估维度上的样本奖励结果，使样本奖励结果的确定受到相应样本评估维度对应的样本查询信息的约束，从而使待训练奖励模型能够针对相应样本评估维度从样本候选语音的样本内容表示中获取用于评价的信息，并形成具有样本评估维度针对性的样本奖励结果；在此基础上，再根据多个样本候选语音对应的样本奖励结果以及样本偏好信息对待训练奖励模型进行训练，可以使样本候选语音之间在相应样本评估维度上的偏好关系作用于该样本评估维度对应的奖励学习过程。由此，可以减少不同评估目标被统一压缩至同一样本奖励结果而造成的评估语义混合，使奖励模型能够根据评估维度对候选语音进行针对性评价，提高奖励模型对多属性语音评价任务的适配性。

1.一种奖励模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述待训练奖励模型包括共享编码单元；

3.根据权利要求1所述的方法，其特征在于，所述基于所述样本评估维度对应的样本查询信息和所述第一样本候选语音对应的所述样本内容表示，确定所述第一样本候选语音在所述样本评估维度上的样本奖励结果，包括：

4.根据权利要求3所述的方法，其特征在于，所述待训练奖励模型还包括多个奖励头，所述奖励头与所述预设评估维度一一对应；

5.根据权利要求3所述的方法，其特征在于，所述基于所述样本查询信息，对所述第一样本候选语音对应的所述样本内容表示进行交叉注意力池化，获得所述第一样本候选语音在所述样本评估维度上的样本属性表示，包括：

6.根据权利要求3所述的方法，其特征在于，所述交叉注意力池化包括多头交叉注意力池化；

7.根据权利要求1所述的方法，其特征在于，所述多个样本候选语音包括第二样本候选语音和第三样本候选语音，所述样本偏好信息用于指示所述第二样本候选语音在所述样本评估维度上的评估结果优于所述第三样本候选语音在所述样本评估维度上的评估结果；

8.根据权利要求1所述的方法，其特征在于，所述多个样本数据包括对应不同预设评估维度的样本数据；

9.根据权利要求1至8任一项所述的方法，其特征在于，所述根据所述多个样本候选语音对应的所述样本奖励结果和所述样本偏好信息，对所述待训练奖励模型进行训练，获得训练完成的目标奖励模型之后，还包括：

10.一种语音评估方法，其特征在于，包括：

11.根据权利要求10所述的方法，其特征在于，所述基于所述第一预设评估维度对应的目标查询信息和所述目标内容表示，确定所述待评估语音在所述第一预设评估维度上的奖励结果之后，还包括：

12.一种计算设备，其特征在于，包括：

13.一种计算机可读存储介质，其特征在于，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。

14.一种计算机程序产品，其特征在于，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。