自动语音识别模型质量评估方法、装置、电子设备及存储介质与流程

本公开涉及自动语音识别模型质量评估领域，尤其涉及一种自动语音识别模型质量评估方法、装置、电子设备及存储介质。

背景技术：

1、目前，随着人工智能的发展，自动语音识别(auto speech recognition，asr)得到广泛应用。

2、相关技术中，asr评测通常采用字错误率或词错误率，该类指标便于模型训练和横向比较，但其核心假设是不同字词错误具有近似相同的惩罚价值。但在实际场景中，金融金额、医疗药品、法律条款、证件号码、时间地点等关键实体错误往往比低影响错误的更重要。

技术实现思路

1、为了解决相关技术中存在的上述问题，本公开提供一种自动语音识别模型质量评估方法、装置、电子设备及存储介质。

2、本公开的第一方面提供一种自动语音识别模型质量评估方法,包括：

3、获取用于语音识别评估的参考文本以及候选文本；对所述参考文本以及所述候选文本按照预设实体类型进行语义识别，得到识别的第一语义单元；将识别的第一语义单元按照多维度进行聚合，并确定聚合后的第一语义单元的错误权重得分，所述错误权重得分表征所述聚合后第一语义单元对于所述模型识别准确度的惩罚程度；基于所述错误权重得分，计算第一错误率，基于所述第一错误率评估所述自动语音识别模型进行语音识别的质量。

4、在一些实施例中，所述多维度包括以下维度中至少两项：业务领域、实体类型、上下文角色、错误类型与业务风险等级；所述错误权重得分基于如下公式确定：

5、；其中，α、β、γ、δ为预设权重值，d为业务领域，e为实体类型，p为上下文角色，r为错误类型，b为业务风险等级，wmax为权重最大值上限。

6、在一些实施例中，采用如下公式基于所述错误权重得分，计算第一错误率：；其中，e_i为所述参考文本和所述候选文本对齐过程中产生的错误，t_j为参考文本中的语义单元，w(e_i)为错误权重得分，c(e_i)为错误基础代价，w(t_j)为参考文本语义单元权重，ε为防止分母为0的极小值。

7、在一些实施例中，所述方法还包括：对所述参考文本与所述候选文本执行清洗操作，并对清洗后的参考文本以及候选文本按照预设实体类型进行语义识别，得到识别的第二语义单元，将识别的第二语义单元按照多维度进行聚合，并确定聚合后的第二语义单元的第二错误权重得分；基于所述第二错误权重得分，计算第二错误率，所述第二错误率用于评估所述自动语音识别模型进行语音识别的质量；所述基于所述第一错误率评估所述自动语音识别模型进行语音识别的质量，包括：基于所述第一错误率和所述第二错误率，评估所述自动语音识别模型进行语音识别的质量。

8、在一些实施例中，所述方法还包括：对识别的第二语义单元保留溯源映射信息，所述溯源映射信息用于记录清洗后语义单元与清洗前语义单元之间的映射关系。

9、在一些实施例中，所述方法还包括：获取所述自动语音识别模型进行语音识别的性能指标，所述性能指标至少包括以下至少一项：首字延迟、平均延迟、吞吐量、成本、稳定性指标与处理时长；根据错误率与所述性能指标，推荐所述自动语音识别模型的配置信息推荐配置，所述错误率包括所述第一错误率、第二错误率中的至少一项。

10、本公开的第二方面提供一种自动语音识别模型质量评估装置，装置包括：获取单元，用于获取用于语音识别评估的参考文本以及候选文本；

11、处理单元，用于对所述参考文本以及所述候选文本按照预设实体类型进行语义识别，得到识别的第一语义单元；

12、将识别的第一语义单元按照多维度进行聚合，并确定聚合后的第一语义单元的错误权重得分，所述错误权重得分表征所述聚合后第一语义单元对于所述模型识别准确度的惩罚程度；

13、基于所述错误权重得分，计算第一错误率，基于所述第一错误率评估所述自动语音识别模型进行语音识别的质量。

14、在一些实施例中，所述多维度包括以下维度中至少两项：业务领域、实体类型、上下文角色、错误类型与业务风险等级；所述错误权重得分基于如下公式确定：

15、；其中，α、β、γ、δ为预设权重值，d为业务领域，e为实体类型，p为上下文角色，r为错误类型，b为业务风险等级，wmax为权重最大值上限。

16、在一些实施例中，采用如下公式基于所述错误权重得分，计算第一错误率：；其中，e_i为所述参考文本和所述候选文本对齐过程中产生的错误，t_j为参考文本中的语义单元，w(e_i)为错误权重得分，c(e_i)为错误基础代价，w(t_j)为参考文本语义单元权重，ε为防止分母为0的极小值。

17、在一些实施例中，所述处理单元还用于：对所述参考文本与所述候选文本执行清洗操作，并对清洗后的参考文本以及候选文本按照预设实体类型进行语义识别，得到识别的第二语义单元，将识别的第二语义单元按照多维度进行聚合，并确定聚合后的第二语义单元的第二错误权重得分；基于所述第二错误权重得分，计算第二错误率，所述第二错误率用于评估所述自动语音识别模型进行语音识别的质量；所述基于所述第一错误率评估所述自动语音识别模型进行语音识别的质量，包括：基于所述第一错误率和所述第二错误率，评估所述自动语音识别模型进行语音识别的质量。

18、在一些实施例中，所述处理单元还用于：对识别的第二语义单元保留溯源映射信息，所述溯源映射信息用于记录清洗后语义单元与清洗前语义单元之间的映射关系。

19、在一些实施例中，所述获取单元还用于：获取所述自动语音识别模型进行语音识别的性能指标，所述性能指标至少包括以下至少一项：首字延迟、平均延迟、吞吐量、成本、稳定性指标与处理时长；根据错误率与所述性能指标，推荐所述自动语音识别模型的配置信息推荐配置，所述错误率包括所述第一错误率、第二错误率中的至少一项。

20、本公开的第三方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面或者第一方面任意一种实施方式中所述的方法。

21、本公开的第四方面提供一种存储介质，其上存储有指令，指令被处理器执行时，执行如第一方面或者第一方面任意一种实施方式中所述的方法。

22、本公开提供的一种自动语音识别模型质量评估方法，通过对参考文本以及候选文本按照预设实体类型进行语义识别，并按照多维度进行聚合，确定聚合后的第一语义单元的错误权重得分，基于所述错误权重得分，计算第一错误率。能够在错误率结果中体现出关键实体错误占参考语义价值的比例，实现对关键实体错误的有效区分。

1.一种自动语音识别模型质量评估方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多维度包括以下维度中至少两项：业务领域、实体类型、上下文角色、错误类型与业务风险等级；

3.根据权利要求1所述的方法，其特征在于，采用如下公式基于所述错误权重得分，计算第一错误率：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：

7.一种自动语音识别模型质量评估装置，其特征在于，所述装置包括：

8. 一种电子设备，其特征在于，所述电子设备包括：

9.一种存储介质，其上存储有指令，其特征在于，所述指令被处理器执行时，执行如权利要求1至6中任一项所述的方法。