一种语音信号的可懂度评估方法、系统及助听器设备

本发明涉及语音信号处理，尤其涉及的是一种语音信号的可懂度评估方法、系统及助听器设备。

背景技术：

1、现有技术中，语音可懂度评估主要有主观评估和客观评估两种方式。主观评估需要大量的受试者参与，且测试过程较长，因此评估成本较高。客观评估是使用信号处理或算法估计语音的可懂度。但是客观评估中使用的信号处理与听觉模型方法仅在相同场景下的预测准确性高，实际应用场景中表现出泛化能力差，且缺乏针对个体差异自适应调整的能力，导致其难以应用到数据属性差异较大的跨领域迁移场景中。

2、因此，现有技术有待于进一步的改进。

技术实现思路

1、鉴于上述现有技术中的不足之处，本发明的目的在于提供一种语音可懂度评估方法、系统及助听器设备，解决现有技术在进行语音可懂度评估时，泛化能力差的缺陷。

2、第一方面，本发明提供了一种语音信号的可懂度评估方法，其中，包括：

3、获取待评估语音信号所属技术领域的目标域语音数据集，以及根据所述待评估语音信号的所属技术领域确定已训练原始语音可懂度评估模型中不同信息处理层在目标域内预测性能的影响度；其中，利用迁移学习的fisher信息和参数敏感性分析加权运算的方法，计算所述已训练原始语音可懂度评估模型中各个信息处理层在目标域内预测性能的影响度；所述原始语音可懂度评估模型基于注意力机制的编码-分类网络的结构构建；

4、根据不同信息处理层在目标域内预测性能的影响度，确定所述已训练原始语音可懂度评估模型中待参数微调的各个目标信息处理层；

5、利用所述目标域语音数据集中的语音信号对所述已训练原始语音可懂度评估模型进行再次训练，以对所述已训练原始语音可懂度评估模型中各个目标信息处理层的参数进行微调，得到最终语音可懂度评估模型；

6、将所述待评估语音信号输入至所述最终语音可懂度评估模型，得到所述最终语音可懂度评估模型输出的可懂度评估分数。

7、所述利用迁移学习的fisher信息和参数敏感性分析加权运算的方法，计算所述已训练原始语音可懂度评估模型中各个信息处理层对目标域预测性能的影响程度，得到不同信息处理层在目标域内预测性能的影响度的步骤包括：

8、对所述原始语音可懂度评估模型中的每一信息处理层，基于目标域校准数据集执行层掩码有限差分扰动，计算该信息处理层被遮蔽前后模型预测损失的变化量，作为该信息处理层的参数敏感性指标；

9、对所述原始语音可懂度评估模型中的每一信息处理层，基于源域数据集或预训练数据集，通过反向传播计算该信息处理层内各参数的fisher信息矩阵对角元，并对该层内所有参数的fisher信息对角元求和，得到该信息处理层的fisher信息承载量；

10、将同一信息处理层的所述参数敏感性指标与所述fisher信息承载量进行联合归一化运算，得到该信息处理层在目标域内预测性能的影响度。

11、可选地，所述已训练原始语音可懂度评估模型的生成方法包括：

12、将训练数据集中的语音信号分成两个通道，分别对两个通道的语音信号进行编码，得到第一编码语音信号和第二编码语音信号；

13、将所述第一编码语音信号和第二编码语音信号进行特征融合，得到训练源融合编码特征；

14、将所述训练源融合编码特征输入至预设神经网络模型，得所述预设神经网络输出的训练源预测可懂度分数；

15、计算训练源预测可懂度分数与训练数据集中语音信号对应的实际可懂度分数之间的损失函数，并通过最小化损失函数对预设神经网络模型的参数进行优化，得到参数优化后的已训练原始语音可懂度评估模型。

16、可选地，所述将训练数据集的语音信号分成两个通道，分别对两个通道的语音信号进行编码，得到第一编码语音信号和第二编码语音信号的步骤包括：

17、将训练数据集中的双通道语音信号进行预处理，并将预处理后的双通道语音信号降采样；

18、将降采样后的双通道语音信号分为左通道和右通道；

19、将左通道和右通道信号均输入至第一编码器和第二编码器，得到所述第一编码器输出的左第一编码子信号和右第一编码子信号、所述第二编码器输出的左第二编码子信号和右第二编码子信号；

20、将所述左第一编码子信号和所述左第二编码子信号进行融合，得到第一编码语音信号；

21、将所述右第一编码子信号和所述右第二编码子信号进行融合，得到第二编码语音信号；其中，所述第一编码器和所述第二编码器含有相同层数的卷积层和不同层数的编码器层，且所述第一编码器和所述第二编码器基于不同的训练方法训练得到，用于提取不同的语音特征。

22、可选地，所述将所述第一编码语音信号和所述第二编码语音信号进行特征融合，得到融合编码特征的步骤包括：

23、将所述第一编码语音信号依次输入至双向长短时记忆网络和全连接层，得到所述全连接层输出的第一融合特征；

24、以及，将所述第二编码语音信号依次输入至双向长短时记忆网络和全连接层，得到所述全连接层输出的第二融合特征；

25、将所述第一融合特征和所述第二融合特征进行拼接，得到拼接后生成的融合编码特征。

26、可选地，所述预设神经网络模型的中的各信息处理层包括：多头注意力层、全连接层和全局平均池化层；

27、将所述融合编码特征输入至预设神经网络模型，得所述预设神经网络输出的预测可懂度分数的步骤包括：

28、将所述融合编码特征输入至所述多头注意力层，得到所述多头注意力层输出的清晰度融合特征；

29、将所述清晰度融合特征输入至所述全连接层，得到所述全连接层输出的帧级可懂度分数；

30、将所述帧级可懂度分数输入至所述全局平均池化层，得到所述全局平均池化层输出的预测可懂度分数。

31、可选地，所述利用所述目标域语音数据集中的语音信号对原始语音可懂度评估模型进行训练，以对所述已训练原始语音可懂度评估模型中各个目标信息处理层的参数进行再次微调，得到最终语音可懂度评估模型的步骤包括：

32、从所述目标域语音数据集中选取目标个数带有可懂度评分标签的样本语音信号；

33、将样本语音信号分成两个通道，分别对两个通道的语音信号进行编码，得到第三编码语音信号和第四编码语音信号；

34、将所述第三编码语音信号和第四编码语音信号进行特征融合，得到目标域融合编码特征；

35、将所述目标域融合编码特征输入至已训练原始语音可懂度评估模型，得所述语音可懂度评估模型输出的目标域预测可懂度分数；

36、计算目标源预测可懂度分数与语音信号数据集中语音信号对应的实际可懂度分数之间的损失函数，并通过最小化损失函数对已训练原始语音可懂度评估模型中各目标信息处理层的参数进行优化，得到参数优化后的最终语音可懂度评估模型。

37、可选地，所述目标域语音数据集中的语音信号为目标个体的语音信号样本；

38、利用所述目标域语音数据集中的语音信号对所述已训练原始语音可懂度评估模型进行再次训练，以对所述已训练原始语音可懂度评估模型中各个目标信息处理层的参数进行微调，得到最终语音可懂度评估模型的步骤包括：

39、将目标个体的语音信号样本的语音信号分成两个通道，分别对两个通道的语音信号进行编码，得到第五编码语音信号和第六编码语音信号；

40、将所述第五编码语音信号和第六编码语音信号进行特征融合，得到个体融合编码特征；

41、将所述个体融合编码特征输入至已训练原始语音可懂度评估模型，得所述已训练原始语音可懂度评估模型输出的与所述目标个体对应的预测可懂度分数；

42、计算目标个体预测可懂度分数与语音信号数据集中语音信号对应的实际可懂度分数之间的损失函数，并通过最小化损失函数对已训练原始语音可懂度评估模型中各目标信息处理层的参数进行优化，得到对应目标个体的最终语音可懂度评估模型。

43、第二方面，本技术提供了一种语音信号的可懂度评估系统，其中，包括：

44、数据获取与影响评估模块，用于获取待评估语音信号所属技术领域的目标域语音数据集，以及根据所述待评估语音信号的所属技术领域确定已训练原始语音可懂度评估模型中不同信息处理层在目标域内预测性能的影响度；其中，利用迁移学习的fisher信息和参数敏感性分析加权运算的方法，计算所述已训练原始语音可懂度评估模型中各个信息处理层在目标域内预测性能的影响度；所述原始语音可懂度评估模型基于注意力机制的编码-分类网络的结构构建；

45、微调准备模块，用于根据不同模块在目标域内预测性能的影响度，确定所述已训练原始语音可懂度评估模型中待参数微调的各个目标信息处理层；

46、参数微调模块，用于利用所述目标域语音数据集中的语音信号对所述已训练原始语音可懂度评估模型进行再次训练，以对已训练所述原始语音可懂度评估模型的中各个目标信息处理层的参数进行微调，得到最终语音可懂度评估模型；

47、可懂度评估模块，用于将所述待评估语音信号输入至所述最终语音可懂度评估模型，得到所述最终语音可懂度评估模型输出的可懂度评估分数。

48、第三方面，本技术提供了一种助听器设备，其中，包括：如所述的语音信号的可懂度评估系统。

49、有益效果：

50、本发明提供了一种语音信号的可懂度评估方法、系统、设备及存储介质，通过获取待评估语音信号所属技术领域的目标域语音数据集，以及根据所述待评估语音信号的所属技术领域确定已训练原始语音可懂度评估模型中不同信息处理层在目标域内预测性能的影响度；根据不同信息处理层在目标域内预测性能的影响度，确定已训练原始语音可懂度评估模型中待参数微调的各个目标信息处理层；利用目标域语音数据集中的语音信号对已训练原始语音可懂度评估模型进行再次训练，以对所述已训练原始语音可懂度评估模型中各目标信息处理层的参数进行微调，得到最终语音可懂度评估模型；将所述待评估语音信号输入至所述最终语音可懂度评估模型，得到所述最终语音可懂度评估模型输出的可懂度评估分数。本发明提供的方法及系统，通过将已训练原始语音可懂度评估模型迁移至目标域，对模型中目标信息处理层的参数进行自适应微调，实现特征分布对齐与高效迁移，从而在仅使用有限样本的情况下实现接近全量训练的预测性能。该机制有效降低了模型训练对大规模标注数据的依赖，提升了跨域泛化能力。