语音识别错误的自适应溯源分析方法、存储介质及设备与流程

本发明涉及智能教育，具体涉及一种语音识别错误的自适应溯源分析方法、存储介质及设备。

背景技术：

1、语音识别系统主要由音频输入层、声学模型、语言模型和输出层四个核心模块构成。

2、1.音频输入层（特征提取）

3、负责接收原始语音信号，进行预处理（如分帧、加窗）并提取音频特征（如梅尔频谱特征），将连续的声音信号转化为机器可理解的数字化特征向量。音频输入层是整个识别流程的起点，为下游的声学模型提供基础数据输入。

4、2.声学模型（听音辨字）

5、用于接收音频特征，并将声音信号映射为基本的语音单元（如音素、拼音或单字）。它主要计算声音与字词之间的声学匹配概率，解决“听到了什么音”的问题（例如区分“清”与“青”的鼻音特征）。音频输入层承上启下，将音频输入层的“物理声音”转化为初步的“文字概率”，并将结果传递给输出层和语言模型。

6、3. 语言模型（语义理解）

7、负责评估字词组合的合理性。它利用语法规则和上下文关联，计算词组或句子出现的语言概率，解决“语境是什么”的问题，从而有效纠正同音字或声学混淆错误（例如结合上下文判断“清华大学”比“青蛙大学”更合理）。语言模型与声学模型并行或协同工作，从“语义”维度提供纠错和预测支持，弥补单纯依靠声音识别的不足。

8、4. 输出层（综合决策）

9、作为系统的最终决策中枢，输出层用于综合声学模型提供的“发音概率”和语言模型提供的“上下文概率”，通过解码搜索算法得出最合理、最通顺的最终识别文本。输出层是整个流程的终点，汇总上游所有模块的信息并输出最终结果。

10、这四个模块构成了一个从“物理信号”到“语义文本”的完整处理链条。音频输入层提供特征，声学模型和语言模型分别从“声音”和“语义”两个维度提供概率支持，两者相互补充；输出层则融合两者的结果进行最终决策。

11、当前语音识别系统的错误溯源分析主要依赖预定义规则和静态决策树，存在灵活性不足、适应性差的问题。传统方法需人工预设错误类别和分析路径，难以应对新兴错误类型和复合型错误（如声学模型与语言模型同时出错），缺乏对错误传播路径的动态追踪和跨案例关联分析能力，导致错误定位不精准，优化建议缺乏系统性。

技术实现思路

1、针对现有技术的不足，本发明旨在提供一种语音识别错误的自适应溯源分析方法、存储介质及设备。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种语音识别错误的自适应溯源分析方法‌，包括以下步骤：

4、s1、当发生语音识别错误时，通过多模态transformer模型对本次语音识别过程中生成的音频频谱特征、文本嵌入特征和系统日志特征进行联合编码，生成可比对的错误特征向量；

5、系统日志用于记录语音识别系统在运行过程中的音频与环境指标、系统与硬件状态和模型运行参数；

6、所述文本嵌入特征包括识别文本嵌入特征和参考文本嵌入特征，所述识别文本嵌入特征从语音识别系统对音频进行识别输出得到的识别文本得出，所述参考文本嵌入特征从标准的参考文本得出；

7、s2、通过对比聚类分析自动发现步骤s1所得的错误特征向量的错误模式；

8、s3、使用图神经网络构建语音识别系统本次识别过程的动态溯源图，揭示错误在语音识别系统中的传播路径，并通过影响度计算量化各环节的影响权重，定位出本次识别的错误主要源自于语音识别系统的哪一个模块，作为主要错误模块；

9、s4、根据步骤s3定位出的主要错误模块，生成系统级优化建议，推荐最优修复策略并输出干预优先级列表。

10、进一步地，步骤s1中，音频与环境指标包括信噪比、采样率、环境噪音水平以及网络延迟或丢包率，系统与硬件状态包括设备型号、cpu/内存占用率、解码处理耗时以及系统或app版本号，所述模型运行参数包括解码器输出的置信度得分、搜索算法的参数以及异常报错代码或中断记录。

11、进一步地，步骤s1的联合编码过程为：

12、音频频谱特征xaudio∈ r(t×f)，其中t为时间帧数，f为频率维度；识别文本嵌入特征xtext1∈rlrec×d，参考文本嵌入特征xtext2∈rlref×d，其中lrec和lref分别为识别文本嵌入特征和参考文本嵌入特征的序列长度，d为嵌入维度；系统日志特征xlog∈ rm，其中m为系统参数维度；

13、通过跨模态注意力机制计算特征间的关联性得到所述可比对的错误特征向量，公式为：

14、；

15、其中q、k、v分别表示查询query、键key、值value矩阵，通过线性变换层从原始特征投影得到，q来自音频频谱特征，k来自识别文本嵌入特征和参考文本嵌入特征，v来自系统日志特征，d为缩放因子；softmax()是归一化指数函数，将注意力权重约束在[0,1]区间；qkt表示查询-键相似度矩阵，反映特征间关联强度。

16、进一步地，步骤s2的具体过程为：

17、s2.1、基于历史积累的错误案例库，根据特征相似度，将同类错误的错误特征向量组合为正样本对，不同类错误的错误特征向量组合为负样本对，并采用构建得到的正样本对和负样本对来优化对比学习模型；

18、s2.2、将步骤s1所得的新的错误特征向量输入优化后的对比学习模型中，优化后的对比学习模型将步骤s1所得的新的错误特征向量映射到一个优化的特征空间中，使同类的错误特征向彼此靠近；

19、s2.3、利用聚类算法，在所述优化的特征空间中自动将聚集在一起的错误特征向量划分为同一种错误模式，从而得出本次语音识别错误所属的错误模式。

20、进一步地，步骤s3中，所述动态溯源图的构建过程为：

21、定义图神经网络g=(v,e)，其中节点v包括语音识别系统的音频输入层、声学模型、语言模型和输出层；边e为梯度反向传播计算的影响权重，计算公式为：

22、i_{i→j} = ∑|y_j/x_i|；

23、y_j为节点j的输出，x_i为来自节点i的输入。i_{i→j}‌表示节点i对节点j的‌影响度指数‌，其数值大小直接反映上游节点i对下游节点j的错误传导强度；y_j/x_i‌是‌偏导数运算符号‌，计算节点j的输出对来自节点i的输入的敏感度；根据影响度指数i_{i→j}确定主要错误模块。

24、进一步地，步骤s4中，所述因果干预建议生成过程包括：

25、s4.1、根据步骤s3定位出的主要错误模块，确定相应的可干预变量x，并按下式计算干预效果：

26、p(y|do(x=x)) = ∑_z p(y|x=x,z=z)p(z=z)；

27、其中，do(x=x)‌表示对可干预变量x实施干预操作；y表示语音识别系统性能指标，是需要优化的目标变量；z‌表示混杂变量集合，包含所有同时影响x和y的变量；p(y|do(x=x))‌表示实施干预x=x后的‌因果效应‌，即干预x=x对目标y的期望影响，计算时需考虑所有混杂变量z的分布情况，通过调整混杂因素来获得无偏估计；∑_z‌表示对混杂变量z所有可能取值的求和运算；p(y|x=x,z=z)‌表示在特定干预x=x且混杂因素z=z的条件下，语音识别系统性能y的概率；

28、s4.2、根据步骤s4.1计算得到的各项干预的效果，输出干预优先级列表，p(y|do(x=x))越高的干预，优先级越高。

29、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

30、本发明还提供一种计算机设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。

31、本发明的有益效果在于：

32、1.本发明通过对比聚类自动发现错误模式，可以令错误分类准确率提升；

33、2.本发明通过图神经网络构建的动态溯源图可揭示隐藏错误关联（如特定发音错误仅在特定语法结构中出现），展示错误从声学特征到最终输出的传导过程；

34、3、本发明通过因果干预计算输出干预优先级列表，可使修复效率提高。

35、综上所述，通过本发明，可以得到语音识别错误的宏观归类结果（错误模式）、微观溯源结果（定位出主要错误模块），并且可以得出 决策优化结果（干预优先级列表）。