一种基于自注意力机制增强的语音识别方法及装置与流程

本发明涉及语音识别，尤其涉及一种基于自注意力机制增强的语音识别方法及装置。

背景技术：

1、随着语音识别技术的快速发展，尤其是在数字人和语音助手的应用中，传统的语音识别方法已经无法满足日益复杂的应用需求。尤其在处理嘈杂环境下的语音信号时，传统的语音识别通常依赖于音频信号的预处理和简单的噪声抑制方法，如谱减法和维纳滤波。

2、然而，这类方法只能对噪声进行全局、固定的抑制处理，难以自适应区分语音有效特征与复杂环境噪声，在强噪声场景下易造成语音细节丢失，导致语音识别结果准确性较低，无法满足数字人在复杂环境下的语音识别需求。

技术实现思路

1、本发明实施例提供了一种基于自注意力机制增强的语音识别方法及装置，能够解决现有语音识别方法依赖全局固定的噪声抑制，难以自适应提取有效语音特征的问题，提高复杂环境下的语音识别准确性。

2、本发明一实施例提供了一种基于自注意力机制增强的语音识别方法，包括：

3、获取待识别的语音数据；

4、对语音数据进行频谱特征提取，得到频谱特征；

5、将频谱特征输入至预设的声学识别模型中，以使声学识别模型对频谱特征进行语音解码，得到解码文本；

6、对解码文本进行分词，得到若干子词；

7、对每一子词进行标签预测，确定对应的标签类型；标签类型包括：术语起始、术语中间或非术语；

8、以非术语的子词为分隔，以术语起始的子词作为起点，将起点以及与起点相邻的连续术语中间的子词依次拼接，构成若干专业术语；

9、将每一专业术语进行线性投影，得到对应的多头自注意力向量；

10、将所有多头自注意力向量替换解码文本中对应的子词，生成混合特征序列；

11、对混合特征序列进行线性解码，得到语音识别文本。

12、进一步的，获取待识别的语音数据之后，还包括：

13、将语音数据输入至预设的去噪模型，生成去噪后的语音数据。

14、进一步的，对语音数据进行频谱特征提取，得到频谱特征，包括：

15、通过梅尔滤波器对语音数据进行滤波处理，得到梅尔特征；

16、对梅尔特征取对数处理，得到对数梅尔能量特征；

17、对对数梅尔能量特征进行离散余弦变换，得到频谱特征。

18、进一步的，对频谱特征进行语音解码，得到解码文本，包括：

19、对频谱特征进行解码，得到各语音时间步的声学概率分布；

20、重复执行束搜索过程，直至遍历所有语音时间步，得到解码文本；

21、束搜索过程，包括：

22、对当前解码路径扩展预设词表中的所有词项，生成当前阶段的候选路径集合；其中，初始时的当前解码路径为空序列；

23、基于声学概率分布，计算各候选路径的累积联合概率；

24、根据累积联合概率，对当前阶段的候选路径集合中的各候选路径进行降序排序，并保留累积联合概率排名前k的候选路径作为下一阶段解码路径；其中，k为预设的束宽参数；

25、判断是否遍历所有语音时间步，若是，则从下一阶段解码路径中，选取累积联合概率最高的路径对应的词序列，作为解码文本；否则，将下一阶段解码路径作为下一次执行束搜索过程的当前解码路径。

26、进一步的，对解码文本进行分词，得到若干子词，包括：

27、基于预设的专业词汇子词词表，通过最长优选匹配策略对解码文本进行分词，得到若干子词。

28、进一步的，预设的专业词汇子词词表通过以下方式构建：

29、获取电力系统专业物料中的若干词汇；

30、将电力系统专业物料中的所有词汇拆分为单字符序列，得到初始词表；

31、重复执行子词合并过程，得到预设的专业词汇子词词表；

32、子词合并过程，包括：

33、统计当前词表中所有相邻字符对的联合概率以及各自的单字符概率；其中，初始时的当前词表为初始词表；

34、根据每一相邻字符对的联合概率以及各自的单字符概率，计算对应的关联得分；

35、将关联得分最高的相邻字符对合并为新子词，并将新子词替换当前词表中对应的相邻字符对，得到更新后的词表；

36、统计更新后的词表中的非单字符序列，得到词表规模；

37、判断词表规模是否达到预设大小，若是，则将更新后的词表作为预设的专业词汇子词词表，否则，则更新后的词表作为下一次执行子词合并过程时的当前词表。

38、进一步的，声学识别模型通过以下方式得到：

39、获取若干本地语音数据及其本地识别文本；

40、根据若干本地语音数据及其本地识别文本，训练本地语音识别模型，得到训练好的本地语音识别模型；

41、将训练好的本地语音识别模型的模型参数发送至中央服务器，以使中央服务器通过联邦平均算法，对所有本地语音识别模型的模型参数进行加权平均聚合，得到全局模型参数；对全局模型参数进行剪枝和量化处理，得到轻量化全局模型参数；

42、接收中央服务器下发的轻量化全局模型参数；

43、根据轻量化全局模型参数，部署得到声学识别模型。

44、进一步的，根据若干本地语音数据及其本地识别文本，训练本地语音识别模型，得到训练好的本地语音识别模型，包括：

45、对每一本地语音数据进行数据增强，得到对应的增强语音数据；

46、将所有本地语音数据与所有增强语音数据共同作为训练样本；

47、对每一训练样本进行频谱特征提取，得到对应的本地频谱特征；

48、将所有本地频谱特征及其对应的本地识别文本输入至待训练的本地语音识别模型中，以使本地语音识别模型以本地频谱特征为输入，以预测识别文本为输出进行训练；在每一次训练过程中，根据预测识别文本和本地识别文本，计算损失函数，并根据损失函数调整本地语音识别模型的模型参数，直至本地语音识别模型收敛，得到训练好的本地语音识别模型。

49、在上述方法项实施例的基础上，本发明对应提供了装置项实施例，包括：语音数据获取模块、频谱特征提取模块、文本生成模块、文本分词模块、标签预测模块、术语组合模块、注意力投影模块、混合特征生成模块以及线性解码模块；

50、语音数据获取模块，用于获取待识别的语音数据；

51、频谱特征提取模块，用于对语音数据进行频谱特征提取，得到频谱特征；

52、文本生成模块，用于将频谱特征输入至预设的声学识别模型中，以使声学识别模型对频谱特征进行语音解码，得到解码文本；

53、文本分词模块，用于对解码文本进行分词，得到若干子词；

54、标签预测模块，用于对每一子词进行标签预测，确定对应的标签类型；标签类型包括：术语起始、术语中间或非术语；

55、术语组合模块，用于以非术语的子词为分隔，以术语起始的子词作为起点，将起点以及与起点相邻的连续术语中间的子词依次拼接，构成若干专业术语；

56、注意力投影模块，用于将每一专业术语进行线性投影，得到对应的多头自注意力向量；

57、混合特征生成模块，用于将所有多头自注意力向量替换解码文本中对应的子词，生成混合特征序列；

58、线性解码模块，用于对混合特征序列进行线性解码，得到语音识别文本。

59、进一步的，基于自注意力机制增强的语音识别装置，还包括：语音数据去噪模块；

60、语音数据去噪模块，用于将语音数据输入至预设的去噪模型，生成去噪后的语音数据。

61、与现有技术相比，本方案实施例的有益效果在于：

62、本发明获取待识别的语音数据；对语音数据进行频谱特征提取，得到频谱特征，强化有效语音信息的表征；将频谱特征输入至预设的声学识别模型中，以使声学识别模型对频谱特征进行语音解码，得到解码文本；对解码文本进行分词，得到若干子词；对每一子词进行标签预测，确定对应的标签类型；标签类型包括：术语起始、术语中间或非术语；以非术语的子词为分隔，以术语起始的子词作为起点，将起点以及与起点相邻的连续术语中间的子词依次拼接，构成若干专业术语，通过准确定位并提取专业术语，抑制了噪声带来的特征偏移；将每一专业术语进行线性投影，得到对应的多头自注意力向量，强化专业术语的核心语义特征表达；将经自注意力增强后的多头自注意力向量替换解码文本中可能受噪声干扰的子词，生成混合特征序列，实现了有效语义特征的强化与噪声干扰特征的弱化；对混合特征序列进行线性解码，使解码过程能够聚焦于经自注意力增强的有效语义特征，减少了解码过程中的误判、漏判，最终得到语音识别文本。

63、综上所述，本发明通过提取专业术语，并将每个术语线性投影为多头自注意力向量后替换子词，构建混合特征序列，使得语音识别模型能够自适应聚焦于专业术语的语义特征，进而抑制了噪声带来的特征偏移，从而解决了现有语音识别方法依赖全局固定的噪声抑制，难以自适应提取有效语音特征的问题，提高了复杂环境下的语音识别准确性。