语音识别方法、装置、电子设备及存储介质与流程

本发明涉及数据处理，尤其涉及一种语音识别方法、装置、电子设备及存储介质。

背景技术：

1、语音识别技术作为人工智能领域的重要分支，已被广泛应用于智能助手、自动字幕生成、语音搜索、会议记录、智能家居等多种场景。随着端到端深度学习技术的发展，基于连接时序分类、注意力编解码以及transformer架构的语音识别模型显著提升了通用场景下的识别准确率。

2、然而，在实际工业级应用中，语音识别系统在面对人名、地名、机构名、专业术语、新出现实体词等大规模关键词词汇时，识别准确率仍然普遍偏低。随着应用场景中关键词规模逐渐扩展至千万量级，上述问题导致的识别准确率瓶颈愈发凸显，如何在大规模关键词场景下提升语音识别系统对关键词的识别准确率，成为当前亟待解决的技术问题。

技术实现思路

1、本发明提供一种语音识别方法、装置、电子设备及存储介质，用以解决现有技术中如何在大规模关键词场景下提升语音识别系统对关键词的识别准确率的问题，实现对大规模关键词的高准确率识别以及对复杂语境的高适应性。

2、本发明提供一种语音识别方法，包括如下步骤：

3、获取待识别语音数据，对所述待识别语音数据进行声学特征提取及编码处理，获得语音编码特征；

4、对所述语音编码特征分别进行并行解码与特征映射处理，获得连接时序分类候选解码结果以及语音嵌入向量；其中，所述语音嵌入向量被映射至预设文本特征空间，所述预设文本特征空间为预设文本编码器输出关键词文本嵌入向量的特征空间；

5、基于所述语音嵌入向量，从预先构建的关键词嵌入数据库中进行多级检索筛选，获得目标关键词集合以及与所述目标关键词集合对应的元数据信息；其中，所述关键词嵌入数据库中存储有所述预设文本编码器输出的关键词文本嵌入向量；

6、基于所述连接时序分类候选解码结果、所述目标关键词集合以及所述元数据信息构建结构化提示信息，并将所述结构化提示信息及所述语音嵌入向量共同输入预设的大语言模型进行自回归推理，获得初始识别文本；

7、对所述初始识别文本进行基于声学一致性的幻觉修复处理，获得最终识别文本。

8、根据本发明提供的一种语音识别方法，所述对所述待识别语音数据进行声学特征提取及编码处理，获得语音编码特征，包括：

9、对所述待识别语音数据提取声学特征；将所述声学特征输入预设的语音编码器进行处理，输出所述语音编码特征。

10、根据本发明提供的一种语音识别方法，基于所述语音嵌入向量，从预先构建的关键词嵌入数据库中进行多级检索筛选，获得目标关键词集合的步骤，包括：

11、根据所述语音嵌入向量与所述关键词嵌入数据库中的各个所述关键词文本嵌入向量之间的相似度，筛选获得第一关键词候选集合；

12、基于预设的发音词典，将所述连接时序分类候选解码结果转换为参考发音序列，基于所述参考发音序列对所述第一关键词候选集合进行发音匹配筛选，获得第二关键词候选集合；

13、根据所述预设文本编码器，提取所述连接时序分类候选解码结果对应的候选文本嵌入向量，并基于所述候选文本嵌入向量与所述第二关键词候选集合对应的文本特征语义相似度，筛选获得所述目标关键词集合。

14、根据本发明提供的一种语音识别方法，基于所述参考发音序列对所述第一关键词候选集合进行发音匹配筛选，获得第二关键词候选集合，包括：

15、基于所述预设的发音词典，将所述第一关键词候选集合中的每一个关键词转换为对应的关键词发音序列；

16、将所述关键词发音序列与所述参考发音序列进行匹配比对，保留满足在所述参考发音序列中发音完全匹配以及音调差异最小条件的关键词，获得所述第二关键词候选集合。

17、根据本发明提供的一种语音识别方法，所述结构化提示信息以结构化文本格式组织；其中，所述结构化提示信息除了包含所述连接时序分类候选解码结果、所述目标关键词集合以及所述元数据信息外，还包括用户历史对话信息。

18、根据本发明提供的一种语音识别方法，对所述初始识别文本进行基于声学一致性的幻觉修复处理，获得最终识别文本，包括：

19、基于强制对齐处理，计算获得所述初始识别文本与所述待识别语音数据之间的声学匹配得分；

20、将所述初始识别文本转换为第一发音序列，并将所述连接时序分类候选解码结果中的各个识别结果分别转换为第二发音序列；

21、计算所述第一发音序列与各个所述第二发音序列之间的平均发音编辑距离；

22、基于所述声学匹配得分及所述平均发音编辑距离，计算所述初始识别文本的置信度得分；

23、在所述置信度得分大于预设置信度阈值时，将所述初始识别文本作为所述最终识别文本；

24、在所述置信度得分不大于所述预设置信度阈值时，将所述连接时序分类候选解码结果中的最优结果作为所述最终识别文本。

25、根据本发明提供的一种语音识别方法，所述方法还包括：

26、针对所述关键词嵌入数据库中的每一个关键词，初始化综合权重；其中，所述综合权重基于热度权重与置信度权重计算获得；

27、在检测到所述目标关键词集合中的命中关键词时，对所述命中关键词的热度权重增加固定数值，并基于时间衰减因子对所述关键词嵌入数据库中全部关键词的热度权重执行衰减处理；

28、在所述命中关键词包含在所述最终识别文本中的情况下，获取所述预设的大语言模型生成所述命中关键词时的输出概率，并基于所述输出概率与所述命中关键词的置信度权重进行加权融合，获得所述命中关键词的更新后的置信度权重；

29、在所述命中关键词未包含在所述最终识别文本中的情况下，基于预设衰减系数对所述命中关键词的置信度权重执行衰减处理，获得所述命中关键词的更新后的置信度权重；

30、基于所述命中关键词的更新后的热度权重与所述更新后的置信度权重，更新所述命中关键词的综合权重；

31、基于所述综合权重对所述关键词嵌入数据库执行数据更新与清理操作。

32、根据本发明提供的一种语音识别方法，所述元数据信息包括关键词的别名、所在场景信息、领域信息以及摘要描述中的至少一项。

33、本发明还提供一种语音识别装置，包括如下模块：

34、获取模块，用于获取待识别语音数据，对所述待识别语音数据进行声学特征提取及编码处理，获得语音编码特征；

35、并行处理模块，用于对所述语音编码特征分别进行并行解码与特征映射处理，获得连接时序分类候选解码结果以及语音嵌入向量；其中，所述语音嵌入向量被映射至预设文本特征空间，所述预设文本特征空间为预设文本编码器输出关键词文本嵌入向量的特征空间；

36、筛选模块，用于基于所述语音嵌入向量，从预先构建的关键词嵌入数据库中进行多级检索筛选，获得目标关键词集合以及与所述目标关键词集合对应的元数据信息；其中，所述关键词嵌入数据库中存储有所述预设文本编码器输出的关键词文本嵌入向量；

37、推理模块，用于基于所述连接时序分类候选解码结果、所述目标关键词集合以及所述元数据信息构建结构化提示信息，并将所述结构化提示信息及所述语音嵌入向量共同输入预设的大语言模型进行自回归推理，获得初始识别文本；

38、修复模块，用于对所述初始识别文本进行基于声学一致性的幻觉修复处理，获得最终识别文本。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述语音识别方法。

40、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语音识别方法。

41、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语音识别方法。

42、本发明提供的一种语音识别方法、装置、电子设备及存储介质，通过对语音编码特征进行并行解码与特征映射处理，使得语音侧信息同时以解码文本及语音嵌入向量两种形态参与后续处理，并将所述语音嵌入向量映射至与关键词嵌入数据库相一致的预设文本特征空间，从而在该共享空间内基于所述语音嵌入向量从所述关键词嵌入数据库中进行多级检索筛选，精准锁定与待识别语音强相关的目标关键词集合及对应元数据信息；进而以所述连接时序分类候选解码结果、所述目标关键词集合及所述元数据信息构建结构化提示信息，结合所述语音嵌入向量共同输入预设的大语言模型进行自回归推理，使所述大语言模型在丰富的先验信息引导下输出更贴合真实语义的初始识别文本，最后通过基于声学一致性的幻觉修复处理对所述初始识别文本进行约束校正，从而有效突破了传统语音识别系统在大规模关键词场景下因静态词表受限及上下文动态适应能力不足所导致的识别瓶颈，显著提升了大规模关键词语音识别的准确率以及对复杂语境的适应能力，并使整个系统具备良好的可扩展性以满足工业级大规模关键词识别需求。