面向口语问答场景的语音识别方法及电子设备与流程

本技术涉及语音信号处理，更具体的说，是涉及一种面向口语问答场景的语音识别方法及电子设备。

背景技术：

1、现有的口语自动评分链路通常由上游的语音识别模块与下游的评分模块串联构成，其中语音识别模块负责将考生的作答语音转换为文本序列，评分模块则依据转换后的文本内容进行质量评估。在针对特定试题场景的识别任务中，为了提升对试题核心关键词的捕捉能力，主流技术方案普遍采用上下文偏置策略。该类方案通常通过独立的偏置编码器对试题相关的文本热词进行文本向量化编码，随后利用注意力机制将编码后的文本特征接入语音识别解码流程，以增强模型对特定词汇的激活概率，从而完成从声学信号到文本内容的转换。

2、然而，在复杂的口语问答实际应用场景中，现有技术仍面临长期存在的技术瓶颈。由于口语作答中存在大量专有名词、人名及特定术语，这些词汇往往具有发音高度近似或训练数据稀缺的特性，导致识别系统在处理音近混淆词及低资源未登录词时，难以维持高精度的识别性能。以英语口语测评场景为例，专有运动员名称“su yiming”常因发音近似，被模型错误识别为通用词汇“swimming”。这种识别层面的偏差会直接传导至下游评分环节，造成评分结果失真，进而影响了整体测评系统的可靠性与公平性，成为制约该领域技术进一步发展的关键难题。

技术实现思路

1、鉴于上述问题，提出了本技术以便提供一种面向口语问答场景的语音识别方法及电子设备，以提升热词识别精度及整体语音识别准确度。具体方案如下：

2、第一方面，提供了一种面向口语问答场景的语音识别方法，包括：

3、获取当前试题对应的热词集合以及考生作答语音，对所述考生作答语音进行声学特征编码，得到全局声学特征；

4、对所述热词集合中的各热词分别执行多模态编码处理：获取所述热词的音素序列和语音样本，对所述热词进行文本编码得到语义特征、对所述音素序列进行音素嵌入编码得到音素发音特征、对所述语音样本进行声学特征编码得到声学特征；

5、将同一所述热词的所述语义特征、所述音素发音特征和所述声学特征进行特征融合，得到所述热词的多模态热词表征；

6、将所述全局声学特征与各所述热词的多模态热词表征输入语音解码器，由所述语音解码器通过偏置注意力机制进行语音解码，输出识别文本。

7、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，在将同一所述热词的所述语义特征、所述音素发音特征和所述声学特征进行特征融合之前，还包括：

8、将所述热词的音素发音特征作为查询项，将所述热词的声学特征作为键和值，通过交叉注意力机制进行注意力计算，得到与所述音素发音特征对齐的目标声学特征；

9、则将同一所述热词的所述语义特征、所述音素发音特征和所述声学特征进行特征融合的过程，具体包括：

10、将同一所述热词的所述语义特征、所述音素发音特征与所述目标声学特征进行特征融合。

11、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，将所述热词的音素发音特征作为查询项，将所述热词的声学特征作为键和值，通过交叉注意力机制进行注意力计算，得到与所述音素发音特征对齐的目标声学特征的过程，包括：

12、以所述热词的音素发音特征中的每个音素单元特征为查询向量，以所述热词的声学特征中的各声学帧特征为键向量和值向量，计算每个所述音素单元特征与全部所述声学帧特征之间的注意力权重；

13、根据所述注意力权重对全部所述声学帧特征进行加权求和，得到每个所述音素单元对应的对齐声学子特征，由各所述音素单元对应的对齐声学子特征构成所述目标声学特征。

14、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，对所述热词进行文本编码得到语义特征的过程，包括：

15、对所述热词进行子词切分，得到所述热词对应的子词单元序列；

16、将各所述子词单元分别映射为子词嵌入向量，得到所述语义特征。

17、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，获取所述热词的语音样本的过程，包括：

18、基于所述热词的文本内容，通过语音合成技术生成所述热词对应的合成语音信号，作为所述语音样本；

19、或，

20、从配置的标准发音词库中提取所述热词对应的语音样本。

21、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，将同一所述热词的所述语义特征、所述音素发音特征和所述声学特征进行特征融合，得到所述热词的多模态热词表征的过程，包括：

22、将同一所述热词的所述语义特征、所述音素发音特征和所述声学特征沿特征维度进行拼接，得到拼接特征；

23、通过可学习线性投影层对所述拼接特征进行降维投影，得到所述多模态热词表征。

24、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，所述语音解码器包含语音注意力分支和偏置注意力分支；

25、将所述全局声学特征与各所述热词的多模态热词表征输入语音解码器，由所述语音解码器通过偏置注意力机制进行语音解码，输出识别文本的过程，包括：

26、通过所述语音注意力分支，以所述语音解码器的当前隐状态为查询项、以所述全局声学特征为键值项进行注意力计算，得到通用解码结果；

27、通过所述偏置注意力分支，以所述语音解码器的当前隐状态为查询项、以各所述热词的多模态热词表征为键值项进行注意力计算，得到偏置增强解码结果；

28、将所述通用解码结果与所述偏置增强解码结果进行概率融合，输出当前时刻的识别文本。

29、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，将所述通用解码结果与所述偏置增强解码结果进行概率融合，输出当前时刻的识别文本的过程，包括：

30、通过门控相加机制，对所述通用解码结果和所述偏置增强解码结果各自对应的概率分布进行相加融合，得到融合后的概率分布，基于融合后的概率分布确定当前时刻的识别文本。

31、在一种可能的设计中，在本技术实施例的第一方面的另一种实现方式中，还包括：

32、将所述识别文本与当前试题的先验信息共同输入配置的口语评分模型；

33、所述口语评分模型用于根据所述识别文本和所述当前试题的先验信息进行口语评分，输出口语作答的评分结果。

34、第二方面，提供了一种电子设备，包括：存储器和处理器；

35、所述存储器，用于存储程序；

36、所述处理器，用于执行所述程序，实现前述第一方面任一项所述的面向口语问答场景的语音识别方法的各个步骤。

37、借由上述技术方案，本技术通过引入文本、音素及声学三重维度的并行编码与融合，使得多模态热词表征不仅包含热词的语义信息，还具备了精细的发音规则约束与真实的声学频谱特征，打破了纯文本单模态表征的信息局限性，能够为解码过程提供更丰富的判别依据。通过多模态热词表征与解码器偏置注意力机制的结合，可在解码阶段有效提升对发音近似词汇的区分能力，进而实现了在复杂口语场景下对专有名词及发音易混淆词汇的高精度识别，提升了语音识别结果的鲁棒性与稳定性，保障了下游口语评分的客观准确。