一种基于语义锚点特征匹配的非标准语音问答测评方法及系统与流程

本发明涉及智能问答测评，具体为一种基于语义锚点特征匹配的非标准语音问答测评方法及系统。

背景技术：

1、在企业培训“答题类”演练场景中，系统往往需要对用户的口语回答进行自动评分，目前，行业内主流的智能问答测评主要依赖以下两种方案，但是它们在实际落地时都存在明显的局限性：

2、方案一：基于纯语音特征的测评，主要提取语速、停顿和音高等声学指标来打分，它的缺点在于仅提取语速、停顿、音量等声学特征进行评判，没办法判断用户回答的知识点对不对，只能评估表达流不流畅，不适用于专业知识考核的场景；

3、方案二：基于文本关键词的硬匹配，先把语音转成文字，再利用正则表达式或字符串比对算法，检查用户有没有说到标准答案里的“关键词”，但是在真实的口语表达中，用户很容易出现倒装句、同义词替换，或者夹杂大量“嗯、啊”等语气词；

4、传统的关键词匹配容错率较低，用户稍微换个说法，哪怕意思完全对，系统也会误判扣分，另外，面对长篇幅的复杂业务答案，仅仅依靠几个离散的关键词是覆盖不了完整逻辑的；

5、现有的方案无法真正去理解非标准化的口语文本，没办法在更深层次的语义维度上实现精准的评分。

技术实现思路

1、本发明提供一种基于语义锚点特征匹配的非标准语音问答测评方法及系统，可以有效解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于语义锚点特征匹配的非标准语音问答测评方法，不依赖固定的关键字，通过自然语言处理技术将标准答案和用户口语回答分别降维和向量化，包括如下流程：

3、步骤1：标准答案的降维与语义锚点构建；

4、步骤2：前端语音流的实时去噪与端侧切分；

5、步骤3：基于动态时间规整与余弦相似度的多维特征匹配；

6、步骤4：融合逻辑连贯性惩罚因子的综合打分引擎；

7、所述步骤1，具体包括如下步骤：

8、步骤101：标准答案的接收与预处理；

9、步骤102：基于ner与依存句法分析的语义锚点提取；

10、步骤103：语义锚点的向量化与特征库构建；

11、所述步骤2，具体包括如下步骤：

12、步骤201：实时语音流采集与缓冲；

13、步骤202：基于vad的智能语音切分；

14、步骤203：音频分片的asr转换与文本去噪；

15、所述步骤3，具体包括如下步骤：

16、步骤301：用户作答文本的向量化；

17、步骤302：余弦相似度矩阵计算；

18、步骤303：动态时间规整匹配算法；

19、步骤304：阈值判定与命中结果生成；

20、所述步骤4，具体包括如下步骤：

21、步骤401：采分点命中率计算；

22、步骤402：逻辑连贯性评估；

23、步骤403：负向词元检测与否定意图识别；

24、步骤404：综合得分计算。

25、根据上述技术方案，所述101，录入的长文本标准答案，对进行文本清洗，得到清洗后的标准答案文本；

26、进一步对进行分词处理，采用基于bert的中文分词器，来生成词序列；

27、所述102，利用命名实体识别ner模型，对词序列进行实体识别，提取出关键实体集合；

28、利用依存句法分析模型对进行句法分析，构建依存树，识别出主谓宾结构、修饰关系；

29、基于依存树和实体集合，采用语义单元提取算法，将长篇标准答案自动拆解为若干个核心的“意图短句”或“知识节点”，称之为“语义锚点”；

30、最终生成语义锚点集合；

31、所述103，利用预训练的文本向量化模型，将提取出的各个“语义锚点”转化为高维向量；

32、对于每个语义锚点，通过embedding模型计算其向量表示：

33、；

34、其中，，为向量维度，通常为768或1024；

35、生成标准高维向量集合；

36、将语义锚点集合和向量集合存储到特征库中。

37、根据上述技术方案，所述201，在客户端，采集用户答题的实时语音流；

38、采用环形缓冲区对音频流进行缓存，缓冲区大小设置为3秒的音频数据；

39、所述202，基于vad的智能语音切分引入端侧静音检测算法，采用基于能量阈值和过零率的双重检测机制，具体实现步骤如下：

40、计算当前音频帧的能量，其中，为音频采样点，为帧长度；

41、计算当前音频帧的过零率；

42、当且时，判定为静音段；

43、当检测到连续静音时长超过预设阈值时，自动将连续的长语音流切分为多个短句音频分片；

44、所述203，音频分片的asr转换与文本去噪将切分后的音频分片通过websocket实时发送至asr服务；

45、asr服务返回识别结果，包含置信度信息；

46、前端利用正则表达式，滤除文本中无实际语义的冗余语气词；

47、去噪算法采用多模式匹配策略包括精确匹配和模糊匹配；

48、生成干净的用户作答文本序列，其中，每个对应一个音频分片的去噪后文本。

49、根据上述技术方案，所述301，将去噪后的用户作答文本序列同样通过embedding模型转化为高维向量序列；

50、采用批量向量化策略，将多个文本一次性输入模型；

51、每个用户向量与对应的文本建立映射关系，形成向量-文本对集合，具体如下：

52、；

53、所述302，计算用户向量与标准库中各个语义锚点向量

54、之间的余弦相似度，余弦相似度计算公式如下：

55、；

56、构建相似度矩阵，其中，。

57、根据上述技术方案，所述303，引入动态时间规整dtw算法；

58、dtw算法寻找最优对齐路径，使得用户向量序列与标准向量序列之间的累积相似度最大化；

59、dtw递推公式如下：

60、；

61、其中，表示用户序列前个向量与标准序列前个向量的最大累积相似度；

62、通过回溯最优路径，确定每个语义锚点是否被用户回答命中；

63、所述304，设定相似度阈值，该阈值可根据题目难度动态调整，题目难度分为简单题、中等题和困难题；

64、对于每个语义锚点，若其最大相似度，则判定该语义锚点被命中；

65、同义词与倒装句兼容机制：

66、由于采用的是高维语义向量计算，即便用户使用了同义词和语序颠倒，其在向量空间中的距离依然相近。

67、根据上述技术方案，所述401，计算被命中的语义锚点数量和总语义锚点数量；

68、计算加权命中率，具体如下：

69、；

70、其中，为被命中的锚点集合，为锚点的权重；

71、所述402，系统引入“逻辑连贯性惩罚因子”，评估用户回答的逻辑顺序是否合理，具体评估步骤如下：

72、提取用户命中锚点的顺序序列；

73、提取标准答案中锚点的逻辑顺序；

74、计算序列相似度，采用lcs算法：

75、；

76、计算逻辑连贯性得分：

77、；

78、若，则触发逻辑连贯性惩罚。

79、根据上述技术方案，所述403，检测用户文本序列中包含与标准答案核心意图相悖的负向词元；

80、采用上下文敏感的否定检测算法：

81、识别否定词及其作用范围，判断否定词是否作用于关键实体和核心概念；

82、若否定词作用于核心概念，则触发否定意图惩罚；

83、否定意图惩罚因子

84、计算公式如下：

85、；

86、其中，为被否定词作用的关键锚点数量；

87、所述404，融合多个维度的得分，计算最终综合得分，具体如下：

88、；

89、为了防止极端情况，对最终得分进行边界限制：

90、。

91、一种基于语义锚点特征匹配的非标准语音问答测评系统，包括语义锚点构建模块、前端语音流处理模块、多维特征匹配模块和综合打分引擎模块。

92、根据上述技术方案，所述语义锚点构建模块将长文本标准答案进行降维处理，提取语义锚点并向量化存储，包括接收与预处理单元、语义锚点提取单元、向量化与特征库构建单元；

93、接收与预处理单元对标准答案进行文本清洗，并采用基于bert的中文分词器进行分词处理；

94、语义锚点提取单元包括ner实体识别、依存句法分析、语义单元提取算法；

95、向量化与特征库构建单元利用预训练的embedding模型将语义锚点转化为高维向量，并将语义锚点集合和向量集合存储至特征库；

96、所述前端语音流处理模块是在客户端对用户语音进行采集、去噪处理和智能切分，包括语音流采集与缓冲单元、智能语音切分单元、asr转换与文本去噪单元：

97、语音流采集与缓冲单元采集用户答题的实时语音流，采用环形缓冲区应对网络波动；

98、智能语音切分单元基于能量阈值和过零率的双重检测机制进行静音检测，当连续静音超过800ms时，自动切分为多个短句音频分片；

99、asr转换与文本去噪单元通过websocket将音频分片发送至asr服务，利用正则表达式和多模式匹配策略过滤语气词。

100、根据上述技术方案，所述多维特征匹配模块将用户回答与标准答案进行语义向量匹配，计算命中结果，包括用户文本向量化单元、余弦相似度计算单元、dtw动态时间规整匹配单元、阈值判定与命中结果生成单元；

101、用户文本向量化单元将去噪后的用户作答文本通过embedding模型转化为高维向量，采用批量向量化策略；

102、余弦相似度计算单元计算用户向量与语义锚点向量之间的余弦相似度，并构建相似度矩阵；

103、dtw动态时间规整匹配单元引入dtw算法解决用户回答与标准答案在时间顺序上的不一致问题，通过寻找最优对齐路径，最大化累积相似度；

104、阈值判定与命中结果生成单元，设定相似度阈值，判定语义锚点是否被命中，支持同义词和倒装句的容错匹配；

105、所述综合打分引擎模块融合多个维度的评估因子，计算最终综合得分，包括采分点命中率计算单元、逻辑连贯性评估单元、负向词元检测与否定意图识别单元和综合得分计算单元；

106、采分点命中率计算单元计算加权命中率，考虑锚点权重；

107、逻辑连贯性评估单元提取用户命中锚点顺序与标准答案逻辑顺序，采用lcs算法计算序列相似度，当相似度低于阈值时触发逻辑连贯性惩罚；

108、负向词元检测与否定意图识别单元，检测负向词元，上下文敏感的否定检测算法，判断否定词是否作用于核心概念，触发否定意图惩罚；

109、综合得分计算单元融合采分点命中率、逻辑连贯性得分、否定意图惩罚因子，对最终得分进行边界限制。

110、与现有技术相比，本发明的有益效果：

111、本发明基于多层次的语义理解，打破了传统“关键词匹配”的限制，用户即使使用强口语化的表达、同义词替换或者倒装句，只要核心“语义锚点”在向量空间中匹配成功，即可得分，大幅提高了智能阅卷的准确率，且从ner实体识别到依存句法分析，再到高维向量空间匹配，实现了从词法、句法到语义的全方位理解；

112、通过智能语音处理，基于vad的智能切分和上下文感知的去噪算法，有效处理了口语化表达中的冗余信息，同时基于鲁棒的匹配算法，结合dtw动态时间规整和余弦相似度，解决了用户回答顺序不一致的问题，同时兼容同义词和倒装句；

113、且通过标准答案语义锚点的提取与向量化建模，将业务长文本转化为可量化计算的高维向量集合，结合端侧去噪切分与余弦相似度计算的口语化文本匹配算法，解决同义词、倒装句的容错匹配问题，同时融合采分点命中率与逻辑连贯性惩罚因子的综合打分机制，确保测评结果的多维性和逻辑严谨性。