一种基于跨模态语义相似度的同声传译系统评估方法与流程

本说明书涉及人工智能，尤其涉及一种基于跨模态语义相似度的同声传译系统评估方法。

背景技术：

1、同声传译系统在实时会议、国际交流等场景中应用日益广泛。评估同声传译系统的性能和质量是对于系统优化、选型对比和实际部署至关重要的。

2、目前，传统评估方法（如bleu、comet）需要人工翻译或机器生成“参考译文”作为标准答案，并基于标准答案，采用单一评估维度对同声传译系统进行评估。但是，同声传译场景中人工生成的参考译文严重滞后且成本极高，而且机器生成的参考译文可能存在漏译等问题，导致评估结果不可靠。并且传统评估方法的评估维度单一，造成评估结果可靠性低。传统评估方法仅支持文本输出（speech-to-text，s2t）的同声传译系统的评估，难以同时评估s2t和s2s两种类型的同声传译系统，对于语音输出（speech-to-speech，s2s）的同声传译系统，通常需要先将语音转录为文本再进行评估，会引入asr误差，造成评估偏差。而且，传统评估方法需要在完整演讲结束后进行离线评估，无法支持演讲进行中实时评估，缺乏实时性。

3、基于此，本说明书提供一种基于跨模态语义相似度的同声传译系统评估方法。

技术实现思路

1、为了解决现有技术过度依赖参考译文导致成本高及评估结果可靠性低、评估维度单一、缺乏实时性以及难以同时评估s2t和s2s多种输出模态的同声传译系统的问题，本说明书提供一种基于跨模态语义相似度的同声传译系统评估方法，以解决上述现有技术中存在的问题。

2、本说明书采用下述技术方案：

3、本说明书提供一种基于跨模态语义相似度的同声传译系统评估方法，所述方法包括：

4、s1：实时采集源语音流，并对所述源语音流进行分帧处理和系统时钟同步，生成携带时间戳的音频帧，组合为第一语音；实时获取不同输出模态的待测同声传译系统的各数据块；

5、s2：对所述第一语音进行语义划分，得到各语音段，将所述各语音段的时间区间对应的数据块合并，生成时序对齐数据块，并将符合对齐质量要求的语音段和对应的时序对齐数据块汇总为评估单元；

6、s3：计算所述评估单元中的语音段和时序对齐数据块之间的语义相似度，并基于所述评估单元的语义相似度，计算语义相似度得分；

7、s4：构建同声传译系统评估矩阵，根据所述语义相似度得分，计算所述评估单元在所述同声传译系统评估矩阵中每个评估指标上的得分，基于各评估指标的权重和得分进行加权求和，得到所述评估单元的质量得分；

8、s5：基于所述评估单元的质量得分，计算所述待测同声传译系统的综合得分。

9、可选地，所述s1中所述待测同声传译系统的输出模态包括s2t和s2s，在所述输出模态为所述s2t时，每个数据块包含文本内容、所述文本内容的生成时间戳、所述文本内容对应的源语音的起始时间戳和结束时间戳；在所述输出模态为所述s2s时，所述每个数据块包含音频数据、所述音频数据的生成时间戳、所述音频数据对应的源语音的起始时间戳和结束时间戳。

10、可选地，所述s2中对所述第一语音进行语义划分，得到各语音段具体包括：

11、采用预设的语音活动检测算法识别所述第一语音中的静音段，并将满足预设第一条件的静音段标记为语义边界，所述第一条件为所述静音段的持续时长超过预设第一阈值；

12、根据所述语义边界，对所述第一语音进行语义划分，得到各语音段。

13、可选地，所述s2中所述评估单元的生成方法为：

14、确定每个语音段对应的时间区间作为第一区间，并从所述各数据块中查找与所述每个语音段匹配的数据块，作为第一数据块；所述第一数据块对应的时间区间与所述第一区间重叠；

15、按照时间先后顺序，合并所述每个语音段对应的第一数据块，得到所述每个语音段对应的时序对齐数据块，所述时序对齐数据块对应的时间覆盖区间为所述时序对齐数据块中所有数据块的时间区间的并集；

16、判断所述每个语音段的时序对齐数据块和所述每个语音段是否符合对齐质量要求，将符合对齐质量要求的语音段和对应的时序对齐数据块汇总为评估单元。

17、可选地，所述s2中判断所述每个语音段的时序对齐数据块和所述每个语音段是否符合对齐质量要求具体包括：

18、将所述每个语音段对应的时序对齐数据块的时间覆盖区间作为第二区间；

19、根据所述每个语音段对应的第一区间和第二区间，采用预设的对齐代价函数，计算所述每个语音段对应的时序对齐数据块的对齐质量；

20、判断所述每个语音段对应的时序对齐数据块与所述每个语音段的对齐质量是否符合对齐质量要求，所述对齐质量要求为所述对齐质量不小于预设第二阈值。

21、可选地，所述s3中所述语义相似度基于各跨模态语义相似度模型计算，所述各跨模态语义相似度模型用于执行第一类型和第二类型的任务，所述第一类型为语音到文本，所述第二类型为语音到语音；

22、所述s3中所述语义相似度的计算方法为：

23、确定所述评估单元中的时序对齐数据块的数据模态作为第一模态，以及确定所述评估单元中的语音段的数据模态作为第二模态；

24、通过每个跨模态语义相似度模型中所述第一模态对应的编码器，确定所述评估单元中的时序对齐数据块的第一嵌入向量，以及通过所述每个跨模态语义相似度模型中所述第二模态对应的编码器，确定所述评估单元中的语音段的第二嵌入向量；

25、计算每个第一嵌入向量和每个第二嵌入向量之间的语义相似度。

26、可选地，所述s3中所述语义相似度得分的计算方法为：

27、将所述评估单元的每个语义相似度映射到指定区间，得到初始得分；

28、将各初始得分的中位数作为语义相似度得分。

29、可选地，所述方法还包括：

30、在所述待测同声传译系统的输出模态为s2s且所述各跨模态语义相似度模型中用于执行第二类型任务的跨模态语义相似度模型的数量小于预设第三阈值时，通过预设的自动语音识别系统将所述评估单元中的时序对齐数据块转录为文本；

31、通过所述各跨模态语义相似度模型中用于执行第一类型任务的跨模态语义相似度模型，确定所述评估单元中的语音段和所述文本之间的语义相似度。

32、可选地，所述s4中同声传译系统评估矩阵的构建方法为：

33、根据所述待测同声传译系统的输出模态，从预设评估指标集合中提取所述待测同声传译系统对应的评估指标作为目标评估指标；

34、基于所述目标评估指标，构建同声传译系统评估矩阵；在所述待测同声传译系统的输出模态为s2t时，所述同声传译系统评估矩阵包括语义忠实度、端到端延迟、术语规范性、输出稳定性和流利度；在所述待测同声传译系统的输出模态为s2s时，所述同声传译系统评估矩阵包括所述语义忠实度、所述端到端延迟和所述术语规范性。

35、可选地，所述s4中计算所述评估单元在同声传译系统评估矩阵中每个评估指标上的得分具体包括：

36、在所述评估指标为所述语义忠实度时，将所述最终语义相似度得分作为所述语义忠实度对应的得分；

37、在所述评估指标为所述端到端延迟时，采用预设的第一指数衰减模型，将所述评估单元的延迟时间映射为得分，作为所述端到端延迟对应的得分；所述延迟时间为基于所述评估单元包括的语音段和时序对齐数据块的起始时刻得到的；

38、在所述评估指标为所述术语规范性时，从所述评估单元包括的时序对齐数据块中提取术语，并计算提取出的术语与预先构建的领域术语库中的术语的匹配率，作为所述术语规范性对应的得分；

39、在所述评估指标为所述输出稳定性且所述评估单元的数量至少为两个时，计算相邻两个评估单元包括的时序对齐数据块之间的编辑距离变化率，并通过预设的第二指数衰减模型，将所述编辑距离变化率映射为得分，作为所述输出稳定性对应的得分；所述编辑距离变化率为基于所述相邻两个评估单元中的时序对齐数据块的长度和编辑距离得到的；

40、在所述评估指标为所述流利度时，使用目标语言预训练语言模型，计算所述评估单元的译文困惑度，并将所述译文困惑度线性映射到指定区间，得到所述流利度对应的得分。

41、可选地，所述s4中所述各评估指标的权重的确定方法为：

42、当所述评估单元的数量达到预设数量阈值时，根据所述评估单元在所述每个评估指标上的得分，计算所述每个评估指标对应的熵值；

43、根据所述每个评估指标对应的熵值，确定所述每个评估指标的权重，所述熵值与所述权重负相关。

44、可选地，所述s5具体包括：

45、基于所述各初始得分的标准差，确定所述评估单元的可信度，所述可信度与所述标准差负相关；

46、根据预设指数衰减系数和所述标准差，确定综合权重，并基于所述评估单元的质量得分和所述综合权重，计算所述待测同声传译系统的综合得分。

47、可选地，所述方法还包括：

48、基于所述评估单元的语义相似度、延迟时间、在所述每个评估指标上的得分、可信度和所述待测同声传译系统的综合得分，更新评估结果显示界面中的评估结果，所述评估结果包括语义相似度随时间变化的曲线、延迟曲线、在各评估指标上的得分的雷达图、可信度指示器和累计综合得分；所述可信度指示器用于显示所述可信度对应的颜色，在不同取值范围的标准差对应的可信度的颜色不同；

49、基于所述评估结果，生成评估报告。

50、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

51、本说明书提供的一种基于跨模态语义相似度的同声传译系统评估方法，该方法可先实时采集源语音流，并对源语音流进行分帧处理和系统时钟同步，生成携带时间戳的音频帧，组合为第一语音。实时获取不同输出模态的待测同声传译系统的各数据块。通过分帧处理和系统时钟同步，为第一语音和各数据块建立统一的时间基准，确保后续数据对齐的准确性。并且本发明是在演讲过程中实时采集源语音流和数据块以实时评估待测系统，无需在演讲结束后进行离线评估，相较于传统评估方法，本发明实时性高。之后，对第一语音进行语义划分，得到各语音段，将各语音段的时间区间对应的数据块合并，生成时序对齐数据块，并将符合对齐质量要求的语音段和对应的时序对齐数据块汇总为评估单元。计算评估单元中的语音段和时序对齐数据块之间的语义相似度，并基于评估单元的语义相似度，计算语义相似度得分，无需任何人工或机器生成的“参考译文”即可比较语音段和数据块之间的语义，解决了“无标准答案”的评估困境，降低了评估成本，并且实现对所有输出模态的同声传译系统的统一评估。之后，根据语义相似度得分，计算评估单元在同声传译系统评估矩阵中每个评估指标上的得分，并基于各评估指标的权重和得分进行加权求和，得到评估单元的质量得分。基于评估单元的质量得分，计算待测同声传译系统的综合得分。通过同声传译系统评估矩阵中的评估指标对待测同声传译系统进行多维度评估，而不是依赖单一评估维度，从而提升了评估结果的可靠性。

52、本发明中为了保证语音段与数据块对齐的准确性，采用对齐代价函数，计算每个语音段对应的时序对齐数据块的对齐质量，通过比较对齐质量和第二阈值来判断对齐是否准确（对齐质量是否较高），并在对齐质量不小于第二阈值时，才合并时序对齐数据块和语音段。

53、本发明中在计算语义相似度时，通过多个跨模态语义相似度模型计算，即确定评估单元中的时序对齐数据块的数据模态作为第一模态，以及确定评估单元中的语音段的数据模态作为第二模态。通过每个跨模态语义相似度模型中第一模态对应的编码器，确定评估单元中的时序对齐数据块的第一嵌入向量，以及通过每个跨模态语义相似度模型中第二模态对应的编码器，确定评估单元中的语音段的第二嵌入向量。计算每个第一嵌入向量和每个第二嵌入向量之间的语义相似度。通过多个跨模态语义相似度模型同时计算语义相似度，有效抑制单一模型计算的偏差，从而提升语义相似度的准确性，从而提升评估结果的可靠性和稳健性。而且跨模态语义相似度模型能够直接处理s2t和s2s多种输出模态的待测系统输出的数据块和语音段之间的跨模态差异，从而实现对所有输出模态的同声传译系统的统一评估。

54、本发明中在计算语义相似度得分时，由于中位数对异常值具有天然鲁棒性，即使因输入数据（语音段或者数据块）的数据模态与某一跨模态语义相似度模型的输入类型不匹配导致产生极端低分，中位数也能保持稳定，故可将评估单元的每个语义相似度映射到指定区间，得到初始得分，并将各初始得分的中位数作为语义相似度得分。

55、本发明中针对不同输出模态的待测同声传译系统，对应的同声传译系统评估矩阵中的评估指标的维度或者类型不同，即在待测同声传译系统的输出模态为s2t时，同声传译系统评估矩阵包括语义忠实度、端到端延迟、术语规范性、输出稳定性和流利度，在待测同声传译系统的输出模态为s2s时，同声传译系统评估矩阵包括语义忠实度、端到端延迟和术语规范性，以适配不同输出模态的待测同声传译系统的评估，并且多维度评估指标同时评估，能够提升评估结果的准确性。

56、本发明中各评估指标的权重无需人工干预或预设固定权重，可当评估单元的数量达到预设数量阈值时，根据评估单元在每个评估指标上的得分，计算每个评估指标对应的熵值。根据每个评估指标对应的熵值，动态分配每个评估指标的权重，熵值反映了评估指标的得分的离散程度，并且与权重负相关，也就是熵值越小，说明评估指标在不同评估单元间的差异越大，对区分待测系统的性能越有价值，应赋予更高权重，反之，熵值越大说明评估指标的得分趋于一致，区分度低，应降低权重。通过根据评估指标的熵值自适应动态分配权重，使得区分度越高的评估指标获得越高的权重，使评估过程能够自动适应不同演讲场景。

57、本发明中在计算待测同声传译系统的综合得分时，可基于各初始得分的标准差，确定评估单元的可信度，可信度与标准差负相关，通过计算初始得分之间的标准差作为多模型一致性的量化指标，标准差越小代表基于多模型得到的初始得分越一致，说明基于初始得分得到评估结果的可信度越高。根据预设指数衰减系数和标准差，确定综合权重，并基于评估单元的质量得分和综合权重，计算待测同声传译系统的综合得分，通过利用标准差对评估单元的质量得分进行加权，使得多模型一致性高的评估单元在综合得分中贡献更大，并抑制一致性低的评估单元的贡献，从而提升综合得分的准确性。

58、另外，在评估结果显示界面中通过可信度指示器显示不同颜色以表征不同取值范围的标准差对应的可信度，为用户提供评估结果可靠性的直观参考。