实时互译方法、装置、电子设备、产品及存储介质与流程

本技术涉及语音处理，尤其涉及一种实时互译方法、装置、电子设备、产品及存储介质。

背景技术：

1、在双人或多人实时互译场景中，通常采集在说话人的语音后，将整段语音整体发送至云端进行翻译处理，翻译处理完成之后，播放整段语音的译文结果。由于必须等一整段话说完才能进行翻译，译文输出的时延较高。为了降低时延，可将整段语音拆分为多个片段，然后分别翻译处理各片段。

2、然而，由于各个片段分别进行翻译处理，各片段的翻译处理的完成时间往往不确定，译文结果通常不按说话人的说话顺序返回。若直接按译文结果到达顺序播报，会导致译文顺序错乱，影响语义理解。

技术实现思路

1、本技术提供一种实时互译方法、装置、电子设备、产品及存储介质，以实现按照说话顺序播放译文且防止译文遗漏。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，提供一种实时互译方法，所述方法包括：

4、获取待处理的音频数据；

5、对所述音频数据进行端点检测，得到检测结果，所述检测结果包括第一用户的多个第一语音片段，每个所述第一语音片段具有对应的序列令牌，所述第一语音片段的序列令牌用于指示所述第一语音片段在所述多个第一语音片段中的排列顺序，所述第一用户具有对应的第一统计计数，所述第一统计计数用于指示所述第一用户的第一语音片段的数量；

6、对所述多个第一语音片段进行翻译处理，所述多个第一语音片段的翻译处理并发执行；

7、在得到每个所述第一语音片段对应的译文结果后，更新所述第一统计计数；

8、在更新后的所述第一统计计数指示已得到的译文结果的数量和所述第一语音片段的数量相等时，按照所述多个第一语音片段的序列令牌所指示的顺序输出所述多个第一语音片段的译文结果。

9、可选地，所述对所述音频数据进行端点检测，得到检测结果，包括：

10、在对所述音频数据检测过程中，若检测到所述第一用户处于讲话状态的持续时间大于或等于第一时间阈值，或若在检测到所述第一用户处于讲话状态后，所述第一用户进入静音状态的持续时间大于或等于第二时间阈值，则将所述音频数据中所述第一用户处于讲话状态的音频数据切分为所述第一语音片段。

11、可选地，所述对所述音频数据进行端点检测，得到检测结果，包括：

12、对所述音频数据进行端点检测，依次得到按照时间顺序排列的多个第一语音片段；

13、所述对所述多个第一语音片段进行翻译处理，包括：

14、每得到一个所述第一语音片段，则对所述第一语音片段进行翻译处理。

15、可选地，所述对所述第一语音片段进行翻译处理，包括：

16、对所述第一语音片段进行识别，得到按照时间顺序依次排列的多个识别子文本；

17、每得到一个所述识别子文本，对所述识别子文本进行翻译，得到所述识别子文本对应的译文子结果；

18、基于所述多个识别子文本对应的译文子结果，得到所述第一语音片段对应的译文结果。

19、可选地，所述音频数据包括多个分路的语音流，每个所述分路对应一个用户；

20、所述多个分路包括第一分路和第二分路，所述第一分路对应所述第一用户，所述第二分路对应第二用户；

21、所述检测结果还包括所述第二用户的多个第二语音片段：每个所述第二语音片段具有对应的序列令牌，所述第二语音片段的序列令牌用于指示所述第二语音片段在所述多个第二语音片段中的排列顺序，所述第二用户具有对应的第二统计计数，所述第二统计计数用于指示所述第二用户的第二语音片段的数量；

22、所述方法还包括：对所述多个第二语音片段进行翻译处理，所述多个第二语音片段的翻译处理并发执行；

23、在得到每个所述第二语音片段对应的译文结果后，更新所述第二统计计数；

24、在更新后的所述第二统计计数指示已得到的所述第二语音片段对应的译文结果的数量和所述第二语音片段的数量相等时，按照所述多个第二语音片段的序列令牌所指示的顺序播放所述多个第二语音片段的译文结果。

25、可选地，所述若检测到所述第一用户处于讲话状态的持续时间大于或等于第一时间阈值，则将所述音频数据中所述第一用户处于讲话状态的音频数据切分为所述第一语音片段，包括：

26、若检测到所述第一用户处于讲话状态的持续时间大于或等于第一时间阈值，则基于切分时刻将所述音频数据中所述第一用户处于讲话状态的音频数据切分为所述第一语音片段；

27、所述切分时刻满足以下条件中至少一种：

28、所述音频数据在所述切分时刻的音频能量低于所述音频数据在目标时刻的邻近时间窗口的其他时刻的音频能量；

29、所述切分时刻为所述第一用户在目标时刻的邻近时间窗口中的一次短停顿位置对应的时刻，所述目标时刻为所述第一用户处于讲话状态的持续时间达到第一时间阈值的时刻。

30、第二方面，提供一种实时互译装置，所述实时互译装置包括：

31、获取模块，用于获取待处理的音频数据；

32、检测模块，用于对所述音频数据进行端点检测，得到检测结果，所述检测结果包括第一用户的多个第一语音片段，每个所述第一语音片段具有对应的序列令牌，所述第一语音片段的序列令牌用于指示所述第一语音片段在所述多个第一语音片段中的排列顺序，所述第一用户具有对应的第一统计计数，所述第一统计计数用于指示所述第一用户的第一语音片段的数量；

33、翻译模块，用于对所述多个第一语音片段进行翻译处理，所述多个第一语音片段的翻译处理并发执行；

34、更新模块，用于在得到每个所述第一语音片段对应的译文结果后，更新所述第一统计计数；

35、输出模块，用于在更新后的所述第一统计计数指示已得到的译文结果的数量和所述第一语音片段的数量相等时，按照所述多个第一语音片段的序列令牌所指示的顺序输出所述多个第一语音片段的译文结果。

36、第三方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述实时互译方法的步骤。

37、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述实时互译方法的步骤。

38、第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述实时互译方法的步骤。

39、本技术实施例提供的实时互译方法具有如下有益效果：首先获取音频数据，并对音频数据进行端点检测，得到多个语音片段；然后对多个语音片段并发执行翻译处理；为每个语音片段设置序列令牌，通过序列令牌指示每个语音片段在多个语音片段中的排列顺序，为每一用户设置统计计数；在统计计数指示已得到的译文结果的数量和用户的语音片段的数量相等时，按照多个语音片段的序列令牌所指示的顺序输出多个语音片段的译文结果。对多个语音片段执行并发翻译，无需等待整轮对话结束才开始处理，缩短译文输出时延。由于为每一用户的每个语音片段维护对应序列令牌，按照多个语音片段的序列令牌所指示的顺序输出多个语音片段的译文结果，即使多个语音片段的译文结果乱序返回，最终输出顺序仍与该说话人真实说话顺序一致，避免语义错位。由于为每一用户维护对应的统计计数，只有统计计数指示已得到的译文结果的数量和用户的语音片段的数量相等才触发统一播报，确保该用户全部已提交的语音片段均已收到译文结果后，才进行输出，避免译文结果发生遗漏。由于每个语音片段具有对应的序列令牌，即每个序列令牌具有对应的语音片段和译文结果，避免译文结果发生重复。