静音检测方法、存储介质和电子设备与流程

摘要: 本申请涉及音频信号处理,具体而言,涉及一种静音检测方法、存储介质和电子设备。背景技术:1、热线客服及时响应是核心考核指标之一,客服通话中出现的异常静默/静音直接...
静音检测方法、存储介质和电子设备与流程

本申请涉及音频信号处理,具体而言,涉及一种静音检测方法、存储介质和电子设备。

背景技术:

1、热线客服及时响应是核心考核指标之一,客服通话中出现的异常静默/静音直接影响客户体验。目前主流的静音检测技术主要分为两类,但均存在显著局限性:

2、第一类是基于asr转写文本的间接分析方法,该方法先将音频通过自动语音识别(asr)转为文本,再基于文本的时间戳分析静音间隔。但是asr对于对话中的简短应答转写易遗漏,且在用户插话情况下,转写的文本中会存在对话时序逻辑错误,进而产生静音检测误检。此外,目前文本侧静音检测缺乏容错机制,未有理解业务场景,对于客服工作中必要的合理等待缺乏辨别能力,大量“合理静默”被误判为“服务违规”,导致静音检测结果不可靠。

3、第二类是基于音频信号分析的检测方法,这类方法只识别音频流中的静默段落,且端点检测精度不足,无法对对话过程中的简短应答进行检测,最终导致静音检测不准确。

4、如何提升静音检测的准确性,是亟需解决的问题。

技术实现思路

1、本申请的主要目的在于提供一种静音检测方法、存储介质和电子设备,以至少解决现有技术中静音检测准确性不足的问题。

2、为了实现上述目的,根据本申请的一个方面,提供了一种静音检测方法,包括:

3、获取通话音频,对所述通话音频进行结构化文本转写处理,得到结构化文本,所述结构化文本包含客服发言、客户发言及各条发言对应的时间戳;

4、检测所述客服发言中是否存在表征需要额外处理时间的豁免意图,若存在所述豁免意图,则以所述客服发言的结束时间为起点激活预设时长的豁免期;

5、对于所述客户发言,若所述客户发言的起始时间在所述豁免期内,跳过对所述客户发言的静音计时;若所述客户发言的起始时间在所述豁免期外,对所述客户发言进行所述静音计时;

6、若所述静音计时得到的静音时间大于预设的静音阈值,或在所述豁免期结束时客服仍未回复,确定存在静音事件。

7、可选地,检测所述客服发言中是否存在表征需要额外处理时间的豁免意图,包括:

8、对所述客服发言进行正则匹配,若匹配到预设的豁免语句,确定所述客服发言中存在所述豁免意图。

9、可选地,检测所述客服发言中是否存在表征需要额外处理时间的豁免意图,包括:

10、对所述客服发言进行语义识别,若识别出预设的豁免语义,确定所述客服发言中存在所述豁免意图。

11、可选地,对所述客户发言进行所述静音计时,包括:

12、计算所述客户发言的结束时间至所述客户发言之后首句客服发言或者首句客户发言的开始时间之间的时间差值,将所述时间差值作为所述静音时间。

13、可选地,所述豁免期具有豁免时长,所述豁免时长根据客户问题复杂度和/或客服属性确定;

14、其中,所述客户问题复杂度包括:简单问题、常规问题和复杂问题;

15、所述客服属性包括:客服等级和客服对业务领域的熟练度。

16、可选地,所述方法还包括:

17、在所述豁免期内,若检测到新的客服发言,终止所述豁免期。

18、可选地,所述方法还包括:

19、若所述新的客服发言中包含所述豁免意图,从所述新的客服发言的结束时间开始,重新激活一个新的豁免期。

20、可选地,所述方法还包括:

21、若所述静音计时得到的静音时间大于所述静音阈值,为所述客户发言标注静音标记;

22、若在所述豁免期结束时所述客服仍未回复,对所述豁免期对应的所述客服发言标注所述静音标记。

23、可选地,所述方法还包括:

24、将具有所述静音标记的客户发言作为目标客户发言,对所述目标客户发言执行对话流逻辑校验,检测所述目标客户发言的上一句是否为客服发言;

25、若所述目标客户发言的上一句是客服发言,且所述目标客户发言的结束时间早于上一句客服发言的结束时间,取消所述目标客户发言的所述静音标记。

26、可选地,所述方法还包括:

27、在执行所述对话流逻辑校验后,对仍具有所述静音标记的所述目标客户发言,检测所述客服音频中与所述目标客户发言对应的上下文音频片段内是否存在预设的客服人声特征;

28、若检测到所述上下文音频片段中存在所述客服人声特征,取消所述目标客户发言的静音标记,对所述客服音频重新进行结构化文本转写处理,并对重新转写的结构化文本再次执行所述静音检测方法。

29、根据本申请的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的静音检测方法。

30、根据本申请的再一方面,提供了一种电子设备,包括:

31、一个或多个处理器,存储器,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序用于执行任意一种所述的静音检测方法。

32、应用本申请的技术方案,获取通话音频,对通话音频进行结构化文本转写处理,得到结构化文本,结构化文本包含客服发言、客户发言及各条发言对应的时间戳;检测客服发言中是否存在表征需要额外处理时间的豁免意图,若存在豁免意图,则以客服发言的结束时间为起点激活预设时长的豁免期;对于客户发言,若客户发言的起始时间在豁免期内,跳过对客户发言的静音计时;若客户发言的起始时间在豁免期外,对客户发言进行静音计时;若静音计时得到的静音时间大于预设的静音阈值,或在豁免期结束时客服仍未回复,确定存在静音事件。本申请实施例通过豁免意图识别机制,灵活调整静音检测阈值,有效过滤合理静默,大幅提升检测结果的可靠性与业务适配度。

33、本申请实施例还引入对话流逻辑校验机制,通过比对精确时间戳发现并修正结构化文本中的语序异常,剔除因插话造成的虚假静音标记,从而显著提升检测准确性。

34、本申请实施例还引入简短应答识别机制,精准识别客服侧存在的人声简短应答,实现了对简短应答的有效检测与纠错。

1.一种静音检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,检测所述客服发言中是否存在表征需要额外处理时间的豁免意图,包括:

3.根据权利要求1所述的方法,其特征在于,检测所述客服发言中是否存在表征需要额外处理时间的豁免意图,包括:

4.根据权利要求1所述的方法,其特征在于,对所述客户发言进行所述静音计时,包括:

5.根据权利要求1所述的方法,其特征在于,所述豁免期具有豁免时长,所述豁免时长根据客户问题复杂度和/或客服属性确定;

6.根据权利要求1所述的静音检测方法,其特征在于,所述方法还包括:

7.根据权利要求5所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至10中任意一项所述的方法。

12.一种电子设备,其特征在于,包括: