基于多模态融合的实时通话风险识别方法及系统与流程

摘要: 本申请涉及语音信号处理,具体涉及基于多模态融合的实时通话风险识别方法及系统。背景技术:1、在智能外呼和呼叫中心的实时通话处理中,系统通常从客户语音提取声学特征,...
基于多模态融合的实时通话风险识别方法及系统与流程

本申请涉及语音信号处理,具体涉及基于多模态融合的实时通话风险识别方法及系统。

背景技术:

1、在智能外呼和呼叫中心的实时通话处理中,系统通常从客户语音提取声学特征,将语音转写为文本后提取语义特征,并结合业务话术及历史对话信息进行风险判定,随后向坐席提示风险或将通话转入人工服务;采用固定判决门槛时,不同来源的证据通常按同一门槛形成处置结果。

2、在转写受噪声、口音或语境影响的通话中,文本可能命中风险词,而客户语音状态及前后轮次内容未提供相同指向的证据;也可能出现客户已明确表达异议,但声学变化尚不明显的情形,此时三路证据的风险指向与可靠程度存在差异。

3、若判决门槛不能随证据来源结构及其分歧状态调整,系统难以区分上述情形;降低统一门槛可能增加不必要的接管,提高统一门槛又可能延迟风险处置。

4、因此,在多路证据存在分歧的具体通话中,现有固定门槛方案缺少结合来源差异及后续客户应答调整判决条件的机制,影响风险判断与通话处置的一致性。

技术实现思路

1、本申请提供基于多模态融合的实时通话风险识别方法及系统,用于在通话进行过程中依据多路证据的来源方向和分歧状态形成动态判决边界,并利用探询语轮后的实际响应更新该判决边界。

2、基于多模态融合的实时通话风险识别方法,应用于智能外呼系统,包括:

3、获取通话的语音信号、转写的通话文本及通话上下文信息,提取声学特征、语义特征与上下文特征,组成三路特征;

4、根据三路特征及通话起始基线,映射至方位径向判决场,得到风险径向距离与模态方位角;

5、根据三路特征的分歧度与不确定度,得到边界张开系数,根据通话起始基线,得到基准半径;

6、根据边界张开系数、基准半径及模态方位角,得到方位判决半径;根据风险径向距离、方位判决半径及分歧度,得到注入强度与候选注入时刻;

7、根据注入强度与候选注入时刻,生成并注入探询语轮,在观测窗内采集客户应答,得到更新三路特征;

8、根据更新三路特征,得到更新后的风险径向距离,并与注入前的风险径向距离比较,得到径向迁移量;

9、根据径向迁移量,更新边界张开系数,并重新确定方位判决半径,得到更新后的判决边界;

10、根据更新后的风险径向距离与更新后的判决边界的比较结果,生成风险标签与接管指令,调控智能外呼系统的通话进程。

11、基于多模态融合的实时通话风险识别系统,包括:

12、信号获取单元,提取语音信号、通话文本与通话上下文信息中的三路特征;

13、判决场构建单元,根据三路特征及通话起始基线,得到风险径向距离与模态方位角;

14、边界确定单元,根据三路特征的分歧度与不确定度及通话起始基线,得到边界张开系数与基准半径,结合模态方位角得到方位判决半径;

15、语轮注入单元,根据风险径向距离、方位判决半径及分歧度,确定注入强度与候选注入时刻并注入探询语轮;

16、迁移判定单元,根据客户应答的更新三路特征,得到更新后的风险径向距离及径向迁移量;

17、边界更新单元,根据径向迁移量更新边界张开系数及方位判决半径,得到更新后的判决边界;

18、调控输出单元,根据更新后的风险径向距离与更新后的判决边界,生成风险标签与接管指令并调控通话进程。

19、有益效果具体如下:

20、通过将声学特征、语义特征与上下文特征映射至同一方位径向判决场,并以风险径向距离和模态方位角表征风险坐标点,使三路证据在统一判决空间内参与判定;由于方位判决半径由边界张开系数、基准半径与模态方位角共同确定,判决门槛能够随证据来源方向变化,从而克服全局单一门槛不能区分证据来源方向的缺陷。

21、通过三路特征的分歧度与不确定度确定边界张开系数,结合通话起始基线确定基准半径,使门槛同时依赖通话基线、证据状态及当前方位;在固定角度与基准半径下,系数增加使门槛不升高,在固定系数与基准半径下,角度差绝对值增加使门槛不降低,从而提供区别于固定单一门槛的可计算调节关系,实际误报与漏报变化需要结合参数及测试记录评价。

22、通过依据风险径向距离、方位判决半径和分歧度确定注入强度与候选注入时刻,并按该结果生成及注入探询语轮,使系统在证据分歧尚未自行消解时主动获得客户应答;由于探询语轮的内容和声学参数与当前风险状态相耦合,观测窗能够获得用于辨别真实风险与感知失真的更新三路特征,从而由被动等待证据转为主动获取证据。

23、通过根据探询语轮前后的更新三路特征形成径向迁移量,并依据径向迁移量更新边界张开系数与方位判决半径,使判决边界能够随客户实际应答进行内收或外扩;由于更新后的判决边界继续参与后续风险判定,因此形成感知、判决、探询、再感知和边界更新的闭环,降低判决边界长期依赖固定离线参数造成的偏差。

24、通过比较更新后的风险径向距离与更新后的判决边界生成风险标签和接管指令,并利用该风险标签和接管指令调控智能外呼系统的通话进程,使风险识别结果直接作用于坐席提醒、业务条款下发和人工接管;由于识别、复核与处置在同一实时处理链中连续完成,因此能够缩短证据形成至风险处置之间的处理路径。

1.基于多模态融合的实时通话风险识别方法,应用于智能外呼系统,其特征在于,包括:

2.根据权利要求1所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据三路特征及通话起始基线,映射至方位径向判决场,得到风险径向距离与模态方位角,包括:

3.根据权利要求1所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据三路特征的分歧度与不确定度,得到边界张开系数,根据通话起始基线,得到基准半径,包括:

4.根据权利要求1所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据边界张开系数、基准半径及模态方位角,得到方位判决半径,包括:

5.根据权利要求1所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据风险径向距离、方位判决半径及分歧度,得到注入强度与候选注入时刻,包括:

6.根据权利要求1所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据注入强度与候选注入时刻,生成并注入探询语轮,在观测窗内采集客户应答,得到更新三路特征,包括:

7.根据权利要求1所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据更新三路特征,得到更新后的风险径向距离,并与注入前的风险径向距离比较,得到径向迁移量,包括:

8.根据权利要求7所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据径向迁移量,更新边界张开系数,并重新确定方位判决半径,得到更新后的判决边界,包括:

9.根据权利要求8所述的基于多模态融合的实时通话风险识别方法,其特征在于,根据更新后的风险径向距离与更新后的判决边界的比较结果,生成风险标签与接管指令,调控智能外呼系统的通话进程,包括:

10.基于多模态融合的实时通话风险识别系统,其特征在于,用于执行权利要求1至9中任一项所述的方法,包括: