车险坐席数字人生成方法、装置、电子设备及存储介质与流程

摘要: 本申请涉及人工智能应用,可应用于金融科技领域,尤其涉及一种车险坐席数字人生成方法、装置、电子设备及存储介质。背景技术:1、随着人工智能技术的发展,数字人逐渐应用...
车险坐席数字人生成方法、装置、电子设备及存储介质与流程

本申请涉及人工智能应用,可应用于金融科技领域,尤其涉及一种车险坐席数字人生成方法、装置、电子设备及存储介质。

背景技术:

1、随着人工智能技术的发展,数字人逐渐应用于在线咨询、业务讲解和客户服务等场景。例如,在金融科技领域,保险机构可通过数字人提供保险产品介绍、保单查询、报价咨询和理赔指引等服务。现有数字人通常采用统一人物形象或预先制作的固定模板,不同服务人员对应的数字人在面部特征、着装样式、表情状态和肢体动作等方面具有较高的相似性;针对具体服务人员制作数字人时,通常还涉及图像、视频和语音素材的人工采集与后续制作,制作流程包含多个处理环节,所需时间和制作成本随数字人数量增加。与此同时,车险服务涉及保险产品、条款内容、报价规则、投保流程和理赔流程等多类专业内容,不同咨询事项对应的语言表达、情绪状态和动作表现存在差异。现有数字人在交互过程中,可能出现人物形象与实际服务人员特征差异较大、表情或肢体动作与应答内容不协调、应答内容与当前咨询事项匹配程度较低等现象;在连续交互场景中,还可能出现应答生成时间较长、画面输出与应答内容不同步等情况。

技术实现思路

1、本申请实施方式主要解决的技术问题是传统数字人技术中个性化数字人形象的生成周期较长,数字人的视觉表现和应答内容与车险业务场景的匹配程度较低。

2、为解决上述技术问题,本申请实施方式采用的第一个技术方案是:提供一种车险坐席数字人生成方法,包括:获取车险坐席的多模态训练数据和对应的业务场景标签;对所述多模态训练数据进行特征提取和跨模态对齐,根据特征提取结果和跨模态对齐结果生成多模态训练样本;构建包括视觉生成分支和业务交互分支的双分支神经网络;输入所述多模态训练样本和所述业务场景标签至所述双分支神经网络,通过所述视觉生成分支生成候选数字人视觉形象,并通过所述业务交互分支生成候选业务交互内容;调用视觉判别器和业务判别器,分别对所述候选数字人视觉形象和所述候选业务交互内容进行判别,并根据判别结果对所述双分支神经网络进行对抗训练,得到目标数字人生成模型;输入目标车险坐席的目标形象数据和目标业务场景标签至所述目标数字人生成模型,生成与所述目标车险坐席对应的目标车险坐席数字人。

3、为解决上述技术问题,本申请实施方式采用的第二个技术方案是:提供一种车险坐席数字人生成装置,包括:训练数据获取模块,用于获取车险坐席的多模态训练数据和对应的业务场景标签;训练样本生成模块,用于对所述多模态训练数据进行特征提取和跨模态对齐,根据特征提取结果和跨模态对齐结果生成多模态训练样本;分支网络构建模块,用于构建包括视觉生成分支和业务交互分支的双分支神经网络;候选结果生成模块,用于输入所述多模态训练样本和所述业务场景标签至所述双分支神经网络,通过所述视觉生成分支生成候选数字人视觉形象,并通过所述业务交互分支生成候选业务交互内容;对抗训练执行模块,用于调用视觉判别器和业务判别器,分别对所述候选数字人视觉形象和所述候选业务交互内容进行判别,并根据判别结果对所述双分支神经网络进行对抗训练,得到目标数字人生成模型;坐席形象生成模块,用于输入目标车险坐席的目标形象数据和目标业务场景标签至所述目标数字人生成模型,生成与所述目标车险坐席对应的目标车险坐席数字人。

4、为解决上述技术问题,本申请实施方式采用的第三个技术方案是:提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的车险坐席数字人生成方法。

5、为解决上述技术问题,本申请实施方式采用的第四个技术方案是:提供一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行如上所述的车险坐席数字人生成方法。

6、区别于相关技术的情况,本申请利用双分支神经网络分别处理视觉特征和业务交互特征,减少两类异构信息在同一处理路径中的相互干扰,并通过交叉注意力建立表情、动作与应答语义、情绪之间的对应关系,再利用视觉判别器和业务判别器从视觉真实性和业务专业性两个方面进行对抗训练。因此,能够使生成的车险坐席数字人在视觉表现、业务应答和车险服务场景之间保持匹配,提高数字人生成质量和场景适配能力。

1.一种车险坐席数字人生成方法,其特征在于,包括:

2.根据权利要求1所述的车险坐席数字人生成方法,其特征在于,所述获取车险坐席的多模态训练数据和对应的业务场景标签,包括:

3.根据权利要求2所述的车险坐席数字人生成方法,其特征在于,所述多模态训练数据包括视觉训练数据、业务交互训练数据和保险业务知识数据;所述对所述多模态训练数据进行特征提取和跨模态对齐,包括:

4.根据权利要求1所述的车险坐席数字人生成方法,其特征在于,所述多模态训练样本包括视觉特征向量、业务交互特征向量和保险知识嵌入向量;所述构建包括视觉生成分支和业务交互分支的双分支神经网络,包括:

5.根据权利要求1所述的车险坐席数字人生成方法,其特征在于,所述根据判别结果对所述双分支神经网络进行对抗训练,包括:

6.根据权利要求1所述的车险坐席数字人生成方法,其特征在于,所述通过所述视觉生成分支生成候选数字人视觉形象,并通过所述业务交互分支生成候选业务交互内容,包括:

7.根据权利要求1所述的车险坐席数字人生成方法,其特征在于,所述生成与所述目标车险坐席对应的目标车险坐席数字人,包括:

8.一种车险坐席数字人生成装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行权利要求1-7任一项所述的车险坐席数字人生成方法。