基于多模态特征融合的智能质检方法、系统、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种基于多模态特征融合的智能质检方法、系统、设备及介质。背景技术:1、在传统模式下,客户购买银行理财、保险、基金等产品时,须按监管要...
基于多模态特征融合的智能质检方法、系统、设备及介质与流程

本发明涉及人工智能,尤其涉及一种基于多模态特征融合的智能质检方法、系统、设备及介质。

背景技术:

1、在传统模式下,客户购买银行理财、保险、基金等产品时,须按监管要求完成"双录",即全同步程录音和录像。这一过程完整记录了客户经理介绍产品、讲清风险,客户对条款与风险的理解确认以及其是否自愿购买的真实意愿,既满足合规存档要求,也能防止销售误导、处理后续纠纷留存了客观证据。但是面对双录结果,人工抽检率极低,致使超过九成的客户交互数据长期处于监控盲区,存在大量违规话术、信息误导乃至服务流程断裂等风险隐患。随着人工智能的发展,尽管借助大模型技术可对服务录音实施事后质检,但其本质上仍属追溯式被动处理,反馈机制严重滞后,无法实现即时干预。由此,覆盖率不足导致的数据盲区与时效性欠缺所引发的响应迟滞相互叠加造成现有质检方案可靠性不足,进而难以满足实际需求。

技术实现思路

1、本发明实施例的主要目的在于提供一种基于多模态特征融合的智能质检方法、系统、设备及介质,旨在解决现有技术中对质检覆盖率不足导致的数据盲区与时效性欠缺所引发的响应迟滞相互叠加造成现有质检方案可靠性不足,进而难以满足实际需求的问题。

2、第一方面,本发明实施例提供一种基于多模态特征融合的智能质检方法,包括:

3、实时采集目标座席与目标客户之间的实时视频流,并对所述实时视频流中的人脸画面进行在框检测和身份比对获得人脸识别结果;

4、同时对所述实时视频流中所述目标客户出示证件的动作进行识别和有效性校验获得信息质检结果;

5、对所述实时视频流中的文本信息进行语义符合度检测输出文本异常信息,并利用多模态意图识别根据所述文本信息融合所述实时视频流中的音频语调与视频表情特征确定所述目标客户对应的意愿类别;

6、根据所述人脸识别结果、所述意愿类别和所述文本异常信息向所述目标座席推荐目标话术,以使得所述目标坐席根据所述目标话术调整对所述目标客户的输出内容;

7、在录制结束后获得所述目标座席和所述目标客户之间的初始视频信息,并对所述初始视频信息进行图像伪造和质量检测输出对应的视频质检信息;

8、对所述初始视频信息中的身份证截图和合同签署截图对应的关键图像,采用多尺度感知与边界引导网络进行篡改识别获得异常识别结果;

9、将所述人脸识别结果、所述信息质检结果、所述文本异常信息、所述视频质检信息、所述意愿类别和所述异常识别结果进行归并整合,依据预设规则对大模型输出的各维度结果进行异常类型标记和严重等级划分,通过报告模板组装生成所述目标客户的结构化质检报告。

10、第二方面,本发明实施例提供一种基于多模态特征融合的智能质检系统,包括:

11、实时处理模块,用于实时采集目标座席与目标客户之间的实时视频流,并对所述实时视频流中的人脸画面进行在框检测和身份比对获得人脸识别结果;

12、实时质检模块,用于同时对所述实时视频流中所述目标客户出示证件的动作进行识别和有效性校验获得信息质检结果;

13、文本处理模块,用于对所述实时视频流中的文本信息进行语义符合度检测输出文本异常信息,并利用多模态意图识别根据所述文本信息融合所述实时视频流中的音频语调与视频表情特征确定所述目标客户对应的意愿类别;

14、话术推荐模块,用于根据所述人脸识别结果、所述意愿类别和所述文本异常信息向所述目标座席推荐目标话术,以使得所述目标坐席根据所述目标话术调整对所述目标客户的输出内容;

15、视频质检模块,用于在录制结束后获得所述目标座席和所述目标客户之间的初始视频信息,并对所述初始视频信息进行图像伪造和质量检测输出对应的视频质检信息;

16、图像处理模块,用于对所述初始视频信息中的身份证截图和合同签署截图对应的关键图像,采用多尺度感知与边界引导网络进行篡改识别获得异常识别结果;

17、报告输出模块,用于将所述人脸识别结果、所述信息质检结果、所述文本异常信息、所述视频质检信息、所述意愿类别和所述异常识别结果进行归并整合,依据预设规则对大模型输出的各维度结果进行异常类型标记和严重等级划分,通过报告模板组装生成所述目标客户的结构化质检报告。

18、第三方面,本发明实施例还提供一种终端设备,所述终端设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本发明说明书提供的任一项基于多模态特征融合的智能质检方法的步骤。

19、第四方面,本发明实施例还提供一种存储介质,用于计算机可读存储,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明说明书提供的任一项基于多模态特征融合的智能质检方法的步骤。

20、本发明实施例提供一种基于多模态特征融合的智能质检方法、系统、设备及介质,该方法包括:实时采集目标座席与目标客户之间的实时视频流,并对实时视频流中的人脸画面进行在框检测和身份比对获得人脸识别结果;同时对实时视频流中目标客户出示证件的动作进行识别和有效性校验获得信息质检结果;对实时视频流中的文本信息进行语义符合度检测输出文本异常信息,并利用多模态意图识别根据文本信息融合实时视频流中的音频语调与视频表情特征确定目标客户对应的意愿类别;根据人脸识别结果、意愿类别和文本异常信息向目标座席推荐目标话术,以使得目标坐席根据目标话术调整对目标客户的输出内容;从而通过实时采集和分析视频流,人脸在框检测、证件动作识别和语义符合度检测同步进行,使得违规话术、身份冒用、证件过期等问题能在服务过程中被及时发现,从而使得目标座席根据相关话术进行修正,进而将风险阻断在服务完成之前。在录制结束后获得目标座席和目标客户之间的初始视频信息,并对初始视频信息进行图像伪造和质量检测输出对应的视频质检信息;对初始视频信息中的身份证截图和合同签署截图对应的关键图像,采用多尺度感知与边界引导网络进行篡改识别获得异常识别结果;从而针对事后的初始视频信息质检不仅做画质检测,还融入了图像伪造检测和多尺度篡改识别网络,专门针对身份证截图、合同签署截图进行防伪验证。这能有效识别篡改确保录制视频和签署文件具备真实性与完整性,极大降低了后续风险问题。最后,将人脸识别结果、信息质检结果、文本异常信息、视频质检信息、意愿类别和异常识别结果进行归并整合,依据预设规则对大模型输出的各维度结果进行异常类型标记和严重等级划分,通过报告模板组装生成目标客户的结构化质检报告。该方法使得目标座席在服务过程中及时纠正异常,并对服务后的视频信息进行深度伪造检测和质量审计,从而既保证了服务的即时质量,又保障了存档数据的可追溯性,提高了质检的可靠性,解决了现有技术中对质检覆盖率不足导致的数据盲区与时效性欠缺所引发的响应迟滞相互叠加造成现有质检方案可靠性不足,进而难以满足实际需求的问题。

1.一种基于多模态特征融合的智能质检方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述实时视频流中的人脸画面进行在框检测和身份比对获得人脸识别结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述利用联网核查照与所述实时视频流中所述人脸边界框中的目标人脸进行关键点比对获得目标识别结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述对所述实时视频流中的文本信息进行语义符合度检测输出文本异常信息,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述座席语句信息进行话术路径编码分析获得所述座席语句信息对应的第一路径语义特征,以及根据所述预设话术文本进行话术路径编码分析获得所述预设话术文本对应的第二路径语义特征,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述第三语义信息和所述第四语义信息进行语义符合度检测获得所述文本异常信息,包括:

7.根据权利要求6所述的方法,其特征在于,所述对所述初始异常文本进行异常分析获得文本异常模式,包括:

8.一种基于多模态特征融合的智能质检系统,其特征在于,所述系统包括:

9.一种终端设备,其特征在于,所述终端设备包括处理器、存储器;

10.一种计算机存储介质,用于计算机存储,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至7中任一项所述的一种基于多模态特征融合的智能质检方法的步骤。