一种多模态交互的金融服务终端优化方法、装置及相关产品与流程

摘要: 本技术涉及终端,尤其涉及一种多模态交互的金融服务终端优化方法、装置及相关产品。背景技术:1、随着金融科技快速发展,多模态交互技术被广泛应用于金融服务终端领域。金...
一种多模态交互的金融服务终端优化方法、装置及相关产品与流程

本技术涉及终端,尤其涉及一种多模态交互的金融服务终端优化方法、装置及相关产品。

背景技术:

1、随着金融科技快速发展,多模态交互技术被广泛应用于金融服务终端领域。金融服务终端通过整合视觉、语音、文本、视频等多种交互模态,为用户提供自然直观、实时沉浸的新型金融服务体验,多模态交互已成为金融服务的主流交互模式。交互模态的丰富和叠加,使得终端运行过程中产生的行为数据类型从单一的结构化报文转变为包含音频、视频、图像、文档和结构化数据的多模态混合数据,终端服务流程和用户操作路径也随之趋于复杂化,这对金融服务终端的用户体验优化、用户行为记录、用户意图识别和推理路径溯源提出了更高的技术要求。

2、目前主流的金融服务终端构建方案主要聚焦于实现单模态或多模态交互的基本服务功能,在用户体验优化、用户行为记录、用户意图识别和推理路径溯源四个方面存在明显不足。在用户体验优化方面,现有方案主要依赖api(application programminginterface,应用程序编程接口)请求响应链路的优化,仅能缩短响应时间和提升渲染效率,无法针对多模态场景下不同模态数据的特点(如视频弱网自适应、语音智能降噪、大尺寸文本分割等)进行差异化的自适应优化。在用户行为记录方面,现有方案主要以api访问记录和调用链路为核心进行结构化数据存储,无法将音频、视频、非结构化文档等多模态行为数据与结构化数据进行关联存储和高效存取。在用户意图识别方面,现有方案仅能处理单一模态或简单叠加的输入数据,无法对多种模态数据进行交叉分析和融合识别,导致意图识别准确率低、主体映射偏差大。在推理路径溯源方面,现有方案仅能基于结构化操作日志进行简单链路追踪,无法支持多模态数据交叉场景下的关联分析和根因溯源。

3、因此,如何实现对多模态行为数据的精准识别和推理,提升多模态交互场景下金融服务终端的用户体验,是本领域亟待解决的技术问题。

技术实现思路

1、鉴于上述问题,本技术提供了克服上述问题或者至少部分地解决上述问题的一种多模态交互的金融服务终端优化方法、装置及相关产品。所述技术方案如下:

2、第一方面,提供了一种多模态交互的金融服务终端优化方法,所述方法包括:

3、获取第一多模态行为数据;

4、基于第一多模态行为数据构建行为标签体系,行为标签体系包括分类标签、语义标签和上下文关联标签,分类标签用于标识第一多模态行为数据的模态类型和问题类型,语义标签用于指示第一多模态行为数据的行为语义信息,上下文关联标签用于指示第一多模态行为数据之间的上下文关联关系;

5、基于行为标签体系,构建元行为知识库和行为本体模型;

6、获取第二多模态行为数据,第二多模态行为数据为终端运行时产生的多模态行为数据;

7、基于元行为知识库对第二多模态行为数据进行检索匹配,以及基于行为本体模型对第二多模态行为数据进行语义推理和根因分析,以得到目标任务集合,目标任务集合用于优化终端运行问题;

8、对终端执行与目标任务集合匹配的目标标准化操作。

9、在一种可能的实现方式中,基于第一多模态行为数据构建行为标签体系,包括:

10、对第一多模态行为数据进行多模态特征抽取,得到视觉特征、音频特征和文本特征;

11、对视觉特征、音频特征和文本特征进行特征融合,得到融合特征;

12、根据融合特征,按照模态维度和问题维度进行分类,生成分类标签。

13、在一种可能的实现方式中,基于第一多模态行为数据构建行为标签体系,包括:

14、在第一多模态行为数据为视频数据的情况下,将视频数据拆分为标题、音轨和图像帧,通过语音转文字技术将音轨转换为第一文本信息,通过光学字符识别技术识别图像帧中的字幕文字,通过多模态大模型识别图像帧的图像内容,基于第一文本信息、字幕文字和图像内容确定第一语义摘要,从第一文本信息、字幕文字和图像内容中提取第一行为实体;

15、在第一多模态行为数据为音频数据的情况下,通过语音转文字技术将音频数据转换为第二文本信息,基于第二文本信息确定第二语义摘要,从第二文本信息中提取第二行为实体;

16、在第一多模态行为数据为图像或文档数据的情况下,通过光学字符识别技术识别图像或文档中的文字内容,基于文字内容确定第三语义摘要,从文字内容中提取第三行为实体;

17、在第一多模态行为数据为结构化数据的情况下,将结构化数据输入大语言模型,识别出行为语义信息并提取第四语义摘要和第四行为实体;

18、语义标签包括目标行为实体和目标行为实体对应的目标语义摘要,目标行为实体包括第一行为实体、第二行为实体、第三行为实体或第四行为实体。

19、在一种可能的实现方式中,基于第一多模态行为数据构建行为标签体系,包括:

20、对第一多模态行为数据关联上下文信息,按照行为时间、行为主体和业务功能生成用户行为链数据;

21、根据用户行为链数据,构建上下文图谱;

22、根据用户行为链数据和上下文图谱生成上下文关联标签。

23、在一种可能的实现方式中,基于行为标签体系,构建元行为知识库和行为本体模型,包括:

24、从行为标签体系中提取实体、概念和关系;

25、基于大语言模型对提取到的实体、概念和关系进行全局分析,生成元数据更新任务清单,元数据更新任务清单包括待新建词条、待更新词条和待清理数据;

26、根据元数据更新任务清单,对已有元数据词条进行新建、更新或冲突标记,生成元行为知识库。

27、在一种可能的实现方式中,基于行为标签体系,构建元行为知识库和行为本体模型,包括:

28、根据行为标签体系,从第一多模态行为数据中提取目标实体集合,目标实体集合包括用户实体、业务实体、操作实体、故障实体和运维实体;

29、确定目标实体集合中每个实体之间的语义关系,语义关系包括操作关系、因果关系和拓扑关系;

30、根据语义关系构建物理逻辑约束条件,以得到行为本体模型。

31、在一种可能的实现方式中,对终端执行与目标任务集合匹配的目标标准化操作,包括:

32、预置标准化操作库,标准化操作库中的每个标准化操作包括操作名称、操作描述、触发条件、依赖参数、执行逻辑、权限校验信息和异常处理信息;

33、根据目标任务集合,从标准化操作库中确定目标标准化操作;

34、执行目标标准化操作。

35、第二方面,提供了一种多模态交互的金融服务终端优化装置,所述装置包括:

36、第一获取单元,用于获取第一多模态行为数据;

37、标签构建单元,用于基于第一多模态行为数据构建行为标签体系,行为标签体系包括分类标签、语义标签和上下文关联标签,分类标签用于标识第一多模态行为数据的模态类型和问题类型,语义标签用于指示第一多模态行为数据的行为语义信息,上下文关联标签用于指示第一多模态行为数据之间的上下文关联关系;

38、模型构建单元,用于基于行为标签体系构建元行为知识库和行为本体模型;

39、第二获取单元,用于获取第二多模态行为数据,第二多模态行为数据为终端运行时产生的多模态行为数据;

40、意图识别单元,用于基于元行为知识库对第二多模态行为数据进行检索匹配,以及基于行为本体模型对第二多模态行为数据进行语义推理和根因分析,以得到目标任务集合,目标任务集合用于优化终端运行问题;

41、任务执行单元,用于对终端执行与目标任务集合匹配的目标标准化操作。

42、第三方面,提供了一种电子设备,该电子设备包括处理器和存储器,其中,所述存储器中存储有计算机程序,所述处理器被配置为运行所述计算机程序以执行上述任一项所述的多模态交互的金融服务终端优化方法。

43、第四方面,提供了一种存储介质,所述存储介质存储有计算机程序,其中,所述计算机程序被配置为运行时执行上述任一项所述的多模态交互的金融服务终端优化方法。

44、第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被配置为运行时执行上述任一项所述的多模态交互的金融服务终端优化方法。

45、借由上述技术方案,本技术实施例提供的多模态交互的金融服务终端优化方法、装置及相关产品,该方法包括:获取第一多模态行为数据;基于第一多模态行为数据构建行为标签体系;基于行为标签体系,构建元行为知识库和行为本体模型;获取第二多模态行为数据;基于元行为知识库对第二多模态行为数据进行检索匹配,以及基于行为本体模型对第二多模态行为数据进行语义推理和根因分析,以得到目标任务集合;对终端执行与目标任务集合匹配的目标标准化操作,本技术实施例能够实现对多模态行为数据的精准识别和推理,提升了多模态交互场景下金融服务终端的用户体验。