一种多源异构调查数据智能分析方法及系统与流程

摘要: 本发明涉及知识图谱与人工智能,更具体地,涉及一种多源异构调查数据智能分析方法及系统。背景技术:1、随着调查分析业务中数据来源不断增加,银行交易流水、通信记录、出...
一种多源异构调查数据智能分析方法及系统与流程

本发明涉及知识图谱与人工智能,更具体地,涉及一种多源异构调查数据智能分析方法及系统。

背景技术:

1、随着调查分析业务中数据来源不断增加,银行交易流水、通信记录、出行记录、住宿记录等多源异构数据呈现出结构复杂、语义不统一、关联关系隐含等特点。传统数据分析方法难以实现跨来源数据的有效融合与深层关系挖掘,无法满足资金路径追踪、关系发现等复杂分析需求。因此,需要一种基于领域知识建模与知识图谱推理的智能分析方法,实现多源数据的语义关联、统一组织和深度分析,提高调查数据综合研判能力。

2、现有多源异构调查数据分析技术在数据语义统一、跨源关联融合以及智能推理分析方面存在的技术缺陷,主要解决以下几类技术问题:

3、(1)多源异构数据缺乏统一语义表示,难以实现跨数据源融合关联:

4、现有调查数据分析方案通常针对单一类型数据进行处理,不同数据源之间缺少统一的数据语义模型。例如银行交易流水、通话记录、交通出行记录、住宿记录等数据在字段结构、实体表达方式以及业务含义方面存在较大差异,同一主体可能以不同名称、不同标识形式存在于不同数据源中,导致不同来源数据难以进行统一组织和关联分析。由于缺少面向调查领域的统一本体模型,传统方法通常依赖人工设计字段映射规则或简单关键词匹配方式完成数据关联,无法准确描述人员、账户、交易、联系方式、出行行为等实体之间复杂的业务关系,导致跨数据源信息融合能力不足。

5、(2)缺少领域知识约束,实体关系抽取准确性和可扩展性不足:

6、现有知识图谱构建方法通常采用通用实体识别和关系抽取模型,缺少针对具体调查分析场景的领域知识约束,难以准确识别具有业务特征的实体类型及关系类型。同时,当新增数据类型或业务分析需求变化时,传统基于固定规则的数据建模方式需要重新开发,导致系统扩展能力不足。

7、(3)图谱构建缺少本体驱动机制,数据组织能力和知识表达能力有限:

8、现有知识图谱构建方案通常采用数据驱动方式直接进行实体和关系抽取,缺少领域本体层面的概念约束和结构设计,使得不同来源数据进入图谱后容易出现实体类型混乱、关系定义不一致以及知识结构不完整等问题。由于缺少本体层对实体类别、属性关系以及约束规则的统一定义,构建后的知识图谱难以准确表达调查场景中的复杂业务逻辑,也难以支撑后续资金路径追踪、关系网络发现等深层次分析任务。

9、(4)传统图谱查询方式依赖专业人员,无法满足自然语言智能分析需求:

10、现有知识图谱应用通常依赖人工编写cypher等图查询语言完成数据检索,需要分析人员具备数据库查询语言和图谱结构知识。在实际调查分析过程中,用户通常以自然语言描述分析需求,而传统图谱系统无法直接理解业务问题并自动转换为对应查询逻辑,导致知识图谱应用门槛较高,限制了非技术人员对图谱能力的使用。

11、(5)缺少基于图谱推理和智能生成的综合研判机制,深层次分析难:

12、现有数据分析系统通常只能完成数据检索和简单统计,缺少基于知识关联网络的推理分析能力,无法充分挖掘隐藏在多源数据中的潜在关系。同时,现有系统通常需要人工整理分析结果,缺少基于大语言模型的结果理解、分析总结和报告生成能力,无法实现从数据查询到智能研判的自动化闭环。

技术实现思路

1、本发明针对现有技术中存在的技术问题,提供一种多源异构调查数据智能分析方法及系统,能够克服现有多源异构调查数据分析技术存在的数据语义不统一、跨源关联困难、知识图谱构建缺乏领域约束以及智能分析能力不足等问题。

2、根据本发明的第一方面,提供了一种多源异构调查数据智能分析方法,包括:

3、构建面向调查分析领域的事件中心型领域本体模型,其中,所述领域本体模型以事件作为核心知识单元,定义事件集合、实体概念集合、关系集合、事件属性集合和语义约束规则;

4、基于所述领域本体模型,对多源异构输入数据的各源字段进行语义编码,与所述领域本体模型中各本体属性进行匹配计算,建立各源字段到本体属性的映射关系;

5、根据各源字段到本体属性的映射关系,将每条源记录转换为符合所述领域本体模型定义的事件实例,生成标准化事件对象;

6、基于所述事件实例构建事件驱动时序知识图谱,其中,所述事件驱动时序知识图谱以实体和事件为节点、以实体参与事件的关系为边,每条关系边设置有置信度权重;

7、基于所述事件驱动时序知识图谱,执行事件链路径搜索和多源关系融合推理,输出分析结果。

8、在上述技术方案的基础上,本发明还可以作出如下改进。

9、可选的,所述事件集合包括资金交易事件、通话事件和出行事件;所述实体概念集合包括人员、账户、电话号码和地址;所述语义约束规则以本体约束矩阵表示,所述本体约束矩阵中的各元素值用于判定对应实体类型与事件类型之间是否允许建立关联关系。

10、可选的,根据各源字段到本体属性的映射关系,将每条源记录转换为符合所述领域本体模型定义的事件实例,生成标准化事件对象,包括:

11、获取所述领域本体模型中预定义的事件模板,所述事件模板包含组成该事件所需的多个本体属性;

12、对于多源异构输入数据的源字段集合,基于源字段到本体属性的映射关系,计算所述源字段集合与各事件模板的匹配得分,所述匹配得分根据各源字段与事件模板中各本体属性之间的语义相似度加权求和得到;

13、当所述匹配得分超过预设事件实例化阈值时,将所述源字段集合按照对应事件模板的结构实例化为标准化事件对象。

14、可选的,基于所述事件实例构建事件驱动时序知识图谱,包括:

15、从多源异构输入数据中识别实体,从标准化事件对象中识别事件,基于语义约束规则计算实体与事件的关联概率并确定参与关系;

16、以实体和事件为节点、以事件时间为时序标记构建事件驱动时序知识图谱并存储至图数据库,所述事件驱动时序知识图谱的每条关系边的置信度权重是根据事件实例的抽取置信度、时间一致性和数据来源可靠度综合计算得到,所述抽取置信度取自实体与事件之间的关联概率。

17、可选的,所述基于语义约束规则计算实体与事件的关联概率,包括:

18、根据实体识别置信度、事件识别置信度及所述语义约束规则计算实体与事件的关联概率,若所述语义约束规则禁止该实体类型与该事件类型建立关联,则将关联概率置零。

19、可选的,所述从多源异构输入数据中识别实体还包括对识别的多个实体进行消歧融合处理,具体包括:

20、对于来自不同数据源且被识别为同一类型的实体,计算不同实体之间的名称相似度、属性相似度和关系一致性的融合得分;

21、当所述融合得分超过预设融合阈值时,将多个实体合并为同一实体。

22、可选的,所述基于所述事件驱动时序知识图谱,执行事件链路径搜索和多源关系融合推理,输出分析结果,包括:

23、接收用户输入的自然语言查询请求,利用大语言模型解析所述自然语言查询请求的查询意图,识别查询涉及的目标主体、事件类型、关系类型和时空范围;

24、结合所述领域本体模型对目标主体、事件类型和关系类型的约束,生成对应的图数据库查询语句;

25、若所述图数据库查询语句涉及事件链路径搜索或多源事件关联推理,则基于所述事件驱动时序知识图谱执行事件链路径搜索,将事件节点串联形成事件路径并计算所述事件路径的可信度评分,返回查询结果;

26、将查询结果中的结构化数据作为证据上下文输入大语言模型,生成智能分析报告,并根据人工确认信息对所述事件驱动时序知识图谱进行增量更新。

27、可选的,所述事件链路径搜索包括资金流转路径追踪:以账户实体为起点,沿资金交易事件的转账关系进行连续搜索,获得从起始账户到终止账户的资金流转路径,并计算各资金流转路径的可信度得分,其中,可信度得分根据资金流转路径中各事件节点的置信度权重和路径衰减系数计算得到。

28、可选出的,生成所述图数据库查询语句时,以所述领域本体模型中的实体类型、事件类型和关系类型定义作为约束条件,限制所述大语言模型生成的查询语句中涉及的节点类型和关系类型均在所述领域本体模型的定义范围内。

29、根据本发明的第二方面,提供一种多源异构调查数据智能分析系统,包括:

30、第一构建模块,用于构建面向调查分析领域的事件中心型领域本体模型,其中,所述领域本体模型以事件作为核心知识单元,定义事件集合、实体概念集合、关系集合、事件属性集合和语义约束规则;

31、建立模块,用于基于所述领域本体模型,对多源异构输入数据的各源字段进行语义编码,与所述领域本体模型中对应事件属性进行匹配计算,建立各源字段到本体属性的映射关系;

32、转换模块,用于根据各源字段到本体属性的映射关系,将每条源记录转换为符合所述领域本体模型定义的事件实例,生成标准化事件对象;

33、第二构建模块,用于基于所述事件实例构建事件驱动时序知识图谱,其中,以实体和事件为节点、以实体参与事件的关系为边,并为每条关系边设置置信度权重;

34、执行模块,用于基于所述事件驱动时序知识图谱,执行事件链路径搜索和多源关系融合推理,输出分析结果。

35、本发明提供的一种多源异构调查数据智能分析方法及系统,通过构建面向调查分析领域的本体模型,实现不同来源数据的统一语义表达;通过本体约束下的实体识别与关系抽取方法,实现银行交易、通信、出行、住宿等多类型数据的知识融合;进一步利用知识图谱存储与推理技术,实现资金路径追踪、关系网络发现等深层关联分析,并结合大语言模型实现自然语言查询转换、分析结果理解及智能报告生成,构建从数据融合、知识组织到智能研判的完整分析闭环,提高复杂调查场景下的信息发现能力和辅助决策水平。