面向穿透式安全管控场景的多源异构数据管理方法及系统与流程

摘要: 本发明涉及数据库治理与数据质量控制,尤其涉及一种面向穿透式安全管控场景的多源异构数据管理方法及系统。背景技术:1、本部分的陈述仅仅是提供了与本发明相关的背景技术...
面向穿透式安全管控场景的多源异构数据管理方法及系统与流程

本发明涉及数据库治理与数据质量控制,尤其涉及一种面向穿透式安全管控场景的多源异构数据管理方法及系统。

背景技术:

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。

2、工程安全管理与穿透式安全管控过程中形成的数据通常来自多业务源,在结构、字段、编码、粒度及语义上存在显著差异,同一对象常以不同标识出现,难以有效关联。现有技术的核心缺陷在于缺乏一套面向穿透式安全管控全流程的闭环治理机制,既无法通过语义识别和节点类型区分来有效关联多源异构数据并发现跨表冲突,也未能结合异常严重程度与传播范围进行动态、可修复性导向的质量评分。同时,现有的通用大语言模型直接引入和sql写入操作本身还会持续引入新的数据质量风险。

技术实现思路

1、针对现有技术存在的不足,本发明的目的是提供一种面向穿透式安全管控场景的多源异构数据管理方法及系统,实现多源内容关联、冲突智能识别和量化统一、节点类型识别及后续分析应用、针对性大语言模型预检,以及能够随当前数据状态变化的动态数据质量评分。

2、为了实现上述目的,本发明是通过如下的技术方案来实现:

3、本发明第一方面提供了一种面向穿透式安全管控场景的多源异构数据管理方法,包括以下步骤:

4、获取穿透式安全管控场景的待入库数据,利用大语言模型对待入库数据进行预检;

5、对不同数据源的字段值进行预处理并建立显示关联和隐式关联,并对关联为同一业务对象的多源记录执行冲突识别,根据来源可信度确定统一值、候选值或待复核状态,形成数据表;

6、根据数据表中的业务对象信息进行节点识别和分类,将具有独立业务身份并能够参与关联关系分析的业务对象实例抽象为节点,得到各节点对应的节点类型和作用,并建立节点之间的业务关系;

7、根据不同的异常情况进行断点识别,将识别得到的断点按照断点风险量化、五维健康度计算、传播与可修复性分析、反事实边际质量增益计算、动态权重生成、加权几何聚合、关键缺陷门控和质量状态判定的顺序计算数据库质量分;

8、根据当前数据库数据、断点检测结果、节点及字段依赖关系分析结果、动态质量评分结果以及修复复检结果,生成当前数据库质量报告。

9、进一步的,利用大语言模型对待入库数据进行预检的具体步骤为:

10、根据目标表、目标字段和节点类型裁剪大语言模型输入,将主键、外键、枚举、权限、状态和系统维护字段标记为只读上下文字段,将文本描述和候选映射字段标记为待优化字段;

11、从表结构与字段规则库、业务术语库、节点关系模式库、安全管控规则库和历史有效修复案例库中检索相关内容;

12、构造包括任务说明、待处理字段、只读上下文、候选关联、适用规则、禁止事项和输出模式的结构化模型输入,并输入大语言模型中进行预检;

13、对大语言模型输出执行json结构、字段白名单、数据类型、编码正则、枚举范围、主外键、节点类型、业务规则和时间顺序校验,仅将通过校验的候选值用于数据库写入。

14、进一步的,对不同数据源的字段值进行预处理包括执行编码、枚举、单位、时间和文本语义标准化等操作。

15、进一步的,利用主键、外键和业务编码建立显式关联,利用名称语义、组织岗位、时间范围、空间位置和邻接关系建立隐式关联。

16、进一步的,确定各断点事件的修复方式,根据断点类型、目标字段、适用修复规则以及现有数据能否形成确定的修复结果,将断点事件的处理方式划分为自动修复、半自动修复和人工处理。

17、进一步的,对数据库写入sql语句执行质量检测并导出sql质量报告,sql语句质量检测包括目标表存在性、目标字段存在性、字段类型一致性、关键字段完整性、主外键引用完整性、更新定位条件安全性和潜在影响范围检测,不满足安全写入条件的sql语句被阻止执行并生成sql质量报告。

18、本发明第二方面提供了一种面向穿透式安全管控场景的多源异构数据管理系统,包括:

19、标准化输入与预检单元,用于获取穿透式安全管控场景的待入库数据,利用大语言模型对待入库数据进行预检;

20、内容关联与冲突识别单元,用于对不同数据源的字段值进行预处理并建立显示关联和隐式关联,并对关联为同一业务对象的多源记录执行冲突识别,根据来源可信度确定统一值、候选值或待复核状态,形成数据表;

21、节点分类与关系建模单元,用于根据数据表中的业务对象信息进行节点识别和分类,将具有独立业务身份并能够参与关联关系分析的业务对象实例抽象为节点,得到各节点对应的节点类型和作用,并建立节点之间的业务关系;

22、五类断点识别与动态评分单元,用于根据不同的异常情况进行断点识别,将识别得到的断点按照断点风险量化、五维健康度计算、传播与可修复性分析、反事实边际质量增益计算、动态权重生成、加权几何聚合、关键缺陷门控和质量状态判定的顺序计算数据库质量分;

23、报告导出单元,用于根据当前数据库数据、断点检测结果、节点及字段依赖关系分析结果、动态质量评分结果以及修复复检结果,生成当前数据库质量报告。

24、本发明第三方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序适于由处理器加载并执行如本发明第一方面所述的面向穿透式安全管控场景的多源异构数据管理中的步骤。

25、本发明第四方面提供了一种计算机设备,该设备包括:

26、处理器,适于执行计算机程序;

27、计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被所述处理器执行时,实现如本发明第一方面所述的面向穿透式安全管控场景的多源异构数据管理。

28、本发明第五方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如本发明第一方面所述的面向穿透式安全管控场景的多源异构数据管理中的步骤。

29、以上一个或多个技术方案存在以下有益效果:

30、本发明公开了一种面向穿透式安全管控场景的多源异构数据管理方法及系统,针对岗位、人员、任务、网格、审批、整改及培训等多源数据存在标准不统一、字段缺失、跨表断裂、语义冲突、时间异常及sql写入不可控问题,本发明构建标准化输入与ai预检入库机制、五类断点识别—评分—修复—回写闭环治理机制、多表关系可视化机制及sql质量检测机制,实现数据输入到sql检测的全流程控制,可自动修复关键字段、格式及关联与时序断点,提升治理效率与链路完整性。

31、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

1.一种面向穿透式安全管控场景的多源异构数据管理方法,其特征在于,包括以下步骤:

2.如权利要求1所述的面向穿透式安全管控场景的多源异构数据管理方法,其特征在于,利用大语言模型对待入库数据进行预检的具体步骤为:

3.如权利要求1所述的面向穿透式安全管控场景的多源异构数据管理方法,其特征在于,对不同数据源的字段值进行预处理包括执行编码、枚举、单位、时间和文本语义标准化等操作。

4.如权利要求1所述的面向穿透式安全管控场景的多源异构数据管理方法,其特征在于,利用主键、外键和业务编码建立显式关联,利用名称语义、组织岗位、时间范围、空间位置和邻接关系建立隐式关联。

5.如权利要求1所述的面向穿透式安全管控场景的多源异构数据管理方法,其特征在于,确定各断点事件的修复方式,根据断点类型、目标字段、适用修复规则以及现有数据能否形成确定的修复结果,将断点事件的处理方式划分为自动修复、半自动修复和人工处理。

6.如权利要求1所述的面向穿透式安全管控场景的多源异构数据管理方法,其特征在于,对数据库写入sql语句执行质量检测并导出sql质量报告,sql语句质量检测包括目标表存在性、目标字段存在性、字段类型一致性、关键字段完整性、主外键引用完整性、更新定位条件安全性和潜在影响范围检测,不满足安全写入条件的sql语句被阻止执行并生成sql质量报告。

7.一种面向穿透式安全管控场景的多源异构数据管理系统,其特征在于,包括:

8.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-6任一项所述的面向穿透式安全管控场景的多源异构数据管理方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于被处理器加载并执行如权利要求1-6中任一项所述的面向穿透式安全管控场景的多源异构数据管理方法。

10.一种计算机设备,其特征在于,包括: