一种数据血缘全链路自动追踪与治理方法及系统与流程

本发明涉及数据治理与知识图谱，具体涉及一种基于知识图谱、面向数据采集—加工—消费全链路的字段级数据血缘自动追踪、隐式关系推断与合规治理方法，可应用于政务与公共数据共享、数据要素流通、数据合规审计等场景。

背景技术：

1、数据血缘（datalineage）用于刻画数据从源头经加工、转换到消费的流转与依赖关系，是数据治理与合规审计的核心基础能力。当前主流血缘工具大致分为三类：

2、第一类是基于元数据登记与静态代码解析的血缘工具，通过解析sql、etl（extract-transform-load，抽取-转换-加载）配置或存储过程的抽象语法树，抽取表间或列间依赖关系；

3、第二类是基于运行时钩子（hook）的血缘采集方案，在计算引擎执行时挂接监听器，采集作业级、表级的读写事件；

4、第三类是基于统一元数据模型与图存储的数据目录平台，将血缘关系以图结构存储并提供可视化展示。

5、在实际应用中，数据从采集到消费往往经历聚合、派生、过滤、连接、清洗、脱敏等多级字段级语义变换，并受各类业务规则约束。现有技术存在以下缺陷：

6、1.血缘粒度粗：多数工具仅记录表级或数据集级依赖；部分支持列级血缘的工具，也仅记录“输出列来源于哪些输入列”的简单映射，丢失了“经何种变换算子、依据何种业务规则”的关键语义，无法回答“某字段的值如何计算、依据什么规则生成”。

7、2.血缘语义与业务规则割裂：数据变换的语义与背后的口径定义、脱敏策略、准入规则等业务规则未被结构化建模并关联，血缘图仅能展示流向，无法支撑合规性追溯。

8、3.依赖静态解析，隐式血缘缺失：无法发现跨系统手工搬运、外部导入、无源码第三方组件产生的隐式血缘，易出现血缘链路断裂。

9、4.合规审计能力不足：难以对“敏感字段流向何处”“数据问题的上游根因路径”进行自动化推理查询，审计依赖人工排查。

10、5.缺乏闭环治理能力：血缘一经采集即静态存储，人工核验结论与新的加工模式无法反馈回采集与推断环节，血缘图随链路演化逐渐失真。

11、更核心的问题在于：在多作业、跨源与数据回填的复杂加工环境下，现有技术容易将实体同一关系（同名、别名、镜像字段）误判为派生关系，或因证据不足产生反向血缘边，字段级隐式血缘补全的准确性与自动治理的可靠性难以兼顾。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种知识图谱驱动的数据血缘全链路自动追踪与治理方法，解决现有数据血缘工具粒度粗、语义与业务规则割裂、隐式血缘缺失、合规审计能力弱、缺乏闭环治理的问题，尤其解决多作业跨源环境下，字段级隐式血缘补全准确性低、实体同一与派生关系易混淆、反向血缘易出错、自动治理可靠性差的技术问题。

2、根据本发明实施例的第一方面，提供一种知识图谱驱动的数据血缘全链路自动追踪与治理方法，包括以下步骤：

3、s1、定义面向数据血缘的本体类与关联关系，构建血缘本体，同时定义本体公理集；将外部输入的数据资产元数据实例化为数据实体节点与字段节点，将外部输入的业务规则文档结构化为业务规则节点，完成节点实例初始化，输出初始节点集、算子类型库与业务规则节点集；

4、s2、依据所述算子类型库与业务规则节点集，将外部输入的etl/elt作业解析为有向无环图并为各运算节点分配拓扑序号，依据所述算子类型库匹配各运算节点的算子类型，在各算子的输入侧与输出侧以旁路观察者方式注入血缘探针；同时解析作业的调度批次序号与作业依赖层级，生成探针注册表与作业结构有向无环图；

5、s3、作业运行时，通过所述血缘探针采集字段级转换语义，生成转换语义事件流；

6、s4、根据所述转换语义事件流与所述血缘本体，将每条转换事件规约为字段-变换-业务规则三元组，写入知识图谱生成显式血缘图；

7、s5、根据所述显式血缘图中的全部字段节点及其属性、结构上下文，针对跨作业、跨源且无显式血缘直接连接的字段对，计算多维语义相似度，保留综合相似度达到预设相似度阈值的字段对，生成相似候选边集；

8、s6、先为每条所述相似候选边按拓扑时序秩预计算临时方向，再以所述显式血缘图为传播骨架执行带重启机制的置信度迭代传播；最终将全部相似候选边按实体同一、有向派生、待核验三个互斥分支处理，生成包含显式血缘边、实体对齐边、隐式血缘边与待核验候选的合并图；

9、s7、基于所述本体公理集对所述合并图执行一致性校验与逻辑补全，按原始敏感级、继承风险级、脱敏后可共享级三态模型沿血缘链路传播合规标签，生成治理级血缘知识图谱与一致性报告；

10、s8、响应于外部审计请求，根据所述治理级血缘知识图谱，通过sparql图查询语言执行敏感数据流向审计、根因溯源、影响面分析与治理缺口检测，输出审计结果；

11、s9、根据所述审计结果生成结构化治理策略指令并下发至外部执行组件，同时基于人工核验反馈以版本化方式更新图谱参数与本体规则，形成可回滚的全链路闭环治理。

12、根据本发明实施例的第二方面，提供一种知识图谱驱动的数据血缘全链路自动追踪与治理系统，包括：

13、本体建模模块，用于定义面向数据血缘的本体类与关联关系，构建血缘本体，同时定义本体公理集；将外部输入的数据资产元数据实例化为数据实体节点与字段节点，将外部输入的业务规则文档结构化为业务规则节点，完成节点实例初始化，输出初始节点集、算子类型库与业务规则节点集；

14、探针注入模块，用于依据所述算子类型库与业务规则节点集，将外部输入的etl/elt作业解析为有向无环图并为各运算节点分配拓扑序号，依据所述算子类型库匹配各运算节点的算子类型，在各算子的输入侧与输出侧以旁路观察者方式注入血缘探针；同时解析作业的调度批次序号与作业依赖层级，生成探针注册表与作业结构有向无环图；

15、语义捕获模块，用于作业运行时，通过所述血缘探针采集字段级转换语义，生成转换语义事件流；

16、显式血缘构建模块，用于根据所述转换语义事件流与所述血缘本体，将每条转换事件规约为字段-变换-业务规则三元组，写入知识图谱生成显式血缘图；

17、相似候选生成模块，用于根据所述显式血缘图中的全部字段节点及其属性、结构上下文，针对跨作业、跨源且无显式血缘直接连接的字段对，计算多维语义相似度，保留综合相似度达到预设相似度阈值的字段对，生成相似候选边集；

18、隐式血缘推断模块，用于先为每条所述相似候选边按拓扑时序秩预计算临时方向，再以所述显式血缘图为传播骨架执行带重启机制的置信度迭代传播；最终将全部相似候选边按实体同一、有向派生、待核验三个互斥分支处理，生成包含显式血缘边、实体对齐边、隐式血缘边与待核验候选的合并图；

19、治理级图谱固化模块，用于基于所述本体公理集对所述合并图执行一致性校验与逻辑补全，按原始敏感级、继承风险级、脱敏后可共享级三态模型沿血缘链路传播合规标签，生成治理级血缘知识图谱与一致性报告；

20、合规审计分析模块，用于响应于外部审计请求，根据所述治理级血缘知识图谱，通过sparql图查询语言执行敏感数据流向审计、根因溯源、影响面分析与治理缺口检测，输出审计结果；

21、闭环治理反馈模块，用于根据所述审计结果生成结构化治理策略指令并下发至外部执行组件，同时基于人工核验反馈以版本化方式更新图谱参数与本体规则，形成可回滚的全链路闭环治理。

22、本发明的实施例提供的技术方案可以包括以下有益效果：

23、1.以显式血缘拓扑为约束的置信度传播，在提高隐式血缘召回率的同时显著降低误连率，孤立高相似候选被拓扑约束有效抑制；

24、2.拓扑时序秩唯一确定派生方向，大幅降低有向边反向率，保障根因溯源与影响面分析的方向正确性；

25、3.实体同一、有向派生、待核验三分流机制，降低同名/别名/镜像字段被误定向、误连的概率，减少人工复核工作量；

26、4.三态敏感级状态转移，明确区分合法脱敏与违规降级，降低合规误报率，减少对正常业务的干扰；

27、5.旁路探针无侵入式采集，对业务执行影响小；带重启的置信度传播收敛快，模板化查询响应时延低，具备工程可用性；

28、6.推断边、参数与治理反馈可版本化、可回滚，血缘图谱随链路演化持续保持准确，历史可追溯。

29、7.在应用上，能够将合规判定从人工排查转化为图谱上可自动计算的状态转移推理，支撑数据分级分类精细化治理，为跨部门数据流动的留痕与监管审计提供可追溯的技术依据。

30、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。