一种基于数据底座的业务语义驱动数据治理方法及系统与流程

本发明涉及企业数据治理和数据资产管理，具体涉及一种基于数据底座的业务语义驱动数据治理方法及系统。本发明可应用于离散制造企业的数据治理、业务语义目录建设及数据资产管理等场景。

背景技术：

1、离散制造企业在采购、生产、销售、库存、质量、设备和财务等业务过程中，会持续产生大量业务数据。上述数据通常分布在erp、mes、wms、srm、业务中台、数据仓库以及企业自建系统中，不同系统之间存在字段名称不一致、编码规则不一致、字段说明不完整和业务口径不统一等问题。同一业务字段还可能随业务阶段变化而具有不同含义，如申请数量、订购数量、收料数量和入库数量相互关联，但不能简单视为同一业务语义。

2、为提高数据复用能力，企业通常会建设数据目录、元数据平台、数据标准平台、数据质量平台或数据底座，以统一维护数据表、字段、字段字典、数据标准、表间关系和数据血缘等信息。该类平台能够解决数据资产登记、字段标准化、数据检索和质量规则管理等问题，但在实际治理过程中，治理人员还需要判断数据侧节点是否能够支撑某一业务语义、候选结果能否写入目录、是否需要人工复核，以及是否暴露出字段说明缺失、转换规则缺失或表间关系缺失等治理问题。

3、现有字段匹配、语义对齐和数据治理规划方法可以根据字段名称、字段说明、样例值、规则配置或语义向量生成候选匹配结果，部分方法还可以结合知识库或大语言模型生成治理建议。然而，上述结果通常仍停留在候选推荐或规划建议层面，缺少基于标准数据底座图谱与业务语义图谱的结构证据组织、跨图约束校验和处置分流机制。当候选语义承载关系涉及跨表路径、流程阶段、字段回写或历史目录冲突时，仅依赖相似度分数或模型判断容易产生误判。

4、综上，现有技术至少存在以下不足：

5、一是现有数据治理方法通常未同时构建并利用标准数据底座图谱和业务语义图谱，难以基于数据资产技术关系与业务语义关系共同形成目录写入、人工复核、候选拒绝、无匹配确认和问题标记等可执行治理动作；

6、二是基于双图谱生成的候选语义承载关系缺少由双图谱层级、关系端点、结构邻域和流程路径构成的可复核支持证据与冲突证据，治理人员难以追溯判断依据；

7、三是直接确认候选、待模型验证候选、待人工复核候选、候选拒绝对象和无匹配确认对象未被区别处理，容易增加模型验证和人工复核工作量；

8、四是人工复核结果和治理问题处理结果难以反馈更新后续治理策略以及双图谱中的节点、边和治理状态。

9、为解决上述问题，需要一种面向数据底座的业务语义驱动数据治理方法，其构建标准数据底座图谱和业务语义图谱，并基于所述双图谱生成候选语义承载关系及图结构特征或证据索引；对候选语义承载关系进行排序、多来源融合和数量压缩，对压缩后的待处置候选集合执行层级一致性、关系端点一致性和候选竞争约束检测，并根据候选置信度和约束检测结果进行候选分流；仅针对待验证候选从双图谱中构造过滤式业务证据包并进行验证，再根据各类候选结果生成治理动作，写入相应治理对象及双图谱治理状态。

技术实现思路

1、为了克服现有技术中数据底座与业务语义之间缺乏稳定承载判断、候选语义匹配结果难以直接转化为治理动作、语言模型验证成本高且证据不可复核的问题，本发明提供了一种基于数据底座的业务语义驱动数据治理方法及系统。

2、第一方面，本发明提供一种基于数据底座的业务语义驱动数据治理方法，包括：

3、构建标准数据底座图谱和业务语义图谱，并基于所述标准数据底座图谱和所述业务语义图谱生成候选语义承载关系集合，并计算各候选语义承载关系的候选置信度；

4、对所述候选语义承载关系依次进行排序、多来源融合和数量压缩，输出压缩后的待处置候选集合；

5、对所述压缩后的待处置候选集合执行约束检测，并根据所述候选置信度和约束检测结果进行候选分流，确定各候选语义承载关系的分流结果；

6、为所述分流结果中需要验证的候选语义承载关系构造过滤式业务证据包，并根据所述过滤式业务证据包进行验证，确定验证结果；

7、根据所述分流结果和所述验证结果生成治理动作，并将所述治理动作写入对应的治理对象；

8、采集所述治理动作的复核反馈信息，更新治理策略参数。

9、优选地，所述标准数据底座图谱以表、字段、字段组合、接口、指标、报表、字段字典、数据标准和治理结果作为数据侧节点，以数据侧节点之间的技术关系和治理关系作为数据侧边；所述业务语义图谱以业务对象、业务属性、业务关系、业务指标、业务规则和业务流程阶段作为业务侧节点，以业务侧节点之间的从属、关联、流转、约束、派生和校验关系作为业务侧边。

10、优选地，所述排序依据包括候选语义承载关系的多源特征，所述多源特征包括候选置信度、候选来源可信度、历史复核状态和候选类型相容性。

11、优选地，所述约束检测包括层级一致性检测和关系端点一致性检测；所述层级一致性检测用于检查字段级候选映射与表级候选映射是否一致，所述关系端点一致性检测用于检查数据关系两端候选映射是否与业务关系两端对象闭合。

12、优选地，所述过滤式业务证据包包括支持证据和冲突证据；所述支持证据至少包括节点名称一致性证据、层级一致性证据、结构一致性证据、关系端点一致性证据、路径一致性证据和规则一致性证据中的一种或多种，所述冲突证据至少包括所述约束检测中检测到的约束冲突证据。

13、优选地，所述治理动作包括写入业务语义目录、进入人工复核、拒绝候选、确认无匹配和标记治理问题；当治理动作为写入业务语义目录时，将对应的候选语义承载关系写入业务语义目录；当治理动作为进入人工复核时，将对应的候选语义承载关系写入人工复核队列；当治理动作为拒绝候选时，将对应的候选语义承载关系写入候选拒绝记录；当治理动作为确认无匹配时，将对应的数据侧节点写入无匹配清单；当治理动作为标记治理问题时，将对应的问题写入治理问题清单。

14、第二方面，本发明提供一种基于数据底座的业务语义驱动数据治理系统，包括：

15、双图谱构建与候选关系生成模块，用于构建标准数据底座图谱和业务语义图谱，并基于所述标准数据底座图谱和所述业务语义图谱生成候选语义承载关系集合，并计算各候选语义承载关系的候选置信度；

16、候选排序融合压缩模块，用于对所述候选语义承载关系依次进行排序、多来源融合和数量压缩，输出压缩后的待处置候选集合；

17、图约束检测与候选分流模块，用于对所述压缩后的待处置候选集合执行约束检测，并根据候选置信度和约束检测结果进行候选分流，确定各候选语义承载关系的分流结果；

18、双图谱证据验证模块，用于为所述分流结果中需要验证的候选语义承载关系构造过滤式业务证据包并进行验证，确定验证结果；

19、治理动作生成模块，用于根据所述分流结果和所述验证结果生成治理动作，并将所述治理动作写入对应的治理对象；

20、反馈更新模块，用于采集所述治理动作的复核反馈信息，更新治理策略参数。

21、优选地，所述双图谱构建与候选关系生成模块包括：数据侧节点与边构建单元，用于以表、字段、字段组合、接口、指标、报表、字段字典、数据标准和治理结果作为数据侧节点，以数据侧节点之间的技术关系和治理关系作为数据侧边，构建标准数据底座图谱；业务侧节点与边构建单元，用于以业务对象、业务属性、业务关系、业务指标、业务规则和业务流程阶段作为业务侧节点，以业务侧节点之间的从属、关联、流转、约束、派生和校验关系作为业务侧边，构建业务语义图谱；候选生成单元，用于根据所述数据侧节点、所述数据侧边、所述业务侧节点和所述业务侧边生成候选语义承载关系集合，并为每个候选语义承载关系计算候选置信度。

22、第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述方法的步骤。

23、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述方法的步骤。

24、与现有技术相比，本发明至少具有如下有益效果：

25、（1）针对现有候选匹配结果难以直接转化为治理动作的问题，本发明将标准数据底座图谱节点与业务语义图谱节点之间的候选语义承载关系转化为write、review、reject、no-match和flag等可执行治理动作，使候选识别结果能直接服务于业务语义目录写入、人工复核、候选拒绝、无匹配确认和治理问题标记，提高了数据治理处置的可执行性。

26、（2）针对现有候选语义承载关系缺少可复核证据的问题，本发明围绕单个跨图候选语义承载关系，从标准数据底座图谱和业务语义图谱中抽取节点属性、层级隶属、结构邻域、关系端点、流程路径、规则、支持、冲突、排序和历史证据，避免仅依据字段名称、相似度分数或单次模型判断作出处置结论，提高了候选语义承载关系判断依据的可追溯性和可复核性。

27、（3）针对不同可信度和双图谱约束状态的候选未被区别处理的问题，本发明通过候选排序融合、top-k压缩、候选竞争判断、no-match触发判断以及层级一致性、关系端点一致性等双图谱约束检测，将候选语义承载关系划分为直接确认候选、待模型验证候选、待人工复核候选、候选拒绝对象和无匹配确认对象；仅对待模型验证候选和待人工复核候选进行证据验证，既减少了低价值候选对模型验证和人工复核资源的占用，又降低了因业务阶段不同、字段类型不一致或关系路径局部相似所导致的误判风险。

28、（4）针对人工复核结果和治理问题处理结果难以反馈更新后续治理策略的问题，本发明在生成治理动作的同时记录复核结果、无匹配确认结果和治理问题处理结果，并用于更新证据过滤规则、no-match规则、动作分流阈值和候选来源可信度，从而形成了可持续改进的数据治理闭环。