数据治理方法、装置、设备及存储介质与流程

本技术涉及数据质量治理，尤其涉及数据治理方法、数据治理装置、电子设备及存储介质。

背景技术：

1、在传统的资源配置数据管理过程中，各配置项的属性数据与关系数据通常分别存储于不同的管理模块中，且各自的校验逻辑与管理策略相互独立。然而，不同属性及关系在业务消费过程中被调用的频率、依赖程度差异显著，部分属性或关系虽被赋予较高重要等级，但在实际业务中极少被消费使用，而另一些属性或关系虽重要等级不高，却是高频业务交互的关键依赖。在这种静态等级划分与业务消费热度长期割裂的管理模式下，当资源配置数据出现质量问题时，无法区分哪些配置项出现问题对业务影响最大、需要优先修复，导致大量治理资源被投入到低影响或无影响的配置项上，而真正影响业务连续性的高风险配置项却被延迟处理，治理效果与业务实际需求严重脱节，数据治理效率低。

技术实现思路

1、本技术的主要目的在于提供一种数据治理方法、数据治理装置、电子设备及存储介质，旨在解决数据治理效率低的技术问题。

2、为实现上述目的，本技术提出一种数据治理方法，所述数据治理方法包括：

3、获取资源配置数据库中的各配置项，其中，所述配置项包含属性及用于表征当前配置项与其他配置项之间的关系，所述属性及所述关系分别绑定有校验规则，并分别设定有基础重要度；

4、确定所述属性及所述关系的消费接口，并采集所述消费接口的动态调用指标；

5、根据所述属性及所述关系各自的所述基础重要度与对应消费接口的所述动态调用指标，确定所述配置项的质量评分权重；

6、根据所述属性及所述关系的合规检查结果与所述质量评分权重进行加权，得到所述配置项的质量评分，其中，所述合规检查结果为调用所述属性及所述关系对应的校验规则进行合规性检测得到；

7、在所述质量评分低于预设治理阈值时，对所述配置项进行差异化治理。

8、在一实施例中，在所述获取资源配置数据库中的各配置项的步骤之后，还包括：

9、获取各所述配置项的过滤规则，其中，所述过滤规则包含基于所述配置项自身属性的筛选条件和基于所述配置项所关联的其他配置项的属性的筛选条件；

10、基于所述过滤规则生成查询语句，通过执行所述查询语句从各所述配置项中筛选出目标配置项；

11、对所述目标配置项调用对应的校验规则进行合规性检测，得到合规检查结果。

12、在一实施例中，在所述获取资源配置数据库中的各配置项的步骤之后，还包括：

13、获取各所述配置项中待检测配置项的合规性检测任务；

14、获取各所述待检测配置项的历史质量评分、历史异常次数及基础重要度；

15、根据所述历史质量评分、所述历史异常次数及所述基础重要计算各所述合规性检测任务的优先级评分；

16、按照所述优先级评分顺序排列各所述合规性检测任务，生成任务执行队列，并按照所述任务执行队列依次执行各所述合规性检测任务。

17、在一实施例中，在所述生成任务执行队列的步骤之后，还包括：

18、获取当前检测任务所对应的待检测配置项的属性数量、关系数量及所绑定的校验规则数量；

19、根据所述属性数量、所述关系数量及所述校验规则数量计算所述待检测配置项的复杂度因子；

20、基于所述待检测配置项的过滤规则确定所述当前检测任务中的目标配置项的数量；

21、根据所述复杂度因子及所述目标配置项的数量，计算并发线程数；

22、按照所述并发线程数创建对应数量的线程并行执行所述当前检测任务的合规性检测。

23、在一实施例中，所述动态调用指标包含消费方数量及接口调用频次；所述根据所述属性及所述关系各自的所述基础重要度与对应消费接口的所述动态调用指标，确定所述配置项的质量评分权重的步骤包括：

24、对所述动态调用指标进行归一化处理，得到归一化后的动态调用指标；

25、将所述基础重要度与所述归一化后的动态调用指标进行加权求和，得到各所述配置项的质量评分权重。

26、在一实施例中，所述对所述配置项进行差异化治理的步骤包括：

27、获取所述合规检查结果中的异常类型；

28、当所述异常类型属于可治理异常类型时，对所述配置项执行自动化修复；

29、当所述异常类型不属于可治理异常类型时，发起审批工单以通过人工进行数据治理。

30、在一实施例中，在所述质量评分低于预设治理阈值时，所述方法还包括：

31、确定所述质量评分低于预设治理阈值的异常配置项，以及所述异常配置项的目标消费接口；

32、获取所述目标消费接口所属的目标业务系统；

33、根据所述异常配置项在所述资源配置数据库中的拓扑关系，确定被所述异常配置项所涉及的受影响配置项；

34、基于所述异常配置项的异常类型、所述目标消费接口、所述目标业务系统及所述影响配置项，生成治理通知。

35、此外，为实现上述目的，本技术还提出一种数据治理装置，所述数据治理装置包括：

36、获取模块，用于获取资源配置数据库中的各配置项，其中，所述配置项包含属性及用于表征当前配置项与其他配置项之间的关系，所述属性及所述关系分别绑定有校验规则，并分别设定有基础重要度；

37、采集模块，用于确定所述属性及所述关系的消费接口，并采集所述消费接口的动态调用指标；

38、确定模块，用于根据所述属性及所述关系各自的所述基础重要度与对应消费接口的所述动态调用指标，确定所述配置项的质量评分权重；

39、加权模块，用于根据所述属性及所述关系的合规检查结果与所述质量评分权重进行加权，得到所述配置项的质量评分，其中，所述合规检查结果为调用所述属性及所述关系对应的校验规则进行合规性检测得到；

40、治理模块，用于在所述质量评分低于预设治理阈值时，对所述配置项进行差异化治理。

41、此外，为实现上述目的，本技术还提出一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的数据治理方法的步骤。

42、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据治理方法的步骤。

43、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的数据治理方法的步骤。

44、本技术提出的一个或多个技术方案，至少具有以下技术效果：

45、本技术通过为各配置项的属性及关系分别设定基础重要度，并实时采集消费各属性及各关系的消费接口的动态调用指标，质量评分权重的确定过程同时兼顾了基础重要度和动态调用指标，其中，基础重要度体现了各属性及关系自身在管理上被预先设定的重要程度，动态调用指标则反映了各属性及关系在业务交互中被实际消费的热度，二者的结合使得质量评分权重融合了静态等级与动态依赖的双重信息。在此基础上，依据各属性及各关系的合规检查结果与该权重进行加权计算，所得质量评分便能够精准表征不同配置项出现问题时的实际业务影响程度，从而根据该质量评分对配置项进行差异化治理时，能够将治理资源优先投入到权重高、对业务影响大的配置项上，而对于权重低、业务依赖弱的配置项则相应降低治理优先级或采用轻量化处理方式。通过本技术实施例的技术方案，实现了治理资源投入与实际业务需求的精准匹配，避免了传统方案中因静态等级与业务热度割裂而导致的低影响问题被过度治理、高风险问题被延迟处理的资源错配现象，显著提升了数据治理效率与业务连续性保障水平。