基于高质量数据质量评估的数据治理系统的制作方法
本发明涉及数据治理,具体是涉及基于高质量数据质量评估的数据治理系统。
背景技术:
1、随着企业数字化转型的深入推进,数据已成为企业运营与决策的核心资产,为确保数据的准确性、一致性和完整性,基于数据质量评估的数据治理系统应运而生。
2、在数据质量问题的根因追溯方面,现有系统通常依赖各数据处理节点的操作日志进行逆向排查,或借助数据血缘图谱辅助定位问题范围,然而在实际生产环境中,日志常因存储策略清理、系统故障丢失或格式不统一等原因导致溯源链路中断,而血缘图谱通常仅停留在表级粒度,无法精确到字段级和操作级,运维人员仍需在各节点涉及的全部字段和处理逻辑中逐一排查,此外,在复杂的数据流转链路中,上游节点的异常存在沿链路向下游传导放大的情况,而现有的系统无法区分检出的异常是源头性错误还是传导效应,且对根因的判定缺乏验证手段,导致运维人员修复后需等待下一轮质量检测才能验证效果,不仅验证周期长,而且也无法判断修复失败是因根因定位错误还是修复不彻底,治理效率极低,进而不利于使用。
3、于是有鉴于此,本发明提出基于高质量数据质量评估的数据治理系统以弥补和改善现有技术的欠缺之处。
技术实现思路
1、为解决上述技术问题,本发明提供了能够实现不依赖完整日志的数据质量根因精准追溯,将溯源结果从基于不完备信息的推断转变为基于仿真实验的可验证结论,有效提升了数据质量治理的准确性和效率的基于高质量数据质量评估的数据治理系统,以解决上述背景技术中提出的相应技术问题。
2、为达到以上目的,本发明采用的技术方案为:基于高质量数据质量评估的数据治理系统,包括候选根因锁定单元、隔离仿真环境构建单元、虚拟扰动注入单元、质量偏差量化单元、因果贡献度计算单元以及根因判定输出单元,其中:
3、候选根因锁定单元,用于响应于数据质量事件被触发,获取数据质量事件对应的问题数据集及该问题数据集在数据流转链路中所经过的数据处理节点集合,基于数据血缘关系从数据处理节点集合中锁定候选根因节点,构建候选根因节点集,发送至隔离仿真环境构建单元;
4、隔离仿真环境构建单元,用于获取候选根因节点集,并针对候选根因节点集中的每一候选根因节点,基于历史数据快照和该候选根因节点及其下游节点的数据处理逻辑,构建对应的隔离仿真环境,发送至虚拟扰动注入单元;
5、虚拟扰动注入单元,用于获取隔离仿真环境,并在隔离仿真环境中,对每一候选根因节点执行至少一种预设类型的虚拟扰动注入,以触发隔离仿真环境重新执行受扰动影响的数据处理流程,获取扰动注入后的仿真输出数据集,并提取该仿真输出数据集在各预设质量维度上的指标值,发送至质量偏差量化单元;
6、质量偏差量化单元,用于获取仿真输出数据集在各预设质量维度上的指标值,并与预设的质量基线进行差分比对,计算各预设质量维度上的质量偏差改善量,发送至因果贡献度计算单元;
7、因果贡献度计算单元,用于获取各预设质量维度上的质量偏差改善量,并以质量偏差改善量为依据,计算各候选根因节点对数据质量事件的因果贡献度,发送至根因判定输出单元;
8、根因判定输出单元,用于获取各候选根因节点对数据质量事件的因果贡献度并进行排序,基于排序结果,将因果贡献度最高的候选根因节点确定为数据质量事件的根因定位结果,并生成包含根因节点标识、各候选根因节点贡献度排序及建议修复操作的根因分析报告输出至运维终端。
9、作为优选的,构建候选根因节点集的具体过程如下:
10、s101、获取数据质量事件触发时刻对应的目标异常数据集,提取该异常数据集的异常特征,所述异常特征包括异常字段名称、异常类型以及异常发生时间点;
11、s102、获取数据流转全链路的元数据信息,通过解析各数据处理节点的输入输出表结构及字段映射关系,构建数据血缘有向图,所述数据血缘有向图的节点表示数据处理节点,边表示节点间的数据流向依赖关系;
12、s103、从异常数据集所处的位置节点出发,沿数据血缘有向图的反向边逐级向上游遍历,以预设的上溯深度为终止条件,将遍历到的所有数据处理节点标记为初始候选节点;
13、s104、针对每一初始候选节点,提取该节点在异常发生时间窗口内的操作类型特征,以及该节点对应的输入数据特征和输出数据特征,所述操作类型特征包括数据清洗、格式转换、字段计算和聚合统计中的至少一种;
14、s105、将每一初始候选节点的输入数据特征与输出数据特征进行逐项比对,分别计算该节点在异常发生时间窗口内的字段结构变化量、数据分布偏移量和数据完整性变化量,并根据三项变化量计算该节点的数据变更剧烈度指数;
15、s106、预设变更剧烈度阈值,将数据变更剧烈度指数超过该阈值的初始候选节点判定为异常活跃节点,以所有异常活跃节点构建候选根因节点集。
16、作为优选的,构建对应的隔离仿真环境的具体过程如下:
17、s201、获取候选根因节点集,针对每一候选根因节点,提取该候选根因节点在数据质量事件发生前最后一个完整数据处理周期所对应的全量输入数据集,作为历史数据快照;
18、s202、对该历史数据快照执行数据脱敏处理,去除包含个人隐私信息及商业机密的敏感字段,生成脱敏后的安全数据副本;
19、s203、解析该候选根因节点及其所有下游节点的可执行代码与配置参数,提取各节点的数据处理逻辑;
20、s204、在预设的隔离沙箱容器中,以脱敏后的安全数据副本作为输入,按照提取出的数据处理逻辑,实例化该候选根因节点及其各下游节点的镜像实例,形成仿真链路;
21、s205、配置该仿真链路的资源约束条件,使其与真实生产环境的资源配置比例保持一致,所述资源约束条件包括cpu核数、内存大小、磁盘输入输出带宽及网络传输速率中的至少一种;
22、s206、向该仿真链路的入口节点载入脱敏后的安全数据副本,触发执行一次完整的数据处理流程,记录该流程执行后各节点的输出数据集,作为该候选根因节点对应的质量基线数据集。
23、作为优选的,提取该仿真输出数据集在各预设质量维度上的指标值的具体过程如下:
24、s301、获取候选根因节点及其对应的隔离仿真环境,从预设扰动类型中选择至少一种扰动类型对该候选根因节点执行虚拟扰动注入,所述预设扰动类型包括数据修正扰动、逻辑回退扰动和参数变更扰动;
25、s302、若选择数据修正扰动,则获取该候选根因节点的输入数据集中被标记为异常的字段值,将该字段值修正为预设的标准值,其余字段保持不变,形成修正后的扰动输入数据集;
26、s303、若选择逻辑回退扰动,则获取该候选根因节点在当前版本之前的最近一个稳定版本的代码快照,将该节点的数据处理逻辑替换为前一稳定版本的逻辑,其余节点的逻辑保持不变;
27、s304、若选择参数变更扰动,则获取该候选根因节点的当前配置参数文件,将该配置参数文件中的至少一项关键参数调整至预设的对照值,其余参数保持不变;
28、s305、将完成扰动注入后的候选根因节点及其隔离仿真环境重新组合为扰动仿真链路,将脱敏后的安全数据副本作为输入数据载入该扰动仿真链路;
29、s306、触发该扰动仿真链路执行一次完整的数据处理流程,记录各节点在扰动注入后的输出数据,形成扰动仿真结果数据集;
30、s307、预设质量评估维度集合,所述质量评估维度包括字段空值率、字段格式合规率、数据分布相似度、业务规则通过率及唯一性约束通过率中的至少一种;
31、s308、对扰动仿真结果数据集按照各质量评估维度逐项计算指标值,得到该候选根因节点在扰动注入后的质量指标向量。
32、作为优选的,计算各预设质量维度上的质量偏差改善量的具体过程如下:
33、s401、获取候选根因节点对应的质量基线数据集,按照与s308相同的质量评估维度集合逐项计算指标值,得到该候选根因节点在未扰动状态下的基线质量指标向量;
34、s402、获取该候选根因节点在扰动注入后的质量指标向量,将扰动后的质量指标向量与基线质量指标向量进行逐维度差分比对,计算各预设质量维度上的单维度偏差改善量;
35、s403、获取各质量维度对应的预设维度权重,各维度权重根据业务场景的重要性预先设定,且所有维度权重之和为1;
36、s404、将各维度的单维度偏差改善量按照对应的维度权重进行加权求和,得到该候选根因节点的综合质量偏差改善量。
37、作为优选的,计算各候选根因节点对数据质量事件的因果贡献度的具体过程如下:
38、s501、获取各候选根因节点对应的综合质量偏差改善量,将该综合质量偏差改善量作为各候选根因节点的初始因果贡献度分值;
39、s502、获取数据血缘有向图中各候选根因节点之间的上下游依赖关系,构建候选节点间的因果传播有向图,其中若第一候选节点位于第二候选节点的上游且第一候选节点的输出为第二候选节点的输入,则存在从第一候选节点指向第二候选节点的有向边;
40、s503、对于存在上游依赖关系的候选根因节点,获取其上游候选根因节点的初始因果贡献度分值以及上下游节点之间的数据重合度,将上游候选根因节点的初始因果贡献度分值乘以预设的衰减传播系数再乘以上下游节点之间的数据重合度,得到该上游节点对当前节点的传播贡献扣除量;
41、s504、从当前候选根因节点的初始因果贡献度分值中减去所有上游节点对其的传播贡献扣除量,得到该候选根因节点的最终因果贡献度分值;
42、s505、将各候选根因节点按照最终因果贡献度分值由高至低进行排序,得到排序序列。
43、作为优选的,生成根因分析报告的具体过程如下:
44、s601、获取排序序列,将其中最终因果贡献度分值最高的候选根因节点标记为根因定位结果;
45、s602、预设因果贡献度阈值,将排序序列中最终因果贡献度分值高于该阈值的所有节点标记为显著影响节点集合;
46、s603、针对根因定位结果,查询预设的历史修复案例库,匹配与该根因节点异常类型一致的历史修复方案,作为建议修复操作的基础推荐;
47、s604、针对非根因的其余候选根因节点,根据其最终因果贡献度分值和上下游位置关系,分别标记为传导性异常节点或伴随性异常节点;
48、s605、按照预设的根因分析报告模板,将以下信息组织为结构化的根因分析报告:根因节点标识、各候选根因节点的最终因果贡献度排序、显著影响节点集合及对应的修复建议、非根因节点的异常类型标签及处理建议;
49、s606、将生成的根因分析报告输出至运维终端,并同步推送至数据质量事件对应的工单系统。
50、与现有技术相比,本发明的有益效果是:通过构建隔离仿真环境并对各候选根因节点执行虚拟扰动注入,将原本依赖不完备日志信息进行推断的被动式溯源,转变为基于仿真实验的可验证因果推理过程,在此基础上,通过量化各候选根因节点扰动注入前后的质量偏差改善幅度来计算各节点的因果贡献度,使因果贡献度最高的节点被定位为根因,而贡献度低的节点被识别为传导性异常,从而在无需完整操作日志和精细血缘图谱的条件下,实现了对数据质量问题根因的精准定位,有效区分了源头性错误与传导效应,解决了现有技术中根因追溯依赖日志、血缘粒度粗糙、因果关系混淆、溯源结论缺乏验证手段的技术问题,显著提高了数据质量治理中根因追溯的准确性、效率和可信度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com