一种基于元数据的数据质量管理方法及系统与流程
本发明涉及源头数据质量检核领域,尤其涉及一种基于元数据的数据质量管理方法及系统。
背景技术:
1、现有技术需要人工预设基础且单一的检核sql(结构化查询语言),人工配置检核规则,无法满足复杂数据质量检核需求,无法快速作用到海量数据资源。
2、传统的源头数据质量检核方法大多依赖人工配置简单通用的检核模板,针对源头数据质量管控检核方法,缺乏系统性、智能化的数据质量检核机制,无法进行复杂且全面的数据质量管控。
技术实现思路
1、鉴于上述问题,提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于元数据的数据质量管理方法及系统。
2、根据本发明的一个方面,提供了一种基于元数据的数据质量管理方法,所述管理方法包括:
3、步骤s1:全域元数据汇聚治理,构建银行企业级标准化数据字典;
4、步骤s2:依据监管、行内规范以及沉淀的数据质量规则,搭建标准化可复用数据质量要求模板库;
5、步骤s3:构建er关联映射模型,实现数据字典与数据质量要求模板精准挂接;
6、步骤s4:依托ai语义解析引擎,自动生成可执行数据质量校验规则;
7、步骤s5:统一执行数据质量校验,输出标准化核查结果。
8、可选的,所述步骤s1:全域元数据汇聚治理,构建银行企业级标准化数据字典具体包括:
9、自动采集业务系统的多源异构元数据,涵盖数据表结构、字段属性、值域约束、业务编码、数据血缘、更新时序等全维度元数据信息;
10、对采集的元数据进行清洗、去重与标准化建模,统一全行各类金融数据的字段定义、业务口径、格式规范与约束属性,构建覆盖业务的企业级统一数据字典。
11、可选的,所述数据字典作为全行数据治理的权威元数据底座,固化所有金融数据的基础标准与业务属性,为后续质量标准匹配、智能规则生成、数据合规校验提供统一支撑。
12、可选的,所述步骤s2:依据监管、行内规范以及沉淀的数据质量规则,搭建标准化可复用数据质量要求模板库具体包括:
13、基于国家金融监督管理总局金融数据治理规范、监管报送制度以及内部数据管控标准,提炼、沉淀、构建结构化、可复用的数据质量要求模板库;
14、模板库覆盖数据项的核心维度;
15、每类模板记录完善的规则来源与制定依据适用不同业务检核场景,形成全行统一的数据质量标准体系,替代传统人工零散梳理、逐字段定义质控标准的模式,实现质量要求的体系化、标准化、可复用化落地。
16、可选的,所述数据项的核心维度具体包括数据完整性、唯一性、一致性、时效性、值域合法性、非法值、编码规范性。
17、可选的,所述步骤s3:构建er关联映射模型,实现数据字典与数据质量要求模板精准挂接具体包括:
18、配置两张核心结构化数据表,分别为企业级金融数据字典表、数据质量要求标准表,通过实体关联关系实现字典字段与数据质量要求的精准挂接绑定;
19、其中,企业级金融数据字典表以标准编号作为主键;
20、数据质量要求表设置绑定数据字典字段id作为外键,关联对应字典字段。
21、可选的,所述步骤s4:依托ai语义解析引擎,自动生成可执行数据质量校验规则具体包括:
22、基于er模型挂接完成的结构化数据质量要求,依托ai解析引擎执行规则转换处理;
23、ai引擎直接读取各金融字段对应的自然语言质量规则描述,对标准化质控要求进行逻辑拆解与语法转换,自动生成可直接在数据库中运行的数据检核sql语句;
24、全程无需人工编写sql、无需手动配置校验脚本,针对各类质控场景,批量生成对应可执行检核sql,完成质检规则的智能化、自动化落地,为后续数据质量批量校验提供可执行脚本支撑。
25、可选的,所述步骤s5:统一执行数据质量校验,输出标准化核查结果具体包括:
26、将ai智能引擎自动生成的各类可执行检核sql语句,统一下发数据湖或大数据平台进行批量执行,对数据湖或大数据平台的数据进行自动化质量检核;
27、根据sql执行结果,自动甄别各类数据质量异常点位,最终生成标准化、结构化的数据质量检核结果,完成数据质量自动化校验与结果输出。
28、本发明还提供了一种基于元数据的数据质量管理系统,应用上述所述的一种基于元数据的数据质量管理方法,所述管理系统包括:
29、标准化数据字典构建模块,用于全域元数据汇聚治理,构建银行企业级标准化数据字典;
30、数据质量要求模板库搭建模块,用于依据监管、行内规范以及沉淀的数据质量规则,搭建标准化可复用数据质量要求模板库;
31、er关联映射模型构建模块,用于构建er关联映射模型,实现数据字典与数据质量要求模板精准挂接;
32、ai语义解析引擎模块,用于依托ai语义解析引擎,自动生成可执行数据质量校验规则;
33、数据质量校验模块,用于统一执行数据质量校验,输出标准化核查结果。
34、本发明提供的一种基于元数据的数据质量管理方法及系统,所述管理方法包括:步骤s1:全域元数据汇聚治理,构建银行企业级标准化数据字典;步骤s2:依据监管、行内规范以及沉淀的数据质量规则,搭建标准化可复用数据质量要求模板库;步骤s3:构建er关联映射模型,实现数据字典与数据质量要求模板精准挂接;步骤s4:依托ai语义解析引擎,自动生成可执行数据质量校验规则;步骤s5:统一执行数据质量校验,输出标准化核查结果。依托数据湖或者大数据平台实现全域数据批量统一校验,全面覆盖数据完整性、唯一性、一致性、时效性、值域合法性与格式规范性多维度质检场景,极大降低人工治理成本、减少人为干预,显著提升金融数据质量核查的自动化程度与整体管控效率。
35、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
1.一种基于元数据的数据质量管理方法,其特征在于,所述管理方法包括:
2.根据权利要求1所述的一种基于元数据的数据质量管理方法,其特征在于,所述步骤s1:全域元数据汇聚治理,构建银行企业级标准化数据字典具体包括:
3.根据权利要求2所述的一种基于元数据的数据质量管理方法,其特征在于,所述数据字典作为全行数据治理的权威元数据底座,固化所有金融数据的基础标准与业务属性,为后续质量标准匹配、智能规则生成、数据合规校验提供统一支撑。
4.根据权利要求1所述的一种基于元数据的数据质量管理方法,其特征在于,所述步骤s2:依据监管、行内规范以及沉淀的数据质量规则,搭建标准化可复用数据质量要求模板库具体包括:
5.根据权利要求4所述的一种基于元数据的数据质量管理方法,其特征在于,所述数据项的核心维度具体包括数据完整性、唯一性、一致性、时效性、值域合法性、非法值、编码规范性。
6.根据权利要求1所述的一种基于元数据的数据质量管理方法,其特征在于,所述步骤s3:构建er关联映射模型,实现数据字典与数据质量要求模板精准挂接具体包括:
7.根据权利要求1所述的一种基于元数据的数据质量管理方法,其特征在于,所述步骤s4:依托ai语义解析引擎,自动生成可执行数据质量校验规则具体包括:
8.根据权利要求1所述的一种基于元数据的数据质量管理方法,其特征在于,所述步骤s5:统一执行数据质量校验,输出标准化核查结果具体包括:
9.一种基于元数据的数据质量管理系统,应用上述权利要求1-8任一项所述的一种基于元数据的数据质量管理方法,其特征在于,所述管理系统包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com