基于数据质量的基层治理数字化核查指标评价方法与流程

技术特征：
1.一种基于数据质量的基层治理数字化核查指标评价方法，其特征在于，包括：步骤1、调研数据现状，包括政务信息系统和信息资源目录；步骤2、明确数据管理范围；步骤3、制定数据管理标准；步骤4、建立业务模型；步骤5、数据汇聚，在政务外网环境中利用主前置服务器将政务各个部门的前置服务器串联起来，通过数据汇聚接口，把摸底得到的各个业务部门的政务资源目录数据通过数据采集与整合方式统一汇聚到主前置服务器上；步骤6、建立数据质量核查指标；步骤7、利用数据质量评价指标对数据及时性进行评价；步骤8、利用数据质量评价指标对数据完备性进行评价；步骤9、利用数据质量评价指标对数据完整性进行评价；步骤10、利用数据质量评价指标对数据一致性进行评价；步骤11、利用数据质量评价指标对数据有效性进行评价；步骤12、利用数据质量评价指标对数据重复性进行评价；步骤13、数据来源处理，针对政务领域数据使用一数一源、一数多源进行数据来源处理识别；步骤14、数据入库，将源自各部门的数据经过差异比对、清洗后，形成标准的数据格式，再按照不同的需求对数据进行抽取、转换、过滤，实现“人、地、物、事、组织”数据入库。2.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤1中的政务信息系统为政务部门业务应用信息系统，即支撑政府管理和服务职能的信息系统，包括由政府投资建设、政府与社区企业联合建设、政府向社会购买服务或需要政府资金进行维护，用于支撑政府业务应用的各类信息系统，通过梳理信息系统调研模板摸清政府各部门政务信息系统底数；信息资源目录为政务部门在履行职责过程中职责获取并记录、留档的文件数据，由政务部门直接或者通过第三方采集，依托政务信息系统形成的信息资源目录；通过梳理信息资源目录调研模板摸清政府各部门政务信息系统的信息资源目录底数。3.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，在步骤2中通过各级政务机构的行政职能和业务属性,以政务委办局科室为单位、按照三定职责梳理应该有的数据目录和数据项进行识别数据管理范围。4.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤3中包括：步骤3a、对现有各类数据标准进行梳理；步骤3b、完善本地标准，对于业务执行过程中约定速成的各类数据模型进行梳理和提取归纳；步骤3c、标准比对，将已有的政务资源目录数据跟国家标准、地方标准、行业标准进行逐一比对、去重、合成，形成一套可行、完整的数据管理标准体系及数据字典项。5.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤4中，在数据标准中规定相关业务实体的基础元属性建立相应的业务标准模型。
6.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤6中包括：在各部门间数据汇聚的基础上，根据业务需要对来自不同部门的基础信息进行数据质量核查，根据比对结果找到部门间数据库差异和问题，并及时反馈给各政务部门；数据质量评估包括对数据部门评估、对数据资源目录评估、数据表行进行记录数量、空数据和重复/非重复数据的分布统计、最小值、最大值、中间值、极值、数据长度/数据方差分析等进行评估；对数据表列的数据结构进行正则表达进行评估；对字段数值的出现频率和分布进行分析；同时，使用数据间的函数依赖和字典规则进行智能发现潜在的数据规则；通过人工定义相关规则对数据进行发现；对所有相关规则进行校验，合并相容规则、剔除冲突规则，形成质量评估的规则集；用户还可以对这些规则集进行筛选，选择合适维度的评估规则；数据质量评价指标从数据及时性、完备性、完整性、一致性、有效性和重复性进行评价。7.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤7中包括：将数据交付的时间和计划数据交付时间作为对比比较，用于检查处理数据的交付及时性；将处理当前资源目录数据用时和历史处理当前数据资源目录数据用时或一个平均用时进行比较，用于检查处理数据用时情况；将数据实际可供数据使用方消费的时间与计划提供时间进行比较，用于检查数据的及时可用性；步骤8中包括：将输入的大小与以前运行同样的过程时的输入大小、文件记录数据、消息的数目或速率、汇总数据等作比较；将确保关键日期字段的最小和最大日期符合合理性规则，用于检查基于日期标准的数据集的合理性；将评估元数据标准和参考数据进行完备性比较和充分性比较；步骤9中进行跨库跨表数据检查，包括通过确定父表/子表之间的参考完整性以找出无父记录的子记录和值以及通过确定表、父表/子表之间的参考完整性以找出无子记录的父记录和值；步骤10中包括：评估列属性和数据在可被赋予默认值的每个字段中的默认值，用于检查一个字段默认值使用的一致性；将某个聚合日期关联的记录数和百分比与历史记录数和百分比作比较，用于检查按聚合日期汇总的记录数的一致性；将跨多个字段的值的记录数分布和历史百分比作比较，用于检查一致性多列剖析以及测试业务规则；将数据质量测量结果与标准业务模型作比较，用于检查与外部基准比较的一致性。8.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤11中包括：
将输入数据的值与一个既定的值域作比较，用于检查单字段和详细结果；汇总有效性检查的详细结果，将卷积的有效/无效值计数和百分比与历史水平作比较，用于有效性检查和卷积汇总检查。9.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤12中包括：将输入数据的值与一个既定的值域数据作比较，用于检查数据是否重复；汇总重复性检查的详细结果，将卷积的重复数据计数和百分比与历史水平作比较，用于重复性检查和卷积汇总检查。10.根据权利要求1所述的基于数据质量的基层治理数字化核查指标评价方法，其特征在于，步骤13中，一数一源处理时，指定一个数据提供者提供最为可信的版本或者可信信息，可以直接进行数据入库；一数多源处理时，指定多个数据提供者提供数据，按照数据质量指标评价方法和数据存活规则生成可信数据；其中，一数多源的数据存活规则包括：最新时间优先规则，即针对一个基层治理需要的主数据属性，按照数据创建的时间生成可信数据，时间越近的数据优先；最旧时间优先规则，即针对一个基层治理需要的主数据属性，按照数据创建的时间生成可信数据，时间越旧的数据优先；系统来源优先规则，即针对基层治理需要的主数据属性，确定多个数据提供者的优先级别，按照数据提供者的优先级别生成可信数据，级别越高的数据优先；自定义优先规则，即针对基层治理需要的主数据属性，数据提供者多方协商一个自定义的规则生成可信数据。

技术总结
本发明公开了一种基于数据质量的基层治理数字化核查指标评价方法，包括：步骤1、调研数据现状；步骤2、明确数据管理范围；步骤3、制定数据管理标准；步骤4、建立业务模型；步骤5、数据汇聚；步骤6、建立数据质量核查指标；步骤7、对数据及时性进行评价；步骤8、对数据完备性进行评价；步骤9、对数据完整性进行评价；步骤10、对数据一致性进行评价；步骤11、对数据有效性进行评价；步骤12、对数据重复性进行评价；步骤13、数据来源处理；步骤14、数据入库。该方法可以减少数据定义的歧义，实现了全要素的分类，保证数据易用性，还可以实现全过程、全时段、全覆盖、全方位的管理；同时，将多方数据资源融合碰撞，大大提升了数据使用价值。大大提升了数据使用价值。大大提升了数据使用价值。


技术研发人员：承孝敏 赵勇 强婷婷
受保护的技术使用者：长三角信息智能创新研究院
技术研发日：2021.07.29
技术公布日：2021/10/23