一种基于多源空间叠加的采集数据库一致性校验方法与流程
本技术涉及地理信息系统与数据质量管控,尤其是涉及一种基于多源空间叠加的采集数据库一致性校验方法。
背景技术:
1、在国土变更调查及地理信息数据更新管理中,采集数据库通常由基础库经图斑编辑、合库及修边形成,并需要与单图斑成果、仅单独图层变化图斑及非校验区范围数据进行协同核验。由于同一采集数据库图斑可能对应一个或多个单图斑成果图斑,不同数据源在几何范围、属性字段及关键标注字段方面还可能存在一对多或多对一关系,导致一致性校验难以通过简单的图斑标识逐条比对完成。
2、现有技术通常直接对全量图斑进行空间叠加或采用单一字段进行对应匹配,缺少从基础库与采集数据库的实际差异中提取变化图斑并构建更新层的处理机制,容易产生大量无效计算;同时,空间校验与属性校验未形成先后约束,在空间范围尚未对应的情况下即进行属性比较,易形成误判。此外,对于一个更新层图斑对应多个单图斑成果图斑的情况,tbybhzdy字段和ljbz字段不能通过单值直接比较,且缺少单图斑成果校验失败后的补充校验路径,导致关键字段逻辑问题难以准确识别。现有方案还存在问题分类维度不统一、校验过程元数据留存不足等问题,难以满足问题定位、整改复核及全过程追溯的要求。
技术实现思路
1、本技术提供一种基于多源空间叠加的采集数据库一致性校验方法,以解决上述问题,所述方法包括:
2、s1、获取待校验区域对应的基础库、采集数据库、仅单独图层变化图斑、单图斑成果及非校验区范围数据;
3、s2、将所述基础库与采集数据库按照图斑标识码和空间位置进行关联,提取二者空间范围不一致的空间变化图斑及属性字段不一致的属性变化图斑,剔除位于非校验区范围内的变化图斑,并合并所述仅单独图层变化图斑,构建更新层数据集;
4、s3、将所述更新层数据集中的更新层图斑与单图斑成果中的对应图斑进行空间叠加;当一个更新层图斑对应多个单图斑成果图斑时,合并所述多个单图斑成果图斑的几何范围,并计算合并后的几何范围与更新层图斑几何范围之间的对称差面积,根据所述对称差面积确定空间一致性校验结果;
5、s4、对通过空间一致性校验的更新层图斑,分别提取所述更新层图斑与对应单图斑成果图斑的属性字段形成属性向量,并根据所述属性向量中各字段值的比较结果确定属性一致性校验结果;
6、s5、对更新层图斑的tbybhzdy字段执行关键字段逻辑校验,优先将其与对应的一个或多个单图斑成果图斑的tbybhzdy字段集合进行比较,在未建立对应关系或比较结果不一致时,再与仅单独图层变化图斑的tbybhzdy字段进行补充比较;并将更新层图斑的ljbz字段集合与对应单图斑成果图斑的ljbz字段集合进行等价关系或包含关系校验;
7、s6、汇总所述空间一致性校验结果、属性一致性校验结果及关键字段逻辑校验结果,确定空间类、属性类和逻辑类问题图斑,并关联问题图斑的空间范围、图斑标识及问题类型,生成问题图斑校验成果。
8、可选的,对获取的基础库、采集数据库、仅单独图层变化图斑、单图斑成果及非校验区范围数据进行数据有效性检测,包括检测数据格式、数据内容及核心字段完整性;
9、其中,所述数据格式包括.gdb格式和.shp格式,所述核心字段至少包括图斑标识码tbbsm、图斑范围坐标、属性信息字段、tbybhzdy字段及ljbz字段;
10、当检测到数据格式错误、核心字段缺失或数据为空时,终止一致性校验,并输出对应的错误提示信息。
11、可选的,在构建所述更新层数据集之前,对各数据源进行数据标准化预处理,使参与空间叠加的数据采用cgcs2000_3_degree_gk_zone_39坐标系统,几何坐标精度为0.00001米,面积计算精度为0.01平方米;
12、当检测到任一参与空间叠加的数据源不满足所述坐标系统或精度要求时,阻止对应数据源进入后续一致性校验流程。
13、可选的,所述构建更新层数据集包括根据基础库图斑与采集数据库图斑的几何差集提取空间变化图斑,根据预设属性字段的字段值差异提取属性变化图斑;
14、对所述空间变化图斑和属性变化图斑进行合并及去重,并将与非校验区范围数据相交或被所述非校验区范围数据包含的变化图斑剔除;
15、将剔除后的变化图斑与仅单独图层变化图斑进行合并,获得所述更新层数据集。
16、可选的,所述空间一致性校验包括计算更新层图斑几何范围与对应单图斑成果图斑的联合几何范围之间的第一差集面积和第二差集面积,并将所述第一差集面积与第二差集面积之和确定为对称差面积;
17、当所述对称差面积不大于30平方米时,确定更新层图斑通过空间一致性校验;当未找到对应的单图斑成果图斑或所述对称差面积大于30平方米时,确定所述更新层图斑为空间类问题图斑。
18、可选的,所述属性向量包括:
19、地类编码dlbm、图斑细化代码tbxhdm、种植属性代码zzsxdm、备注bz、利用状态代码lyztdm、设施形态代码ssxtdm、耕地类型gdlx、审批情况spqk及批准文号pzwh;
20、以及tbybhzdy字段和ljbz字段;
21、当更新层图斑与对应单图斑成果图斑的适用属性字段均相同且不存在必选字段缺失或空值时,确定所述更新层图斑通过属性一致性校验,否则确定为属性类问题图斑。
22、可选的,所述tbybhzdy字段逻辑校验包括:
23、获取与更新层图斑对应的一个或多个单图斑成果图斑,将所述一个或多个单图斑成果图斑的非空tbybhzdy字段值组成第一字段集合,并将更新层图斑的tbybhzdy字段值与所述第一字段集合进行一致性比较;
24、当未获取到对应的单图斑成果图斑或所述一致性比较未通过时,将更新层图斑与仅单独图层变化图斑进行空间关联,利用关联图斑的tbybhzdy字段执行补充校验。
25、可选的,所述ljbz字段逻辑校验包括获取更新层图斑的ljbz字段值形成更新层字段集合,并获取与所述更新层图斑对应的一个或多个单图斑成果图斑的ljbz字段值形成成果字段集合;
26、根据ljbz字段的数据组织方式判断所述更新层字段集合与成果字段集合是否相等,或判断其中一个字段集合是否包含另一个字段集合中的全部有效字段值,并根据判断结果确定所述ljbz字段逻辑校验是否通过。
27、可选的,所述生成问题图斑校验成果包括:
28、按照空间类、属性类和逻辑类对问题图斑进行分类,并记录各问题图斑的图斑标识码、规则编码、问题描述、差异值及涉及的数据来源;
29、提取所述问题图斑的空间范围,生成.gdb格式问题图斑矢量文件、.xlsx格式错误明细表以及xml格式或json格式校验元数据日志。
30、可选的,在一致性校验过程中检测图斑标识码重复、数据关联失败、一个更新层图斑未对应单图斑成果或对应关系不唯一的异常,当检测到异常时生成异常日志并输出对应的异常提示;
31、对根据问题图斑校验成果完成整改后的采集数据库重新执行所述一致性校验,并留存各次校验对应的导入数据版本、校验时间、校验结果、问题清单及校验元数据日志,以形成校验、整改及复核的闭环校验记录。
32、本技术通过比较基础库与采集数据库的空间范围和属性字段,仅提取实际发生变化的图斑并构建更新层,避免对全量无变化图斑执行重复比对;通过先进行更新层与单图斑成果的空间对称差校验,再对空间校验通过的图斑执行属性向量校验,使空间关系与属性关系形成顺序约束,降低空间错配引起的属性误判;通过将一个或多个单图斑成果图斑联合后与更新层图斑进行比较,能够适应图斑合并、拆分等一对多对应场景;通过针对tbybhzdy字段设置单图斑成果优先、仅单独图层变化图斑补充的两级校验路径,并针对ljbz字段执行集合等价或包含关系校验,提高关键字段逻辑校验的适应性;最终按照空间类、属性类和逻辑类输出问题图斑矢量文件、错误明细表及结构化校验元数据日志,实现问题定位、整改复核和校验过程追溯。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com