基于大数据分析的古树名木普查数据质量校验方法及装置与流程

本技术涉及大数据处理，具体涉及一种基于大数据分析的古树名木普查数据质量校验方法及装置。

背景技术：

1、古树名木是森林资源的瑰宝，承载着生态、历史、文化与科研多重价值，是区域生态环境变迁的“活化石”，其资源普查与精准管护对生态保护、文化传承及生物多样性维系具有重要意义。开展古树名木普查工作，旨在全面摸清资源底数、掌握生长状态，为科学制定保护策略、完善管理体系提供数据支撑。

2、然而，当前古树名木普查数据质量管控面临诸多瓶颈，难以适配大数据时代精细化管理需求。一方面，普查数据来源多元异构，涵盖现场手持终端采集的结构化数据、无人机航拍及地面拍摄的非结构化图像数据、历史档案留存的半结构化文档数据，以及气象、地形等第三方关联数据，不同来源数据格式不统一、标准不一致，易出现冗余、缺失、格式错乱等问题。另一方面，传统普查数据校验以人工核查为主，依赖工作人员经验判断，不仅效率低下、耗时耗力，难以应对大规模普查的海量数据处理需求，还存在校验标准模糊、主观偏差大、隐性异常数据易遗漏等缺陷，导致部分普查数据准确性、一致性、合理性不足。

3、同时，古树名木生长周期长、分布场景复杂（涵盖城乡、山地、林区等多元区域），普查数据需兼顾时空特性、生长规律及跨领域关联性，传统校验方式难以实现多维度、深层次的质量管控，不合格数据易流入后续管理环节，影响保护规划制定、生长态势监测等工作的科学性与有效性。

技术实现思路

1、本技术的主要目的在于提供一种基于大数据分析的古树名木普查数据质量校验方法及装置，旨在精准识别并处置各类数据异常，提升普查数据质量与校验效率，为古树名木资源的科学化、数字化管理提供必要技术支持。

2、本技术通过以下技术方案实现上述目的：

3、一种基于大数据分析的古树名木普查数据质量校验方法，包括以下步骤：

4、获取古树名木多元普查数据，构建原始数据资源池；所述多元普查数据包括：古树树龄、胸径、树高、坐标、树种、生长状态构成的结构化普查数据，古树树干、叶片、航拍图像构成的非结构化图像数据，历史普查台账、管护记录构成的半结构化文档数据，以及对应区域气象、地形构成的第三方关联数据；

5、预处理所述原始数据资源池中各普查数据，生成初级校验数据源；

6、标准化所述初级校验数据源中各普查数据，生成规范的目标校验数据源；

7、采用多层校验策略对所述目标校验数据源进行数据核查，生成异常数据池；所述多层校验策略包括基础规则校验、数据一致性校验、合理性校验、关联性校验；

8、其中，所述基础规则校验包括格式校验、核心特征取值范围校验及完整性校验；所述格式校验通过正则表达式验证古树名木所在坐标、普查时间、树种名称录入格式合法性，若录入格式不合法则标记为异常；核心特征取值范围校验是基于古树名木行业规范设定树龄≥100 年、乔木胸径≥10cm、灌木胸径≥5cm的字段阈值，若普查对象对应字段超出设定字段阈值则标记为异常；完整性校验单株古树核心字段中普查编号、树种、树龄、胸径、坐标、采集时间是否齐全，若核心字段不齐全则标记为异常；

9、所述数据一致性校验包括跨来源一致性校验与内部一致性校验；其中，所述内部一致性校验核查树种与分布区域是否匹配、树高与胸径比例是否符合该树种生长规律，若否则标记为异常；所述跨来源一致性校验通过计算相对误差与相关性分析结合的模型判断同一字段不同来源数据的差异合理性，所述相对误差的计算公式为：

10、，

11、其中x1为数据源一的普查数据，x2为数据源二的普查数据，δ为相对误差，设定对应字段相对误差阈值δ0，δ≤δ0则数据一致，反之标记为异常；

12、所述合理性校验包括时空合理性校验与生长规律合理性校验，其中所述时空合理性校验采用k-means 聚类将古树坐标划分为合理生长区与非合理区，计算坐标点到聚类中心距离 d，若d>聚类半径阈值，或落入非合理区，则标记为异常；所述生长规律合理性校验基于海量古树名木历史生长数据，采用多元线性回归模型为不同树种构建专属生长预测区间：，

13、其中y为胸径/树高，x1为树龄，x2为年均降水量，实测值超出模型计算值±10%区间，则标记为异常；

14、所述关联性校验将古树生长状态、树种、坐标与气象、地形构建特征向量，采用余弦相似度计算关联度，设定阈值θ0=0.6，小于阈值则判定古树生长状态与环境不匹配，标记异常；

15、对所述异常数据池中的异常数据进行分级，输出不同级异常数据的数据目录。

16、可选的，所述预处理所述数据资源池中的各普查数据，包括：

17、采用哈希算法去除数值型数据噪声，采用高斯滤波算法平滑异常数据波动，采用图像清晰度评估算法筛选有效图像数据，采用插值法补充关键字段缺失值，非关键字段缺失标记并备注。

18、可选的，所述标准化所述数据资源池中的各普查数据，包括结构化数据标准化、非结构化数据标准化及时间数据标准化；其中，

19、所述结构化数据标准化包括：将树高统一为米单位、胸径统一为厘米单位，树龄精确到年，坐标统一转换为wgs-84坐标系十进制格式；

20、非结构化数据标准化包括将图像统一缩放至4k分辨率并转换为jpg格式，将文档统一转换为pdf格式并通过ocr技术提取关键信息结构化；将时间数据统一采用“yyyy-mm-dd hh:mm:ss”格式。

21、可选的，所述余弦相似度的计算公式为：

22、，

23、其中a、b分别为普查数据与第三方关联数据特征向量，ai、bi为对应维度特征值，k为特征维度组数。

24、可选的，所述对所述异常数据池中的异常数据进行分级，包括一级异常、二级异常和三级异常；其中，所述一级异常为格式错误；二级异常为数据矛盾、合理范围偏差较小；三级异常为核心字段缺失、逻辑严重不符。

25、可选的，所述输出不同级异常数据的数据目录，包括异常数据普查编号、异常数据位置、异常数据普树种、异常数据普类型。

26、本技术提供一种基于大数据分析的古树名木普查数据质量校验方法的装置，包括：

27、数据获取模块，用于获取多元普查数据，构建原始数据资源池；

28、数据预处理模块，用于预处理所述原始数据资源池中各普查数据，生成初级校验数据源；

29、数据标准化模块，用于标准化所述初级校验数据源中各普查数据，生成规范的目标校验数据源；

30、数据分层校验模块，用于采用多层校验策略对所述目标校验数据源进行数据核查，生成异常数据池；

31、异常数据处理模块，对所述异常数据池中的异常数据进行分级，输出不同级异常数据的数据目录。

32、与现有技术相比，本技术具有以下有益效果：

33、本技术校验方法通过“多源数据统一接入-标准化预处理-四级分层校验-生成分级异常”的全流程设计，大幅提升数据校验效率、降低人工干预成本。本方法先通过多源数据接入模块实现全类型普查数据的快速汇聚，再对数据预处理后统一标准化，无需人工逐一对接清洗不同来源、格式的数据；后续依托基础规则校验、一致性校验、合理性校验、关联性校验的四级策略，实现对异常数据的自动化精准识别，相较于传统人工凭经验校验、逐一条目核查的方式，核查效率明显提升，显著减少普查人员重复劳动，降低大规模全域古树名木普查的人工与时间成本，可高效适配海量普查数据的快速处理需求，解决传统方法效率低下、难以应对大范围普查的痛点。