一种多源异构地质数据集成治理方法及系统与流程

本发明涉及数据集成与数据治理，尤其涉及一种多源异构地质数据集成治理方法及系统。

背景技术：

1、不同时期建设的地质调查项目动态产生了大量结构化、半结构化及非结构化的地质数据，在数据结构、数据存储方式和格式、数据环境等方面存在着显著差异，面对数据更新频率高、结构复杂多变的多源异构数据，传统数据集成方法面临着扩展性差、实时性低、成本高等问题。

2、在现有的地质数据治理工作中，存在诸多缺陷：其一，数据源接入适配能力弱，传统治理工具仅支持单一类型结构化数据接入，无法同时兼容多类型结构化地质数据；其二，缺乏在集成前对多源异构地质数据进行异常检测，导致后续在集成的过程中出现异常值；其三，异构数据融合难度大，同类地质数据存在多字段命名、语义歧义问题，没有将多类型结构化地质数据进行动态关联，极易出现数据融合冲突；其四，数据治理效果差，现有治理方式仅针对数据完整性进行简单校验，缺乏根据用户任务指令计算地质数据的集成治理效果，影响后续地质业务分析精度。

3、以及，现有通用数据治理技术在应用于地质数据时面临以下专有挑战：其一，地质数据的多模态时空强相关性：钻孔数据、物探数据、化探数据在地理空间上的关联性（坐标系、比例尺、地层对比）是地质数据融合的核心，通用方案缺乏地质空间语义的理解能力；其二，地质术语的多源命名混乱性：同一岩性在不同地质调查规范（如cgs标准）下存在大量同义异名现象，通用语义对齐方法不适用于地质专业术语体系；其三，地质异常检测的趋势敏感性：地质数据（如钻孔深度、地层厚度）具有显著的趋势性变化规律，直接阈值法误判率高。

4、本发明针对上述地质数据特有挑战，设计了专用的异构地质数据模型和语义关联机制，而非通用数据治理框架的简单迁移应用。

技术实现思路

1、鉴于此，本发明的目的在于提供一种多源异构地质数据集成治理方法及系统，已解决或至少部分解决现有技术中所存在的上述问题。

2、为实现上述目的，本发明第一方面提供一种多源异构地质数据集成治理方法，所述方法包括以下步骤：

3、s101、基于地质调查项目获取多源异构地质数据，对多源异构地质数据进行异常检测；

4、s102、将经过异常检测的多源异构地质数据按照数据存储结构划分为多类型结构化地质数据；

5、s103、对多类型结构化地质数据进行预处理操作，包括数据清洗、格式标准化及冗余剔除；

6、s104、构建异构地质数据模型，利用异构地质数据模型将多类型结构化地质数据进行动态关联，形成集成治理地质数据集；

7、s105、基于集成治理地质数据集构建异构图数据结构，根据异构图数据结构计算集成治理地质数据集的集成治理效果。

8、进一步的，所述多类型结构化地质数据包括结构化地质数据、半结构化地质数据、非结构化地质数据，所述结构化地质数据为具备固定数据表结构、字段定义规范的地质数据，所述半结构化地质数据为具备可变自定义字段结构，无固定数据表范式，包含自描述标签、标记或层次化结构，可解析提取字段信息的地质数据，所述非结构化地质数据为无固定数据结构、无标准化字段体系、以二进制流或文本形式存储的地质数据。

9、进一步的，所述对多源异构地质数据进行异常检测，具体包括以下步骤：

10、s11、基于地质调查项目获取历史多源异构地质数据序列；

11、s12、基于历史多源异构地质数据序列与多源异构地质数据，构建多源异构地质数据序列；

12、s13、对多源异构地质数据序列进行有限差分，获得差分地质数据序列，包括历史差分地质数据序列与当前差分地质数据序列；

13、s14、计算历史差分地质数据序列的均值与标准差；

14、s15、基于历史差分地质数据序列的均值与标准差，引入三西格玛准则判断当前差分地质数据序列是否为异常值。

15、进一步的，所述构建异构地质数据模型，具体包括以下步骤：

16、s21、收集地质调查项目中的各数据源的元数据，并对元数据进行解析，获取各数据源主键；

17、s22、基于解析后的元数据，分析地质调查项目中相同地质数据概念的不同语义表达，并识别语义冲突，建立统一语义描述；

18、s23、基于统一语义描述，构建异构地质数据模型，所述异构地质数据模型用于定义地质调查项目内的实体及其关系，以及定义实体的属性、主键、外键及实体间关联关系。

19、进一步的，所述利用异构地质数据模型将多类型结构化地质数据进行动态关联，具体包括以下步骤：

20、s31、将地质调查项目内的部分实体作为第一关联主键，并建立第一关联主键与地质调查项目中的各数据源主键的对应关系；

21、s32、基于异构地质数据模型，获取多类型结构化地质数据的实体，并将部分实体作为第二关联主键；

22、s33、将第二关联主键与第一关联主键建立映射关联，生成映射关系表，并基于映射关系表将多类型结构化地质数据进行数据集成，形成集成治理地质数据集。

23、进一步的，所述异构图数据结构包括节点集合与边集合，所述节点集合为集成治理地质数据集的实体集合，所述边集合为语义边的集合，所述语义边基于映射关系表构建，所述语义边用于查找异构图数据结构中具有语义等价关系的集成治理地质数据集的实体，并将其进行连接。

24、进一步的，所述根据异构图数据结构计算集成治理地质数据集的集成治理效果，具体包括以下步骤：

25、s41、获取用户的任务指令，将任务指令转换为任务向量，并将任务向量引入异构图数据结构中；

26、s42、获取任务向量的语义信息，并将语义信息与语义边进行交互，计算语义边对任务向量的重要性权重；

27、s43、基于重要性权重，通过语义边获取与任务向量对应的集成治理地质数据集的实体集合；

28、s44、基于集成治理地质数据集的实体集合，检测是否成功获取集成治理地质数据集中对应的地质数据，若成功获取说明集成治理成功，相反，对集成治理地质数据集的实体集合进行标记，重新将标记的实体集合进行动态关联。

29、本发明第二方面提供一种多源异构地质数据集成治理系统，所述系统包括：

30、异常检测模块：用于获取多源异构地质数据，并对多源异构地质数据进行异常检测；

31、结构划分模块：用于将经过异常检测的多源异构地质数据按照数据存储结构划分为多类型结构化地质数据；

32、数据处理模块：用于对多类型结构化地质数据进行预处理操作，包括数据清洗、格式标准化及冗余剔除；

33、数据关联模块：用于构建异构地质数据模型，利用异构地质数据模型将多类型结构化地质数据进行动态关联，形成集成治理地质数据集；

34、集成治理评估模块：用于基于集成治理地质数据集构建异构图数据结构，根据异构图数据结构计算集成治理地质数据集的集成治理效果。

35、与现有技术相比，本发明的有益效果是：

36、本发明提出一种多源异构地质数据集成治理方法及系统，通过对多源异构地质数据进行异常检测，提升数据质量，避免因异常值影响治理精度，通过构建异构地质数据模型实现不同来源多类型结构化地质数据之间的有效关联，通过构建异构图数据结构实现对地质数据集成治理效果的评估，避免影响地质业务的分析精度。本发明有效解决地质数据多源异构、地质数据异常等问题，显著提升地质数据集成效率与数据利用率。