多模态矿山隐蔽致灾普查数据智能清洗与关联分析方法与流程

摘要: 本发明涉及大数据分析,尤其涉及多模态矿山隐蔽致灾普查数据智能清洗与关联分析方法。背景技术:1、大数据分析技术领域涉及计算机数据库中对大规模数据记录进行检索、聚合...
多模态矿山隐蔽致灾普查数据智能清洗与关联分析方法与流程

本发明涉及大数据分析,尤其涉及多模态矿山隐蔽致灾普查数据智能清洗与关联分析方法。

背景技术:

1、大数据分析技术领域涉及计算机数据库中对大规模数据记录进行检索、聚合、统计、关联和分析查询的数据处理方式。其中,多模态矿山隐蔽致灾普查数据智能清洗与关联分析是指服务器从矿山普查数据库读取钻孔记录、构造记录、灾害因素记录、传感器数据和图像索引等数据,按照数据来源、对象编号、采样时间和空间坐标建立查询条件,对多表数据执行筛选、分组、聚合统计和关联匹配。

2、现有普查数据多来源并行汇集,文本图件影像台账之间命名口径不一,坐标基准和层位表达存在差异,版本沿革与来源可靠性难以同步校核,重复记录和异常记录混杂于同一灾害对象,采空区积水区钻孔构造含水体等要素孤立存储,空间标高时间关系缺少统一表达,风险研判依赖人工比对,容易造成隐蔽致灾链条识别滞后,管控清单缺乏动态针对性。

技术实现思路

1、本发明的目的在于提供一种多模态矿山隐蔽致灾普查数据智能清洗与关联分析方法,通过对文本、图件、影像和台账资料中的灾害实体、空间坐标、层位标高、资料版本和数据来源进行统一整理,并结合多指标清洗、致灾节点关联、路径风险评分和风险等级判定,实现隐蔽致灾普查数据的规范化处理及致灾关联关系的识别,为矿山隐蔽致灾风险对象的分级管控提供技术支撑。

2、为了实现上述目的,本发明提供一种多模态矿山隐蔽致灾普查数据智能清洗与关联分析方法,包括以下步骤:

3、根据文本、图件、影像和台账资料,统计灾害实体、空间坐标、层位标高、资料版本和数据来源,生成普查数据。所述普查数据用于统一承载不同资料类型中的致灾相关信息,使后续清洗、关联和风险判定能够基于同一数据结构进行处理。

4、基于所述普查数据,计算名称相似度、坐标偏差和层位匹配度,并根据同一灾害实体的指标离散程度确定清洗判据,确定异常数据记录和合并数据记录,生成清洗普查数据集。通过所述清洗普查数据集保留能够追溯来源的有效记录,并对重复、冲突或偏差较大的记录进行识别和处理。

5、提取所述清洗普查数据集中的采空区、积水区、封闭不良钻孔、地质构造、含水体、导水通道、瓦斯富集区、顶板异常区和采掘工程,确定空间邻近关系、标高贯通关系和时间接续关系,构建致灾关联路径。所述致灾关联路径用于表示灾源对象、通道对象和工程对象之间在空间、层位及时间上的关联关系。

6、针对存在当前风险对象的各所述致灾关联路径,根据灾源强度、通道连通度、工程距离和数据可信度计算路径风险评分。划分风险等级边界,获取同一所述当前风险对象对应的所述路径风险评分,将所述路径风险评分与所述风险等级边界进行比较,确定致灾风险等级,并生成风险管控清单。

7、在一种递进方案中,所述普查数据的生成过程包括:获取文本、图件、影像和台账资料,对文本中的灾害名称、巷道位置和工程时间进行字段抽取,对图件中的图层标注、坐标点位和剖面标高进行图元解析,对影像中的地表形变区、积水迹象和采掘边界进行目标识别,并将台账资料中的工程编号、资料形成时间和责任单位进行结构化转换,生成初始数据;将所述初始数据按照灾害实体、空间坐标、层位标高、资料版本和数据来源建立字段映射关系,并基于同一资料页码、图层编号、影像帧号或台账条目编号为每条字段记录写入来源索引,生成所述普查数据。

8、在一种递进方案中,所述清洗普查数据集的生成过程包括:获取所述普查数据中归属于同一所述灾害实体的多条记录,分别计算灾害名称之间的名称相似度、空间坐标之间的坐标偏差以及层位标高之间的层位匹配度,整合所述名称相似度、所述坐标偏差和所述层位匹配度,生成指标记录;基于所述指标记录统计同一所述灾害实体对应各指标的离散程度,当任一指标的离散程度超过对应预设清洗阈值时,将对应记录确定为异常数据记录,当各指标均满足合并条件时,将对应记录确定为所述合并数据记录,生成所述清洗普查数据集。

9、所述合并条件可以包括:针对同一所述灾害实体对应的多条数据记录,在名称相似度、坐标偏差和层位匹配度均纳入同一清洗判据进行判断的基础上,若多条数据记录之间的指标离散程度未达到异常判定程度,且各数据记录能够通过资料版本和数据来源进行对应追溯,则将多条数据记录确定为可合并对象;在所述可合并对象中,依据资料版本的先后关系和数据来源的可追溯情况确定保留内容,并将其余重复或可替代内容与保留内容建立对应关系,形成所述合并数据记录。

10、在一种递进方案中,所述致灾关联路径的构建过程包括:获取所述清洗普查数据集中的采空区、积水区、封闭不良钻孔、地质构造、含水体、导水通道、瓦斯富集区、顶板异常区和采掘工程,将灾源对象、通道对象和工程对象分别写入节点分类表,并基于所述节点分类表确定候选致灾节点;计算所述候选致灾节点之间的空间邻近关系、标高贯通关系和时间接续关系,当任意两个所述候选致灾节点同时满足至少两类关系条件时,建立节点连接关系,基于所述节点连接关系构建所述致灾关联路径。

11、在一种附加限定方案中,所述节点连接关系的建立过程包括:获取所述候选致灾节点对应的空间范围、标高区间、形成时间和资料来源可信度,将空间范围存在重叠或边界距离小于预设邻近距离阈值的所述候选致灾节点确定为空间相邻节点,将标高区间存在交叉或垂向间隔小于贯通标高阈值的所述候选致灾节点确定为标高贯通节点;当所述空间相邻节点与所述标高贯通节点在形成时间上满足先后接续条件且资料来源可信度不低于预设路径可信度阈值时,将对应节点之间的连接关系确定为有效连接关系,记录为所述节点连接关系。

12、所述时间接续关系、标高贯通关系和空间邻近关系可以分别按照如下方式确定:当灾源对象形成时间早于采掘工程推进时间,且通道对象揭露时间或异常监测时间位于采掘工程推进时间的预设接续窗口内时,确定所述时间接续关系;当任一灾源对象的标高区间与导水通道、封闭不良钻孔或地质构造的标高区间存在交叉,且交叉位置与采掘工程标高区间之间满足垂向连通条件时,确定所述标高贯通关系;当任一灾害对象的点位缓冲范围或边界邻接范围与采掘工程的边界邻接范围发生交叠,或两者之间的最近距离小于对应预设影响半径时,确定所述空间邻近关系。

13、在一种递进方案中,所述路径风险评分的计算过程包括:获取存在当前风险对象的各所述致灾关联路径,按照灾源对象、通道对象和采掘工程对象对所述致灾关联路径中的节点进行归类,并分别读取灾源强度、通道连通度、工程距离和数据可信度,生成路径参数记录;基于所述路径参数记录分别确定灾源风险分量、通道风险分量、距离风险分量和可信度修正分量,并将各风险分量按照预设路径权重表进行加权汇总,生成所述路径风险评分。

14、在一种递进方案中,所述致灾风险等级的生成过程包括:获取同一当前风险对象对应的多个所述路径风险评分,按照所述致灾关联路径的灾源对象类型和通道对象类型从预设等级边界表中读取对应的所述风险等级边界,并将每个所述路径风险评分与所述风险等级边界进行逐项比较,生成路径候选等级;当多个所述路径候选等级中存在等级不一致时,按照最高等级覆盖规则确定所述致灾风险等级。

15、在一种递进方案中,所述风险管控清单的生成过程包括:获取同一当前风险对象对应的所述致灾风险等级、达到所述致灾风险等级的所述致灾关联路径、路径风险评分、灾源对象、通道对象和采掘工程对象,记录将灾源对象、通道对象和采掘工程对象按照路径顺序,生成清单候选记录;当路径风险评分超过对应所述风险等级边界,且灾源对象、通道对象和采掘工程对象均具有有效来源记录时,将对应所述清单候选记录确定为所述风险管控清单。

16、与现有技术相比,本发明的优点和积极效果在于:

17、围绕矿山隐蔽致灾普查资料的多源异构特征,将灾害实体空间坐标层位标高资料版本和数据来源统一纳入数据底座,依据名称坐标层位等一致性指标识别异常记录并归并同一对象,使普查数据由分散堆叠转为可追溯可比对的清洗结果,在此基础上贯通采空区积水区钻孔构造含水体导水通道瓦斯富集区顶板异常区和采掘工程之间的空间标高时间联系,将隐蔽灾源通道工程扰动和可信度共同纳入路径评分,促成风险等级边界与当前风险对象对应输出,提高致灾链条识别准确性和管控清单适配性。