多源异构瓦斯隧道安全监测数据清洗融合方法及系统与流程

本发明涉及大数据资源服务，特别是指多源异构瓦斯隧道安全监测数据清洗融合方法及系统。

背景技术：

1、大数据资源服务技术领域涉及面向海量数据的数据库组织、分布式存储、索引管理、数据查询和资源调度。其中，传统多源异构瓦斯隧道安全监测数据清洗融合方法是指将隧道内不同监测终端产生的瓦斯浓度、环境参数、设备状态和告警记录写入数据库或云数据库，通过数据表、时间戳、传感器编号和监测区域字段建立数据索引，并在服务器侧执行记录去重、字段归一、异常记录筛除、跨表关联和融合结果入库。

2、现有技术以数据库或云数据库接收隧道监测记录，依赖时间戳、传感器编号和监测区域字段建立索引，在服务器侧进行去重、字段归一、异常筛除、跨表关联和入库，运行中发送序号、重传次数、到达时刻与采样时刻之间的链路滞留差异难以及时映射，终端自检和供电波动易与真实浓度突变混杂，风流方向造成的上下风侧差异缺少区域化校验，低信号记录与空间异常记录可能参与融合，预警结果易受延迟、重复和漂移数据干扰。

技术实现思路

1、本发明的目的在于提供一种多源异构瓦斯隧道安全监测数据清洗融合方法及系统，使隧道内不同监测终端产生的瓦斯监测数据在存在传输延迟、重传、终端状态异常、供电异常、信号波动以及上下风侧空间差异的情况下，能够基于链路驻留特征、区域风流关系和采样可信度进行清洗、校正与融合，从而形成与监测区域和归集窗口相对应的区域融合浓度及预警结果。

2、为实现上述目的，本发明提供一种多源异构瓦斯隧道安全监测数据清洗融合方法，包括：获取含终端编号、监测区域、采样时刻、发送序号、瓦斯浓度、自检状态、供电状态、到达时刻、重传次数、信号强度与风流方向的记录；按所述终端编号和发送序号建链，求所述到达时刻与采样时刻的驻留时间，以所述发送序号连续、重传次数最低的记录作驻留基准，得到链路偏离量；按所述驻留基准校正采样时刻，按所述监测区域和校正时刻归集，结合所述风流方向匹配上、下风侧记录，求区域浓度差；以所述区域浓度差中位数和离散度生成动态阈值，筛除自检状态异常、供电状态异常、链路偏离量超限与区域浓度差异常记录，形成待融合队列；评定所述待融合队列记录的采样可信度，根据所述信号强度归一化为可信系数，并叠加重传、时间偏离与空间异常衰减；剔除同区队列中低于所述可信度阈值的记录，以所述采样可信度为权重对对应的瓦斯浓度进行加权融合，生成区域融合浓度，并根据各记录对所述区域融合浓度的权重贡献确定最高贡献记录；当所述区域融合浓度超过预警阈值时，输出包含监测区域、归集窗口、区域融合浓度及所述最高贡献记录的预警结果。

3、在数据获取过程中，可以获取监测终端通过直接上报链路或者中继上报链路发送的原始报文，解析所述原始报文的头部字段和载荷字段，将解析得到的所述终端编号、所述发送序号、所述采样时刻、所述瓦斯浓度、所述自检状态、所述供电状态、所述重传次数和所述信号强度写入原始记录，并以接收网关写入所述原始报文的接收时间作为所述到达时刻，得到第一记录；再获取终端配置表中与所述终端编号对应的所述监测区域和安装朝向，结合风流方向配置表确定所述第一记录对应的所述风流方向，将所述监测区域和所述风流方向补入所述第一记录，生成待建链记录。

4、作为对待建链记录的配置校验，获取所述终端配置表的版本时间和所述风流方向配置表的版本时间，将所述采样时刻分别与所述终端配置表的生效时间段、所述风流方向配置表的生效时间段进行比较；当所述采样时刻未落入所述终端配置表的生效时间段，或未落入所述风流方向配置表的生效时间段时，将对应的监测区域字段或风流方向字段标记为配置缺失状态，并将所述配置缺失状态写入所述待建链记录；当所述采样时刻同时落入所述终端配置表的生效时间段和所述风流方向配置表的生效时间段时，按照版本时间最接近且不晚于所述采样时刻的配置项确定所述监测区域和所述风流方向，并将所述监测区域、所述风流方向及对应的配置匹配结果写入所述待建链记录，生成完成配置校验的待建链记录。

5、在链路建链及链路偏离量计算中，获取同一所述终端编号下按照所述发送序号排序的所述待建链记录，判断相邻两条所述待建链记录的所述发送序号是否连续，并将所述发送序号连续且所述采样时刻不倒置的记录归入同一传输链，生成链路记录序列；计算所述链路记录序列中每条记录的所述到达时刻与所述采样时刻之间的时间差值，将所述时间差值确定为所述驻留时间，并从所述链路记录序列中筛选所述发送序号连续、所述重传次数最低且所述驻留时间处于稳定区间的记录，生成驻留基准记录；将所述链路记录序列中各记录的所述驻留时间与所述驻留基准记录的所述驻留时间进行差异比较，并将比较得到的时间偏差确定为所述链路偏离量。

6、在采样时刻校正及区域浓度差计算中，获取同一所述传输链中记录的所述驻留时间和所述驻留基准，计算记录的所述驻留时间相对于所述驻留基准的时间偏移方向和时间偏移幅度，并按照所述时间偏移方向和所述时间偏移幅度对所述采样时刻进行回调与前移校正，生成校正时刻；按照所述监测区域和所述校正时刻对完成校正的记录进行时间窗归集，将处于同一区域归集窗口内且所述风流方向相互对应的记录划入区域配对组，并在所述区域配对组内确定上风侧记录和下风侧记录；比较所述上风侧记录和所述下风侧记录的所述瓦斯浓度，将两侧瓦斯浓度的差异结果确定为所述区域浓度差。所述区域配对组可以通过同一所述监测区域内完成时刻校正的多条记录与预设归集时间窗的匹配确定，并在候选配对记录的风流方向和终端安装朝向形成上风侧与下风侧对应关系、且两条候选配对记录的所述校正时刻差值未超过配对时间偏差阈值时形成。

7、在形成所述待融合队列时，获取同一所述监测区域在连续归集窗口内生成的所述区域浓度差，剔除未能成功匹配上下风侧记录的无效配对组，计算剩余的所述区域浓度差的中位数和离散度，并依据所述中位数与所述离散度确定区域浓度差动态阈值；将各记录的所述自检状态、所述供电状态、所述链路偏离量和所述区域浓度差分别与状态合格条件、链路偏离量阈值和所述区域浓度差动态阈值进行比较，筛除不满足任一比较条件的记录，生成所述待融合队列。

8、在评定所述采样可信度时，获取所述待融合队列中每条记录的所述信号强度、所述重传次数、所述链路偏离量和所述区域浓度差，将所述信号强度与终端通信质量区间表进行匹配，并按照匹配到的通信质量区间确定所述可信系数；依据所述重传次数确定重传衰减量，依据所述链路偏离量相对于所述链路偏离量阈值的接近程度确定时间偏离衰减量，依据所述区域浓度差相对于所述区域浓度差动态阈值的接近程度确定空间异常衰减量，将所述可信系数依次扣减所述重传衰减量、所述时间偏离衰减量和所述空间异常衰减量，生成所述采样可信度。

9、在生成所述区域融合浓度与所述最高贡献记录时，获取同一所述监测区域、同一归集窗口内的所述待融合队列记录，将每条记录的所述采样可信度与可信度阈值进行比较，并剔除所述采样可信度低于所述可信度阈值的记录，得到合格融合记录；按照所述合格融合记录的所述采样可信度确定浓度融合权重，并以所述浓度融合权重对对应的所述瓦斯浓度进行加权汇总，生成所述区域融合浓度；比较各所述合格融合记录对所述区域融合浓度的权重贡献，将权重贡献最高的所述合格融合记录确定为所述最高贡献记录，并在所述区域融合浓度超过所述预警阈值时输出预警结果。

10、本发明还提供一种多源异构瓦斯隧道安全监测数据清洗融合系统，所述系统用于实现上述方法，包括：数据获取模块，用于获取含终端编号、监测区域、采样时刻、发送序号、瓦斯浓度、自检状态、供电状态、到达时刻、重传次数、信号强度与风流方向的记录；链路建链与链路偏离计算模块，用于按所述终端编号和发送序号建链，求所述到达时刻与采样时刻的驻留时间，以所述发送序号连续、重传次数最低的记录作驻留基准，得到链路偏离量；采样时刻校正与区域浓度差计算模块，用于按所述驻留基准校正采样时刻，按所述监测区域和校正时刻归集，结合所述风流方向匹配上、下风侧记录，求区域浓度差；动态阈值异常筛除模块，用于以所述区域浓度差中位数和离散度生成动态阈值，筛除自检状态异常、供电状态异常、链路偏离量超限与区域浓度差异常记录，形成待融合队列；采样可信度评定模块，用于评定所述待融合队列记录的采样可信度，根据所述信号强度归一化为可信系数，并叠加重传、时间偏离与空间异常衰减；加权融合与预警输出模块，用于剔除同区队列中低于所述可信度阈值的记录，以所述采样可信度为权重对对应的瓦斯浓度进行加权融合，生成区域融合浓度，并根据各记录对所述区域融合浓度的权重贡献确定最高贡献记录；当所述区域融合浓度超过预警阈值时，输出包含监测区域、归集窗口、区域融合浓度及所述最高贡献记录的预警结果。

11、与现有技术相比，本发明的优点和积极效果在于：

12、本发明中，围绕终端编号和发送序号建立链路关系，将到达时刻与采样时刻的驻留时间转化为链路偏离量，以连续发送且重传较低的记录确定驻留基准，校正采样时刻后按监测区域和校正时刻归集，结合风流方向比较上下风侧浓度差，由区域浓度差中位数与离散度形成动态阈值，同步排除自检异常、供电异常、链路偏离超限和区域差异异常记录，可信度评定把信号强度、重传、时间偏离和空间异常纳入衰减权重，同区融合时剔除低可信记录，高可信记录对瓦斯浓度贡献充分，预警输出可降低延迟、重复、漂移和空间误差影响。