面向煤矿CO监测有效数据段的自适应提取与清洗的系统及方法
本发明属于煤矿安全监控,尤其涉及一种面向煤矿co监测有效数据段的自适应提取与清洗的系统及方法。
背景技术:
1、在矿山井下生产作业过程中,煤自燃、爆破作业、设备故障等多种工况均会释放一氧化碳(co)气体。该气体具有无色、无味、剧毒的特性,其浓度一旦超出安全阈值,不仅会直接危害井下作业人员的生命健康,还可能诱发爆炸、火灾等次生灾害,严重破坏矿山安全生产秩序,因此成为矿山安全生产监测体系中的核心管控参数。
2、随着矿山智能化与信息化建设的不断推进,煤矿co浓度监控系统已在各类矿井中实现广泛部署,系统实时采集井下co浓度时序数据,为co浓度超限预警及应急处置决策提供基础数据支撑。然而,当前煤矿co浓度监控系统在实际工况运行过程中,受井下监测环境的复杂性、传感器工作稳定性等多重因素的影响,所采集的co时序数据中存在大量冗余信息与异常数据,严重降低了数据的有效性及后续数据分析的精度,进而制约了co浓度监测预警的时效性与准确性。具体而言,一方面,井下大部分运行时段内,co浓度处于稳定的背景浓度区间,监控系统持续轮询采集的该部分数据属于冗余数据,若对其进行全量存储,不仅会占用大量存储资源,还会增加后续数据处理的计算负荷,降低数据处理效率;另一方面,传感器故障、校标操作、传感器碰撞等异常工况,会导致采集的数据出现负值、极端跳变、快速异常波动等异常特征,若无法对该类异常数据进行有效分离,易引发co浓度超限的误判与漏判,干扰现场工作人员对井下实际co浓度工况的准确研判,延误应急处置的最佳时机。
3、目前,针对co监测数据的处理方式仍以固定阈值筛选冗余数据、人工排查异常数据为主,该处理方式存在显著的技术局限性:固定阈值难以适应不同矿井、不同监测区域的co背景浓度差异,易出现冗余数据筛选不彻底或有效数据误删的问题;人工排查异常数据高度依赖工作人员的专业经验,不仅时效性较差,且受主观因素影响较大,数据排查的准确率难以得到有效保障,无法满足矿山智能化监测对实时数据处理的技术需求。此外,现有数据处理方法缺乏系统化的冗余数据跳过机制与异常数据自主分离逻辑,无法实现co有效数据段的自适应提取与清洗,导致co监测数据的利用效率偏低,难以充分发挥监控系统的预警效能。
4、因此,研发一种能够自适应匹配矿井co浓度背景特征、智能跳过冗余数据、自主分离异常数据,实现有效数据段精准提取与清洗的技术方法,解决现有co监测数据处理过程中存在的冗余数据占用存储资源、异常数据干扰工况研判、数据处理效率低下、环境适应性差等技术难题,提升co监测数据的有效性与可靠性,为矿山co浓度超限精准预警、应急处置提供高质量的数据支撑,已成为当前矿山安全生产监测领域亟待解决的关键技术问题。
技术实现思路
1、本发明的一个目的在于提供一种面向煤矿co监测有效数据段的自适应提取与清洗的系统,有效解决煤矿co监测系统在长期运行中,因传感器长期服役导致基线漂移、井下频繁人工校标、传感器碰撞以及复杂电磁环境干扰,从而产生大量冗余背景数据和形式多变的异常脉冲数据,难以准确提取出真正有效的co浓度超限事件的问题。
2、为解决上述技术问题,本发明采用的技术方案是:面向煤矿co监测有效数据段的自适应提取与清洗的系统,包括:动态阈值校准模块,用于生成自适应基线阈值;冗余数据智能跳过模块,用于进行数据点比对和冗余数据跳过;自主存储模块,用于进行有效数据触发存储、终止存储及实时事件标记;以及,异常数据分离模块,用于进行异常数据分离操作。
3、本发明的另一个目的在于提供一种面向煤矿co监测有效数据段的自适应提取与清洗的方法,应用于以上实施例所述的煤矿co监测有效数据段的自适应提取与清洗的系统,包括自适应基线阈值生成以及数据处理。
4、所述自适应基线阈值生成包括:s11、获取预设历史时间段内浓度未超过超限阈值的co监测数据,构成背景数据集;s12、基于背景数据集的中位数及中位数绝对偏差计算自适应基线,并将自适应基线限幅至预设的浓度下限与浓度上限之间,输出自适应基线阈值。
5、所述数据处理包括:s21、冗余数据跳过:实时轮询获取co浓度数据点,将当前数据点浓度与自适应基线阈值进行比对,若大于自适应基线阈值,则判定为有效数据并触发自主存储;否则,判定为冗余数据并跳过;s22、事件片段化:在触发自主存储后,逐点记录有效数据,并监测后续数据点;若连续出现预设数量的冗余数据时,则终止自主存储,并将本次存储的全部数据点序列标记为一实时事件;s23、异常数据分离:对实时事件执行异常分离操作。
6、进一步的,步骤s23中,异常数据分离过程包括:s231、检测实时事件中是否存在负值,若存在负值,则归入异常数据集;若不存在负值,则进入步骤s232。
7、s232、检测是否存在浓度变化速率超过第一速率阈值的极端速率点,若存在极端速率点,则依据实时事件中浓度上升过程与下降过程之间的对称性,判断是否为真实co超限事件,若是真实co超限事件,则归入正常数据集,否则归入异常数据集。
8、若不存在极端速率点,则基于变化速率占比及统计离群率执行异常判断:若存在浓度变化速率超过第二速率阈值的快速速率点且其数量占比不低于第一比例阈值,则归入异常数据集;否则采用四分位距法进行统计离群筛查,若离群率不低于第二比例阈值则归入异常数据集,其余归入正常数据集。
9、进一步的,步骤s12中,浓度上限不高于煤矿co浓度的安全关注阈值。
10、进一步的,步骤s12中,自适应基线的计算方法为:以背景数据集的中位数为基准,计算各数据点绝对偏差的中位数,将乘以常数1.4826得到稳健估计量,自适应基线阈值为:
11、;
12、其中,表示截断函数,截断函数的下限为1ppm,截断函数的上限为15ppm。
13、进一步的,步骤s232中,依据对称性判断是否为真实co超限事件的具体步骤为:计算实时事件的局部最快上升段速率、局部最快下降段速率以及整体下降段速率;求取整体下降段速率与局部最快上升段速率之比为第一比值,以及局部最快下降段速率与局部最快上升段速率之比为第二比值;当第一比值小于第一对称阈值,且第二比值小于第二对称阈值时,判定为真实co超限事件;否则,判定为由传感器故障或校标引起的异常跳变。
14、进一步的,局部最快上升段速率的计算方法为:定位浓度上升速率最快的数据点,分别向前和向后扩展连续单调上升的数据点,形成最快上升段,并计算最快上升段的平均速率。
15、局部最快下降段速率的计算方法为:定位浓度下降速率最快的数据点,分别向前和向后扩展连续单调下降的数据点,形成最快下降段,并计算最快下降段的平均速率。
16、整体下降段速率的计算方法为:从浓度峰值点起,计算浓度回落至浓度峰值20%及以下的区间内的平均下降速率。
17、进一步的,步骤s232中,第一速率阈值为100ppm/min,第二速率阈值为50ppm/min。
18、进一步的,步骤s232中,第一对称阈值为30%,第二对称阈值为15%;第一比例阈值和第二比例阈值均为10%。
19、与现有技术相比,本发明的有益技术效果是:
20、(1)本发明通过动态阈值校准模块加载监控系统历史数据,基于中位数与绝对偏差计算自适应基线阈值,无需人工手动设定阈值,有效适配不同煤矿井下co浓度的动态变化场景,避免了固定阈值适配性差、易误判的问题,提高了有效数据识别的精准度和适应性。
21、(2)本发明通过冗余数据智能跳过模块,基于自适应基线阈值快速识别并跳过冗余数据,减少无价值数据占用存储资源、降低存储负荷的同时,避免了有效数据的遗漏,提升了数据处理的效率。
22、(3)本发明通过自主存储模块,结合连续计数法确定自主存储的起止节点,实现了有效co时序数据的精准、自动存储,无需人工干预即可完成有效数据的筛选与留存,简化了数据存储流程,同时保证了存储数据的有效性和针对性,为数据后续的应用奠定了基础。
23、(4)本发明通过异常数据分离模块,针对传感器故障、校标、碰撞等不同原因产生的异常数据,采用分层判定逻辑,结合负值检测、速率判定、iqr法离群筛查等多种方式,实现异常数据的精准分离,进一步优化有效数据的存储质量,减少异常数据对后续分析、预警等流程的干扰,提高了co监测数据的可靠性和可用性。
24、(5)本发明针对异常数据中的极端速率事件,设计了真实co涌出事件判别逻辑,通过对比上升与下降段速率比例,精准区分真实co涌出与异常跳变,避免将正常爆破等真实涌出事件误判为异常,同时有效剔除极端跳变类异常数据,进一步提升了数据清洗的准确性,为井下co安全监测、风险预警提供了高质量的数据支撑。
25、(6)本发明实现了co监测有效数据段的自适应提取与清洗全流程自动化,无需人工参与阈值设定、冗余筛选、异常判别等环节,大幅降低了人工操作成本和误判概率,提升了煤矿co浓度监控系统的数据处理效率和可靠性,为井下安全生产提供了更有力的技术保障。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com