一种矿井单轨吊运行安全视觉检测分析方法与流程

摘要: 本发明涉及矿井单轨吊运行安全检测,尤其涉及一种矿井单轨吊运行安全视觉检测分析方法。背景技术:1、单轨吊作为矿井辅助运输的核心设备,其运行安全性直接关系到井下人员...
一种矿井单轨吊运行安全视觉检测分析方法与流程

本发明涉及矿井单轨吊运行安全检测,尤其涉及一种矿井单轨吊运行安全视觉检测分析方法。

背景技术:

1、单轨吊作为矿井辅助运输的核心设备,其运行安全性直接关系到井下人员和物资运输的可靠性。目前矿井中单轨吊的运行安全检测多依赖人工巡检和接触式传感器检测两种方式,人工巡检需巡检人员沿轨道步行排查,受井下巷道环境复杂、照明条件差、巡检路线长等因素限制,巡检效率较低,且存在漏检、错检的可能性,巡检间隔也无法匹配单轨吊的连续运行需求,难以及时发现随运行过程动态出现的安全隐患。接触式传感器通常需要安装在轨道或轮组的特定位置,长期处于井下高湿、高粉尘、强电磁干扰的环境中易出现失效、漂移等问题,维护成本较高,且仅能覆盖安装点位的检测需求,无法实现全线路、全运行过程的连续检测。

2、近年来随着计算机视觉技术的发展,部分矿井开始尝试采用视觉检测方式实现单轨吊的运行状态监测,但现有视觉检测方案多采用单一可见光模态采集图像,受井下低照度、粉尘、水雾等因素的干扰,成像质量不稳定,容易出现轨道缺陷漏检、障碍物识别错误等问题,部分采用红外模态的检测方案又缺乏足够的纹理细节支撑,难以识别细小的线性裂纹、体积较小的轻质障碍物等隐患。同时现有单轨吊视觉检测方案多仅针对单一检测任务设计,如仅实现障碍物检测或仅实现轨道缺陷检测,无法同时覆盖轨道状态、轮组运行状态、前方障碍物三类核心安全风险,需部署多套独立的检测系统,硬件和算力成本较高,且未结合连续运行的时序信息对检测结果进行校验,容易将瞬时的光影变化、成像噪点误判为安全隐患,误报率较高。

3、除此之外,现有检测方案的风险评估多采用固定权重对不同检测维度的结果进行融合,无法根据单轨吊的运行工况、当前的环境条件、各检测维度的实际置信度动态调整权重,当某一维度的检测质量受环境影响下降时,易导致整体风险评估结果出现偏差,且报警机制多采用单一阈值触发,无法根据风险等级匹配对应的响应措施,要么因阈值过高出现漏报引发安全事故,要么因阈值过低频繁报警干扰正常的运输生产,难以适配智能化矿井运输的安全管理需求。

技术实现思路

1、本发明提出的一种矿井单轨吊运行安全视觉检测分析方法,以解决上述现有技术中提到的问题。

2、为了实现上述目的,本发明采用了如下技术方案:一种矿井单轨吊运行安全视觉检测分析方法,包括以下步骤:

3、s1、由搭载于单轨吊机车前端的双目可见光摄像仪和红外热成像仪同步采集矿井巷道内可见光图像和红外热图像序列,利用硬件时间戳对齐和极线校正建立时空一致的多模态图像对;

4、s2、对可见光图像执行暗通道先验低照度复原和引导滤波降噪,对红外热图像执行双边滤波去噪和直方图均衡温度增强,得到增强后图像对;

5、s3、将增强后图像对沿通道拼接输入预训练的深度残差骨干网络,通过特征金字塔从多个下采样阶段提取初级纹理、中级几何和高级语义特征,构建多尺度特征图集合;

6、s4、将各层特征图输入串联的通道注意力模块和空间注意力模块,通道注意力通过全局池化和全连接层生成通道权重以强化轨道结构特征,空间注意力通过卷积生成空间重要性图以聚焦轨道和前方区域,输出注意力强化特征图;

7、s5、将强化特征图输入多任务检测网络,该网络设有轨道缺陷检测、轮组状态检测和障碍物检测三个分支,各分支共享骨干网络和特征金字塔权重且采用独立动态锚框和分类回归头,并行输出缺陷实例分割掩膜、轮组关键点热力图和障碍物三维边界框及置信度分数;

8、s6、对每帧检测结果构建包含轨道缺陷面积变化率、轮组关键点偏移量和障碍物相对距离变化率的多元时序向量,输入基于单轨吊正常运行历史视觉数据训练的自编码器,以输入与重建向量间误差范数计算异常检测分值;

9、s7、将各维度异常分值自适应加权融合生成综合风险评估指数,当风险评估指数超过预设分级阈值时触发对应级别声光报警并同步记录异常帧图像。

10、进一步的,还包括:在步骤s1中利用暗通道先验从可见光图像提取暗通道图以估计大气光值和场景透射率,根据大气散射模型反演矿井粉尘浓度估计值,当粉尘浓度超过预设阈值时,将可见光检测置信度乘以粉尘衰减因子使多模态融合权重向红外热图像模态偏移;在步骤s2执行前利用惯性测量单元获取机车俯仰角、横滚角和偏航角,基于所述角度对多模态图像对执行透视变换校正以消除因机车颠簸引起的图像几何畸变。

11、进一步的,还包括:在步骤s2中对可见光图像在暗通道先验复原前,引入基于非局部均值滤波的水雾去雾处理,对每帧以像素点为中心构建搜索和比较窗口,计算窗口内邻域像素块与中心像素块的加权欧氏距离,并通过高斯核映射为零到一范围的相似度权重,利用该权重对窗口内像素灰度值加权平均以恢复被水雾衰减的图像高频细节;对红外热图像执行高斯差分滤波温度梯度增强,采用第一尺度高斯核和第二尺度高斯核分别卷积平滑后求取差值图像以突出轨道连接部位和轮组轴承区域的局部温度梯度变化。

12、进一步的,步骤s5中所述轨道缺陷检测分支对缺陷实例分割掩膜执行后处理:对每个连通缺陷区域提取一阶几何矩和二阶几何矩并计算主轴方向角和紧凑度,基于主轴方向角判断缺陷走向与轨道纵向参考轴线的夹角偏差,当夹角偏差超过预设偏转角阈值时将缺陷标记为横向裂纹并提升危险等级两级,同时将紧凑度与预设紧凑度阈值比较以区分线性裂纹和点状缺陷,所述紧凑度通过以下公式定量表征:

13、;

14、式中,表示第个缺陷区域的紧凑度,,表示该缺陷像素面积,由连通区域内像素总数确定;表示该缺陷轮廓周长。

15、进一步的,步骤s4中所述通道注意力模块对输入特征图各通道分别进行全局平均池化以获得通道描述向量,再经两级全连接层与激活函数完成跨通道信息融合与通道权重重构,通过sigmoid归一化得到各通道权重,并与原始特征图逐通道相乘,输出通道注意力加权特征图;所述空间注意力模块对该加权图分别执行全局最大池化与全局平均池化,拼接池化结果后经卷积运算与sigmoid函数生成空间权重图,最终将空间权重图与通道注意力加权特征图逐位置相乘,得到注意力强化特征图。

16、进一步的,步骤s6中所述自编码器采用无监督训练方式,采集单轨吊正常工况下可见光与红外图像作为正样本,经s1至s5提取时序特征向量,并将该向量同时作为输入与重建目标,编码器通过三层神经元递减的全连接层压缩特征至低维潜在空间,解码器依靠三层神经元递增的全连接层恢复原始特征维度,训练损失选用均方误差,训练完成后,正常样本重建误差低于阈值,异常样本重建误差高于阈值。

17、进一步的,步骤s7中所述各维度融合权重按以下软最大值归一化公式动态调整:

18、;

19、式中,表示第个维度在当前帧的融合权重,满足,为温度缩放系数且,和分别表示第和第个维度的不确定度,依次对应轨道缺陷、运行轮组状态和前方障碍物维度。

20、进一步的,步骤s3中所述深度残差骨干网络选用resnet-50,并在矿井巷道数据集上微调,训练过程冻结前三段残差网络权重,仅更新第四段残差网络与特征金字塔后续网络层,训练图像带有五类像素级语义标注,训练损失采用focalloss,抑制背景像素带来的梯度干扰。

21、进一步的,步骤s6中所述轨道缺陷面积变化率通过连续帧缺陷时空跟踪计算得到,对当前帧与预设间隔历史帧的缺陷分割掩膜进行匹配,采用交并比与区域质心欧氏距离双重匹配准则,在交并比大于匹配阈值且质心距离小于距离阈值时,判定为同一缺陷并建立跨帧关联,通过前后帧缺陷像素面积差值与历史帧缺陷面积的比值计算面积变化率。

22、进一步的,步骤s7中所述报警机制依据综合风险评估指数划分三级响应等级,当综合风险评估指数落在第一阈值区间时,触发一级预警,依靠车载防爆显示屏以图文闪烁方式提醒操作人员,当综合风险评估指数落在第二阈值区间时,触发二级报警,经由矿井工业以太网,把异常图像信息实时上传地面监控中心并存入事件数据库,当综合风险评估指数落在第三阈值区间时,触发三级紧急报警,在执行二级报警全部操作的同时,向牵引电控系统下发减速或制动指令,控制单轨吊运行,并借助矿井应急广播播报避让通知。

23、与现有的技术相比,本发明的有益效果是:

24、本发明采用双目可见光摄像仪与红外热成像仪同步采集的多模态检测方案,通过时空对齐和几何畸变校正处理,可适配单轨吊运行过程中的颠簸场景和井下复杂成像环境,相比单一模态的检测方案,可同时获取场景的纹理细节信息与温度分布信息,在不同粉尘、水雾浓度的环境下都可保障检测输入的有效性,还可根据环境条件动态调整多模态融合的权重,避免单一模态成像质量下降对检测结果的影响。

25、本发明采用共享骨干网络的多任务检测架构,可同时完成轨道缺陷、轮组运行状态、前方障碍物三类安全隐患的检测,无需部署多套独立的检测系统,降低了硬件部署和算力消耗的成本,在特征提取阶段加入通道注意力与空间注意力模块,可针对性强化轨道、轮组、前方运行区域的特征权重,过滤无关背景区域的干扰,提升特征提取的针对性,各检测分支采用独立的检测头设计,可适配不同类型检测目标的特征特性,保障各检测任务的检测准确性。

26、本发明引入基于时序特征的自编码器进行异常检测,结合连续多帧的检测结果变化判断异常情况,可过滤单帧图像中瞬时光影变化、成像噪点等因素导致的误检,降低检测的误报率。风险评估阶段采用动态调整的自适应加权融合方式,可根据各检测维度的实际置信度调整对应权重,优先采信当前检测质量更高的维度结果,避免单一维度检测失效导致的整体风险评估偏差。配套的分级报警响应机制,可根据综合风险等级匹配对应的处置措施,既不会因轻微的非安全隐患异常中断正常的运输生产,也可在出现高等级风险时及时采取干预措施,同步留存的异常帧数据也可为后续的隐患排查、设备维护提供数据支撑。