基于大小模型融合的煤矿火灾隐患识别方法与流程

本申请涉及煤矿灾害监测，尤其涉及一种基于大小模型融合的煤矿火灾隐患识别方法、装置、设备及存储介质。

背景技术：

1、煤矿火灾隐蔽性强、蔓延速度快，受井下低光照、高粉尘、高湿度及电磁干扰等复杂环境制约，火灾隐患早期识别难度大。相关技术中心，井下火灾监测以固定传感器报警、束管监测结合人工巡检为主，普遍存在响应滞后、易受主观因素影响的缺陷。

技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

2、第一方面，本申请提出一种基于大小模型融合的煤矿火灾隐患识别方法，所述方法包括：获取井下多源监测数据；通过预训练的轻量化目标检测网络对所述多源监测数据执行特征检测，并在识别到异常目标特征时提取局部数据切片并将所述局部数据切片发送至边缘计算网关；其中，所述轻量化目标检测网络部署于井下端侧监测设备；通过预训练的轻量大模型对所述局部数据切片执行跨模态交叉验证，若验证确认所述异常目标特征具备火灾隐患属性，生成隐患确认信息并将所述隐患确认信息发送至云端数据中心，以使所述云端数据中心结合全局监测特征数据对所述隐患确认信息进行深度关联推理输出综合预警报告；其中，所述轻量大模型部署于所述边缘计算网关。

3、在一种实现方式中，所述多源监测数据包括视频连续帧序列和传感器采样数值，在所述通过预训练的轻量化目标检测网络对所述多源监测数据执行特征检测之前，所述方法还包括：提取与所述视频连续帧序列中当前视频帧对应的预设时间滑动窗口内的传感器采样数值，计算算术平均值并生成与所述当前视频帧绑定的同步数值；若所述预设时间滑动窗口内未获取到新的传感器采样数值，采用零阶保持策略沿用上一有效周期的历史数值进行状态填充。

4、在一种实现方式中，所述轻量化目标检测网络包括特征提取主干网络与串联接入的卷积块注意力机制模块，所述特征提取主干网络包含部分卷积层，所述卷积块注意力机制模块包含通道注意力子模块与空间注意力子模块；所述通过预训练的轻量化目标检测网络对所述多源监测数据执行特征检测，包括：将所述融合张量数据输入所述特征提取主干网络并利用所述部分卷积层提取空间特征；将所述空间特征输入所述通道注意力子模块执行特征增强，得到中间特征图，将所述中间特征图输入所述空间注意力子模块再次执行特征增强，得到增强特征图，基于所述增强特征图进行预测，输出包含置信度得分和分类标签的预测结果；对比所述置信度得分与预设的视觉判定阈值，当连续预设数量视频帧的所述置信度得分均超越所述预设的视觉判定阈值，且对应的同步数值的单位时间变化率越限时，判定识别到所述异常目标特征，并生成异常触发信号。

5、在一种实现方式中，所述通过预训练的轻量大模型对所述局部数据切片执行跨模态交叉验证，包括：解析所述局部数据切片，提取多源监测数据的数值序列的特征跃变类型，并通过环境规则引擎将所述特征跃变类型转换为文本提示；提取所述局部数据切片中的时间窗口视频切片与所述时间窗口视频切片的多尺度视觉特征图，利用跨模态特征增强层交替执行所述时间窗口视频切片的视觉特征与所述文本提示的模态内自注意力交互和跨模态交叉注意力交互，得到融合特征流；利用所述文本提示的特征向量从所述多尺度视觉特征图中挑选候选目标查询，结合所述融合特征流进行解码预测，输出针对所述异常目标特征的图文匹配置信度。

6、在一种可选地实现方式中，所述若验证确认所述异常目标特征具备火灾隐患属性，生成隐患确认信息，包括：对比所述图文匹配置信度与预设复核判定阈值；若所述图文匹配置信度低于所述预设复核判定阈值，判定所述异常目标特征属于物理环境干扰条件，生成误报拦截指令并阻断数据发送链路；若所述图文匹配置信度大于或等于所述预设复核判定阈值，判定所述异常目标特征具备所述火灾隐患属性，提取所述局部数据切片中的所述分类标签作为隐患类型，并提取物理位置坐标，附加已验证标签生成所述隐患确认信息。

7、在一种实现方式中，所述结合全局监测特征数据对所述隐患确认信息进行深度关联推理，包括：将所述隐患确认信息中的物理位置坐标作为空间锚点，获取矿井整体范围内与所述空间锚点存在拓扑连通关系的全局监测特征数据；利用图卷积网络执行节点间特征信息的聚合与传递，提取空间扩散特征；将所述空间扩散特征与所述隐患确认信息中的隐患类型转换为结构化查询语句，在预先构建的煤矿灾害机理图谱知识库中进行向量检索，匹配历史灾害演化路径作为先验参考。

8、在一种可选地实现方式中，所述输出综合预警报告，包括：从全局监测特征数据中提取相邻节点气体浓度极值与通风机运行状态参数，结合所述空间锚点计算所述相邻节点气体浓度极值的空间距离衰减量，并将所述通风机运行状态参数转换为蔓延惩罚增益；将所述图文匹配置信度、所述空间距离衰减量与所述蔓延惩罚增益组合为多源实时风险因子；对所述先验参考与所述多源实时风险因子执行加权计算，输出综合风险评级指数；将所述综合风险评级指数、所述隐患类型以及全局监测特征数据输入预置的因果语言模型进行预测生成，输出所述综合预警报告。

9、第二方面，本申请提出一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

10、第三方面，本申请提出一种存储介质，所述存储介质中存储有指令，当所述指令在电子设备上运行时，使得所述电子设备执行如第一方面所述的方法。

11、第四方面，本申请提出一种程序产品，包括程序、指令的至少之一，所述程序、指令的至少之一被电子设备执行时实现第一方面所述方法的步骤。

12、本申请提供的基于大小模型融合的煤矿火灾隐患识别方法、设备及存储介质，采用云边端分级协同的井下火灾监测架构，首先获取井下多源监测数据，由部署于井下端侧监测设备的轻量化目标检测网络完成初步特征检测，在识别到异常目标特征时提取局部数据切片并上传至边缘计算网关；再由部署于边缘网关的轻量大模型对局部数据切片执行跨模态交叉验证，确认异常具备火灾隐患属性后生成隐患确认信息发送至云端数据中心，最终由云端结合全局监测特征数据开展深度关联推理并输出综合预警报告。能够通过端侧初筛保障了监测响应的实时性，大幅降低全量监测数据上传的带宽负荷，又依托边缘侧轻量大模型的跨模态验证有效削弱井下粉尘、水雾、矿灯反光等环境干扰，降低误报率，同时结合云端全局深度推理提升预警的全面性与准确性，实现井下火灾隐患监测实时性与识别精度的平衡。

13、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

1.一种基于大小模型融合的煤矿火灾隐患识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多源监测数据包括视频连续帧序列和传感器采样数值，在所述通过预训练的轻量化目标检测网络对所述多源监测数据执行特征检测之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述轻量化目标检测网络包括特征提取主干网络与串联接入的卷积块注意力机制模块，所述特征提取主干网络包含部分卷积层，所述卷积块注意力机制模块包含通道注意力子模块与空间注意力子模块；

4.根据权利要求1所述的方法，其特征在于，所述通过预训练的轻量大模型对所述局部数据切片执行跨模态交叉验证，包括：

5.根据权利要求4所述的方法，其特征在于，所述若验证确认所述异常目标特征具备火灾隐患属性，生成隐患确认信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述结合全局监测特征数据对所述隐患确认信息进行深度关联推理，包括：

7.根据权利要求6所述的方法，其特征在于，所述输出综合预警报告，包括：

8.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

9.一种存储介质，所述存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行权利要求1~7中任一项所述的方法。

10.一种程序产品，包括程序、指令的至少之一，其特征在于，所述程序、指令的至少之一被电子设备执行时实现权利要求1~7中任一项所述方法的步骤。