一种火情监测方法及系统

1.本发明涉及消防技术领域，特别是涉及一种火情监测方法及系统。


背景技术：

2.在社会生活中，火灾已成为威胁公共安全，危害人民群众生命财产的一种多发性灾害。火苗、烟雾和火花是火灾初期最常见的三类表现形式，在初期阶段及时发觉火情，有助于开展高效的火灾救援，从而最大限度地降低经济和生命损失。基于图像的火情监测相比人工巡查、接触式传感器等火灾监测手段，监管成本低，且不受空间距离和场景限制，因此成为了一项主要研究课题。
3.目前，大部分基于图像的火情监测方法主要采用传统图像处理算法，需要进行人工特征设计，设计过程繁琐且复杂度较高。近年来，也涌现了一些基于深度学习的火情监测方法（任锴,陈俊,叶宇煌,陈琪.基于ssd-mobilenet的火情检测预警系统[j].电气开关,2020,58(01):34-38.），通过卷积神经网络自动提取特征，但火苗、烟雾和火花等目标在监测过程中形态变化较大，视觉特征不稳定，导致现有火情监测方法的识别准确率有待进一步提升。因此，亟需一种对目标形变具有高度鲁棒性的火情监测预警方法，能够准确可靠地识别出不同形态下的火苗、烟雾和火花等目标，从而实现对火灾的提前预警，提升突发火情应急处置的时效性。


技术实现要素：

[0004]
本发明的目的是提供一种火情监测方法，提高了火情监测的鲁棒性。
[0005]
为实现上述目的，本发明提供了如下方案：一种火情监测方法，包括：构建火情监测数据集，所述火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；构建形变自适应网络；采用所述火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练所述形变自适应网络，获得火情监测模型；所述火情的类别包括烟雾、火苗和电火花；采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测；所述形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、roi pooling层和检测头；所述骨干网络用于输出尺寸依次减小的特征图c1、特征图c2、特征图c3、特征图c4和特征图c5；所述第一形变自适应模块用于将特征图c5进行2倍的上采样后与特征图c4进行通道维度拼接，获得特征图da-md-5，特征图c5进行2倍的上采样后与特征图c4尺寸相同，将特征图da-md-5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图da-md-51，将特征图da-md-5依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图da-md-52，将特征图da-md-51和特征图da-md-52进行逐像素
加和获得特征图da4；所述第二形变自适应模块用于将特征图da4进行2倍的上采样后与特征图c3进行通道维度拼接，获得特征图da-md-4，特征图da4进行2倍的上采样后与特征图c3尺寸相同，将特征图da-md-4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图da-md-41，将特征图da-md-4依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图da-md-42，将特征图da-md-41和特征图da-md-42进行逐像素加和获得特征图da3；所述第三形变自适应模块用于将特征图da3进行2倍的上采样后与特征图c2进行通道维度拼接，获得特征图da-md-3，特征图da3进行2倍的上采样后与特征图c2尺寸相同，将特征图da-md-3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图da-md-31，将特征图da-md-3依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图da-md-32，将特征图da-md-31和特征图da-md-32进行逐像素加和获得特征图da2；特征图da4、特征图da3和特征图da2依次输入所述区域建议网络。
[0006]
可选地，所述包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
[0007]
可选地，所述骨干网络采用resnet101。
[0008]
可选地，所述采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测，具体包括：当所述火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
[0009]
本发明还公开了一种火情监测系统，包括：火情监测数据集构建模块，用于构建火情监测数据集，所述火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像；形变自适应网络构建模块，用于构建形变自适应网络；形变自适应网络训练模块，采用所述火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练所述形变自适应网络，获得火情监测模型；所述火情的类别包括烟雾、火苗和电火花；火情监测模块，用于采用所述火情监测模型对待监测区域实时获取的监测图像进行火情监测；所述形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、roi pooling层和检测头；所述骨干网络用于输出尺寸依次减小的特征图c1、特征图c2、特征图c3、特征图c4和特征图c5；所述第一形变自适应模块用于将特征图c5进行2倍的上采样后与特征图c4进行通道维度拼接，获得特征图da-md-5，特征图c5进行2倍的上采样后与特征图c4尺寸相同，将特征图da-md-5依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图da-md-51，将特征图da-md-5依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图da-md-52，将特征图da-md-51和特征图da-md-52进行逐像素加和获得特征图da4；所述第二形变自适应模块用于将特征图da4进行2倍的上采样后与特征图c3进行通道维度拼接，获得特征图da-md-4，特征图da4进行2倍的上采样后与特征图c3尺寸相同，将特征图da-md-4依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图da-md-41，将特征图da-md-4依次进行卷积核为3*3的卷积操作以及卷积核为
5*5的卷积操作获得特征图da-md-42，将特征图da-md-41和特征图da-md-42进行逐像素加和获得特征图da3；所述第三形变自适应模块用于将特征图da3进行2倍的上采样后与特征图c2进行通道维度拼接，获得特征图da-md-3，特征图da3进行2倍的上采样后与特征图c2尺寸相同，将特征图da-md-3依次进行卷积核为1*3的卷积操作以及卷积核为3*1的卷积操作获得特征图da-md-31，将特征图da-md-3依次进行卷积核为3*3的卷积操作以及卷积核为5*5的卷积操作获得特征图da-md-32，将特征图da-md-31和特征图da-md-32进行逐像素加和获得特征图da2；特征图da4、特征图da3和特征图da2依次输入所述区域建议网络。
[0010]
可选地，所述包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
[0011]
可选地，所述骨干网络采用resnet101。
[0012]
可选地，所述火情监测模块，具体包括：火情监测单元，用于当所述火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
[0013]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明公开了一种火情监测方法，针对火苗、烟雾和火花等目标，通过第一形变自适应模块、第二形变自适应模块和第三形变自适应模块进行无损特征融合的同时基于非对称卷积分支从水平和垂直方向提取特征图中的局部显著特征，提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；以及基于可变形卷积分支增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获，显著提升网络对监测目标的形变鲁棒性，从而提升检测准确率。
附图说明
[0014]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]
图1为本发明一种火情监测方法流程示意图；图2为本发明形变自适应网络结构示意图；图3为本发明第一形变自适应模块结构示意图；图4为本发明一种火情监测系统结构示意图。
具体实施方式
[0016]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0017]
本发明的目的是提供一种火情监测方法，提高了火情监测的鲁棒性。
[0018]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0019]
图1为本发明一种火情监测方法流程示意图，如图1所示，一种火情监测方法包括以下步骤：步骤101：构建火情监测数据集，火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像。
[0020]
其中，步骤101具体包括：从开源烟雾数据集和火苗数据集（https://cvpr.kmu.ac.kr/）中搜索大量包含烟雾的监测图像和包含火苗的监测图像，基于工业相机在不同背景下拍摄的电火花图像，将包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像这三种不同类型监测目标的火情监测图像进行组合，获得足够规模的火情监测图像。采用标注软件对火情监测图像进行标注，在每张图像中标注出烟雾、明火或电火花的位置和类别，获得相应标注文件；最后，将所得监测图像和对应标注文件按比例划分为训练集和测试集，获得综合型的火情监测数据集。
[0021]
步骤102：构建形变自适应网络（deformation adaptation network，da-net）。
[0022]
步骤103：采用火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练形变自适应网络，获得火情监测模型（训练好的da-net模型）；火情的类别包括烟雾、火苗和电火花。
[0023]
步骤104：采用火情监测模型对待监测区域实时获取的监测图像进行火情监测。
[0024]
其中，步骤104具体包括：采用工业相机对待监测区域实时获取监测图像。
[0025]
将实时获取的监测图像输入火情监测模型中，获得检测结果。
[0026]
若检测结果的图像中不存在火苗、电火花或烟雾，则无输出；若检测结果的图像中存在火苗、电火花或烟雾，输出目标位置矩形框的火情监测结果图像，并发出火情预警信号。
[0027]
如图2所示，形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、roi pooling层和检测头。
[0028]
骨干网络采用resnet101。
[0029]
骨干网络用于输出尺寸依次减小的特征图c1、特征图c2、特征图c3、特征图c4和特征图c5。
[0030]
如图3所示，第一形变自适应模块用于将特征图c5进行2倍的上采样后与特征图c4进行通道维度拼接，获得特征图da-md-5，特征图c5进行2倍的上采样后与特征图c4尺寸相同，将特征图da-md-5依次进行卷积核为1*3，卷积核个数为1024的卷积操作以及卷积核为3*1，卷积核个数为2048的卷积操作获得特征图da-md-51，将特征图da-md-5依次进行卷积核为3*3，卷积核个数为1024的卷积操作以及卷积核为5*5，卷积核个数为2048的卷积操作获得特征图da-md-52，将特征图da-md-51和特征图da-md-52进行逐像素加和获得特征图da4。
[0031]
第二形变自适应模块用于将特征图da4进行2倍的上采样后与特征图c3进行通道维度拼接，获得特征图da-md-4，特征图da4进行2倍的上采样后与特征图c3尺寸相同，将特征图da-md-4依次进行卷积核为1*3，卷积核个数为512的卷积操作以及卷积核为3*1，卷积核个数为1024的卷积操作获得特征图da-md-41，将特征图da-md-4依次进行卷积核为3*3，
卷积核个数为512的卷积操作以及卷积核为5*5，卷积核个数为1024的卷积操作获得特征图da-md-42，将特征图da-md-41和特征图da-md-42进行逐像素加和获得特征图da3。
[0032]
第三形变自适应模块用于将特征图da3进行2倍的上采样后与特征图c2进行通道维度拼接，获得特征图da-md-3，特征图da3进行2倍的上采样后与特征图c2尺寸相同，将特征图da-md-3依次进行卷积核为1*3，卷积核个数为256的卷积操作以及卷积核为3*1，卷积核个数为512的卷积操作获得特征图da-md-31，将特征图da-md-3依次进行卷积核为3*3，卷积核个数为256的卷积操作以及卷积核为5*5，卷积核个数为512的卷积操作获得特征图da-md-32，将特征图da-md-31和特征图da-md-32进行逐像素加和获得特征图da2。
[0033]
特征图da4、特征图da3和特征图da2依次输入区域建议网络。
[0034]
下面以输入一张待检测的火情监测图像1024*1024*3为例，展示形变自适应网络da-net的设计过程：（1）首先，采用resnet101作为提取监测目标特征的骨干网络，resnet101由五个卷积模块构成，将各卷积模块的输出特征图依次命名为特征图c1、特征图c2、特征图c3、特征图c4和特征图c5。当火情监测图像输入resnet101网络后，各卷积模块的输出特征图尺寸依次为：512*512*64、256*256*256、128*128*512、64*64*1024、32*32*2048。
[0035]
（2）由于火苗、烟雾和火花等目标在监测过程中可能因为空气流动等原因产生明显的形态变化，导致同一目标在不同监测图像中的视觉特征差异性较大，如果直接基于resnet101网络的输出特征图进行目标区域预测，会使网络难以准确识别出目标的具体所在位置。针对该问题，本发明基于非对称卷积和可变形卷积设计了一种形变自适应模块，并嵌入到resnet101网络的后端，以增强网络对目标形变的鲁棒性。
[0036]
如图3所示，基于特征图c5（32*32*2048）和c4（64*64*1024），展示第一形变自适应模块的设计过程：首先，需要对各层特征图进行信息融合，以进一步增强特征图的信息表达能力。因此，将特征图c5输入一个放大倍数为2倍的上采样层中，将其尺寸转换为64*64*2048；然后通过特征拼接操作，将其与相同尺寸的c4特征图进行通道维度拼接，得到尺寸为64*64*3072的特征图，命名为da-md-5。在常规的特征融合操作中，需要基于1*1卷积层将c4和c5的通道数压缩到256维，这会严重损失骨干网络所提取的有效特征信息，因此本发明方法采用的是特征拼接的方式进行特征融合，避免了通道维度的压缩以及信息损失。此时所得到的特征图da-md-5是高层特征图c5与低层特征图c4的融合特征图，即同时获得了来自c5的高级语义信息和来自c4的低层细节信息。
[0037]
然后，将特征图da-md-5分别输入非对称卷积分支和可变形卷积分支中。在非对称卷积分支中，依次对da-md-5进行卷积核为1*3、卷积核个数为1024的卷积操作以及卷积核为3*1、卷积核个数为2048的卷积操作，然后输出尺寸为64*64*2048的特征图，这一步能够分别从水平和垂直方向提取特征图中的局部显著特征，从而提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；在可变形卷积分支中，对da-md-5依次进行卷积核为3*3、卷积核个数为1024和卷积核为5*5、卷积核个数为2048的可变形卷积操作，然后输出尺寸为64*64*2048的特征图，这一步能够有效增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获。
[0038]
最后，将非对称卷积分支和可变形卷积分支的输出特征图进行逐像素加和，得到
尺寸为64*64*2048的特征图，命名为da4。
[0039]
以上即为形变自适应模块的设计过程。形变自适应模块在实现无损特征信息融合的同时，能够基于非对称卷积分支从水平和垂直方向提取特征图中的局部显著特征，提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；以及基于可变形卷积分支增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获。
[0040]
（3）将形变自适应模块嵌入到resnet101网络的后端，以使整个网络获得具有形变鲁棒性的特征信息。
[0041]
在上一步骤中，基于特征图c5、c4和第一形变自适应模块，得到了特征图da4；接下来，将高层特征图da4和低层特征图c3同时输入第二形变自适应模块中，得到特征图da3；再通过第三形变自适应模块获得特征图da2。特征图c1的尺寸过大，为了节约计算成本，该阶段不对其进行形变自适应处理。
[0042]
（4）由于火情监测预警任务在火灾发生的初期进行，也就是说监测图像中的火苗、烟雾和火花等目标尚属于中小尺寸目标；特征图c5分辨率较低，适合进行大目标预测，因此，本发明方法仅基于中低层特征图da2~da4进行目标预测。如图2所示，将中低层特征图da2、da3和da4依次输入faster rcnn网络中的区域建议网络(region proposal network，rpn)、roi pooling层和检测头中，并输出对火情监测图像的检测结果。
[0043]
经过以上4个步骤，即可获得如图2所示的da-net网络。
[0044]
本发明提出了基于卷积神经网络da-net的火情监测方法，该方法能够自动且准确地捕捉到火灾发生的早期信号，实现对火灾的提前预警，从而提升突发火情应急处置的时效性，节约大量的人力巡查成本。
[0045]
本发明针对火苗、烟雾和火花等目标容易产生形变这一问题，设计了形变自适应模块。形变自适应模块在实现无损特征信息融合的同时，能够基于非对称卷积分支从水平和垂直方向提取特征图中的局部显著特征，提升算法对火苗、烟雾和火花等目标旋转和畸变的鲁棒性；以及基于可变形卷积分支增强网络对不同量级几何变换的学习能力，从而对发生形变的目标实现精准地位置捕获。形变自适应模块能够显著提升网络对监测目标的形变鲁棒性，从而提升算法的检测准确率。
[0046]
图4为本发明一种火情监测系统结构示意图，如图4所示一种火情监测系统，包括：火情监测数据集构建模块201，用于构建火情监测数据集，火情监测数据集中包括包含烟雾的监测图像、包含火苗的监测图像和包含电火花的监测图像。
[0047]
形变自适应网络构建模块202，用于构建形变自适应网络。
[0048]
形变自适应网络训练模块203，采用火情监测数据集，以监测图像为输入，以火情的位置和类别为输出训练形变自适应网络，获得火情监测模型；火情的类别包括烟雾、火苗和电火花。
[0049]
火情监测模块204，用于采用火情监测模型对待监测区域实时获取的监测图像进行火情监测。
[0050]
形变自适应网络包括用于提取监测目标特征的骨干网络、第一形变自适应模块、第二形变自适应模块和第三形变自适应模块，还包括依次连接的区域建议网络、roi pooling层和检测头；骨干网络用于输出尺寸依次减小的特征图c1、特征图c2、特征图c3、特征图c4和特征图c5；第一形变自适应模块用于将特征图c5进行2倍的上采样后与特征图c4
进行通道维度拼接，获得特征图da-md-5，特征图c5进行2倍的上采样后与特征图c4尺寸相同，将特征图da-md-5依次进行卷积核为1*3，卷积核个数为1024的卷积操作以及卷积核为3*1，卷积核个数为2048的卷积操作获得特征图da-md-51，将特征图da-md-5依次进行卷积核为3*3，卷积核个数为1024的卷积操作以及卷积核为5*5，卷积核个数为2048的卷积操作获得特征图da-md-52，将特征图da-md-51和特征图da-md-52进行逐像素加和获得特征图da4；第二形变自适应模块用于将特征图da4进行2倍的上采样后与特征图c3进行通道维度拼接，获得特征图da-md-4，特征图da4进行2倍的上采样后与特征图c3尺寸相同，将特征图da-md-4依次进行卷积核为1*3，卷积核个数为512的卷积操作以及卷积核为3*1，卷积核个数为1024的卷积操作获得特征图da-md-41，将特征图da-md-4依次进行卷积核为3*3，卷积核个数为512的卷积操作以及卷积核为5*5，卷积核个数为1024的卷积操作获得特征图da-md-42，将特征图da-md-41和特征图da-md-42进行逐像素加和获得特征图da3；第三形变自适应模块用于将特征图da3进行2倍的上采样后与特征图c2进行通道维度拼接，获得特征图da-md-3，特征图da3进行2倍的上采样后与特征图c2尺寸相同，将特征图da-md-3依次进行卷积核为1*3，卷积核个数为256的卷积操作以及卷积核为3*1，卷积核个数为512的卷积操作获得特征图da-md-31，将特征图da-md-3依次进行卷积核为3*3，卷积核个数为256的卷积操作以及卷积核为5*5，卷积核个数为512的卷积操作获得特征图da-md-32，将特征图da-md-31和特征图da-md-32进行逐像素加和获得特征图da2；特征图da4、特征图da3和特征图da2依次输入区域建议网络。
[0051]
包含电火花的监测图像为基于工业相机在不同背景下拍摄的电火花图像。
[0052]
骨干网络采用resnet101。
[0053]
火情监测模块，具体包括：火情监测单元，用于当火情监测模型输出的监测结果中包括火情的位置和类别，则发出火情预警信号。
[0054]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0055]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。