一种野外火灾烟雾检测方法与流程

1.本发明是基于md-cascade-r cnn神经网络的目标检测方法，旨在使用该技术解决野外烟雾检测中烟雾颜色形状多变且可能半透明、边缘模糊难以界定以及烟雾尺度多变等问题，提高野外烟雾的检测率。


背景技术：

2.火灾是一种常见的、严重危及人类生产生活的自然灾害，尤其是野外火灾，而烟雾作为火灾发生时的一个显著特征，比火焰本身更容易被观察到，烟雾检测就成为了火灾防控领域和计算机视觉领域的重要研究课题。随着图像采集设备的广泛应用以及图像处理、计算机视觉以及人工智能技术的不断发展，越来越多学者开始研究基于视频图像的烟雾检测方法，以期及时发现火情并预警，提高火灾预防和监管水平。
3.早期，基于视频图像的烟雾检测方法通过人工分析烟雾特征，但烟雾颜色、纹理、形状、运动等特征多变，人工选取的特征未必能全面反映烟雾的本质特征，该过程不仅费时费力,而且还很难取得较好的效果。近年来，随着深度学习技术的不断发展，卷积神经网络出色的特征提取和分类能力使其在图像分类、语义分割、目标检测等计算机视觉任务上取得优秀成绩。
4.虽然基于深度学习技术的烟雾检测方法优于基于传统视觉技术的方法，但是由于烟雾检测在不同环境下自身颜色、形状、透明度等特征不同，边缘模糊难以界定，导致较难提取烟雾的共性特征，且视频拍摄角度距离不一，导致烟雾图像尺度多变，尤其是较小的烟雾显著性更低，检测难度较大。


技术实现要素：

5.本发明针对现有技术的不足，提出了一种基于md-cascade-r cnn模型的野外火灾烟雾检测方法。
6.本发明提出的基于md-cascade-r cnn模型将特征金字塔融合方式从深至潜改为由浅至深融合，提高了小尺度烟雾的检测效果。同时，使用多支路空洞卷积下采样替代了普通的下采样以进一步增强模型对不同尺度烟雾的检测能力，并使用多iou阈值级联检测器进一步提高了对边缘模糊烟雾的检测能力。
7.本发明方法具体包括以下步骤：
8.一种野外火灾烟雾检测方法，该方法具体包括以下步骤：
9.步骤1、采用由浅至深的特征金字塔对resnet101特征提取网络提取到的不同层次的信息由浅至深进行融合，具体操作如下：
10.改进的特征金字塔网络从浅层开始向深层进行融合，在融合时首先需要对较浅一层网络输出的特征图进行下采样，使其分辨率与较深一层网络输出的特征图达成一致；同时对较深一层网络输出的特征图进行一次卷积核大小为1x1的卷积操作，以使得其通道数与较浅一层网络输出的特征图相等，以便进行后续的相加操作，具体过程表示如下:
[0011][0012]
其中，pi是第i级融合特征图，fi是第i级特征提取网络输出的原始特征图，pool表示下采样操作，dim代表利用1x1卷积进行的降维操作，n是特征提取网络的总层级；融合后保留每一层原有特征信息的同时，增强浅层特供的细节信息，有助于提高对小尺度烟雾的检测率，进而提高野外火灾烟雾检测的整体效果；
[0013]
步骤2、在训练过程中，采用多iou阈值级联检测器，每个iou阈值检测器训练时阈值逐渐增大。
[0014]
作为优选，所述的对较浅一层网络输出的特征图进行下采样，具体为：使用多支路空洞卷积下采样代替特征图融合过程中的下采样；具体操作如下：
[0015]
首先，通过并联的三条空洞卷积支路分别进行下采样，其中三条空洞卷积支路的空洞率各不相同，且三个空洞率满足没有大于1的公约数；每条空洞卷积支路采用空洞率为k的空洞卷积核进行下采样，参与计算的不再是输入图像中邻近的九个像素点，而是在两个维度上均为最近像素点距离为k的九个像素点，其次，使用含批量归一化的concat层对三条支路的下采样结果进行融合，最后进行一次1
×
1的卷积操作降维，以便执行后续的特征金字塔融合过程。
[0016]
作为优选，所述的步骤2，在训练过程中，采用多iou阈值级联检测器，每个iou阈值检测器训练时阈值逐渐增大；具体操作如下：
[0017]
在训练时，首先使用设定的iou阈值对网络进行更为容量的训练，以免错过半透明的烟雾边缘区域，然后逐渐增大iou阈值，使得网络在先前识别的基础上更加严格地识别烟雾，将类似于烟雾的背景逐渐剔除；每经过一个网络，候选区域样本的质量就越高，因此也就越能“适应”更高的iou阈值；通过将多个使用不同iou阈值的网络级联在一起，让每一个网络使用上一个网络输出的候选区域作为输入，并使用更高的阈值进行过滤，最终就能得到更加准确的结果。
[0018]
本发明的有益结果：
[0019]
1、该技术提出了一种将特征金字塔融合方式由浅至深融合的方式。这种方法更加关注于浅层网络提供的细节信息，给予了小尺度目标更高的权重，提高了小尺度烟雾的检测能力。
[0020]
2、该技术提出了一种采用多支路空洞卷积下采样进行下采样的方式。这种方法可以增大下采样的感受野，同时捕获不同尺度的上下文信息，提高了对不同尺度烟雾的检测能力。
[0021]
3、该技术提出了一种采用多iou阈值级联检测器的方式。先使用低阈值进行较为模糊的检测以避免漏掉不太明显的烟雾边缘区域，然后逐级使用更高的阈值进一步明确边界，从而克服烟雾边缘半透明区域难以检测的问题。
附图说明
[0022]
图1为md-cascade-r cnn模型结构；
[0023]
图2为由浅至深融合的特征金字塔网络；
[0024]
图3为栅格化问题；
[0025]
图4为多支路空洞卷积下采样；
[0026]
图5为多iou阈值级联检测器原理。
具体实施方式
[0027]
下面根据附图结合zhang等人创建的野外火灾烟雾数据集对本发明进行详细说明。本发明整体模型结构如附图1所示，具体步骤如下：
[0028]
步骤1、根据resnet101特征提取网络中的特征，构建由浅至深融合的特征金字塔网络。
[0029]
步骤2、使用多支路空洞卷积下采样对图像特征进行下采样。
[0030]
步骤3、使用多iou阈值级联检测器对检测的目标进行筛选。
[0031]
进一步，在步骤1中，由浅至深融合的特征金字塔网络结构如附图2所示。特征提取网络resnet101中有conv1-conv5五个卷积层，由于conv1分辨率较高，会占用大量的内存资源，且可能存在噪声干扰，故不采用。从conv2开始每个卷积层都输出一张特征图，最浅层的特征图f2直接参与后续的融合，为了与后续融合过程统一，记为p2，而后f3与p2进行融合，生成p3，f4再与p3进行融合生成p4，依次类推，每一个卷积层输出的特征图都与上一次生成的融合特征图进行进一步的融合再送入后续网络结构，直至f5与p4进行融合生成p5，整个特征金字塔的融合过程至此结束。
[0032]
进一步，使用空洞卷积采样代替常规下采样，在不增加参数量的情况下增大感受野，同时捕获不同尺度的上下文信息，进一步克服烟雾尺度变化较大的问题。由于在使用空洞卷积进行下采样时，存在“栅格化(gridding)”问题，如附图3所示，采用空洞率r＝2的卷积核进行空洞卷积下采样，则图中所有白色方块代表的像素所包含的信息都会被遗漏，在这种情况下，至少有75％的信息会被遗漏，因此叠加使用多个空洞率不同的卷积核来消除栅格化效应，如附图3所示。但要保证多个空洞率应满足没有大于1的公约数，如果叠加使用空洞率分别为[2,4,6]的空洞卷积，则还是会造成栅格化效应。经过综合考虑，本文使用空洞率分别为[1,2,3]的空洞卷积对金字塔融合的特征进行下采样，以便在避免栅格化效应的同时提高网络在小目标检测上的效果。
[0033]
在步骤2中，多iou阈值级联检测器结构如附图5所示，其中，i代表输入的原始图像，conv代表卷积层，pool代表池化层，h1、h2、h3代表三个采用了不同iou阈值的r-cnn网络，b0可以看作是网络最前端的区域建议网络(region proposal network,rpn)在一开始提供的原始proposal，b1、b2、b3是三个r-cnn网络使用不同的iou阈值进行判断并调整后得出的新的边界框集合，c1、c2、c3是三个r-cnn网络得出的对应的分类结果。越靠近输入端的网络使用的iou阈值越低，越靠近输出端的网络使用的iou阈值越高。由于高iou阈值容易导致神经网络忽略边界模糊区域，因此首先使用低iou阈值来进行初步筛选，在筛选出烟雾的同时以免漏选半透明烟雾区域，接着将网络筛选出的候选区域作为下一个网络的输入，逐渐增大iou阈值，将一些假正样本筛选掉，通过这种逐级筛选的方式，最终得到更加准确的结果。
[0034]
进一步：md-cascade r-cnn与cascade r-cnn、faster r-cnn、mask r-cnn、yolo-v4等经典烟雾检测模型进行对比实验，实验结果如表1所示。
[0035]
表1 md-cascade r-cnn与经典模型检测效果对比
[0036][0037]