一种基于深度学习的烟雾检测方法与流程

1.本发明属于烟雾检测技术领域，具体涉及一种基于深度学习的烟雾检测方法。


背景技术：

2.火灾是由人们用火不当或者自然界自燃引起的一种灾害，若火势得不到及时控制，则会持续相当长的时间，对大范围面积内的生命造成威胁，对自然环境也产生不可逆的影响。在各种自然灾害中，火灾是最普遍、最经常威胁公众安全和社会发展的灾害之一，而在火灾发生的早期，会伴随着烟雾的不断产生和飘散，若能在此阶段及时检测到烟雾并进行有效扑救，就可以把财产损失和社会影响降到最低，所以火灾早期的烟雾检测至关重要。传统的烟雾检测方法大多基于物理传感器的探测技术，包括离子式烟雾传感器、光电式烟雾传感器等，但并不适用于灵敏度要求高或复杂多样、范围较大的环境中。传统的烟雾检测装置探测范围小、设备成本高，且极易受天气光照等影响，烟雾误报率较高。
3.目前针对于火灾检测报警的设备应用最多就是烟雾感应器，一般安装在容易发生火灾的室内场所，比如停车场、工厂、企业办公区域以及家居等环境中，因为它生产成本低且安装简单，所以被广泛使用。这种检测器的原理是根据火灾发生时产生的烟雾浓度、环境温度以及火势变大后环境亮度的改变等条件，触发其中的物理原件来感知火灾的发生，其优点是随及火势变大后环境亮度的改变等条件，触发其中的物理原件来感知火灾的发生，其优点是对环境光线没有要求，即使在暗光下发生的火灾烟雾也可以被检测出。但是其具有较大的局限性，因为只有当烟雾的浓度或者周边环境温度的上升达到一定的标准才能检测出火灾发生，所以一般只适用于较小空间内，另外其灵敏度会随时间的推移而降低，导致即使在小空间内也无法检测出火灾，浓度等影响，传感器信号的传送速度较慢且信号变弱而失效，因此识别效果差、误报率高从而失去最佳的救援和抢救时间。大致由两个研究分支构成，一个是以火焰检测为主，一个是以烟雾检测为主。
4.从实际应用来看，以烟雾检测为主的技术更具有优势，因为火灾发生的初期火焰一般不明显，尤其是在森林等高大密集地带，火焰很容易被遮挡，而火灾产生的烟雾因其具有向上飘动且面积逐渐增大的性质，较容易被摄像机捕捉到。如果能及时将烟雾检测出来，便可以提前采取措施将火灾控制住。随着图像识别技术的发展和视频监控设施的广泛应用，基于视频的烟雾识别方法成为国内外学者的研究热点。但是，烟雾形态不固定，任意扩散，在烟雾现场存在较多像烟雾的目标，不利于真实烟雾的定位和检测，误报现象也居高不下。所以不断提高烟雾视频检测的准确率，降低误报率和漏报率，对及时有效的发现和抑制火灾具有极高实用价值。基于视频的烟雾识别方法成为国内外学者的研究热点。


技术实现要素：

5.为解决现有烟雾形态不固定，任意扩散，在烟雾现场存在较多像烟雾的目标，不利于真实烟雾的定位和检测，误报现象也居高不下的问题；本发明的目的在于提供一种基于深度学习的烟雾检测方法。
6.本发明的一种基于深度学习的烟雾检测方法，它的检测方法如下：
7.步骤一、改进的混合高斯与yolov3融合烟雾检测算法：
8.分为两部分；第一部分利用改进的混合高斯算法对视频每帧进行像素匹配，得到相应的静态背景和动态前景,然后按照一定规律对动态前景进行提取,得到粗筛选后的烟雾前景；第二部分主要采用yolov3目标检测算法，提取烟雾特征并进行二次细筛选；利用yolov3提取烟雾特征时,把预处理后的烟雾数据集作为模型的输入，在模型中进行反复训练和调整参数，最后生成表征烟雾特征的权重，并在粗筛选得到的烟雾前景中进行调用，对烟雾区域进行二次细筛选,最终框定出视频烟雾的具体位置和范围，从而有效的对烟雾进行检测；
9.1.1、改进混合高斯烟雾前景提取：
10.1.1.1)视频当前帧的像素点与高斯分布进行匹配，若满足式(1
‑
2)，则像素点与高斯分布匹配，若不满足，则说明不匹配；
11.|x
i,t
‑
μ
i
|＜2.5σ
i
ꢀꢀꢀ
(1
‑
2)
12.1.1.2)若匹配成功，则用此像素点来更新高斯背景模型，更新的公式为式(1
‑
3)、式(1
‑
4)和式(1
‑
5)：
13.ω
i,t
＝(1
‑
α)ω
i
‑1 α(m
i,t
)
ꢀꢀꢀ
(1
‑
3)
14.μ
i,t
＝(1
‑
θ)μ
i,t
‑1 θx
t
ꢀꢀꢀ
(1
‑
4)
15.σ
2i,t
＝(1
‑
θ)σ
2i,t
‑1 θ(x
t
‑
μ
i,t
‑1)
t
(x
t
‑
μ
i,t
‑1)
ꢀꢀꢀ
(1
‑
5)
16.式中，α为学习率；m
i,t
用来控制多个高斯分布的权值变化。当匹配成功时，m
i,t
＝1；匹配失败时，m
i,t
＝0；α和θ可以反映高斯适应不同场景的能力；
17.1.1.3)若与任一个高斯分布都不匹配，则增加一个高斯分布或者更新高斯分布来取代优先级最小的分布；
18.k个高斯分布按照优先级从高到低排列为式(1
‑
6)：
[0019][0020]
1.1.4)高斯模型更新参数后，按照优先级对像素点的k个高斯分布进行排列，并取前b个高斯分布作为背景像素的理想描述：
[0021][0022]
式中,ω
k
表示一个像素中第k个高斯函数的权值；t一般取0.5到1之间，这里取经验值0.85，继续对x
i,t
与上述b个高斯分布做匹配测验，与前b个高斯分布任一个相匹配则为前景，反之则为背景。
[0023]
1.2、yolov3模型与训练：
[0024]
通过在一个神经网络模型中进行预测目标区域和目标类别；yolov3采用了新的resnet思想的darknet
‑
53网络结构，在网络中加入残差模块，并采用3个不同尺度的特征图来进行对象检测，能够检测到更加细粒度的特征；
[0025]
步骤二、基于改进yolov3的烟雾检测算法：
[0026]
将通道注意力机制嵌套在yolov3网络结构中残差卷积块residual block的最后一层，在烟雾目标检测中，当两个或者两个以上目标框接近时，分数更低的框就会因为与之
重叠面积过大而被删掉，nms的阈值需要手动确定，设置小了会漏检，设置大会误检，将非极大值抑制改为soft
‑
nms。
[0027]
作为优选，所述soft
‑
nms为在烟雾检测中，首先产生一些烟雾候选区域，其次通过分类网络得到类别得分，与此同时通过回归网络得到更加精确的位置参数，最后通过非极大值抑制得出最后的检测结果。
[0028]
与现有技术相比，本发明的有益效果为：
[0029]
一、利用改进的混合高斯对烟雾前景进行提取，排除静态干扰的同时缩小烟雾检测的范围；然后采用目标检测算法提取，排除静态干扰的同时缩小烟雾检测的范围；然后yolov3训练数据并提取烟雾特征；最终把两者进行融合，预测出烟雾的具体位置和范围,并进行烟雾框定，完成对烟雾的检测。
[0030]
二、能够实现对复杂场景下烟雾快速、精准检测。
附图说明
[0031]
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
[0032]
图1为本发明中动态前景区域图；
[0033]
图2为本发明中融合算法流程图；
[0034]
图3为本发明中yolov3算法结构示意图；
[0035]
图4为本发明中eca模块的示意图。
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0037]
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
[0038]
本具体实施方式采用以下技术方案：
[0039]
一、改进的混合高斯与yolov3融合烟雾检测算法：
[0040]
针对疑似火灾烟雾区域难以筛选，烟雾场景区别较大，烟雾检测准确率不高的问题，提出了一种改进混合高斯与yolov3融合的烟雾检测方法。融合算法主要分为2部分。第1部分利用改进的混合高斯算法对视频每帧进行像素匹配，得到相应的静态背景和动态前景,然后按照一定规律对动态前景进行提取,得到粗筛选后的烟雾前景。第2部分主要采用yolov3目标检测算法，提取烟雾特征并进行二次细筛选。利用yolov3提取烟雾特征时,把预处理后的烟雾数据集作为模型的输入，在模型中进行反复训练和调整参数，最后生成表征烟雾特征的权重，并在粗筛选得到的烟雾前景中进行调用，对烟雾区域进行二次细筛选,最
终框定出视频烟雾的具体位置和范围，从而有效的对烟雾进行检测。
[0041]
1.1、改进混合高斯烟雾前景提取：
[0042]
stauffer等提出的自适应混合高斯模型，使用k个高斯函数的加权和建模，以此用于提取运动图像中所有像素点的矢量特征，并在下一帧中对混合高斯模型数据进行匹配与更新，通过像素点的匹配进行前景和背景的分离。
[0043]
当前像素点概率密度函数加权和为：
[0044][0045]
式中，k表示高斯分布的个数，一般在3
‑
5之间取值；ω
i,t
表示在t时刻第i个高斯函数的权值；η(x
i
,μ
i,t
,∑
i,t
)为第i个高斯概率密度函数；μ
i,t
表示在t时刻第i个高斯函数的均值；∑
i,t
表示在t时刻第i个高斯函数的方差。假设检测的图像中r、g、b三通道像素值相互独立且具有相同的方差，取∑
i,t
＝σ
2i,t
i。其中，高斯函数的均值和方差对整个混合高斯模型的影响较大。
[0046]
混合高斯的提取前景主要步骤如下：
[0047]
1)视频当前帧的像素点与高斯分布进行匹配，若满足式(1
‑
2)，则像素点与高斯分布匹配，若不满足，则说明不匹配。
[0048]
|x
i,t
‑
μ
i
|＜2.5σ
i
ꢀꢀꢀ
(1
‑
2)
[0049]
2)若匹配成功，则用此像素点来更新高斯背景模型，更新的公式为式(1
‑
3)、式(1
‑
4)和式(1
‑
5)：
[0050]
ω
i,t
＝(1
‑
α)ω
i
‑1 α(m
i,t
)
ꢀꢀꢀ
(1
‑
3)
[0051]
μ
i,t
＝(1
‑
θ)μ
i,t
‑1 θx
t
ꢀꢀꢀ
(1
‑
4)
[0052]
σ
2i,t
＝(1
‑
θ)σ
2i,t
‑1 θ(x
t
‑
μ
i,t
‑1)
t
(x
t
‑
μ
i,t
‑1)
ꢀꢀꢀ
(1
‑
5)
[0053]
式中，α为学习率；m
i,t
用来控制多个高斯分布的权值变化。当匹配成功时，m
i,t
＝1；匹配失败时，m
i,t
＝0；α和θ可以反映高斯适应不同场景的能力。
[0054]
3)若与任一个高斯分布都不匹配，则增加一个高斯分布(较大方差和较小权重)或者更新高斯分布来取代优先级最小的分布。
[0055]
k个高斯分布按照优先级从高到低排列为式(1
‑
6)：
[0056][0057]
4)高斯模型更新参数后，按照优先级对像素点的k个高斯分布进行排列，并取前b个高斯分布作为背景像素的理想描述：
[0058][0059]
式中,ω
k
表示一个像素中第k个高斯函数的权值；t一般取0.5到1之间，这里取经验值0.85，继续对x
i,t
与上述b个高斯分布做匹配测验，与前b个高斯分布任一个相匹配则为前景，反之则为背景。
[0060]
混合高斯的前景提取法相比于其他运动目标检测方法，例如光流法、帧间差分法等，对背景的自适应性高,可以较好地描述复杂环境，同时其背景消除效果也在一定程度上
取决于视频环境和目标的形态特征。火灾发生时，烟雾发生飘散现象，易受到周围环境、风速、风向等外界因素的影响而无规则扩散，各像素点的平均梯度随着烟雾的不断积累或扩散发生相应变化，整体轮廓复杂模糊。
[0061]
综合火灾烟雾体现出的特征，对不同场景的烟雾视频进行测验和对比。随着烟雾的扩散和时间的延续，混合高斯模型只会检测到烟雾扩散的少量外围部分，而逐渐充斥的内层烟雾则被处理为背景，所以单纯的混合高斯提取视频烟雾前景是不理想的。结合烟雾的扩散形态和独有的膨胀上升运动，对混合高斯模型进行改进，从而实现对疑似烟雾区域的初步筛选。
[0062]
基于烟雾的固有特性，本文对混合高斯进行改进，来适应于烟雾前景的提取，具体改进步骤如下：
[0063]
1)混合高斯模型会把每帧相匹配的像素点作为黑色前景，不相匹配的像素点作为白色背景，把视频对应的每一帧都转化为二值图像。
[0064]
2)针对匹配后的每一帧二值图像，以图像的左上角为原点建立坐标系，遍历图中的所有像素点，从所有黑色像素点中找到x轴坐标和y轴坐标所对应的最小值(x
min
,y
min
)和最大值(x
max
,y
max
)，以此为依据划定相应的烟雾前景感兴趣区域，如图1所示。
[0065]
3)划定的烟雾前景感兴趣区域可以表示为
[0066]
[x
max
μ∶x
min
‑
μ,y
max
β∶y
min
‑
β]，用图1(b)中的虚线矩形部分来表示。当μ＝0，β＝0时，烟雾前景感兴趣区域是图1(b)中的中间实线矩形部分；μ和β的数值大小会根据不同的视频场景进行适当调整,来达到较好的烟雾区域提取效果。若匹配后的二值图像中不存在黑色像素点，即没有提取出运动前景,则进行下一帧的检测更新。
[0067]
4)把每一帧二值图像划定的烟雾前景感兴趣区域坐标信息反馈给视频对应的原图，进行烟雾区域提取，完成第一次粗筛选。通过对不同场景火灾烟雾进行实验，发现改进的混合高斯可以有效完成对烟雾前景的提取。
[0068]
1.2、yolov3模型与训练：
[0069]
基于烟雾检测实时性要求，在烟雾检测算法上选择了实时性强且准确率较好的yolov3目标检测算法。该算法是一种单步法检测算法，通过在一个神经网络模型中进行预测目标区域和目标类别。相较于faster r
‑
cnn和marsk r
‑
cnn等两步法的网络，其具有相近的准确性，又有这些网络所不具备的实时性优势。
[0070]
yolov3采用了新的resnet思想的darknet
‑
53网络结构，在网络中加入残差模块，并采用3个不同尺度的特征图来进行对象检测，能够检测到更加细粒度的特征。网络的最终输出3个尺度分别为1/32，1/16和1/8的特征图。在第79层之后经过几个卷积操作得到的是1/32(13
×
13)的预测结果，下采样倍数高，这里特征图的感受视野比较大，因此适合检测图像中尺寸比较大的对象，这个结果通过上采样与第61层的结果进行张量拼接，再经过几个卷积操作得到1/16的预测结果，适合检测中等尺度的对象，第61层的结果经过上采样之后再与第36层的结果进行张量拼接，经过几个卷积操作之后得到的是1/8的结果，它适合检测小尺寸的对象。最后，相对于yolov3预测对象类别时不再使用softmax而是改成使用logistic的输出进行预测。这样的操作能够支持多标签对象。
[0071]
通过对常见的烟雾场景进数据采集和检测实验，对烟雾视频进行切分成帧、标定并制作成烟雾数据集。融合算法流程图如图2所示。
[0072]
二、基于改进yolov3的烟雾检测算法：
[0073]
如图3所示，为了在取得较高的精度前提下，能够减小模型复杂度和计算负担。将通道注意力机制(eca
‑
net)嵌套在yolov3网络结构中残差卷积块residual block的最后一层，该模型避免了降维，有效捕获了跨通道交互的信息。在烟雾目标检测中，当两个或者两个以上目标框接近时，分数更低的框就会因为与之重叠面积过大而被删掉，nms的阈值需要手动确定，设置小了会漏检，设置大会误检，将非极大值抑制(nms)改为soft
‑
nms。通过以上的改进，改进的yolov3烟雾检测算法实现了在复杂场景下对烟雾快速、精准检测。
[0074]
2.1、通道注意力机制(eca
‑
net)：
[0075]
深度卷积神经网络在计算机视觉领域得到了广泛的应用，在图像分类、目标检测和语义分割等领域取得了很大的进展。从开创性的alexnet开始，为了进一步提高深度卷积神经网络的性能，不断推出新的cnn模型。近年来，将通道注意力引入卷积块引起了人们的广泛关注，在性能改进方面显示出巨大潜力。其中代表性的方法是se
‑
net，它可以学习每个卷积块的通道注意力，对各种深度cnn架构带来明显的性能增益。这些方法虽然取得了较高的精度，但往往带来较高的模型复杂度和较大的计算负担。因此，提出了一种针对深度卷积神经网络的高效通道注意(eca)模块，该模块避免了降维，有效捕获了跨通道交互的信息。如图4所示。
[0076]
在不降低维数的逐通道级全局平均池化之后，eca通过考虑每个通道及其k个邻居来捕获局部跨通道交互信息。实践证明，该方法保证了模型效率和计算效果。需要注意的是，eca可以通过大小为k的快速一维卷积来有效实现，其中卷积核大小为k代表了局部跨通道交互的覆盖率，即该通道附近有多少邻居参与了这个通道的注意力预测，为了避免通过交叉验证对k进行手动调优，提出了一种方法来自适应地确定k，其中交互的覆盖率(即卷积核大小k)与通道维数成正比。
[0077]
与主干模型相比，带有eca模块的深度卷积神经网络引入了很少的额外参数和几乎可以忽略的计算。模块通过非线性自适应确定的一维卷积组成。eca是一种非常轻量级的即插即用块，可以调高各种cnn的性能。eca模块通过避免降低通道维度来学习有效的通道注意力，同时以极其轻量级的方式获取跨通道的交互信息。
[0078]
从而将通道注意力机制(eca
‑
net)嵌套在yolov3网络结构中residual block的最后一层，来实现在取得较高精度的前提下，能够减少模型复杂度和计算负担。
[0079]
2.2、soft
‑
nms：
[0080]
在烟雾检测中，首先产生一些烟雾候选区域，其次通过分类网络得到类别得分，与此同时通过回归网络得到更加精确的位置参数，最后通过非极大值抑制得出最后的检测结果。
[0081]
烟雾检测算法会输出多个检测边框，尤其是在真实目标周围会有很多置信度高的检测边框。为了去除重复的检测边框，达到每个检测对象有且只有一个检测结果的目的。非极大值抑制(nms)是一种获取局部最大值，抑制非极大值的算法，在计算机视觉中有着广泛的应用。非极大值抑制的具体步骤：对每个类别而言首先设置iou阈值，对烟雾候选框依据类别得分进行排序，选中类别得分最高的烟雾候选框，遍历其余的候选框，如果和当前类别得分最高的烟雾候选框的iou大于iou阈值，将其剔除，从未处理的烟雾边框中继续选一个类别得分最高的，重复上述过程，直到处理完所有的边框为止。保留下来的烟雾候选框即为
检测结果。传统的非极大值抑制算法首先在被检测图片中产生一系列的检测框b以及对应的分数s。当选中最大分数的检测框m时，该框从集合b中移出并放入最终检测结果集合d。与此同时，集合b中任何与检测框m的重叠部分大于重叠阈值的检测框也将随之移除。如果一个物体在另一个物体重叠区域出现，即当两个目标框接近时，分数更低的框就会因为与之重叠面积过大而被删掉，从而导致对该物体的检测失败并降低了算法的平均检测率，这样的算法设计是不合理的。所以将非极大值抑制(nms)改为soft
‑
nms。soft
‑
nms算法不是直接删除所有iou大于阈值的框而是降低其置信度。
[0082]
通过通道注意力机制(eca
‑
net)嵌套在yolov3网络结构中residual block的最后一层，以及将非极大值抑制(nms)改为soft
‑
nms。通过以上改进，实现对复杂场景下烟雾快速、精准检测。
[0083]
本具体实施方式的效果为：
[0084]
1、在融合算法中,首先利用改进的混合高斯对烟雾前景进行提取，排除静态干扰的同时缩小烟雾检测的范围；然后采用目标检测算法提取，排除静态干扰的同时缩小烟雾检测的范围；然后yolov3训练数据并提取烟雾特征；最终把两者进行融合，预测出烟雾的具体位置和范围,并进行烟雾框定，完成对烟雾的检测。
[0085]
2、将通道注意力机制(eca
‑
net)嵌套在yolov3网络结构中residual block的最后一层，该模型避免了降维，减小计算负担，有效捕获了跨通道交互的信息，提高对烟雾的快速检测。将非极大值抑制(nms)改为soft
‑
nms，减小对烟雾检测漏检的情况，提高烟雾检测的准确率。从而实现对复杂场景下烟雾快速、精准检测。
[0086]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
[0087]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。