基于SSD深度学习网络的火灾检测识别方法、系统及火灾报警方法与流程

基于ssd深度学习网络的火灾检测识别方法、系统及火灾报警方法
技术领域
1.本发明涉及图像识别技术领域，尤其涉及一种基于ssd深度学习网络的火灾检测识别方法、系统及火灾报警方法。


背景技术：

2.目前的火险识别方法有两种，一种是基于传感器的方法，一种是基于基本图像处理技术的方法。这两种方法在一定程度上、一定范围内能够识别到火险，但是误检测率高，比如基于传感器方法的烟雾报警器会把抽烟产生的烟雾识别为火险等。而基于图像处理技术的方法使用场景易受限，可复用率较低。
3.目前大多数的火险识别基本都是基于传感器的方法，基于传感器的方法对传感器的精度要求高，而且传感器的感知距离有限。在实际中，传感器往往布置在楼道或办公室中，也就是说基于传感器的方法局限于较小的空间当中，而对于厂房、教室、园区、小区等较宽敞且干扰因素较多的环境中，基于传感器的方法基本不适用。基于图像处理技术(如分割、腐蚀等操作)的方法来对监控区域进行烟雾图像检测，然后结合辅助分类器进行识别，这种基于图像处理的方法识别精度较低，且识别对象较少，并不能覆盖足够多火灾类型：如淡烟雾、浓厚烟雾、明火、火烟相间等。且基于基本图像处理的方法，适用环境少。


技术实现要素：

4.为了克服上述技术缺陷，本发明的目的在于提供一种可以精确检测火险等级和类型、并能定位火险位置的基于ssd深度学习网络的火灾检测识别方法、系统及火灾报警方法。
5.本发明公开了一种基于深度学习网络的火灾检测识别方法，包括如下步骤：
6.拍摄检测范围内的实时图像；将所述实时图像输入至深度学习网络的基础特征提取模块内，采用卷积核和平均池化对所述实时图像进行若干个不同尺度的特征提取，获得若干个特征块；将所述多个特征块进行维度拼接得到初级特征块；
7.所述初级特征块依次经过所述处理模块组内的m个处理模块，且先经过所述连接网络再经过所述通道注意力机制；所述连接网络仅接受并连接其所在的所述处理模块的前面n层的输出数据，且n为整数；所述通道注意力机制为输入特征的每一个通道分别分配权重，且通过学习该权重使得每个通道的权重不同，将每个通道分别乘以其对应的权重以形成新的特征图，再送入到后续层中；
8.所述若干个处理模块的输出的特征图都输入至类别和边界框预测模块进行目标检测，最终输出检测结果。
9.优选的，所述通道注意力机制包括挤压网络，通过所述挤压网络进行挤压步骤和激励步骤。
10.优选的，所述挤压网络包括n
×
1卷积核和卷积核两组卷积；所述通道注意力机制为输入特征的每一个通道分别分配权重包括：所述两组卷积分别作用于输入通道，分别得到1
×
n向量和n
×
1向量；将1
×
n向量和n
×
1向量进行内积，得到一个标量，作为该通道的初步权重值。
11.优选的，所述通道注意力机制还包括函数层；所述通道注意力机制为输入特征的每一个通道分别分配权重还包括：每个通道的所述初步权重值输入至所述函数层以获取该通道的最终权重值。
12.优选的，所述处理模块组包括五个处理模块。
13.优选的，所述连接网络仅接受并连接其所在的所述处理模块的前面三层的输出数据。
14.优选的，所述若干个处理模块的输出的特征图都输入至类别和边界框预测模块进行目标检测，最终输出检测结果包括：前两层的特征图在所述类别和边界框预测模块内采用第一预设尺寸的先验框，后三层特征图在所述类别和边界框预测模块内采用第二预设尺寸的先验框和第三预设尺寸的先验框；所述第一预设尺寸小于所述第二预设尺寸小于第三预设尺寸。
15.优选的，所述将所述实时图像输入至深度学习网络的基础特征提取模块内，采用卷积核和平均池化对所述实时图像进行若干个不同尺度的特征提取，获得若干个特征块包括：所述基础特征提取模块分别采用1
×
1、3
×
3、5
×
5、7
×
7的卷积核以及平均池化对所述实时图像进行若干个不同尺度的特征提取，获得若干个特征块。
16.本发明还公开了一种基于深度学习网络的火灾报警方法，包括如下步骤：通过烟雾报警设备或人工手动火警设备接收到报警信号时，通过摄像模块获取全摄像范围内的现场的实时图像，并采取上述的基于深度学习网络的火灾检测识别方法对所述实时图像中火灾的类型和等级进行识别；所述类型包括无火险、浓烟火险、明火火险；所述等级包括无火险、轻度火险、中度火险、严重火险；根据所述火灾的类型和等级进行不同声音大小和声音类型的报警鸣笛，并将所述火灾的类型和等级中所述无火险以外的其他所述实时图像所在的检测范围的位置信息发送至中控端。
17.本发明还公开了一种基于深度学习网络的火灾检测识别系统，其特征在于，包括摄像模块、深度学习网络的基础特征提取模块、m个处理模块、类别和边界框预测层；所述摄像模块拍摄检测范围内的实时图像；所述实时图像输入至所述基础特征提取模块内，采用卷积核和平均池化对所述实时图像进行若干个不同尺度的特征提取，获得若干个特征块；将所述多个特征块进行维度拼接，输入至处理模块组得到初级特征块；所述处理模块组包括m个处理模块，每个处理模块包括连接网络和通道注意力机制；所述初级特征块依次经过所述处理模块组内的m个处理模块，且先经过所述连接网络再经过所述通道注意力机制；所述连接网络仅接受并连接其所在的所述处理模块的前面n层的输出数据，且n为整数；所述通道注意力机制为输入特征的每一个通道分别分配权重，且通过学习该权重使得每个通道的权重不同，将每个通道分别乘以其对应的权重以形成新的特征图，再送入到后续层中；所述类别和边界框预测层接收所述若干个处理模块输出的特征图，对其进行目标检测，最终输出检测结果。
18.采用了上述技术方案后，与现有技术相比，具有以下有益效果：
19.1.本发明的火灾检测识别方法的神经网络支持多类型的场景训练，通过足够类型的火险的数据集对该神经网络进行训练，即可以实现多类别覆盖检测，使得火险识别类型覆盖类型足够广；
20.2.改进了传统的通道注意力机制，采用ss
‑
block注意力机制，做到了权重来自于特征，使得注意力机制的效果更好，更好的提升网络的性能；改进了传统的连接网络，本发明的所述连接网络仅接收近处的几个层的数据，使得特征图中无用的部分不会被重复利用，提高了网络性能，且减小了计算量；
21.3.本发明的火灾报警方法，受空间距离限制小；不像传感器需要布置在距离易发生火灾区域较近之处，要实现大面积火险预警监控，需要大量的传感器，而一个摄像头能够覆盖很大的区域。
附图说明
22.图1为本发明提供的基于深度学习网络的火灾检测识别方法流程图；
23.图2为本发明提供的基于ssd深度学习网络的火灾检测识别网络结构图；
24.图3为本发明提供的所述处理模块内的网络结构图；
25.图4为本发明提供的ss
‑
block通道注意力机制的网络结构图；
26.图5为本发明提供的ss
‑
block通道注意力机制内的挤压结构的示意图。
具体实施方式
27.以下结合附图与具体实施例进一步阐述本发明的优点。
28.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
29.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
30.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
31.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
32.在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
33.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
34.参见附图1，本发明公开了一种基于深度学习网络的火灾检测识别方法，包括如下步骤：
35.拍摄检测范围内的实时图像；将实时图像输入至深度学习网络的基础特征提取模块内，采用卷积核和平均池化对实时图像进行若干个不同尺度的特征提取，获得若干个特征块；将多个特征块进行维度拼接得到初级特征块；
36.初级特征块依次经过处理模块组内的m个处理模块，且先经过连接网络再经过通道注意力机制；连接网络仅接受并连接其所在的处理模块的前面n层的输出数据，且n为整数；通道注意力机制为输入特征的每一个通道分别分配权重，且通过学习该权重使得每个通道的权重不同，将每个通道分别乘以其对应的权重以形成新的特征图，再送入到后续层中；
37.若干个处理模块的输出的特征图都输入至类别和边界框预测模块进行目标检测，最终输出检测结果。
38.在本技术领域，将计算机基于视觉处理技术运用到智慧消防领域，提高现实环境中针对火险识别的准确率，以及增强对火灾早期的发现和预警能力，以降低火灾带来的损失，往往需要解决过深的神经网络训练难、较浅网络精度不够的问题，同时需要在复杂的真实环境中准确的识别出火险，并确定火灾发生的位置。
39.本发明因此把场景内火险识别作为一个目标检测任务来展开，检测网络采用了ssd网络结构，该结构精度高且速度快，不仅可以识别到图像中的火险，还可以定位其位置。ssd网络结构示意图参见图2，包括特征提取模块、处理模块组以及类别和边界框预测模块。
40.特征提取模块分别采用1
×
1、3
×
3、5
×
5、7
×
7的卷积核以及平均池化对输入的实时图像进行多尺度特征提取、获得多个特征块，最后把多个特征块进行维度拼接后送入到后续的层。
41.参见附图3，处理模块组包括m个处理模块，为了便于理解，处理模块组为一个网络层组，而m个处理模块分别为一个层，m个层依次连接，进行处理。每个层都包括连接网络和通道注意力机制，以加快网络收敛并提高网络的性能。
42.通过连接网络使不同层之间做不同的连接以期望得到更好的结果，本发明采用的densenet紧密连接网络，有效的减轻了梯度消失的问题，加强了特征的传递，减少了参数的数量以及计算量。
43.在传统的resnet连接网络中，前一层的输入和后一层的输入是相加到一起的，这在某种程度上阻碍了信息在网络中的流动，但是在densenet紧密连接网络中并不是直接相加的而是通过级联的方式连接在一起。同时densenet紧密连接网络的参数较其他网络要少
很多并且减轻了梯度消失的问题，因为在普通个网络中梯度是通过一层一层传递下去的导致梯度消失，但是在densenet紧密连接网络中每一层都连接着后面的层，这就在某种程度上避免了这种现象的发生。除此之外，densenet紧密连接网络很窄，且densenet紧密连接网络是通过很好的利用特征来提升模型的性能的。
44.但，虽然densenet紧密连接网络利用块内前面所有层的输出作为输入，极大地提高了特征图的利用率，但是也极大地增加了计算量，且特征图中无用的部分也会被重复利用，这对于网络的性能是有负面影响的。
45.故本发明在网络内部取消了更长的连接，每个层只接受前面n层的输出数据做输入，且n为整数，不接受来自更远处的特征，称之为区域跳跃连接，与传统的densenet紧密连接网络相比连接数更少。
46.一种优选实施例，网络层组包括5个层，每个层内的densenet紧密连接网络仅接收前面三个层的数据作为输入。
47.由于多个层的特征图维度拼接在一起后会产生一个相当厚的特征，而里面的特征不一定都是有用的，因此需要利用通道注意力机制来选取出对任务更有益的通道。
48.参见附图4
‑
5，本发明采用基于senet通道注意力机制改进的ss
‑
block通道注意力机制，采用改进设计后的squeeze挤压结构替代了senet中squeeze挤压和excitation激励步骤，即squeeze挤压和excitation激励被放到一个结构中实现。
49.具体的，每个densenet紧密连接网络块最后输出前都会接一个ss
‑
block通道注意力机制，为形为n
×
n
×
c的输入特征的每一个通道分配一个权重，然后通过学习该权重使得网络对于每个通道的权重不同，对任务更有益的通道其权重更大，反之则更小，然后把每个通道分别乘上对应权重形成新的特征，再送入到后续的层中，实现通道上的注意力。
50.squeeze挤压结构包括n
×
1卷积核和卷积核两组卷积；通道注意力机制为输入特征的每一个通道分别分配权重包括：两组卷积分别作用于输入通道，分别得到1
×
n向量和n
×
1向量；将1
×
n向量和n
×
1向量进行内积，得到一个标量，作为该通道的初步权重值。通过该方法，做到了权重来自于特征，使得注意力机制的效果更好，更好的提升网络的性能。
51.在senet结构中，把n
×
n
×
c的特征图挤压到1
×1×
c特征图是通过全局平均池化实现的，该方法无参数，而通道权重的学习(也就是excitation步骤)利用到了两个全连接层,全局平均池化的输出并不能很好的反应该通道的特征，且excitation步骤后的输出也不能有效地放大有益通道的作用和抑制无益通道或者低益通道的作用。因此，本发明在计算出所有通道的权重值时，把初步权重值输入到softmax函数层，最终得到的值作为通道注意力的最终权重值。
52.为了让小目标检测精度提高，在类别和边界框预测层，前两层的特征图在类别和边界框预测模块内以小尺寸先验框为主，后三层特征图在类别和边界框预测模块内对中、大目标检测为主，最后输出检测结果，包括火灾类型、火灾程度和火灾位置。
53.在火险预警系统中，火险识别算法作为高效的感知器而工作，为精确的识别火险做支持。故本发明还公开了一种基于深度学习网络的火灾报警方法，通过烟雾报警设备或人工手动火警设备接收到报警信号时，通过摄像模块获取全摄像范围内的现场的实时图像，并采取上述的基于深度学习网络的火灾检测识别方法对实时图像中火灾的类型和等级
进行识别；类型包括无火险、浓烟火险、明火火险；等级包括无火险、轻度火险、中度火险、严重火险。根据火灾的类型和等级进行不同声音大小和声音类型的报警鸣笛，，直到画面中再无检测到火险或者人为关闭警报。同时将火灾的类型和等级中无火险以外的其他实时图像所在的检测范围的位置信息发送至中控端。
54.本发明还公开了一种基于深度学习网络的火灾检测识别系统，其特征在于，包括摄像模块、深度学习网络的基础特征提取模块、m个处理模块、类别和边界框预测层。
55.摄像模块拍摄检测范围内的实时图像，且摄像模块可以为带有云台的多角度拍摄设备。
56.实时图像输入至基础特征提取模块内，采用卷积核和平均池化对实时图像进行若干个不同尺度的特征提取，获得若干个特征块；将多个特征块进行维度拼接，输入至处理模块组得到初级特征块。
57.处理模块组包括m个处理模块，每个处理模块包括连接网络和通道注意力机制；初级特征块依次经过处理模块组内的m个处理模块，且先经过连接网络再经过通道注意力机制；连接网络仅接受并连接其所在的处理模块的前面n层的输出数据，且n为整数；通道注意力机制为输入特征的每一个通道分别分配权重，且通过学习该权重使得每个通道的权重不同，将每个通道分别乘以其对应的权重以形成新的特征图，再送入到后续层中。
58.类别和边界框预测层接收若干个处理模块输出的特征图，对其进行目标检测，最终输出检测结果，包括火灾类型、火灾程度和火灾位置。
59.应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。