一种烟火检测方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种烟火检测方法和装置。


背景技术：

2.火灾防范是安全生活、安全生产等领域的重要议题，尤其对于仓库、集散中心等场所。尽早发现与研判火情，可以充分降低经济损失，尽可能减少或避免人员伤亡。火灾初期通常会产生大量烟雾，因此对烟雾的检测与监控有助于早期火灾预警。将烟雾检测和火焰检测这两者相结合，更能提供现场火灾状况的全面信息。
3.然而，烟雾与火焰这两者都存在一些不同于普通目标(物体)的特征，相对烟雾的离散分布形态，火焰区域往往相对集中。在火灾发生初期，烟雾与火焰一般较小；在整个燃烧过程中，烟雾与火焰的占据区域大小、形状、颜色等都将动态变化。因此，各种不同烟火的普遍识别问题是火灾防范的一项重大挑战。
4.当前使用较广泛的一种火灾识别技术是烟感报警器，它能够通过传感器探测发生火灾时产生的大量烟雾，及时发出报警信号；另外，计算机视觉技术在烟火检测方面也存在很多研究。然而，这两种方式均不适用于检测火灾发展初期，往往识别精度不高，存在漏检、误检等问题。


技术实现要素：

5.有鉴于此，本发明实施例提供一种烟火检测方法和装置，能够解决现有技术不适用于检测火灾发展初期、识别精度不足等问题。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种烟火检测方法，包括：
7.采用结合目标检测算法和分类算法的多任务模式，识别图像中的火焰情况，以根据所述火焰情况确定烟雾阈值；其中，火焰情况为存在火焰或不存在火焰；
8.将深度学习算法与图像算法相结合，建立多特征融合模型，以识别所述图像中存在烟雾的概率，根据所述概率与所述烟雾阈值的比对结果，确定所述图像中的烟雾情况；
9.根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果。
10.可选的，所述采用结合目标检测算法和分类算法的多任务模式，识别图像中的火焰情况，包括：
11.执行所述分类算法识别所述图像中的火焰情况，若识别结果为存在火焰，则结束火焰识别步骤，否则执行所述目标检测算法识别所述图像中的火焰情况。
12.可选的，所述根据所述火焰情况确定烟雾阈值，包括：
13.若不存在火焰，则将所述烟雾阈值设置为预设数值，否则，将所述烟雾阈值设置为小于所述预设数值的一数值。
14.可选的，所述图像算法包括方向梯度直方图算法和局部二值模式；
15.所述识别所述图像中存在烟雾的概率，包括：
16.使用所述方向梯度直方图算法提取所述图像的第一特征向量，通过第一全连接层，将所述第一特征向量转换为第一长度的第一向量；
17.使用所述局部二值模式提取所述图像的第二特征向量，通过第二全连接层，将所述第二特征向量转换为第二长度的第二向量；
18.使用所述深度学习算法提取所述图像的尺寸特征，通过展平层和第三全连接层，将所述尺寸特征转换为第三长度的第三向量；
19.按序融合所述第一向量、所述第二向量和所述第三向量，得到总向量；其中，所述总向量的长度为所述第一长度、所述第二长度和所述第三长度之和；
20.通过第四全连接层，将所述总向量转换为第四长度的第四向量，再通过第五全连接层，将所述第四向量转换为长度为1的第五向量；
21.将所述第五向量的模作为所述图像中存在烟雾的概率。
22.可选的，在所述展平层和所述第三全连接层之间，还设置有第六全连接层；
23.所述通过展平层和第三全连接层，将所述尺寸特征转换为第三长度的第三向量，包括：
24.通过所述展平层，将所述尺寸特征一维化，得到第三特征向量；
25.通过所述第六全连接层，将所述第三特征向量转换为第五长度的第六向量；
26.通过所述第三全连接层，将所述第六向量转换为所述第三长度的第三向量；其中，所述第五长度大于所述第三长度。
27.可选的，在所述采用结合目标检测算法和分类算法的多任务模式，识别图像中的火焰情况之前，还包括：
28.分别沿水平方向与竖直方向，将所述图像等分为多个部分，得到多个子区域，裁剪每个子区域得到子图像；
29.所述根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果，包括：
30.若任一子区域的识别结果为存在火焰和/或烟雾，则所述图像的烟火检测结果为存在火焰和/或烟雾。
31.可选的，所述分别沿水平方向与竖直方向，将所述图像等分为多个部分，包括：判断当前时刻是否为预设时刻的整数倍，若是，则分别沿水平方向与竖直方向，将所述图像等分为多个部分，否则不进行等分操作。
32.为实现上述目的，根据本发明实施例的另一方面，提供了一种烟火检测装置，包括：
33.火焰识别模块，用于采用结合目标检测算法和分类算法的多任务模式，识别图像中的火焰情况，以根据所述火焰情况确定烟雾阈值；其中，火焰情况为存在火焰或不存在火焰；
34.烟雾识别模块，用于将深度学习算法与图像算法相结合，建立多特征融合模型，以识别所述图像中存在烟雾的概率，根据所述概率与所述烟雾阈值的比对结果，确定所述图像中的烟雾情况；
35.结果输出模块，用于根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果。
36.可选的，所述火焰识别模块，用于：
37.执行所述分类算法识别所述图像中的火焰情况，若识别结果为存在火焰，则结束火焰识别步骤，否则执行所述目标检测算法识别所述图像中的火焰情况。
38.可选的，所述火焰识别模块，用于：
39.若不存在火焰，则将所述烟雾阈值设置为预设数值，否则，将所述烟雾阈值设置为小于所述预设数值的任一数值。
40.可选的，所述图像算法包括方向梯度直方图算法和局部二值模式；
41.所述烟雾识别模块，用于：
42.使用所述方向梯度直方图算法提取所述图像的第一特征向量，通过第一全连接层，将所述第一特征向量转换为第一长度的第一向量；
43.使用所述局部二值模式提取所述图像的第二特征向量，通过第二全连接层，将所述第二特征向量转换为第二长度的第二向量；
44.使用所述深度学习算法提取所述图像的尺寸特征，通过展平层和第三全连接层，将所述尺寸特征转换为第三长度的第三向量；
45.按序融合所述第一向量、所述第二向量和所述第三向量，得到总向量；其中，所述总向量的长度为所述第一长度、所述第二长度和所述第三长度之和；
46.通过第四全连接层，将所述总向量转换为第四长度的第四向量，再通过第五全连接层，将所述第四向量转换为长度为1的第五向量；
47.将所述第五向量的模作为所述图像中存在烟雾的概率。
48.可选的，在所述展平层和所述第三全连接层之间，还设置有第六全连接层；
49.所述烟雾识别模块，用于：
50.通过所述展平层，将所述尺寸特征一维化，得到第三特征向量；
51.通过所述第六全连接层，将所述第三特征向量转换为第五长度的第六向量；
52.通过所述第三全连接层，将所述第六向量转换为所述第三长度的第三向量；其中，所述第五长度大于所述第三长度。
53.可选的，还包括子区域划分模块，用于：
54.分别沿水平方向与竖直方向，将所述图像等分为多个部分，得到多个子区域，裁剪每个子区域得到子图像；
55.所述根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果，包括：
56.若任一子区域的识别结果为存在火焰和/或烟雾，则所述图像的烟火检测结果为存在火焰和/或烟雾。
57.可选的，所述子区域划分模块，用于：
58.判断当前时刻是否为预设时刻的整数倍，若是，则分别沿水平方向与竖直方向，将所述图像等分为多个部分，否则不进行等分操作。
59.为实现上述目的，根据本发明实施例的再一方面，提供了一种烟火检测电子设备。
60.本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的烟火检测方法。
61.为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的烟火检测方法。
62.根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：针对火灾场景的烟雾与火焰，基于计算机视觉技术，建立一套完整的火灾预警算法方案，该方案全面考虑烟雾和火焰的特征以及两者间的关系，对各种状况的烟雾与火焰都具有较好的识别效果，包括复杂的烟雾离散状态、不同形状类型的火焰、小烟雾与小火焰等。同时，该算法具有很高的计算效率，能够无干扰地实时检测烟火现象，从而有效地预警与防范火灾。
63.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
64.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
65.图1是根据本发明实施例的一种烟火检测方法的主要流程示意图；
66.图2是火焰识别的算法逻辑示意图；
67.图3是根据本发明实施例的一种具体识别烟雾概率的流程示意图；
68.图4是基于多特征融合的分类算法示意图；
69.图5是根据本发明实施例的一可选的烟火检测方法的流程示意图；
70.图6是子区域划分示意图；
71.图7是一具体地烟火识别的算法流程示意图；
72.图8(a)和(b)是同时存在火焰与烟雾的图像；
73.图9(a)和(b)是只存在烟雾的图像；
74.图10是根据本发明实施例的一种烟火检测装置主要模块示意图；
75.图11是本发明实施例可以应用于其中的示例性系统架构图；
76.图12是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
77.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
78.此处对现有技术存在的问题进行详细描述：
79.1、烟感报警器能够通过内置的传感器监测烟雾浓度，但通常只有烟雾浓度足够高时才能被有效检测到。然而，尽早识别火灾发展初期的小烟雾，对于火灾防范的预警意义更大。此外，烟感报警器不适用于存在大量粉尘、或者高温/高湿的场所，否则将影响其灵敏度。
80.2、计算机视觉技术在烟火检测方面也存在很多研究，主要包括传统特征方法和深度学习方法：
81.1)传统特征方法，主要依据各种人为设计的特征，提取算子判别图像是否符合烟雾或火焰特征。传统特征方法通常基于多种人工特征建立检测逻辑；然而，这些人工特征并
不具有很强的普适性，从而导致较多的误报和漏报。
82.2)深度学习方法在近些年取得飞速发展，在烟雾识别方面的相关工作主要基于分类算法、目标检测算法、运动检测算法等；在火焰识别方面，则主要选择目标检测算法。
83.当前深度学习方法在火灾识别领域的应用，通常只是利用一些经典的算法单独检测烟雾或火焰，并没有根据烟雾与火焰在各种状况下的复杂形状、颜色等特征，以及它们两者间的内在联系进行针对性的整体算法设计。由于烟雾离散形态的复杂性，其通常并不具有规则的形状，分类算法在理论上比目标检测算法更合适；然而，单纯依赖分类算法的神经网络也很难保证模型对各种烟雾识别的普适性。
84.若根据烟雾的运动特征采用运动检测类型的算法，如视频分类等，这类算法通常具有很大的计算量，很难保证现场检测的实时性。对于图像的火焰识别问题，鉴于火焰往往存在一定的形状特征，一般采用目标检测算法定位火焰的具体位置。然而，现实中也存在整张图像充满火焰，或者细长条的带状火焰等场景；这些火焰不具有常规的火焰形状特征，并不适合目标检测算法。另一方面，分类算法与目标检测算法对于小目标的识别精度都不是太高，对小烟雾或小火焰可能存在一些漏检、误检现象。
85.对于本方案涉及到的专业词语，做解释如下：
86.(1)hog(histogram of oriented gradient)算法：即方向梯度直方图。由于梯度密度分布能很好地描述局部目标的外形轮廓，hog算法可以表达图像的形状特征。
87.(2)lbp(local binary pattern)算法：即局部二值模式。对图像局部纹理特征具有较高的敏感性，能够清晰地体现各区域的典型纹理。
88.(3)全连接层：神经网络的一种典型结构。该层的每一个结点都与上一层的所有结点相连，从而综合前面网络层的提取特征。
89.(4)图像分类：存在固定的类别标签集合，基于图像的内容分配一个最适合的标签。它是计算机视觉领域的经典问题。
90.(5)目标检测：存在固定的类别标签集合，从图像中找出所有感兴趣的目标(物体)，确定它们的具体位置和所属的类别标签，是计算机视觉领域的经典问题。
91.参见图1，示出的是本发明实施例提供的一种烟火检测方法的主要流程图，包括如下步骤：
92.s101：采用结合目标检测算法和分类算法的多任务模式，识别图像中的火焰情况，以根据所述火焰情况确定烟雾阈值；其中，火焰情况为存在火焰或不存在火焰；
93.s102：将深度学习算法与图像算法相结合，建立多特征融合模型，以识别所述图像中存在烟雾的概率，根据所述概率与所述烟雾阈值的比对结果，确定所述图像中的烟雾情况；
94.s103：根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果。
95.上述实施方式中，对于步骤s101，对于图像中的火焰识别问题，计算机视觉技术中的目标检测算法适合具有常规火焰形状的火焰识别。虽然片状、带状等类型火焰并不具有显著的火焰形状，然而火焰的特殊颜色特征仍然存在，甚至比较突出，因此适合较抽象的分类算法。总之，为了使模型具有较强的通用性与泛化能力，采用结合目标检测算法与分类算法的多任务模式，共同判定火焰情况。
96.火焰识别算法的具体逻辑如图2所示：鉴于分类算法的计算效率很高，所以首先执
行分类算法，若判定结果为存在火焰，则生成存在火焰的最终结论，否则，继续执行目标检测算法，基于目标检测算法的结论，最终输出图像中是否存在火焰的识别结果。其中，分类算法可以采用一些经典的图像分类算法，如vgg、googlenet、resnet等；目标检测算法优选采用单阶段类型算法，其在保证检测精度的同时具有相对较快的计算速度，具体如yolo系列、ssd、efficientdet等。
97.通常情况下，烟雾与火焰两者间存在一定的关联。存在烟雾时，不一定存在火焰；但若存在火焰，同时存在烟雾的概率就很大。这两者的耦合逻辑是先执行火焰检测，再执行烟雾识别；根据火焰识别结果，向烟雾识别算法反馈烟雾阈值：
[0098][0099]
若火焰识别结果为图像中不存在火焰，则后续烟雾识别的判别阈值ε为0.5，否则，可以选择某一个小于0.5的数值θ，具体取值需根据实际场景确定，此处仅为示例。
[0100]
引入烟雾阈值反映烟雾与火焰间的关联规律以提高整体识别能力。若存在火焰，同时存在烟雾的可能性较高，采用较低的烟雾阈值；否则，选择较高的烟雾阈值。
[0101]
建立多任务模式识别火焰：目标检测算法适用于具有明显形状特征的火焰，而分类算法可以覆盖分散状的不规则火焰或图像充满火焰等特殊情况。因此，结合这两种算法可以提高火焰识别模型的通用性。
[0102]
对于步骤s102，对于图像的烟雾识别问题，基于神经网络的深度学习分类算法具有很强的图像深层次特征自动提取能力，如googlenet、vgg、resnet等。然而，深度学习提取的图像特征具有不可解释性，某种程度上类似于“黑盒”；同时，由于烟雾离散形态的复杂性，深度学习模型经常存在泛化能力不足的问题。
[0103]
另一方面，烟雾区域通常呈现特殊的纹理结构，而且动态演变；传统图像算法主要针对人为设计的某方面图像局部特征、纹理特征，在捕捉烟雾纹理特征方面具有较强的优势。因此，将深度学习算法与若干相关传统图像算法相结合建立多特征融合模型，综合这些算法所提取的图像不同方面的特征信息，再进行共同优化；相对单种算法，该模型能够更加全面的反映图像的各方面特征，从而有效提高烟雾的识别精度，避免误判和漏判。
[0104]
通过多特征融合模型提取图像中的特征向量，并基于全连接层进行长度转换，最终得到一个长度为1的向量，该向量的值即为图像中存在烟雾的概率。将该概率与烟雾阈值进行比较，从而得到烟雾识别结果。具体描述参见后续图3所示描述，在此不再赘述。
[0105]
对于步骤s103，依据前述结果，输出整个算法对输入图像的识别结论，即“同时存在火焰与烟雾”、“只存在火焰”、“只存在烟雾”或“不存在火焰和烟雾”。
[0106]
上述实施例所提供的方法，针对现有计算机视觉算法在烟火识别方面的相关问题，基于火焰特征、烟雾特征以及两者间的相互关系，提出了一套完整的火灾预警算法方案，对各种状况的烟雾与火焰都具有较好的识别效果，包括复杂的烟雾离散状态、不同形状类型的火焰、小烟雾与小火焰等。
[0107]
参见图3，示出了根据本发明实施例的一种识别烟雾概率的流程示意图，包括如下步骤：
[0108]
s301：使用方向梯度直方图算法提取图像的第一特征向量，通过第一全连接层，将所述第一特征向量转换为第一长度的第一向量；
[0109]
s302：使用局部二值模式提取所述图像的第二特征向量，通过第二全连接层，将所述第二特征向量转换为第二长度的第二向量；
[0110]
s303：使用深度学习算法提取所述图像的尺寸特征，通过展平层和第三全连接层，将所述尺寸特征转换为第三长度的第三向量；
[0111]
s304：按序融合所述第一向量、所述第二向量和所述第三向量，得到总向量；其中，所述总向量的长度为所述第一长度、所述第二长度和所述第三长度之和；
[0112]
s305：通过第四全连接层，将所述总向量转换为第四长度的第四向量，再通过第五全连接层，将所述第四向量转换为长度为1的第五向量；
[0113]
s306：将所述第五向量的模作为所述图像中存在烟雾的概率。
[0114]
上述实施方式中，对于步骤s301～s306，相关的传统图像算法包括hog算法、lbp算法等。hog算法全称是histogram of oriented gradient，即方向梯度直方图。梯度密度分布能很好地描述局部目标的外形轮廓。因此，可以通过统计图像局部区域的方向梯度直方图来表达图像特征。hog算法提取的图像特征向量具有特定长度，该长度大小由算法输入参数决定，包括图像划分的区块数目、区块划分的单元数目、直方图的统计数目等。
[0115]
lbp算法全称是local binary pattern，即局部二值模式。它对图像局部纹理特征具有较高的敏感性，能够清晰地体现各区域的典型纹理；同时，具有旋转不变性和灰度不变性等优点。lbp算法输出的图像特征向量也对应于特定长度，其影响因素包括算法中的子区域数目、像素点的邻域点数等。lbp算法存在多种，优选结合uniform pattern与旋转不变性的圆形lbp算法。
[0116]
图4给出了一种基于多特征融合算法的神经网络结构示意图。理论上，2个传统图像算法提取的信息量将比1个算法更丰富，因而本方案的传统图像算法同时采用hog与lbp算法，有利于提高综合模型的识别精度，深度学习算法则以vgg为例(实际也可以采用googlenet、resnet等主流分类算法)。
[0117]
1)使用hog算法提取图像中的第一特征向量，将这些第一特征向量通过全连接层dense(n1)(即第一全连接层)，转换为长度为n1(即第一长度)的向量。
[0118]
2)使用lbp算法提取图像中的第二特征向量，将这些第二特征向量通过全连接层dense(n2)(即第二全连接层)，转换为长度为n2(即第二长度)的向量。
[0119]
3)vgg算法提取的图像特征图尺寸为(7,7,512)，通过展平层flatten将其转换为特征向量(用来将输入“压平”，即把多维的输入一维化，常用于从卷积层到全连接层的过渡)。
[0120]
feature(7,7,512)
→
vector(1,1,7
×7×
512)＝vector(1,1,25088)
[0121]
对应向量长度为25088。首先经过全连接层dense(1024)(即第六全连接层)，将向量长度转换为1024(即第五长度)。转换为长度1024的向量，再经过全连接层dense(n3)(即第三全连接层)，以进一步将向量长度改变为n3(即第三长度)。需要说明的是，因为之前获得的向量长度过大为25088，而最终获取到的向量长度仅为n3，因此，有必要通过增加网格层dense(1024)进行过渡，从而保证能提取到更加全面的信息。
[0122]
4)通过concatenate层，结合由hog算法、lbp算法、vgg算法这三者所获取的特征向量，得到总向量：
[0123]
vector(1,1,n1) vector(1,1,n2) vector(1,1,n3)＝vector(1,1,n)
[0124]
其中，总向量的长度n＝n1 n2 n3，本质是将这几个向量相互联接。最后，将总向量经过全连接层dense(n4)(即第四全连接层)将长度转换为n4(即第四长度)，之后通过dense(1)(即第五全连接层)转换为长度为1的向量，该向量的模即为图像中存在烟雾的概率。
[0125]
另外，参与特征融合的三个算法对应的图像特征向量长度(n1,n2,n3)，可以根据相应算法的特性与实际需求而灵活设置；优选三者取值比较接近，即n1≈n2≈n3，从而维持各算法的所提取图像特征的相互平衡。为防止网络训练中的过拟合问题，dense(1024)与dense(n4)这两个全连接层后面进一步增加dropout层，随机失活部分神经元。损失函数选择二分类的交叉熵函数：
[0126][0127]
其中，y
i
为样本i的类别标签，若样本包含烟雾，则y
i
＝1，否则，y
i
＝0。p(y
i
)为样本i包含烟雾的概率。
[0128]
上述实施例所提供的方法，分别采用若干传统图像算法与深度学习提取图像纹理等表观特征与深层次特征，将综合特征通过全连接层共同优化，从而提高对烟雾的识别能力。
[0129]
参见图5，示出了根据本发明实施例的一种可选的烟火检测方法流程示意图，包括如下步骤：
[0130]
s501：分别沿水平方向与竖直方向，将图像等分为多个部分，得到多个子区域，裁剪每个子区域得到子图像；
[0131]
s502：采用结合目标检测算法和分类算法的多任务模式，识别每个子图像中的火焰情况，以根据所述火焰情况确定烟雾阈值；其中，火焰情况为存在火焰或不存在火焰；
[0132]
s503：将深度学习算法与图像算法相结合，建立多特征融合模型，以识别每个子图像中存在烟雾的概率，根据所述概率与所述烟雾阈值的比对结果，确定每个子图像中的烟雾情况；
[0133]
s504：若任一子区域的识别结果为存在火焰和/或烟雾，则所述图像的烟火检测结果为存在火焰和/或烟雾。
[0134]
上述实施方式中，对于步骤s502和s503可参见图1和图2所示描述，在此不再赘述。
[0135]
上述实施方式中，对于步骤s501和s504，深度学习算法通常对输入神经网络的图像尺寸有特定要求，如w
×
h(宽度为w、高度为h)，因而在算法预处理阶段，需将原图像尺寸w
×
h缩小到该目标尺寸。参见图6所示，为子区域划分的示意图。分别沿水平方向和竖直方向，将原图像等分为m1个与m2个部分，建立的子区域的总数m＝m1
×
m2。
[0136]
将这些子区域全部裁剪为单独图像，其尺寸也将被调整为w
×
h后输入算法。因此，相对于直接将原图像输入算法，这些子区域被放大了m1
×
m2倍，从而有助于识别其中的小烟雾或小火焰。只要任一子区域的识别结果为存在火焰和/或烟雾，则结论为整张图像存在火焰和/或烟雾。
[0137]
需要说明的是，m1不一定是w/w，m2也不一定是h/h，这两个值都是整数，可以根据实际情况灵活选取，因而在裁剪之后，仍有必要进一步调整尺寸。
[0138]
鉴于全部检测大量子区域将显著增加计算时间，因此只在时间间隔为t的特定时刻实施构建子区域策略，其他时间仍是基于原图像。假设在时刻0.2t、0.4t、0.6t、0.8t、
1.0t、1.2t、1.4t、1.6t、1.8t、2.0t、2.2t、2.4t等对图像执行预测，“建立图像子区域的算法策略”只在t和2t等这些t的整数倍时刻将输入的图像裁剪为m个子区域，其他时刻并不执行拆分子区域操作。
[0139]
另外，子区域数的选择需根据应用场景中的图像分辨率以及其中的目标尺寸而定。这方面没有绝对的标准，一般若图像中目标(如火焰或烟雾等)覆盖的区域分辨率较大时，m1与m2可取较小的值；但若目标覆盖的区域分辨率较小，则m1与m2可取较大的值。
[0140]
上述实施例所提供的方法，采用在固定时间间隔划分子区域的算法策略，基于原图像建立一些子区域，并将其对应的图像分别独立输入算法，相当于放大了局部图像信息，从而有效提高对小烟雾与小火焰的识别效果。
[0141]
图7给出了烟火识别的完整算法流程，具体包括以下几方面：
[0142]
1、针对火灾发展初期可能存在的小烟雾与小火焰，在固定间隔的某些时刻，将原图像拆分为多个子区域，这些子区域对应的子图像作为独立图像输入算法；其他时间段则直接输入原图像。
[0143]
2、针对火焰的不同区域分布特征，建立基于目标检测算法与图像分类算法的多任务识别逻辑。首先执行分类算法，若识别结果为存在火焰，则结束火焰识别步骤；否则，继续执行目标检测算法。综合两部分的结果，判断图像中是否存在火焰。
[0144]
3、根据烟雾与火焰两者间的内在联系，火焰检测算法输出烟雾阈值供烟雾识别算法使用，即根据是否存在火焰，输出烟雾阈值ε。
[0145]
4、针对烟雾的复杂形态变化，采用深度学习与传统图像算法相结合的多特征融合策略建立烟雾识别算法。联合优化这几个算法所提取的图像特征，并结合烟雾阈值ε，判断图像是否存在烟雾。
[0146]
5、依据前述结果，输出整个算法对输入图像的识别结论，即“同时存在火焰与烟雾”、“只存在火焰”、“只存在烟雾”或“不存在火焰和烟雾”。
[0147]
基于上述算法方案，收集大量的火焰图像分别训练火焰识别的分类算法与目标检测算法；收集大量的烟雾图像训练烟雾识别的多特征融合模型。深度学习的计算量通常较大，gpu设备包含大量的计算单元，能有效加快计算速度。
[0148]
模型的训练及测试采用型号为p40的gpu设备，它基于先进的pascal系统架构，计算核心(cuda cores)为3840，单精度计算性能达到12teraflops；同时，p40设备具有较大的显存(24gb)与显存带宽(346gb/s)，有利于cpu与gpu之间的数据传输。
[0149]
算法的输入为一张测试图像，中间处理步骤包括子区域划分、火焰识别、多特征烟雾识别等，最终输出是否存在火焰与烟雾的结果，采用公开数据集(https://bitbucket.org/gbdi/bowfire
‑
dataset/downloads/)进行测试。图8给出了2张识别结论为“同时存在火焰与烟雾”的图像，其中(a)图的火焰较小，烟雾为灰白色；(b)图的火焰较大，烟雾为黑色。图9给出了2张识别结论为“只存在烟雾”的图像，两者的烟雾分别为灰白色与黑色。测试结果与实际情况相符。因此，本算法能够很好的区分图像中的火焰与烟雾情况，从而提供现场火情的全面信息，及时给出预警提示。
[0150]
参见图10，示出了本发明实施例提供的一种烟火检测装置1000的主要模块示意图，包括：
[0151]
火焰识别模块1001，用于采用结合目标检测算法和分类算法的多任务模式，识别
图像中的火焰情况，以根据所述火焰情况确定烟雾阈值；其中，火焰情况为存在火焰或不存在火焰；
[0152]
烟雾识别模块1002，用于将深度学习算法与图像算法相结合，建立多特征融合模型，以识别所述图像中存在烟雾的概率，根据所述概率与所述烟雾阈值的比对结果，确定所述图像中的烟雾情况；
[0153]
结果输出模块1003，用于根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果。
[0154]
本发明实施装置中，所述火焰识别模块1001，用于：
[0155]
执行所述分类算法识别所述图像中的火焰情况，若识别结果为存在火焰，则结束火焰识别步骤，否则执行所述目标检测算法识别所述图像中的火焰情况。
[0156]
本发明实施装置中，所述火焰识别模块1001，用于：
[0157]
若不存在火焰，则将所述烟雾阈值设置为预设数值，否则，将所述烟雾阈值设置为小于所述预设数值的一数值。
[0158]
本发明实施装置中，所述图像算法包括方向梯度直方图算法和局部二值模式；
[0159]
所述烟雾识别模块1002，用于：
[0160]
使用所述方向梯度直方图算法提取所述图像的第一特征向量，通过第一全连接层，将所述第一特征向量转换为第一长度的第一向量；
[0161]
使用所述局部二值模式提取所述图像的第二特征向量，通过第二全连接层，将所述第二特征向量转换为第二长度的第二向量；
[0162]
使用所述深度学习算法提取所述图像的尺寸特征，通过展平层和第三全连接层，将所述尺寸特征转换为第三长度的第三向量；
[0163]
按序融合所述第一向量、所述第二向量和所述第三向量，得到总向量；其中，所述总向量的长度为所述第一长度、所述第二长度和所述第三长度之和；
[0164]
通过第四全连接层，将所述总向量转换为第四长度的第四向量，再通过第五全连接层，将所述第四向量转换为长度为1的第五向量；
[0165]
将所述第五向量的模作为所述图像中存在烟雾的概率。
[0166]
本发明实施装置中，在所述展平层和所述第三全连接层之间，还设置有第六全连接层；
[0167]
所述烟雾识别模块1002，用于：
[0168]
通过所述展平层，将所述尺寸特征一维化，得到第三特征向量；
[0169]
通过所述第六全连接层，将所述第三特征向量转换为第五长度的第六向量；
[0170]
通过所述第三全连接层，将所述第六向量转换为所述第三长度的第三向量；其中，所述第五长度大于所述第三长度。
[0171]
本发明实施装置还包括子区域划分模块1004(图中未标出)，用于：
[0172]
分别沿水平方向与竖直方向，将所述图像等分为多个部分，得到多个子区域，裁剪每个子区域得到子图像；
[0173]
所述根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果，包括：
[0174]
若任一子区域的识别结果为存在火焰和/或烟雾，则所述图像的烟火检测结果为存在火焰和/或烟雾。
[0175]
本发明实施装置中，所述子区域划分模块1004，用于：
[0176]
判断当前时刻是否为预设时刻的整数倍，若是，则分别沿水平方向与竖直方向，将所述图像等分为多个部分，否则不进行等分操作。
[0177]
另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。
[0178]
图11示出了可以应用本发明实施例的示例性系统架构1100。
[0179]
如图11所示，系统架构1100可以包括终端设备1101、1102、1103，网络1104和服务器1105(仅仅是示例)。网络1104用以在终端设备1101、1102、1103和服务器1105之间提供通信链路的介质。网络1104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0180]
用户可以使用终端设备1101、1102、1103通过网络1104与服务器1105交互，以接收或发送消息等。终端设备1101、1102、1103上可以安装有各种通讯客户端应用。
[0181]
终端设备1101、1102、1103可以是具有显示屏并且支持网页浏览的各种电子设备，服务器1105可以是提供各种服务的服务器。
[0182]
需要说明的是，本发明实施例所提供的方法一般由服务器1105执行，相应地，装置一般设置于服务器1105中。
[0183]
应该理解，图11中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0184]
下面参考图12，其示出了适于用来实现本发明实施例的终端设备的计算机系统1200的结构示意图。图12示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0185]
如图12所示，计算机系统1200包括中央处理单元(cpu)1201，其可以根据存储在只读存储器(rom)1202中的程序或者从存储部分1208加载到随机访问存储器(ram)1203中的程序而执行各种适当的动作和处理。在ram 1203中，还存储有系统1200操作所需的各种程序和数据。cpu 1201、rom 1202以及ram 1203通过总线1204彼此相连。输入/输出(i/o)接口1205也连接至总线1204。
[0186]
以下部件连接至i/o接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至i/o接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
[0187]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(cpu)1201执行时，执行本发明的系统中限定的上述功能。
[0188]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计
算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0189]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0190]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括火焰识别模块、烟雾识别模块、结果输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，结果输出模块还可以被描述为“烟火检测结果输出模块”。
[0191]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
[0192]
采用结合目标检测算法和分类算法的多任务模式，识别图像中的火焰情况，以根据所述火焰情况确定烟雾阈值；其中，火焰情况为存在火焰或不存在火焰；
[0193]
将深度学习算法与图像算法相结合，建立多特征融合模型，以识别所述图像中存在烟雾的概率，根据所述概率与所述烟雾阈值的比对结果，确定所述图像中的烟雾情况；
[0194]
根据所述火焰情况和所述烟雾情况，输出对所述图像的烟火检测结果。
[0195]
根据本发明实施例的技术方案，针对火灾场景的烟雾与火焰，基于计算机视觉技术，建立一套完整的火灾预警算法方案，该方案全面考虑烟雾和火焰的特征以及两者间的关系，对各种状况的烟雾与火焰都具有较好的识别效果，包括复杂的烟雾离散状态、不同形
状类型的火焰、小烟雾与小火焰等。同时，该算法具有很高的计算效率，能够无干扰地实时检测烟火现象，从而有效地预警与防范火灾。
[0196]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。