一种基于图像复杂度的图像型火灾探测算法评估方法与流程

1.本发明属于火灾探测技术领域，具体涉及一种基于图像复杂度的图像型火灾探测算法评估方法。


背景技术：

2.图像型火灾探测技术作为一种新型的探测技术，近年来成为研究和应用的热点。它是以图像数据为探测对象，采用一定的算法分析图像内容，从而判断图像中是否存在火灾或可能酿成火灾的风险的过程。它能够有效弥补传统火灾探测技术在探测大空间建筑及新型复杂建筑火灾方面的不足，且具有火灾识别期早、准确性高、工程量小，系统安装灵活等优点。其中，探测算法是图像型火灾探测技术的核心，算法的性能在一定程度上直接决定了图像型火灾探测器的性能。
3.现有技术中通常采用标准实验评价法和图像数据评价法来对火灾探测进行评估，对于标准实验评价法，由于图像信号所涵盖内容更复杂，导致实际应用场景中探测算法需要判别的火灾图像、干扰事件比标准实验复杂的多。所以可以说，目前国内外的图像型火灾探测器标准中采用的实验评价法未充分考虑到该技术以图像数据为分析对象的特点，因此对探测算法优劣的区分度不够强，并不适用于对图像型火灾探测算法的评价。
4.对于图像数据评价法，由于算法从不同图像中识别火灾的难易程度不同，因此当采用不同图像数据对同一算法评估时，得到的指标值可能存在较大差异。目前，由于国内外缺乏标准的火灾图像数据集和考虑火灾图像探测特点的评估方法，导致得出的探测率或误报率的测试值可信度不高，并且难以发现算法的瓶颈和优化方向。


技术实现要素：

5.为解决上述技术问题，本发明提供一种基于图像复杂度的图像型火灾探测算法评估方法。
6.具体方案如下：一种基于图像复杂度的图像型火灾探测算法评估方法，包括如下步骤，步骤s1）：获取火灾图像数据，并对火灾图像数据进行预处理；步骤s2）：采用预处理后的火灾图像数据，生成图像复杂度真值，建立含图像复杂度真值的火灾图像数据集；步骤s3）：基于卷积神经网络，建立图像复杂度评估模型；步骤s4）：采用含图像复杂度真值的火灾图像数据集对所述图像复杂度评估模型进行训练；步骤s5）：获取测试图像数据，并将测试图像数据输入图像复杂度评估模型，得到每个测试图像的复杂度；步骤s6）：设定评估指标和图像复杂度水平，根据设定的评估指标和图像复杂度水平，选择测试图像数据集；
步骤s7）：采用不同的火灾探测算法对测试图像数据集中的每个图像进行火灾探测，根据探测结果，得到不同火灾探测算法的评估结果。
7.步骤s1）中火灾图像数据的预处理包括以下步骤，步骤t1）：收集火灾图像数据集中的每个火灾图像的“人类响应时间”，所述“人类响应时间”为人首次看到图像，并识别出图像中存在火灾、火焰或烟气所用的时间；步骤t2）：剔除不合格的“人类响应时间”，将得到的每张图像的“人类响应时间”取平均作为火灾图像的探测响应时间；步骤s2）中生成图像复杂度真值的方法为，将收集的所有火灾图像的探测响应时间合并后进行归一化处理，得到每个火灾图像的复杂度真值，所述归一化处理公式为其中， 为图像复杂度真值， 为图像的探测响应时间，为收集到的火灾图像数据中图像的探测响应时间的最小值，为收集到的火灾图像数据中的探测响应时间的最大值。
8.步骤s3）中，所述图像复杂度评估模型为inception resent-v2深度卷积神经网络，所述inception resent-v2深度卷积神经网络包括inception resent-v2前端特征提取网络和后端复杂度生成网络，所述后端复杂度生成网络包括全连接层和sigmoid函数。
9.步骤s4）中，复杂度评估模型的训练包括如下步骤：步骤m1）：将预训练好的卷积神经网络分类模型的网络权重载入至前端特征提取网络中；步骤m2）：选取含图像复杂度真值的火灾图像数据集中的50%的图像作为开发集；步骤m3）：将所述开发集中的火灾图像输入至前端特征提取网络中，所述前端特征提取网络提取瓶颈特征并保存；步骤m4）：根据火灾图像数据的复杂度真值和瓶颈特征进行后端复杂度生成网络的训练。
10.步骤s6）中，所述的评估指标指用于评估图像型火灾探测算法性能的指标，所述评估指标包括性能指标和代价指标。
11.步骤s7）中，得到不同火灾探测算法的评估结果的步骤为：步骤n1）：采用不同的火灾探测算法对测试图像数据集进行探测，根据探测结果计算探测算法的评估指标值；步骤n2）：在同一图像复杂度下，比较不同火灾探测算法的评估指标值，以及在不同图像复杂度下，比较同一火灾探测算法的评估指标值。
12.本发明公开了一种基于图像复杂度的图像型火灾探测算法评估方法，采用火灾探测的图像复杂度度量方法来判定从图像中识别火灾的难易程度，同时设定探测响应时间来计算图像复杂度真值，然后，采用inception resnet-v2深度卷积神经网络建立了复杂度评估模型，用于预测火灾图像的复杂度，最后，根据评估指标和图像复杂度，获得不同火灾探测算法的评估结果，能够准确评估火灾探测算法在不同复杂度条件下所能达到的探测水平，评估结论对于工程应用更具实际的指导性。
附图说明
13.图1是本发明的流程图。
14.图2是图像复杂度评估模型的示意图。
15.图3 评估指标体系。
16.图4是测试图像数据集根据复杂度水平划分的六个测试子集的情况表。
17.图5是图像型火灾探测算法在不同图像复杂度水平下的探测性能表。
具体实施方式
18.下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施，而不是全部的实施，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
19.对本领域技术人员来说，图像复杂度是指受到环境光、类似火源干扰物、遮挡、分辨率、信噪比等因素影响时，算法可以从图像中探测出火灾的难易程度。上述这些影响因素在图像中就表现为不同的图像特征，也就是说图像复杂度可以认为是任何影响探测算法性能的图像特征的组合。
20.一种基于图像复杂度的图像型火灾探测算法评估方法，首先对图像复杂度的真值进行界定，即找到给图像复杂度进行赋分的依据，而后采用inception resnet-v2深度卷积神经网络作为复杂度评估模型的基础架构，建立图像复杂度评估模型，并利用生成的图像复杂度真值进行图像复杂度评估模型的训练，最后基于图像复杂度对不同图像火灾算法进行评估，得到不同算法在设定的图像复杂度水平下所能达到的探测性能。
21.所述图像型火灾探测算法的评估方法具体如下，如图1所示，一种基于图像复杂度的图像型火灾探测算法评估方法，包括如下步骤，步骤s1）：获取火灾图像数据，并对火灾图像数据进行预处理；所述对火灾图像数据的预处理包括以下步骤，步骤t1）：收集火灾图像数据集中的每个火灾图像的“人类响应时间”，所述“人类响应时间”为人首次看到图像，并识别出图像中存在火灾、火焰或烟气所用的时间；步骤t2）：剔除不合格的“人类响应时间”，将得到的每张图像的“人类响应时间”取平均作为火灾图像的探测响应时间；在本实施例中，所述火灾图像数据中包含有13400张火灾图像和15780张非火灾图像，并利用微信平台开发图像的“人类响应时间”的收集小程序；所述图像的“人类响应时间”的收集小程序主要遵循以下协议进行数据的收集：（a）每名被测试人员会被询问以下问题：“接下来您将看到的图像中是否存在{火灾，火焰，烟气}”；（b）向被测试人员展示测试图像；（c）记录被测试人员回答“是”或“否”的时间，作为该图像的“人类响应时间”。
22.为了确保记录的图像响应时间真实可靠，如果一副图像多次出现，被测试人员可能会记忆该图像的内容，从而缩短响应时间。因此所述的图像响应时间收集程序要求每张
图像只能被同一人员测试一次；同时，剔除不合格的“人类响应时间”的剔除方法为：剔除所有响应时间大于20秒的数据，剔除判断正确率小于90%的被测试人员的图像响应时间，剔除平均响应时间大于10s，测试次数少于10次的被测试人员的响应时间，以及剔除所有被测试人员参加测试次数少于三次的图像响应时间，由于参与次数太少的测试人员结果不具可信性；经数据预处理后，本实施例最终收集了535个被测试人员，29180张图像的87540个测试结果，以进行下一步处理。
23.剔除所有不合格数据后，确保每张图像收集三个以上“人类响应时间”。将每张图像的所有“人类响应时间”求取平均值，作为该图像的探测响应时间。
24.步骤s2）：采用预处理后的火灾图像数据，生成图像复杂度真值；生成图像复杂度真值的方法为，将收集的所有火灾图像的探测响应时间合并后进行归一化处理，得到每个火灾图像的复杂度真值，所述归一化处理公式为其中，为图像复杂度真值，为图像的探测响应时间，为收集到的火灾图像数据中图像的探测响应时间最小值，为收集到的火灾图像数据中图像的探测响应时间的最大值。步骤s3）：基于卷积神经网络，建立图像复杂度评估模型；如图2所示，所述图像复杂度评估模型为inception resent-v2深度卷积神经网络，所述inception resent-v2深度卷积神经网络包括inception resent-v2前端特征提取网络1和后端复杂度生成网络2，所述后端复杂度生成网络2包括全连接层3和sigmoid函数4。
25.在本实施例中，构建模型时，保留inception resnet-v2网络前端的特征提取网络作为探测条件提取网络，后端的复杂度生成网络由全连接层和sigmoid函数组成，即将原网络后端的softmax函数由sigmoid函数代替。
26.步骤s4）：采用含图像复杂度真值的火灾图像数据对所述图像复杂度评估模型进行训练；所述复杂度评估模型的训练包括如下步骤：步骤m1）：将预训练好的卷积神经网络分类模型的网络权重载入至前端特征提取网络中；步骤m2）：选取火灾图像数据集（含图像复杂度真值）的中的50%的图像数据作为开发集，50%的数据作为测试集；；步骤m3）：将所述开发集中的火灾图像输入至前端特征提取网络中，所述前端特征提取网络提取瓶颈特征并保存；提取瓶颈特征有利于降低和升高特征维度，同时也减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取。
27.步骤m4）：根据火灾图像数据的复杂度真值和瓶颈特征进行后端复杂度生成网络的训练。
28.步骤s5）：获取测试图像数据，并将测试图像数据输入图像复杂度评估模型，得到每个测试图像的复杂度；
步骤s6）：根据评估目标，设定评估指标和图像复杂度水平，根据设定的评估指标和图像复杂度水平，选择测试图像数据集，如图3所示，所述的评估指标指用于评估图像型火灾探测算法性能的指标，包括性能指标和代价指标；本实施例中，选择算法的两个正确性指标，如火灾探测率和误报率，对五种不同的图像型火灾探测算法进行评估。
29.步骤s7）：采用不同的火灾探测算法对测试图像数据集中的每个图像进行火灾探测，根据探测结果，得到不同火灾探测算法的评估结果。
30.所述不同火灾探测算法的评估结果的步骤为：步骤n1）：采用不同的火灾探测算法对测试图像数据集进行探测，根据探测结果计算探测算法的评估指标值；步骤n2）：在同一图像复杂度下，比较不同火灾探测算法的评估指标值，以及在不同图像复杂度下，比较同一火灾探测算法评估指标值。
31.本实施例中，对五种不同的图像型火灾探测算法进行评估，为了便于描述，五种不同的图像型火灾探测算法分别采用celik算法、chen算法、rong算法、yan算法和khan算法来表示，其中，前四种算法为基于人工提供火灾图像特征的算法，khan算法是基于googlenet深度卷积神经网络自动提取火灾图像特征的算法，所述步骤m2生成的测试图像数据集用testset来表示。
32.同时，为考察图像型火灾探测算法在不同图像复杂度水平下的探测性能，将图像复杂度水平划分成六个区间，即为[0,0.1), [0.1,0.2), [0.2,0.3), [0.3,0.4), [0.4,0.6), [0.6,1]，由于火灾图像数据在低图像复杂度的数据相对集中较多，因此在划分图像复杂度水平时，对低复杂度水平进行了细分，划分最终结果如图4所示。
[0033]
将testset中的火灾图像通过图像复杂度评估模型，预测相应的图像复杂度水平，并根据得到的图像复杂度水平，将testset中的火灾图像划分成六个测试子集，最后将 testset 中的图像分别输入探测算法，估算不同复杂度水平下算法的探测率和误报率，所述估算结果如图5所示。
[0034]
通过分析图4可知，基于机器自动提取图像特征的 khan算法由于提取了高层图像特征进行火灾探测，因此在各种图像复杂度水平下均能保持相对较高的探测率和较低的误报率。基于人工提取火灾图像特征的 yan算法利用低层次的颜色特征的同时，由于采用累积差分的方法利用了中层次的闪频特征，因此在图像复杂度小于 0.4 时，探测率和误报率相较其它三种算法表现较好。但是由于yan算法仅利用了中层特征，在图像复杂度大于 0.4 的情况下，探测率下降较多，误报率也较高。因此，该算法不能应对复杂的应用场景。而仅提取了低层次颜色特征的 celik算法仅能在复杂度小于 0.2 的情况下保持一定的探测率。
[0035]
通过评估发现，基于深度卷积神经网络的探测算法能够自动提取高层图像特征，更适用于复杂场景的火灾探测，例如商场、饭店、城镇街道等。而且，评估发现算法的探测性能在不同图像复杂度水平下差异较大。探测率会随着图像复杂度的增加而减小，误报率随着复杂度的增加而增大。因此，评估算法在不同图像复杂度条件下的性能，并深入分析算法性能受复杂度变化的影响程度具有非常重要的意义。
[0036]
本发明公开了一种基于图像复杂度的图像型火灾探测算法评估方法，采用火灾探测的图像复杂度度量算法来判定从图像中识别火灾的难易程度，同时设定图像的探测响应
时间来计算图像复杂度真值，然后，采用inception resnet-v2深度卷积神经网络建立了复杂度评估模型，用于预测火灾图像的复杂度，最后，根据评估指标和图像复杂度，获得不同火灾探测算法的评估结果，能够准确评估火灾探测算法在不同复杂度条件下所能达到的探测水平，评估结论对于工程应用更具实际的指导性。
[0037]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。