一种视频明火识别方法、装置、设备及存储介质与流程

1.本发明涉及明火检测技术领域，特别涉及一种视频明火识别方法、装置、设备及存储介质。


背景技术：

2.火灾的危害是不言而喻的，当前火灾预防报警领域中，主要应用的是基于各类传感器的明火检测系统，如气体型、感烟型、温度型、感光型等。但是由于受到周围环境的影响与干扰，出现漏报与误报的情况，所以应用范围不够广泛且检测时间过长导致检测速度慢。伴随着人工智能、硬件设备和图像技术的发展，利用摄像头监控视频画面来检测和识别明火预防火灾的技术和系统越来越成熟，具有无接触、速度快、可视化、保护范围广、无人值守等优点。但现有的针对视频检测明火与识别的技术上算法复杂，不能同时兼容检测的准确性和快速性，在现实应用中受限。
3.综上，如何用简单易行的方法对明火进行准确的检测与识别，同时缩短检测时间使明火检测与识别广泛开发适用具有重要价值。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种视频明火识别方法、装置、设备及存储介质，能够实现通过简单易行的方法对明火进行准确的检测与识别，同时缩短检测时间使明火检测与识别广泛开发适用。其具体方案如下：
5.第一方面，本技术公开了一种视频明火识别方法，包括：
6.获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧；
7.基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图；
8.通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；
9.将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；
10.将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。
11.可选的，所述获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧之前，还包括：
12.获取历史视频；所述历史视频包括存在明火的视频和不存在明火的视频；
13.对所述历史视频进行切片以得到历史视频帧，并基于所述预设约束规则对所述历史视频帧的区域画面进行分割以得到目标分割图；
14.利用所述预设遮罩图模块对所述目标分割图进行相应的处理，以得到目标区域
图，然后将预设数量个所述目标区域图组合成目标矩阵图，并为所述目标矩阵图标注相应的类型标签；其中，如果所述目标矩阵图中存在明火，则为所述目标矩阵图标注第一类标签，如果所述目标矩阵图中不存在明火，则为所述目标矩阵图标注第二类标签；
15.利用携带有所述类型标签的所述目标矩阵图对基于3d卷积神经网络算法构建的待训练模型进行训练以得到所述明火识别模型。
16.可选的，所述基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图，包括：
17.获取rgb颜色模型下的第一预设约束规则和hsv颜色模型下的第二预设约束规则，并从所述待检测视频帧上筛选出满足所述第一预设约束规则和所述第二约束规则的像素点，然后将满足所述第一预设约束规则和所述第二约束规则的像素点对应的像素区域从所述待检测视频帧上分割出来，以得到待监测分割图。
18.可选的，判断所述待检测视频帧上的目标像素点是否满足所述第一预设约束规则的过程，包括：
19.若所述目标像素点在所述待检测视频帧的r通道分量上的像素值大于所述r通道分量上像素值大于0的所有像素点的像素平均值，并且所述目标像素点在所述r通道分量上的像素值不小于g通道分量上的像素值以及所述目标像素点在所述g通道分量上的像素值不小于b通道分量上的像素值，则判定所述目标像素点满足所述第一预设约束规则。
20.可选的，判断所述待检测视频帧上的目标像素点是否满足所述第二预设约束规则的过程，包括：
21.构造一个与所述待检测视频帧的尺寸大小一致的目标通道图，并将所述目标通道图中的任一像素点的像素值设置为该像素点在r通道分量、g通道分量和b通道分量上对应的最小像素值；
22.利用所述目标像素点在所述目标通道图上的像素值计算所述目标像素点在s通道分量上的像素值，若所述目标像素点在s通道分量上的像素值满足预设阈值条件，则判定所述目标像素点满足所述第二预设约束规则。
23.可选的，所述通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图，包括：
24.通过预设遮罩图模块，对所述待监测分割图进行去噪处理并对去噪后图像进行连通域查找，以从所述待监测分割图中提取出疑似明火区域；
25.从所述疑似明火区域中确定出满足预设剔除条件的目标子区域，然后将所述目标子区域从所述疑似明火区域中剔除，以生成与所述疑似明火区域对应的遮罩图。
26.可选的，所述对所述待监测分割图进行去噪处理，包括：
27.对所述待监测分割图进行中值滤波，并对中值滤波后图像依次进行腐蚀操作和膨胀操作，以得到所述去噪后图像；
28.并且，所述从所述疑似明火区域中确定出满足预设剔除条件的目标子区域，包括：
29.将所述疑似明火区域中区域尺寸小于预设尺寸的第一类子区域以及自身完全位于另一子区域内部的第二类子区域确定为满足预设剔除条件的目标子区域。
30.第二方面，本技术公开了一种视频明火识别装置，包括：
31.视频切片模块，用于获取待检测视频并对所述待检测视频进行切片以得到待检测
视频帧；
32.视频帧分割模块，用于基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图；
33.遮罩图生成模块，用于通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图；
34.与运算模块，用于将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；
35.矩阵图生成模块，用于将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；
36.明火判断模块，用于将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。
37.第三方面，本技术公开了一种电子设备，包括：
38.存储器，用于保护计算机程序；
39.处理器，用于执行所述计算机程序，以实现前述的视频明火识别方法。
40.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中所述计算机程序被处理器执行时实现前述的视频明火识别方法。
41.本技术中，首先获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧；然后基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图；通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。可见，通过对待检测视频切片得到对应的待检测视频帧，然后对待检测视频帧进行处理得到去除背景后的疑似明火区域图，简单方便的过滤了大量的非明火特征，然后，将疑似明火区域图作为预先训练完的明火识别模型的输入以判断当前待检测视频中是否存在明火，可以同时处理时间特征与空间特征，提高了识别明火的准确率。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
43.图1为本技术公开的一种视频明火识别方法流程图；
44.图2为本技术公开的一种视频明火识别算法使用流程示意图；
45.图3为本技术公开的一种明火识别模型结构示意图；
46.图4为本技术公开的一种具体的视频明火识别方法流程图；
47.图5为本技术公开的一种视频明火识别算法训练阶段示意图；
48.图6为本技术公开的一种具体的视频明火识别方法流程图；
49.图7为本技术公开的一种rgb颜色通道分解图；
50.图8为本技术提供的一种待检测视频帧区域画面分割图r通道图；
51.图9为本技术提供的一种待检测视频帧区域画面分割图g通道图；
52.图10为本技术提供的一种待检测视频帧区域画面分割图b通道图；
53.图11为本技术公开的一种待检测视频帧区域画面分割图；
54.图12为本技术公开的一种待检测视频帧区域画面分割图；
55.图13为本技术公开的一种待检测视频帧疑似明火区域遮罩图；
56.图14为本技术公开的一种视频明火识别装置结构示意图；
57.图15为本技术公开的一种电子设备结构图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.当前，在火灾预防报警领域中，对明火的识别存在算法复杂，不能同时兼容检测的准确性和快速性，在现实应用中受限的问题。
60.为此，本技术提供了一种明火识别方案，能够用简单易行的方法对明火进行准确的检测与识别，同时缩短检测时间使明火检测与识别广泛开发适用。
61.本技术实施例公开了一种明火识别方法，参见图1所示，该方法包括：
62.步骤s11：获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧。
63.本技术实施例中，是基于视频来检测的，首先要获取待检测的视频，然后对待检测视频进行切片得到一张张图片即待检测视频帧，可以理解的是，各待检测视频帧之间具有时间及空间内的连续性和相似性。
64.步骤s12：基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图。
65.本技术实施例中，为了实现对明火的准确识别，需要对待检测视频帧进行一系列的预处理操作。首先要基于一些预设约束规则，设定合适的阈值条件，对所述待检测视频帧的区域画面进行分割，得到待监测分割图。可以理解的是，待监测分割图中存在疑似明火的区域，得到待监测分割图可以方便后续对疑似明火的区域进行处理。
66.步骤s13：通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图。
67.本技术实施例中，存在一个预设遮罩图模块，通过预设遮罩图模块可以从所述待监测分割图中提取出疑似明火区域，根据疑似明火区域，可以生成对应的遮罩图。需要指出的是，遮罩图是二值图，代表了待检测视频帧中每一个存在疑似明火区域的遮罩图，黑色和白色对应的区域分别代表疑似明火的区域和背景，在本技术实施例中，白色对应的区域是
疑似明火区域，黑色对应的区域是背景区域。
68.进一步的，再生成与疑似明火区域对应的遮罩图后，将遮罩图和与其对应的待检测视频帧进行与运算得到去除背景后的疑似明火区域图，本技术实施例中，不在遮罩图的区域内的部分像素都置为0，这样得到的去除背景后的疑似明火区域图可以用来去除一些非明火的干扰因素，从而更好地帮助后续进行明火识别。
69.步骤s14：将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定。
70.本技术实施例中，基于待检测视频的时间先后顺序，按照预设数量对疑似明火的区域图进行排列组合，生成一组或多组矩阵图，该矩阵图可以作为明火识别模型的输入以得到输出值，用来判断当前的待检测视频中是否存在明火。
71.步骤s15：将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。
72.本技术实施例中，预先训练好了明火识别模型，将疑似明火区域图基于待检测视频的时间先后顺序并按照预设数量排列组合生成的矩阵图作为模型的输入，然后通过明火识别模型可以得到相应的输出值。可以理解的是，在对明火识别模型预先训练的时候设置了不同类型的输出值对应存在明火和不存在明火，如此一来，可以通过所述输出值判断当前所述待检测视频中是否存在明火。
73.进一步的，如图2所示为明火识别过程的具体流程图，首先通过对待检测视频进行切片，将待检测视频切成一帧帧图片，然后将每一帧图片经过预设遮罩图模块得到去除背景后的疑似明火区域图；接下来将预设数量个图片组合成矩阵图，需要指出的是，本实施例对组合成矩阵图的疑似明火区域图的预设数量个数不做具体限定，可根据实际情况进行相应的设定组合，为保证后述统一描述，在一种具体实施方式中采用每32帧去除背景后的疑似明火区域图组合成矩阵图；将矩阵图输入至预先训练玩的明火识别模型中，通过输出值判断结果，为1代表存在明火报警，为0代表不存在明火不报警。
74.一种具体实施方式中，如图3所示为基于3d卷积神经网络、2分类网络实现的一种神经网络结构图，对应了图2流程中的明火识别模型部分，将其设定为得出结果存在明火为1与不存在明火为0，在此将该明火识别模型命名为神经网络模块fire_net，fire_net是3d卷积神经网络的架构，可以同时处理时间特征(如明火的运动特征)和空间特征(如明火的纹理，形状，轮廓等特征)，用来检测明火非常适合，准确率高。下面将对fire_net中的各部分进行说明：图3中的每一个框中代表输入或者中间生成的特征图的维度形状；输入矩阵，维度形状是3x32x320x320，这里的3代表rgb(色彩模式)的3个通道，32是组合矩阵用的序列帧图片数量为32张，第一个320是宽，第二个320是高；卷积计算中，channel(通道)是输出通道数，conv是卷积核形状，stride是步进，padding(填充像素)对应卷积中的padding；这里每一个卷积计算后面默认跟一个batchnormal计算和relu激活计算；网络最后接了3个全连接，将最后的卷积计算得到的特征图256x2x3x3转换成2个元素的向量，最后经过softmax完成2分类的整个模型。这里训练使用了10000个32帧序列的视频片段，初始学习率为0.001，batchsize为32，权重衰减系数为0.0005，权重衰减step为每100个epoch一次，这里共训练400个epoch。训练模型在2000个32帧序列的视频片段的测试集上面达到了98.78％的准确率。
75.可见，本技术实施例首先获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧；然后基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图；通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。如此一来，通过对待检测视频切片得到对应的待检测视频帧，然后对待检测视频帧进行处理得到去除背景后的疑似明火区域图，简单方便的过滤了大量的非明火特征，然后，将疑似明火区域图作为预先训练完的明火识别模型的输入以判断当前待检测视频中是否存在明火，可以同时处理时间特征与空间特征，提高了识别明火的准确率。
76.本技术实施例公开了一种具体的视频明火识别方法，参见图4所示，该方法包括：
77.步骤s21：获取历史视频；所述历史视频包括存在明火的视频和不存在明火的视频。
78.本技术实施例中，再利用明火识别模型对待检测视频进行判断是否存在明火之前应该先对明火识别模型进行训练。具体的，首先获取历史视频，可以理解的是，获取历史视频属于收集素材阶段，其中，历史视频可以使一些存在明火的视频和不存在明火的视频，通过两种类型的视频方便后续对算法进行训练以实现明火的识别。
79.步骤s22：对所述历史视频进行切片以得到历史视频帧，并基于所述预设约束规则对所述历史视频帧的区域画面进行分割以得到目标分割图。
80.其中，关于上述步骤更加具体的处理过程可以参考前述实施例中公开的步骤s12的相应内容，在此不再进行赘述。
81.步骤s23：利用所述预设遮罩图模块对所述目标分割图进行相应的处理，以得到目标区域图，然后将预设数量个所述目标区域图组合成目标矩阵图，并为所述目标矩阵图标注相应的类型标签；其中，如果所述目标矩阵图中存在明火，则为所述目标矩阵图标注第一类标签，如果所述目标矩阵图中不存在明火，则为所述目标矩阵图标注第二类标签。
82.本技术实施例中，为了更好地对明火识别模型进行训练，需要对存在明火的目标矩阵图进行手工标注以区分目标矩阵图中是否存在明火。可以理解的是，如果目标矩阵图中存在明火，则为其标注第一类标签，如果目标矩阵图中不存在明火，则为其标注第二类标签。例如，存在明火则手工标注为1(代表fire)，不存在明火则手工标注为0(代表nofire)。
83.步骤s24：利用携带有所述类型标签的所述目标矩阵图对基于3d卷积神经网络算法构建的待训练模型进行训练以得到所述明火识别模型。
84.本技术实施例中，在对目标矩阵图标注了相应的类型标签后，将目标矩阵图作为输入，标注类型标签后的结果作为标签对基于3d卷积神经网络算法构建的待训练模型进行训练，训练完成后可以得到明火识别模型。
85.如图5展示了本技术实施例中一种具体的算法阶段训练的流程图，将获取到的历史视频进行切片得到历史视频帧；然后对每一帧图片经过预设遮罩图模块得到目标区域图，其中目标区域图为去除了背景的目标区域图；进一步的，将每32帧目标区域图进行组合
得到目标矩阵图，并根据目标矩阵图里的画面，看是否存在明火，然后手工进行标注，为1代表存在明火(fire)，为0代表不存在明火(nofire)；将目标矩阵图作为输入，标注结果作为标签对基于3d卷积神经网络算法构建的待训练模型进行训练，最终得到明火识别模型。
86.可见，本技术实施例中，首先获取历史视频；所述历史视频包括存在明火的视频和不存在明火的视频；然后对所述历史视频进行切片以得到历史视频帧，并基于所述预设约束规则对所述历史视频帧的区域画面进行分割以得到目标分割图；利用所述预设遮罩图模块对所述目标分割图进行相应的处理，以得到目标区域图，然后将预设数量个所述目标区域图组合成目标矩阵图，并为所述目标矩阵图标注相应的类型标签；其中，如果所述目标矩阵图中存在明火，则为所述目标矩阵图标注第一类标签，如果所述目标矩阵图中不存在明火，则为所述目标矩阵图标注第二类标签；利用携带有所述类型标签的所述目标矩阵图对基于3d卷积神经网络算法构建的待训练模型进行训练以得到所述明火识别模型。如此一来，通过对历史视频切片得到对应的历史视频帧，然后对存在明火和不存在明火的历史视频帧进行相应处理，然后利用3d神经网络对算法进行训练得到最终的明火识别模型，简单易行，方便了后续利用明火识别模型对视频中是否存在明火进行判断，并且，使用3d卷积神经网络的架构可以同时处理实践特征和空间特征，用来检测明火非常合适，提高了识别明火的准确率。
87.本技术实施例公开了一种具体的视频明火识别方法，参见图6所示，该方法包括：
88.步骤s31：获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧。
89.其中，关于上述步骤更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
90.步骤s32：获取rgb颜色模型下的第一预设约束规则和hsv颜色模型下的第二预设约束规则，并从所述待检测视频帧上筛选出满足所述第一预设约束规则和所述第二约束规则的像素点，然后将满足所述第一预设约束规则和所述第二约束规则的像素点对应的像素区域从所述待检测视频帧上分割出来，以得到待监测分割图。
91.本技术实施例中，要基于一定的预设约束规则对待检测视频帧进行分割，将视频帧中疑似存在明火的区域分割出来，然后基于分割后的分割图进一步判断是否存在明火。
92.本技术实施例中，需要将待检测视频帧在rgb颜色模型和hsv颜色模型下作像素提取，结合rgb颜色模型和hsv颜色模型下的一些约束规则，设定合适的阈值条件，检测出疑似存在明火的像素的区域。具体的，rgb颜色模型对应第一预设约束规则，hsv颜色模型对应第二预设约束规则，只有同时满足rgb颜色模型下的第一预设约束规则和hsv颜色模型下的第二预设约束规则，才能将像素点对应的像素区域从所述待检测视频帧上分割出来，以得到待监测分割图。
93.一种具体实施方式中，首先读取图片image即待检测视频帧，假设图片的宽和高分别是w和h，然后分离rgb各个通道，如图7所示即为rgb颜色通道分解图，其中r是红色分量，如图8所示；g是绿色分量，如图9所示；b是蓝色分量，如图10所示；每个分量的像素值范围是单字节整型0～255。
94.进一步的，判断所述待检测视频帧上的目标像素点是否满足所述第一预设约束规则的过程，包括：若所述目标像素点在所述待检测视频帧的r通道分量上的像素值大于所述r通道分量上像素值大于0的所有像素点的像素平均值，并且所述目标像素点在所述r通道
分量上的像素值不小于g通道分量上的像素值以及所述目标像素点在所述g通道分量上的像素值不小于b通道分量上的像素值，则判定所述目标像素点满足所述第一预设约束规则。判断所述待检测视频帧上的目标像素点是否满足所述第二预设约束规则的过程，包括：构造一个与所述待检测视频帧的尺寸大小一致的目标通道图，并将所述目标通道图中的任一像素点的像素值设置为该像素点在r通道分量、g通道分量和b通道分量上对应的最小像素值；利用所述目标像素点在所述目标通道图上的像素值计算所述目标像素点在s通道分量上的像素值，若所述目标像素点在s通道分量上的像素值满足预设阈值条件，则判定所述目标像素点满足所述第二预设约束规则。下面将对rgb颜色模型下的第一预设约束规则和hsv颜色模型下的第二预设约束规则在一种具体实施方式中进行具体描述：
95.rgb约束规则如下：
96.约束1：r》r_avg(r是对应的每一个坐标的像素值，r_avg是像素值大于0的所有像素的均值，这个约束条件即查找出每一个大于r_avg的像素值的像素)；
97.约束2：r》＝g》＝b，对于火焰而言，火焰的像素主要取决于红色分量(r)，红色分量和绿色分量(g)会很大，并且绿色分量(g)会大于蓝色分量(b)，这个约束条件即查找出每一个r通道》g通道》b通道的对应坐标位置的像素；
98.hsv约束规则如下：
99.计算hsv颜色模型下的s分量，先计算min＝min(r,g,b)，即min计算出来是一个宽为w，高为h的单通道图，每一个位置的像素值来源于r,g,b对应位置的三个通道当中的最小像素值；然后计算s分量，s＝1-3.0*min/(r g b 1)。
100.约束3：s》0.2(这个约束条件即查找出每一个s》0.2的对应坐标位置的像素)；
101.约束4：s》(255-r)/20(这个约束条件即查找出每一个s》(255-r)/20的对应坐标位置的像素)；
102.约束5：s》＝(255-r)*st/rt(其中，st为饱和度阈值，参考范围是55～65；rt为红色分量阈值，参考范围是115～135。这个约束条件即查找出每一个s》＝(255-r)*st/rt的对应坐标位置的像素)。
103.需要指出的是，将读取的图片image即待检测视频帧经过计算，使得同时满足前面5个约束，即同时满足rgb颜色模型下的第一预设约束规则和hsv颜色模型下的第二预设约束规则，然后将像素点对应的像素区域从所述待检测视频帧上分割出来，以得到待监测分割图。如图11所示为经过rgb颜色模型和hsv颜色模型下作像素提取生成的待监测分割图。
104.步骤s33：通过预设遮罩图模块，对所述待监测分割图进行去噪处理并对去噪后图像进行连通域查找，以从所述待监测分割图中提取出疑似明火区域。
105.本技术实施例中，需要对待监测分割图进行一系列的处理，即通过预设遮罩图模块提取出疑似明火的区域，由于存在噪声及离散点，对待监测分割图进行中值滤波，中值滤波是典型的非线性滤波，用像素点邻域灰度值的中值来代替该像素点的灰度值，非常利于消除一些误判断为火焰的像素点。由于部分火焰的颜色不是介于红黄之间无法识别，因此还要对待监测分割图进行数学形态学的腐蚀，膨胀运算，并对去噪后图像进行连通域查找，以从所述待监测分割图中提取出疑似明火区域。这几步的运算主要是为了消除一些噪声和离散点，连通一些遗漏的区域。如图12所示为经过中值滤波、数学形态学的腐蚀，膨胀运算后得到的待检测视频帧区域画面分割图。
106.步骤s34：从所述疑似明火区域中确定出满足预设剔除条件的目标子区域，然后将所述目标子区域从所述疑似明火区域中剔除，以生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图。
107.本技术实施例中，在对所述待监测分割图进行去噪处理和通过连通域查找算法后，提取出疑似明火区域，要从所述疑似明火区域中确定出满足预设剔除条件的目标子区域，然后将所述目标子区域从所述疑似明火区域中剔除。具体的，将所述疑似明火区域中区域尺寸小于预设尺寸的第一类子区域以及自身完全位于另一子区域内部的第二类子区域确定为满足预设剔除条件的目标子区域，其目的是为了找到遗漏的点，剔除异常的点。例如，在一种具体实施方式中，可以将区域外接矩形框小于25x25像素的区域删除以及某些区域被其他区域包含的区域删除得到与疑似明火区域对应的遮罩图，如图13所示，其中遮罩图是二值图，代表待检测视频帧里面每一个疑似火焰区域的遮罩图，白色区域是疑似明火区域，黑色部分是背景区域。
108.本技术实施例中，在生成与所述疑似明火区域对应的遮罩图后，将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图。
109.步骤s35：将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定。
110.步骤s36：将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。
111.其中，关于上述步骤s35、步骤s36更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
112.本技术实施例中，首先获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧；然后获取rgb颜色模型下的第一预设约束规则和hsv颜色模型下的第二预设约束规则，并从所述待检测视频帧上筛选出满足所述第一预设约束规则和所述第二约束规则的像素点，然后将满足所述第一预设约束规则和所述第二约束规则的像素点对应的像素区域从所述待检测视频帧上分割出来，以得到待监测分割图；通过预设遮罩图模块，对所述待监测分割图进行去噪处理并对去噪后图像进行连通域查找，以从所述待监测分割图中提取出疑似明火区域；从所述疑似明火区域中确定出满足预设剔除条件的目标子区域，然后将所述目标子区域从所述疑似明火区域中剔除，以生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。可见，通过对待检测视频切片得到对应的待检测视频帧，然后对待检测视频帧进行处理得到去除背景后的疑似明火区域图，简单方便的过滤了大量的非明火特征，然后，将疑似明火区域图作为预先训练完的明火识别模型的输入以判断当前待检测视频中是否存在明火，可以同时处理时间特征与空间特征，提高了识别明火的准确率。
113.相应的，本技术实施例还公开了一种视频明火识别装置，参见图14所示，该装置包
括：
114.视频切片模块11，用于获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧；
115.视频帧分割模块12，用于基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图；
116.遮罩图生成模块13，用于通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图；
117.与运算模块14，用于将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；
118.矩阵图生成模块15，用于将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；
119.明火判断模块16，用于将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。
120.其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
121.由此可见，通过本实施例的上述方案，首先获取待检测视频并对所述待检测视频进行切片以得到待检测视频帧；然后基于预设约束规则对所述待检测视频帧的区域画面进行分割以得到待监测分割图；通过预设遮罩图模块从所述待监测分割图中提取出疑似明火区域，并生成与所述疑似明火区域对应的遮罩图，然后将所述遮罩图和对应的所述待检测视频帧进行与运算得到去除背景后的疑似明火区域图；将预设数量个所述疑似明火区域图组合成矩阵图；不同的所述疑似明火区域图在所述矩阵图中的排列顺序通过对应所述待检测视频帧的时间先后顺序来确定；将所述矩阵图输入至预先训练完的明火识别模型以得到所述明火识别模型的输出值，并通过所述输出值判断当前所述待检测视频中是否存在明火。可见，通过对待检测视频切片得到对应的待检测视频帧，然后对待检测视频帧进行处理得到去除背景后的疑似明火区域图，简单方便的过滤了大量的非明火特征，然后，将疑似明火区域图作为预先训练完的明火识别模型的输入以判断当前待检测视频中是否存在明火，可以同时处理时间特征与空间特征，提高了识别明火的准确率。
122.进一步的，本技术实施例还公开了一种电子设备，图15是根据一示例性实施例示出的电子设备20结构图，图中内容不能认为是对本技术的使用范围的任何限制。
123.图15为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的视频明火识别方法中的相关步骤。另外，本实施例中的电子设备20具体可以为计算机。
124.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，
在此不进行具体限定。
125.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，数据223可以包括各种各样的数据。存储方式可以是短暂存储或者永久存储。
126.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的视频明火识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
127.进一步的，本技术还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的视频明火识别方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
128.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
129.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
130.以上对本发明所提供的一种视频明火识别方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。