烟火检测方法、装置、设备及存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种烟火检测方法、装置、设备及存储介质。


背景技术：

2.在现代社会生活中，防火是安全防护的一个非常重要的命题。工业生产区域，公共空间和很多自然环境中都使用中央摄像头进行烟火监视以保证安全。
3.目前，主要是利用机器学习或者深度学习方法对采集到的视频图像进行图像处理和分析，提取每帧图像中的烟火特征以实现烟火检测。然而，基于图像特征进行烟火检测时，会由于某些特殊帧图像而产生误报，影响了烟火检测结果的准确率。


技术实现要素：

4.本发明实施例提供一种烟火检测方法、装置、设备及存储介质，以提高烟火检测的准确率。
5.第一方面，本发明实施例提供了一种烟火检测方法，包括：
6.获取连续的多帧视频图像；
7.根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域；
8.根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域；
9.根据所述待定烟火区域和所述像素运动区域，确定每帧视频图像中的目标烟火区域。
10.可选的，在确定每帧视频图像中的目标烟火区域之后，还包括：对所述目标烟火区域进行形态学操作后提取所述目标烟火区域的区域边界；将所述区域边界对应添加至匹配的每帧视频图像中。
11.在本实施方式中，通过对确定的目标烟火区域进行形态学操作，压缩了目标烟火区域中的噪声，使目标烟火区域更加准确；通过将目标烟火区域的区域边界添加至相应的视频图像中相应位置，使烟火检测结果清晰明了，便于对烟火进行准确定位。
12.可选的，根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域，包括：根据每帧视频图像的颜色分布确定每帧视频图像中的火焰像素点和/或烟雾像素点；根据每帧视频图像中的火焰像素点和/或烟雾像素点确定每帧视频图像中的待定烟火区域。
13.在本实施方式中，针对每帧视频图像，首先根据颜色分布识别出火焰像素点和/或烟雾像素点，进而根据这些火焰像素点和/或烟雾像素点确定待定烟火区域，以此提高了待定烟火区域的准确率。
14.可选的，根据每帧视频图像的颜色分布确定每帧视频图像中的火焰像素点，包括：将每帧视频图像由红绿蓝rgb空间转换到色调饱和度明度hsv空间；在每帧视频图像中筛选满足预设的hsv约束条件以及第一rgb约束条件的像素点作为所述火焰像素点。
15.在本实施方式中，将视频图像由rgb空间转换到hsv空间，再根据hsv约束条件以及
第一rgb约束条件对像素点进行筛选，筛选得到的火焰像素点的准确率比较高。
16.可选的，根据每帧视频图像的颜色分布确定每帧视频图像中的烟雾像素点，包括：将每帧视频图像由rgb空间转换到色调饱和度亮度hsi空间；在每帧视频图像中筛选满足预设的第二rgb约束条件以及hsi约束条件的像素点作为所述烟雾像素点。
17.在本实施方式中，将视频图像由rgb空间转换到hsi空间，再根据第二rgb约束条件以及hsi约束条件对像素点进行筛选，筛选得到的烟雾像素点的准确率比较高。
18.可选的，根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域，包括：根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点；根据所述目标像素点确定每帧视频图像中的像素运动区域。
19.在本实施方式中，针对每帧视频图像，首先根据连续的多帧视频图像确定出进行无规则运动的目标像素点，进而根据这些目标像素点确定像素运动区域，考虑了视频中帧与帧之间的关联信息，以此提高了像素运动区域的准确率。
20.可选的，根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点，包括：根据连续的多帧视频图像计算每帧视频图像中各个像素点的累积变化量；在每帧视频图像中筛选累积变化量大于预设阈值的像素点作为所述目标像素点。
21.在本实施方式中，根据累积变化量对像素点进行筛选，得到进行无规则运动的各个像素点作为目标像素点，提高了无规则运动检测的精准性。
22.第二方面，本发明实施例还提供了一种烟火检测装置，该装置包括：
23.任务获取模块，用于获取文件待传输任务；其中，所述文件待传输任务中包括待传输文件的信息、源计算中心的信息和目标计算中心的信息；
24.文件传输模块，用于根据所述文件待传输任务，将所述待传输文件由所述源计算中心传输至所述目标计算中心；其中，任意两个计算中心之间通过数据链路实现数据互通。
25.第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
26.一个或多个处理器；
27.存储器，用于存储一个或多个程序，
28.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的方法。
29.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的方法。
30.本发明实施例的技术方案，在进行烟火检测时，针对获取到的连续多帧视频图像，对每帧视频图像进行颜色分析以确定每帧视频图像中的待定烟火区域，根据连续的多帧视频图像的变化情况对相邻的每帧视频图像中的像素运动区域，进而可以根据每帧视频图像中的待定烟火区域和像素运动区域确定出每帧视频图像中的目标烟火区域。其中，在进行烟火检测时，上述技术方案充分考虑了视频中帧与帧之间的关联信息，不会出现由于某些特殊帧图像而产生误报的问题，提高了基于视频监控实时进行烟火检测的准确率。
附图说明
31.图1是本发明实施例一中的一种烟火检测方法的流程图；
32.图2是本发明实施例二中的一种烟火检测方法的流程图；
33.图3是本发明实施例三中的一种烟火检测方法的流程图；
34.图4是本发明实施例四中的一种烟火检测方法的流程图；
35.图5是本发明实施例四中的一种火焰检测结果的示例图；
36.图6是本发明实施例五中的一种烟火检测装置的结构示意图；
37.图7是本发明实施例六中的一种计算机设备的结构示意图。
具体实施方式
38.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
39.实施例一
40.图1为本发明实施例一提供的一种烟火检测方法的流程图，本实施例可适用于基于视频监控实时进行烟火检测的情况，该方法可以由烟火检测装置来执行，该装置可采用硬件和/或软件的方式实现，并一般可以集成在计算机设备中。
41.如图1所示，本实施例提供的烟火检测方法，包括如下步骤：
42.s110、获取连续的多帧视频图像。
43.视频图像，指的是对视频流进行解码得到的图像。其中，视频流可以是安装在任意位置的摄像装置采集的，用于进行防火安全监控。
44.在接收到视频流之后，对视频流进行解码，得到各帧视频图像，其中，可以使用向量的数据结构对各帧视频图像进行存储。同时，还可以对各帧视频图像进行图像预处理，以消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据。例如，可以对各帧视频图像进行平滑、滤波、边缘检测等相关预处理，本实施例对此不作具体限定。
45.s120、根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域。
46.待定烟火区域，指的是视频图像中疑似存在烟火的区域，需要进一步确认。其中，烟火可以指的是烟雾和/或火焰。在本实施例中，针对每帧视频图像都进行待定烟火区域的识别，其中，存在根据某帧视频图像的颜色分布确定该帧视频图像中不存在待定烟火区域的情况。
47.颜色分布，是根据视频图像中各个像素点的像素值确定的。针对每帧视频图像，基于像素点颜色检测的方法对其进行分析，确定是否存在待定烟火区域。可选的，确定待定烟火区域的颜色特征，并根据所述颜色特征对每帧视频图像进行分析，以确定每帧视频图像中是否存在待定烟火区域。
48.作为一种可选的实施方式，可以根据像素点颜色检测的方法识别待定烟火像素点，例如，获取待定烟火像素点的颜色特征，并根据该颜色特征对每帧视频图像中的各个像素点进行分析，以确定每帧视频图像中的各个待定烟火像素点。进而，可以将由各个待定烟火像素点构成的区域作为待定烟火区域。
49.s130、根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域。
50.像素运动区域，指的是在由连续的多帧视频图像构成的视频中的运动体在各帧视
频图像中的像素区域。例如，燃烧的火焰在视频监控中即为运动体，该运动体在对视频进行解码得到的各帧视频图像中所处的像素区域是不同的，在各帧视频图像中所处的像素区域即为相应帧的视频图像中的像素运动区域。
51.结合连续的多帧视频图像的变化情况，可以确定连续的多帧视频图像中最后一帧视频图像中的像素运动区域。其中，可以根据视频图像帧与帧之间的关联关系对连续的多帧视频图像进行运动检测，进而确定出连续的多帧视频图像中最后一帧视频图像中的像素运动区域。
52.由于烟火(包括烟雾和火焰)可以看作是物体在做无规则运动，则可以根据视频图像帧与帧之间的关联关系对连续的多帧视频图像进行无规则的运动检测，确定出连续的多帧视频图像中最后一帧视频图像中与烟火对应的像素运动区域。
53.s140、根据所述待定烟火区域和所述像素运动区域，确定每帧视频图像中的目标烟火区域。
54.其中，目标烟火区域，指的是视频图像中确认存在烟火的区域，用于指示烟火检测结果。
55.针对每一帧视频图像，如果既识别到待定烟火区域，又识别到像素运动区域，则将待定烟火区域和像素运动区域的交集作为目标烟火区域。
56.进一步的，作为一种可选的实施方式，在确定每帧视频图像中的目标烟火区域之后，还可以包括：对所述目标烟火区域进行形态学操作后提取所述目标烟火区域的区域边界；将所述区域边界对应添加至匹配的每帧视频图像中。
57.形态学操作，指的是在图像处理技术中会对图像的形态发生改变的操作。
58.在本实施例中，在确定目标烟火区域之后，对所述目标烟火区域进行形态学操作，例如可以是腐蚀操作和膨胀操作，以实现对目标烟火区域中噪声区域的压缩。
59.作为一种可选的实施方式，可以使用预设的结构元素对目标烟火区域进行腐蚀和膨胀操作，例如可以将结构元素的大小设置为5
×
5。示例性的，可以基于如下方式实现对目标烟火区域的腐蚀和膨胀操作：
[0060][0061]
其中，s为目标烟火区域，m为预设的结构元素，和分别表示腐蚀操作和膨胀操作。表示使用预设的结构元素对目标烟火区域进行形态学操作，得到的结果即为形态学处理后的目标烟火区域。
[0062]
进而，可以提取形态学处理后的目标烟火区域的区域边界，并将所述区域边界对应添加至匹配的每帧视频图像中相应位置，以实现在每帧视频图像中烟火区域进行标识。关于区域边界提取技术，本实施例对此不作具体限定。
[0063]
在本实施方式中，通过对确定的目标烟火区域进行形态学操作，压缩了目标烟火区域中的噪声，使目标烟火区域更加准确；通过将目标烟火区域的区域边界添加至相应的视频图像中相应位置，使烟火检测结果清晰明了，便于对烟火进行准确定位。
[0064]
本发明实施例的技术方案，在进行烟火检测时，针对获取到的连续多帧视频图像，对每帧视频图像进行颜色分析以确定每帧视频图像中的待定烟火区域，根据连续的多帧视频图像的变化情况对相邻的每帧视频图像中的像素运动区域，进而可以根据每帧视频图像
中的待定烟火区域和像素运动区域确定出每帧视频图像中的目标烟火区域。其中，在进行烟火检测时，上述技术方案充分考虑了视频中帧与帧之间的关联信息，不会出现由于某些特殊帧图像而产生误报的问题，提高了基于视频监控实时进行烟火检测的准确率。
[0065]
实施例二
[0066]
图2为本发明实施例二提供的一种烟火检测方法的流程图，本实施例在前述实施例的基础上进行具体化，其中，根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域，可以具体为：
[0067]
根据每帧视频图像的颜色分布确定每帧视频图像中的火焰像素点和/或烟雾像素点；根据每帧视频图像中的火焰像素点和/或烟雾像素点确定每帧视频图像中的待定烟火区域。
[0068]
如图2所示，本实施例提供的烟火检测方法，包括如下步骤：
[0069]
s210、获取连续的多帧视频图像。
[0070]
s220、根据每帧视频图像的颜色分布确定每帧视频图像中的火焰像素点和/或烟雾像素点。
[0071]
在本实施例中，可以将待定烟火像素点具体为火焰像素点和/或烟雾像素点。其中，火焰像素点，指的是视频图像中疑似火焰的像素点；烟雾像素点，指的是视频图像中疑似烟雾的像素点。
[0072]
示例性的，分别确定火焰像素点和烟雾像素点的颜色特征，进而可以根据火焰像素点的颜色特征分析对每帧视频图像中的各个像素点进行分析，以确定每帧视频图像中的各个火焰像素点，可以根据烟雾像素点的颜色特征分析对每帧视频图像中的各个像素点进行分析，以确定每帧视频图像中的各个烟雾像素点。
[0073]
需要指的出是，视频图像中可以只存在火焰像素点，或者只存在烟雾像素点，或者既存在火焰像素点又存在烟雾像素点。
[0074]
作为一种可选的实施方式，根据每帧视频图像的颜色分布确定每帧视频图像中的火焰像素点，可以具体为：
[0075]
将每帧视频图像由rgb(red green blue，红绿蓝)空间转换到hsv(hue saturation value，色调饱和度明度)空间；在每帧视频图像中筛选满足预设的hsv约束条件以及第一rgb约束条件的像素点作为所述火焰像素点。
[0076]
rgb色彩模式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
[0077]
hsv颜色模型是根据颜色的直观特性创建的一种颜色空间，也称六角锥体模型(hexcone model)，该模型中颜色的参数分别是：色调(h)，饱和度(s)，明度(v)。
[0078]
对视频流解码得到的视频图像是rgb图像，在识别视频图像中的火焰像素点时，首先将视频图像由rgb空间转换到hsv空间，转换过程如下：
[0079]
max＝max(r,g,b)；
[0080]
min＝min(r,g,b)；
[0081]
v＝max(r,g,b)；
[0082]
if(max≠0) s＝(max
‑
min)/max；
[0083]
if(max＝0) s＝0；
[0084]
if(r＝max) h＝(g
‑
b)/(max
‑
min)*60；
[0085]
if(g＝max) h＝120 (b
‑
r)/(max
‑
min)*60；
[0086]
if(b＝max) h＝240 (r
‑
g)/(max
‑
min)*60；
[0087]
其中，max(r,g,b)表示取r、g、b中的最大值，min(r,g,b)表示取r、g、b中的最小值。
[0088]
hsv约束条件，指的是在hsv空间中与色调(h)、饱和度(s)、明度(v)相关的约束条件；第一rgb约束条件，指的是在rgb空间中与红(r)、绿(g)、蓝(b)相关的约束条件。
[0089]
例如，hsv约束条件为：h1≤h≤h2；
[0090]
s1≤s≤s2；
[0091]
v1≤v≤v2。
[0092]
其中，h1和h2为角度常数，用于约束色调值；s1和s2为数值常数，用于约束饱和度值；v1和v2为数值常数，用于约束明度值。
[0093]
再例如，第一rgb约束条件为：r(x,y)>r
mean
；
[0094]
r(x,y)>g(x,y)>b(x,y)；
[0095]
a1g(x,y)
‑
a2≤r(x,y)≤a3g(x,y) a4；
[0096]
a5b(x,y) a6≤g(x,y)≤a7b(x,y) a8；
[0097][0098]
其中，a1、a2、a3、a4、a5、a6、a7、a8为数值常数，用于对r(x,y)与g(x,y)的关系，以及g(x,y)与b(x,y)的关系进行约束；r
mean
为所有像素点r(x,y)值的平均值，用于对r(x,y)进行约束，k为像素点总数量。
[0099]
作为一种具体的实施方式，预设的hsv约束条件以及第一rgb约束条件可以为：
[0100]
0≤h≤60
°
[0101]
0≤s≤0.2
[0102]
127≤v≤255
[0103][0104]
r(x,y)>g(x,y)>b(x,y)
[0105]
1.1403g(x,y)
‑
0.0759≤r(x,y)≤
‑
0.9889g(x,y) 0.9913
[0106]
0.8459b(x,y) 0.0482≤g(x,y)≤
‑
0.4608b(x,y) 0.4964
[0107]
对视频图像中的每个像素点进行判断，判断是否满足上述预设的hsv约束条件以及第一rgb约束条件，若是，则可以将该像素点作为火焰像素点，若否，则不将该像素点作为火焰像素点。
[0108]
在本实施方式中，将视频图像由rgb空间转换到hsv空间，再根据hsv约束条件以及第一rgb约束条件对像素点进行筛选，筛选得到的火焰像素点的准确率比较高。
[0109]
作为一种可选的实施方式，根据每帧视频图像的颜色分布确定每帧视频图像中的烟雾像素点，可以具体为：
[0110]
将每帧视频图像由rgb空间转换到hsi(hue saturation intensity，色调饱和度亮度)空间；在每帧视频图像中筛选满足预设的第二rgb约束条件以及hsi约束条件的像素
点作为所述烟雾像素点。
[0111]
hsi是指一个数字图像的模型，反映了人的视觉系统感知彩色的方式，以色调(h)、饱和度(s)和亮度(i)三种基本特征量来感知颜色。其中，分量与图像的彩色信息无关；h分量和s分量与人感受颜色的方式是紧密相联的。
[0112]
对视频流解码得到的视频图像是rgb图像，在识别视频图像中的烟雾像素点时，首先将视频图像由rgb空间转换到hsi空间，转换过程如下：
[0113][0114][0115][0116]
i＝(r g b)/3
[0117]
第二rgb约束条件，指的是在rgb空间中与红(r)、绿(g)、蓝(b)相关的约束条件。hsi约束条件，指的是在hsi空间中与亮度(i)相关的约束条件。
[0118]
例如，第二rgb约束条件为max(r,g,b)
‑
min(r,g,b)<a；其中，a为一个数值常数，用于对max(r,g,b)与min(r,g,b)的大小关系进行约束。
[0119]
再例如，hsi约束条件为：k1≤i≤k2；其中，k1和k2为数值常数，用于对亮度值进行约束。
[0120]
作为一种具体的实施方式，预设的第二rgb约束条件以及hsi约束条件可以为：
[0121][0122]
其中，a的取值在5～20之间，k1的取值在80～150之间，k2的取值在190～225之间。
[0123]
对视频图像中的每个像素点进行判断，判断是否满足上述，预设的第二rgb约束条件以及hsi约束条件，若是，则可以将该像素点作为烟雾像素点，若否，则不将该像素点作为烟雾像素点。
[0124]
在本实施方式中，将视频图像由rgb空间转换到hsi空间，再根据第二rgb约束条件以及hsi约束条件对像素点进行筛选，筛选得到的烟雾像素点的准确率比较高。
[0125]
s230、根据每帧视频图像中的火焰像素点和/或烟雾像素点确定每帧视频图像中的待定烟火区域。
[0126]
针对每帧视频图像，若在其中只识别出火焰像素点，则根据这些火焰像素点确定该帧视频图像中的待定烟火区域，也即将这些火焰像素点组成的一个或多个区域作为所述待定烟火区域；若在其中只识别出烟火像素点，则根据这些烟火像素点确定该帧视频图像中的待定烟火区域，也即将这些烟雾像素点组成的一个或多个区域作为所述待定烟火区域；若在其中既识别出火焰像素点也识别出烟火像素点，则根据这些烟火像素点和烟雾像素点确定该帧视频图像中的待定烟火区域，也即将这些火焰像素点以及烟火像素点组成的一个或多个区域作为所述待定烟火区域。
[0127]
s240、根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域。
[0128]
s250、根据所述待定烟火区域和所述像素运动区域，确定每帧视频图像中的目标烟火区域。
[0129]
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
[0130]
在上述技术方案中，针对每帧视频图像，首先根据颜色分布识别出火焰像素点和/或烟雾像素点，进而根据这些火焰像素点和/或烟雾像素点确定待定烟火区域，以此提高了待定烟火区域的准确率，而且还充分考虑了视频中帧与帧之间的关联信息，由此提高了基于待定烟火区域和像素运动区域确定的目标烟火区域的准确性，不会出现由于某些特殊帧图像而产生误报的问题，也即提高了基于视频监控实时进行烟火检测的准确率。
[0131]
实施例三
[0132]
图3为本发明实施例三提供的一种烟火检测方法的流程图，本实施例在前述实施例的基础上进行具体化，其中，根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域，可以具体为：
[0133]
根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点；根据所述目标像素点确定每帧视频图像中的像素运动区域。
[0134]
如图3所示，本实施例提供的烟火检测方法，包括如下步骤：
[0135]
s310、获取连续的多帧视频图像。
[0136]
s320、根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域。
[0137]
s330、根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点。
[0138]
在本实施例中，将火焰和烟雾看作是在做无规则运动的物体。考虑到运动检测需要基于连续的多帧视频图像确定，故针对每帧视频图像，基于在其之前连续的多帧视频图像之间的关联关系，对其中进行无规则运动的目标像素点进行筛选。其中，关于无规则运动的检测，可以基于像素点的像素值在连续的多帧视频图像中的变化幅度来实现。
[0139]
作为一种可选的实施方式，根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点，可以具体为：
[0140]
根据连续的多帧视频图像计算每帧视频图像中各个像素点的累积变化量；在每帧视频图像中筛选累积变化量大于预设阈值的像素点作为所述目标像素点。
[0141]
其中，累积变化量，可以指的是根据多个连续的相邻帧间像素值的变化确定的一个累积量，用于指示像素点在连续的多帧视频图像中的变化情况。示例性的，像素点的累积变化量越大，表明该像素点在连续的多帧视频图像中持续变化，例如，该像素点在每两个相邻帧中的像素值的变化幅度都很大。
[0142]
在确定某帧视频图像中的某个像素点的累积变化量之后，判断该累积变化量是否超过预设阈值，若是，则可以将该像素点作为所述目标像素点，也即作为运动像素点，若否，则继续对下一个像素点进行判断。
[0143]
进一步的，作为一种具体的实施方式，可以先设计一个函数用于描述像素点的像素值在相邻两帧视频图像中的变化情况，再设计一个函数用于统计像素点的像素值变化的累积情况，也即上述累积变化量。
[0144]
示例性的，假设p(x,y,k)为第k帧视频图像中位置坐标(x,y)处的像素值，首先对相邻帧中像素点的变化进行判断。设定变化阈值为l，那么用于描述像素点的像素值在相邻两帧视频图像中的变化情况的函数fd(x,y,k)可以为:
[0145][0146]
用于统计像素点的像素值变化的累积情况函数h
t
(x,y,k)可以为：
[0147][0148]
其中，h
t
(x,y,k)可以理解为全景积分函数，自变量为x,y,k，(x,y)为像素点的坐标，k为视频图像在视频中的帧数，b1和b2为数值常数。
[0149]
假设用于评估h
t
(x,y,k)函数值的预设阈值为20(也即累积变化量的预设阈值为20)，若某帧视频图像中的某个像素点的h
t
(x,y,k)函数值超过预设阈值20，则可以将该像素点作为所述目标像素点，也即作为运动像素点，若否，则继续对下一个像素点进行判断。
[0150]
在本实施方式中，根据累积变化量对像素点进行筛选，得到进行无规则运动的各个像素点作为目标像素点，提高了无规则运动检测的精准性。
[0151]
s340、根据所述目标像素点确定每帧视频图像中的像素运动区域。
[0152]
针对每帧视频图像，若在其中只识别出所述目标像素点，则根据这些目标像素点确定该帧视频图像中的像素运动区域，也即将这些目标像素点组成的一个或多个区域作为所述待定烟火区域。
[0153]
s350、根据所述待定烟火区域和所述像素运动区域，确定每帧视频图像中的目标烟火区域。
[0154]
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
[0155]
在上述技术方案中，针对每帧视频图像，首先根据连续的多帧视频图像确定出进行无规则运动的目标像素点，进而根据这些目标像素点确定像素运动区域，考虑了视频中帧与帧之间的关联信息，以此提高了像素运动区域的准确率，进而提高了基于待定烟火区域和像素运动区域确定的目标烟火区域的准确性，不会出现由于某些特殊帧图像而产生误报的问题，也即提高了基于视频监控实时进行烟火检测的准确率。
[0156]
实施例四
[0157]
图4为本发明实施例四提供的一种烟火检测方法的流程图，本实施例在前述实施例的基础上提供了一种具体的实施方式。
[0158]
如图4所示，本实施例提供的烟火检测方法，包括如下步骤：
[0159]
s410、获取连续的多帧视频图像。
[0160]
s420、根据每帧视频图像的颜色分布确定每帧视频图像中的烟火像素点。
[0161]
其中，烟火像素点包括火焰像素点和/或烟雾像素点。
[0162]
将视频图像由rgb空间转换到hsv空间之后，筛选满足下述条件的火焰像素点：
[0163]
0≤h≤60
°
[0164]
0≤s≤0.2
[0165]
127≤v≤255
[0166][0167]
r(x,y)>g(x,y)>b(x,y)
[0168]
1.1403g(x,y)
‑
0.0759≤r(x,y)≤
‑
0.9889g(x,y) 0.9913
[0169]
0.8459b(x,y) 0.0482≤g(x,y)≤
‑
0.4608b(x,y) 0.4964
[0170]
将视频图像由rgb空间转换到hsi空间之后，筛选满足下述条件的烟雾像素点：
[0171][0172]
其中，a的取值在5～20之间，k1的取值在80～150之间，k2的取值在190～225之间。
[0173]
s430、根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点。
[0174]
其中，假设p(x,y,k)为第k帧视频图像中位置坐标(x,y)处的像素值，首先对相邻帧中像素点的变化进行判断。设定变化阈值为l，那么用于描述像素点的像素值在相邻两帧视频图像中的变化情况的函数fd(x,y,k)可以为:
[0175][0176]
用于统计像素点的像素值变化的累积情况函数h
t
(x,y,k)可以为：
[0177][0178]
其中，h
t
(x,y,k)可以理解为全景积分函数，自变量为x,y,k，(x,y)为像素点的坐标，k为视频图像在视频中的帧数，b1和b2为数值常数。
[0179]
在本实施例中，将h
t
(x,y,k)值超过20的像素点作为所述进行无规则运动的目标像素点。
[0180]
s440、在每帧视频图像中，根据烟火像素点以及目标像素点确定目标烟火区域。
[0181]
其中，在每帧视频图像中确定目标烟火区域时，可以将既为烟火像素点又为目标像素点的各个像素点组成的一个或多个区域作为所述目标烟火区域。
[0182]
可选的，在每帧视频图像中，可以将目标烟火区域中各像素的像素值置1，将其他像素的像素值置0。
[0183]
s450、对所述目标烟火区域进行形态学操作后提取所述目标烟火区域的区域边界，并将所述区域边界对应添加至匹配的每帧视频图像中。
[0184]
可选的，使用预设的结构元素对目标烟火区域进行腐蚀和膨胀操作，例如可以将结构元素的大小设置为5
×
5。示例性的，可以基于如下方式实现对目标烟火区域的腐蚀和膨胀操作：
[0185][0186]
其中，s为目标烟火区域，m为预设的结构元素，和分别表示腐蚀操作和膨胀操作。表示使用预设的结构元素对目标烟火区域进行形态学操作，得到的结果即为形
态学处理后的目标烟火区域。
[0187]
在一个具体示例中，针对某帧帧视频图像识别出火焰像素点以及进行无规则运动的目标像素点，根据火焰像素点以及目标像素点确定出目标烟火区域，并对所述目标烟火区域进行形态学操作后提取区域边界添加至视频图像中的效果，可以如图5所示。可选的，区域边界在视频图像中可以通过明显的颜色示出，如红色等(由于图5为灰度图，区域边界未明显示出)，以提高可读性。
[0188]
可选的，在将所述区域边界对应添加至匹配的每帧视频图像中时，还可以在预设位置处添加警示字符，如图5所示的“fire alarm！！”，以进一步增加警示作用。可选的，在将所述区域边界对应添加至匹配的每帧视频图像中时，还可以增加用于警示的声音和灯光等。
[0189]
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
[0190]
上述技术方案，收来自于监控视频的图像，利用基于颜色的检测方法对解码后的图像进行分析，同时结合高阶时态信息进行分析处理，充分利用了上下帧的信息，从而实现烟火检测和定位，提高了烟火检测的准确率，降低了误检率，减小误报的可能性。实验证明，利用图像的频谱信息和时序信息进行火焰检测，可以达到98％的准确率(正阳率)以及40fps(frames per second，每秒传输帧数)的检测速率，实现了视频的实时检测。
[0191]
实施例五
[0192]
图6为本发明实施例五提供的一种烟火检测装置的结构示意图，本实施例可适用于基于视频监控实时进行烟火检测的情况，该装置可采用软件和/或硬件的方式实现，并一般可以集成在计算机设备中。如图6所示，该烟火检测装置具体包括：视频图像获取模块510、待定烟火区域确定模块520、像素运动区域确定模块530和目标烟火区域确定模块540。其中，
[0193]
视频图像获取模块510，用于获取连续的多帧视频图像；
[0194]
待定烟火区域确定模块520，用于根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域；
[0195]
像素运动区域确定模块530，用于根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域；
[0196]
目标烟火区域确定模块540，用于根据所述待定烟火区域和所述像素运动区域，确定每帧视频图像中的目标烟火区域。
[0197]
本发明实施例的技术方案，在进行烟火检测时，针对获取到的连续多帧视频图像，对每帧视频图像进行颜色分析以确定每帧视频图像中的待定烟火区域，根据连续的多帧视频图像的变化情况对相邻的每帧视频图像中的像素运动区域，进而可以根据每帧视频图像中的待定烟火区域和像素运动区域确定出每帧视频图像中的目标烟火区域。其中，在进行烟火检测时，上述技术方案充分考虑了视频中帧与帧之间的关联信息，不会出现由于某些特殊帧图像而产生误报的问题，提高了基于视频监控实时进行烟火检测的准确率。
[0198]
可选的，上述装置还包括：烟火检测结果处理模块，用于在确定每帧视频图像中的目标烟火区域之后，对所述目标烟火区域进行形态学操作后提取所述目标烟火区域的区域边界；将所述区域边界对应添加至匹配的每帧视频图像中。
[0199]
可选的，待定烟火区域确定模块520，具体包括：烟火像素点检测单元和待定烟火
区域确定单元，其中，
[0200]
所述烟火像素点检测单元，用于根据每帧视频图像的颜色分布确定每帧视频图像中的火焰像素点和/或烟雾像素点；
[0201]
待定烟火区域确定单元，用于根据每帧视频图像中的火焰像素点和/或烟雾像素点确定每帧视频图像中的待定烟火区域。
[0202]
可选的，所述烟火像素点检测单元，具体用于将每帧视频图像由rgb空间转换到hsv空间；在每帧视频图像中筛选满足预设的hsv约束条件以及第一rgb约束条件的像素点作为所述火焰像素点。
[0203]
可选的，所述烟火像素点检测单元，具体用于将每帧视频图像由rgb空间转换到hsi空间；在每帧视频图像中筛选满足预设的第二rgb约束条件以及hsi约束条件的像素点作为所述烟雾像素点。
[0204]
可选的，像素运动区域确定模块530，具体用于根据连续的多帧视频图像确定在每帧视频图像中进行无规则运动的目标像素点；根据所述目标像素点确定每帧视频图像中的像素运动区域。
[0205]
可选的，像素运动区域确定模块530，具体用于根据连续的多帧视频图像计算每帧视频图像中各个像素点的累积变化量；在每帧视频图像中筛选累积变化量大于预设阈值的像素点作为所述目标像素点。
[0206]
本发明实施例所提供的烟火检测装置可执行本发明任意实施例所提供的烟火检测方法，具备执行方法相应的功能模块和有益效果。
[0207]
实施例六
[0208]
图7为本发明实施例六提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括处理器610、存储器620、输入装置630和输出装置640；计算机设备中处理器610的数量可以是一个或多个，图7中以一个处理器610为例；计算机设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图7中以通过总线连接为例。
[0209]
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的烟火检测方法对应的程序指令/模块(例如，烟火检测装置中的视频图像获取模块510、待定烟火区域确定模块520、像素运动区域确定模块530和目标烟火区域确定模块540)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的烟火检测方法。
[0210]
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0211]
输入装置630可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
[0212]
实施例七
[0213]
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种烟火检测方法，该方法包括：
[0214]
获取连续的多帧视频图像；
[0215]
根据每帧视频图像的颜色分布确定每帧视频图像中的待定烟火区域；
[0216]
根据连续的多帧视频图像的变化情况确定每帧视频图像中的像素运动区域；
[0217]
根据所述待定烟火区域和所述像素运动区域，确定每帧视频图像中的目标烟火区域。
[0218]
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的烟火检测方法中的相关操作。
[0219]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0220]
值得注意的是，上述烟火检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0221]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。