一种基于视频的火情监测方法和装置与流程

1.本发明涉及图像处理的技术领域，尤其是涉及一种基于视频的火情监测方法和装置。


背景技术：

2.目前的视频火情监测技术主要是利用视频图像的阈值（otsu算法等）将烟火区域分割出来，此方法误报会比较多，容易后监测环境影响；部分技术也使用神经网络模型进行图像分割或目标检测，但方法流程较为简单，不能根据适应森林火情监测的复杂应用场景。
3.在现有技术中，对视频图像数据的数据预处理和数据增强方法较为简单，没法突出火情区域，导致监测准确度较低。
4.针对上述问题，还未提出有效的解决方案。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于视频的火情监测方法和装置，以缓解现有技术中视频火情监测技术的准确度较低的技术问题。
6.第一方面，本发明实施例提供了一种基于视频的火情监测方法，包括：获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；利用yolo
‑
v4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果。
7.进一步地，对所述流媒体数据进行预处理，得到目标图片，包括：将所述流媒体数据转化为多帧图片数据；对所述多帧图片数据进行均值滤波处理，得到所述目标图片。
8.进一步地，利用yolo
‑
v4算法对所述目标图片进行检测，确定出所述目标图片的边界框，包括：对所述目标图片进行图像均衡化处理，得到处理后的目标图片；利用yolo
‑
v4算法对所述处理后的目标图片进行分割，得到所述目标图片的边界框。
9.进一步地，对所述目标图片进行图像均衡化处理，得到处理后的目标图片，包括：将所述目标图片从rgb模式图片转换为ycbcr模式图片；对所述ycbcr模式图片进行亮度均衡化处理，得到所述处理后的ycbcr模式图片；将所述处理后的ycbcr模式图片转换为rgb模式图片，得到所述处理后的目标图片。
10.进一步地，对所述ycbcr模式图片进行亮度均衡化处理，得到所述处理后的ycbcr模式图片，包括：确定出所述ycbcr模式图片的灰度级和位深度；基于所述灰度级和所述位深度，计算出所述ycbcr模式图片的亮度分量的原始直方图的分布概率，其中，所原始直方图的分布概率用于表征所述ycbcr模式图片中各个灰度级的像素数量与所述ycbcr模式图片中的像素数量之间的比值；计算出所述各个灰度级的像素数量与所述ycbcr模式图片中的像素数量之间的比值之和，得到原始直方图的概率累计值；基于所述原始直方图的概率
累计值，确定出各个灰度级的映射关系；基于所述映射关系，计算出均衡化直方图，并将所述均衡化直方图确定为所述处理后的ycbcr模式图片。
11.进一步地，对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果，包括：确定出所述烟雾边界框内的图片的烟雾区域与所述烟雾边界框内的图片之间的第一比值；根据所述比值，确定出目标烟雾边界框，其中，所述目标烟雾边界框为所述比值大于第一预设阈值的烟雾边界框；对所述目标烟雾边界框内的图片和所述火情边界框内的图片进行超像素分割，得到所述超像素分片；对所述超像素分片进行分类，确定出目标超像素分片，其中，所述目标超像素分片为烟火像素分片；基于所述目标超像素分片，确定出所述目标烟雾边界框内的图片和所述火情边界框内的图片中的目标边界框，其中，所述目标边界框为所述目标烟雾边界框内的图片与所述目标烟雾边界框内的图片的超像素片之间的比值大于第二预设比值的目标烟雾边界框，和，所述火情边界框内的图片与所述火情边界框内的图片的超像素片之间的比值大于第三预设比值的目标火情边界框；将所述目标边界框确定为所述初始火情监测结果。
12.进一步地，所述方法还包括：确定目标图片数据中的目标区域，其中，所述目标图片数据为所述多帧图片数据中的任意一帧图片数据，所述目标区域为所述目标图片数据中的任意一个区域；若所述目标图片数据相邻的两帧图片数据中的目标区域存在火情或烟雾，且所述目标图片数据的目标区域不存在火情或烟雾，则构建所述目标区域的边界框；若所述目标图片数据相邻的两帧图片数据中的目标区域不存在火情或烟雾，且所述目标图片数据的目标区域存在火情或烟雾，则将所述目标区域对应的边界框标记为火情误判。
13.在本发明实施例中，通过获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用yolo
‑
v4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，达到了高效准确的进行视频火情监测的目的，进而解决了现有技术中视频火情监测技术的准确度较低的技术问题，从而实现了提高视频火情监测的准确度和效率的技术效果。
14.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
15.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的一种基于视频的火情监测方法的流程图；
图2为本发明实施例提供的一种基于视频的火情监测装置的示意图；图3为本发明实施例提供的一种电子设备的示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.实施例一：根据本发明实施例，提供了一种基于视频的火情监测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
20.图1是根据本发明实施例的一种火情监测的流程图，如图1所示，该方法包括如下步骤：步骤s102，获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；步骤s104，利用yolo
‑
v4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；步骤s106，对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；步骤s108，基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果。
21.在本发明实施例中，通过获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用yolo
‑
v4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，达到了高效准确的进行视频火情监测的目的，进而解决了现有技术中视频火情监测技术的准确度较低的技术问题，从而实现了提高视频火情监测的准确度和效率的技术效果。
22.在本发明实施例中，步骤s102包括如下步骤：步骤s11，将所述流媒体数据转化为多帧图片数据；步骤s12，对所述多帧图片数据进行均值滤波处理，得到所述目标图片。
23.在本发明实施例中，一般获取到的流媒体数据为rtsp/rtmp流媒体，按帧将流媒体数据转化为多帧图片数据，最后，使用均值滤波处理对多帧图片数据进行降噪得到目标图片。
24.需要说明的是，在得到目标图片之后，所述方法还包括如下：确定目标图片数据中的目标区域，其中，所述目标图片数据为所述多帧图片数据中的任意一帧图片数据，所述目标区域为所述目标图片数据中的任意一个区域；
若所述目标图片数据相邻的两帧图片数据中的目标区域存在火情或烟雾，且所述目标图片数据的目标区域不存在火情或烟雾，则构建所述目标区域的边界框；目标区域的边界框为其中，表示边界框左上点和右下点的坐标，cur表示当前帧，pre表示前一帧，next表示下一帧。
25.若所述目标图片数据相邻的两帧图片数据中的目标区域不存在火情或烟雾，且所述目标图片数据的目标区域存在火情或烟雾，则将所述目标区域对应的边界框标记为火情误判。
26.在本发明实施例中，步骤s104包括如下步骤：步骤s21，对所述目标图片进行图像均衡化处理，得到处理后的目标图片；步骤s22，利用yolo
‑
v4算法对所述处理后的目标图片进行分割，得到所述目标图片的边界框。
27.具体的，步骤s21包括如下步骤：步骤s211，将所述目标图片从rgb模式图片转换为ycbcr模式图片；步骤s212，对所述ycbcr模式图片进行亮度均衡化处理，得到所述处理后的ycbcr模式图片；步骤s213，将所述处理后的ycbcr模式图片转换为rgb模式图片，得到所述处理后的目标图片。
28.在本发明实施例中，把目标图片从rgb模式转为ycbcr模式，对亮度分量进行均衡化处理，再转换回rgb模式：其中，y是ycbcr模式亮度通道，cb是ycbcr模式蓝色分量，cr是ycbcr模式红色分量，r是rgb模式红通道，g是rgb模式绿通道，b是rgb模式蓝通道。
29.亮度均衡化的步骤为：确定图像灰度级别为2
n
，n表示图像的位深度，灰度级记为r
k
，取值为[0，r
k
‑1]；计算亮度分量的原始直方图分布概率，也就是统计每一个灰度r
k
在整个图像中像素个数的占比，总和为1，计算公式如下：其中，p
r
为原始直方图概率分布，r
k
为各灰度级，k代表不同的灰度值，n为所有像素个数，n
k
为当前灰度级的像素个数；计算直方图概率累计值，计算公式如下：
其中，为直方图概率累计值，k代表不同的灰度值，为灰度级j的像素个数；取整扩展，根据公式求取像素映射关系，公式如下：其中，n表示图像的位深度，为直方图概率累计值，int为取整，为映射后第k灰度级所对应的均衡化图像中的灰度级；灰度映射，根据映射对应关系计算均衡化直方图，并将均衡化直方图确定为处理后的ycbcr模式图片。
[0030]
接着，将处理后的ycbcr模式图片转换为rgb模式图片，得到处理后的目标图片。
[0031]
然后，处理后的目标图片输入yolo
‑
v4网络进行图像分割，得到目标图片的边界框。
[0032]
具体的，yolo
‑
v4网络采用mosaic数据增强，利用了四张图片拼接变为一张新的图片，然后将拼接好了的图片传入到神经网络中去学习，可以丰富检测物体的背景，且在bn计算的时候一下子会计算四张图片的数据，使得mini
‑
batch大小不需要很大；对标签真值编码采取label smoothing平滑处理，公示如下：其中，，的类别总个数；评价指标使用ciou，公式如下：其中，,分别代表了预测框和真实框的中心点，且代表的是计算两个中心点间的欧式距离。c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。是权重函数，用来度量长宽比的相似，其定义如下：。
[0033]
在本发明施例中，步骤s106包括如下步骤：步骤s31，确定出所述烟雾边界框内的图片的烟雾区域与所述烟雾边界框内的图片之间的第一比值；步骤s32，根据所述比值，确定出目标烟雾边界框，其中，所述目标烟雾边界框为所述比值大于第一预设阈值的烟雾边界框；步骤s33，对所述目标烟雾边界框内的图片和所述火情边界框内的图片进行超像素分割，得到所述超像素分片；步骤s34，对所述超像素分片进行分类，确定出目标超像素分片，其中，所述目标超像素分片为烟火像素分片；步骤s35，基于所述目标超像素分片，确定出所述目标烟雾边界框内的图片和所述
火情边界框内的图片中的目标边界框，其中，所述目标边界框为所述目标烟雾边界框内的图片与所述目标烟雾边界框内的图片的超像素片之间的比值大于第二预设比值的目标烟雾边界框，和，所述火情边界框内的图片与所述火情边界框内的图片的超像素片之间的比值大于第三预设比值的目标火情边界框；步骤s36，将所述目标边界框确定为所述初始火情监测结果。
[0034]
在本发明实施例中，确定出yolo
‑
v4算法烟雾边界框内的图片的烟雾区域与yolo
‑
v4算法烟雾边界框内的图片之间的第一比值，将比值大于第一预设阈值的烟雾边界框确定为目标烟雾边界框。
[0035]
具体的，将烟雾边界框内的图片由rgb模式转换为his颜色空间，并提取烟雾区域。
[0036]
根据烟雾偏灰的特性，进行烟雾颜色检验时一个重要的判据是rgb三通道颜色较为接近，像素点的his颜色空间的i分量和s分量能够实现对像素点灰色程度的筛选。模型建立如下：其中，r是rgb模式红通道，g是rgb模式绿通道，b是rgb模式蓝通道，a为rgb颜色空间的控制阈值，k为亮度i分量的控制阈值。
[0037]
然后，利用超像素分割进行图像的分割，再对分割得到的超像素片进行类别判识。具体过滤流程是对每一个边界框进行超像素分割，然后对每一个超像素片进行分类。若这个边界框中烟火超像素片的占比过小，则将其过滤。
[0038]
其中，超像素分割采用一种减小搜索范围的k
‑
means来高效的形成超像素：在原始图像上按等距离l选取k个初始聚类中心，其中l=，n为原始图像的像素点个数；为了防止把边界点或者奇异点设置为聚类中心，需要把聚类中心调节到原聚类中心周围3*3像素点中梯度值最小的像素点；在每个聚类中心周围2l*2l的像素点区域内进行聚类，注意这里的聚类准则涉及到像素点与聚类中心之间的距离以及两者的亮度特征；在得到的新聚类上，选取每一类中所有像素点的位置以及亮度特征的均值作为新聚类中心的位置与亮度特征；如果新聚类中心与上一次聚类中心的特征信息的差异小于设定的阈值，得到超像素。在火情识别中，实际上执行了一步降维，将样本空间从像素降到了超像素。
[0039]
在超像素分割的基础上，再接一个分类模型，可以得到研究区域每一个超像素片的类别。
[0040]
其主干结构是inceptionv4，头部是一个softmax函数用于多分类预测。这样就既可以得到图像每个超像素的标签，进而所有像素的标签，实现烟火区域分割，进而确定出目标边界框。
[0041]
最后，对初始火情识别结果（即，目标边界框）构建外接矩形，从而产生烟火范围的2d矩形框，在流媒体数据上叠加矩形框，最后输出目标火情监测结果。
[0042]
本发明实施例中对图像进行均衡化等预处理，分割时使用的参数更为稳定，识别精度也就更加稳定准确，满足多场景的使用；合yolo
‑
v4目标检测框架，兼具速度和精度；对目标检测的边界框进行过滤后处理，提升监测的精确度，满足现实中复杂场景的要求。
[0043]
实施例二：本发明实施例还提供了一种基于视频的火情监测装置，该基于视频的火情监测装置用于执行本发明实施例上述内容所提供的基于视频的火情监测方法，以下是本发明实施例提供的基于视频的火情监测装置的具体介绍。
[0044]
如图2所示，图2为上述基于视频的火情监测装置的示意图，该基于视频的火情监测装置包括：获取单元10，确定单元20，处理单元30和构建单元40。
[0045]
所述获取单元10，用于获取视频摄像头的流媒体数据，并对所述流媒体数据进行预处理，得到目标图片；所述确定单元20，用于利用yolo
‑
v4算法对所述目标图片进行检测，确定出所述目标图片的边界框，其中，所述边界框包括：火情边界框和烟雾边界框；所述处理单元30，用于对所述边界框内的图片进行超像素分割，得到超像素分片，并对所述超像素分片进行分类，得到初始火情监测结果；所述构建单元40，用于基于所述初始火情监测结果构建外接矩形框，并将所述外接矩形框叠加在所述流媒体数据上，得到目标火情监测结果。
[0046]
在本发明实施例中，通过获取视频摄像头的流媒体数据，并对流媒体数据进行预处理，得到目标图片；利用yolo
‑
v4算法对目标图片进行检测，确定出目标图片的边界框，其中，边界框包括：火情边界框和烟雾边界框；对边界框内的图片进行超像素分割，得到超像素分片，并对超像素分片进行分类，得到初始火情监测结果；基于初始火情监测结果构建外接矩形框，并将外接矩形框叠加在流媒体数据上，得到目标火情监测结果，达到了高效准确的进行视频火情监测的目的，进而解决了现有技术中视频火情监测技术的准确度较低的技术问题，从而实现了提高视频火情监测的准确度和效率的技术效果。
[0047]
实施例三：本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0048]
参见图3，本发明实施例还提供一种电子设备100，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
[0049]
其中，存储器51可能包含高速随机存取存储器（ram，random access memory），也可能还包括非不稳定的存储器（non
‑
volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通
信连接，可以使用互联网，广域网，本地网，城域网等。
[0050]
总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0051]
其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
[0052]
处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field
‑
programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
[0053]
实施例四：本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
[0054]
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0055]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0056]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0057]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0058]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0059]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。