一种端到端三维卷积目标检测网络的视频烟雾检测方法

1.本发明涉及视频火灾探测和深度学习领域，具体涉及一种基于端到端三维卷积目标检测网络的视频烟雾检测方法及系统。


背景技术：

2.目前使用深度学习方法进行视频烟雾探测的研究主要有以下四种类型：(1)分别对每个视频帧进行独立的检测，利用较高的检测速度实现实时检测的效果，这种方式完全没有利用连续视频帧之间蕴含的时序信息，因此不可避免的存在严重的漏报与误报。(2)使用传统的运动检测算法提取运动区域，再利用dcnn对运动区域进行检测，这种方式仅仅利用了浅层的时序信息，虽然能排除部分静止物体造成的误报，但对于运动物体的干扰或漏报无能为力。(3)首先对每个视频帧进行独立的检测，当检测到疑似目标时再利用时序网络进行判断，这种方式虽然提取到了有效的深层动态特征，但其作用仅仅是对目标检测网络检测结果的校验，可以排除误报，但对于漏报束手无策。此外这种算法并非端到端的形式，因此运行速度往往较慢。(4)利用时序网络构造针对视频片段的分类器，这种方式可以充分提取视频中包含的运动特征与静态特征，但是这些特征仅仅用来进行分类，没有对烟雾目标进行定位。因此，如何有效地提取出烟雾的静态和动态特征，提高烟雾检测的可靠性成为一个亟待解决的问题。


技术实现要素：

3.为了解决上述技术问题，本发明提供一种基于端到端三维卷积目标检测网络的视频烟雾检测方法及系统。
4.本发明技术解决方案为：一种基于端到端三维卷积目标检测网络的视频烟雾检测方法，包括：
5.步骤s1：从多个烟雾视频中获取视频帧并进行分组，构建视频帧序列，对其进行数据增强，构建增强数据集；
6.步骤s2：将所述增强数据集输入三维卷积烟雾检测网络，所述烟雾检测网络包括：三维卷积层、跨阶段局部残差网络模块、金字塔池化模块、路径聚合网络模块和张量解码器；输出烟雾识别结果以及定位。
7.本发明与现有技术相比，具有以下优点：
8.本发明公开了一种基于端到端三维卷积目标检测网络的视频烟雾检测方法，能够有效地提取出烟雾的静态和动态特征，动态特征与静态特征的结合可以有效提高视频烟雾检测算法的可靠性，从而准确地识别和定位视频帧中的烟雾。该方法可应用在视频火灾探测领域，具有较高的应用价值，提供了解决困扰目前视频火灾探测存在的高误报率问题的新方法。
附图说明
9.图1为本发明实施例中一种基于端到端三维卷积目标检测网络的视频烟雾检测方法的流程图；
10.图2为本发明实施例中一种基于端到端三维卷积目标检测网络结构示意图；
11.图3为本发明实施例中跨阶段局部残差网络模块结构示意图；
12.图4为本发明实施例中一种基于端到端三维卷积目标检测网络的视频烟雾检测系统的结构框图。
具体实施方式
13.本发明提供了一种基于端到端三维卷积目标检测网络的视频烟雾检测方法，能够有效地提取出烟雾的静态和动态特征，动态特征与静态特征的结合可以有效提高视频烟雾检测算法的可靠性，从而准确地识别和定位视频帧中的烟雾。
14.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
15.实施例一
16.如图1所示，本发明实施例提供的一种基于端到端三维卷积目标检测网络的视频烟雾检测方法，包括下述步骤：
17.步骤s1：从多个烟雾视频中获取视频帧并进行分组，构建视频帧序列，对其进行数据增强，构建增强数据集；
18.步骤s2：将增强数据集输入三维卷积烟雾检测网络，烟雾检测网络包括：三维卷积层、跨阶段局部残差网络模块、金字塔池化模块、路径聚合网络模块和张量解码器；输出烟雾识别结果以及定位。
19.在一个实施例中，步骤s1：从多个烟雾视频中获取视频帧并进行分组，构建视频帧序列，对其进行数据增强，构建增强数据集，具体包括：
20.步骤s11：获取多个烟雾视频，每隔固定帧提取图像，每提取100张图像构建一个视频帧序列，对其中每张包含烟雾的图像进行标记；
21.本发明实施例从已公开的火灾烟雾视频图像数据库中获取44段满足要求的视频，其中32段视频具有烟雾用于制作正样本，12段视频没有烟雾用于制作负样本。此外，还拍摄了28段视频作为补充，其中21段视频具有烟雾，7段视频为背景及行人等干扰物。以上视频中包含了室内、室外近距离及室外远距离这三种场景。
22.从上述视频中按每秒3帧的固定间隔提取图像，每100张图片为一个视频帧序列，最终得到147个视频帧序列，共14700张图片。其中，正样本有115个视频帧序列，负样本有32个视频帧序列。其中每一张正样本均有对应的标记文件，标记文件由labelimg软件制作。本发明实施例随机选取其中132个视频序列，共13200张图片作为训练集，剩下15个序列作为验证集。
23.步骤s12：生成两个随机数a和b，令0《a《132，0《b《89，令i＝a
×
100 b；从数据集中第i张图片，即第a个视频帧序列的第b张图片开始提取12张连续的图像，得到新的视频帧序列；
24.由于后续进行网络训练时需要连续读取12张图片输入网络，为了保证每次读取的
12张图片均来自同一视频序列，本发明实施例设计了一个视频序列的读取规则。当读取训练数据时，首先生成两个随机整数a和b，其中a的取值范围在0至132之间，b的取值范围在0至89之间，令变量i等于a
×
100 b，接下来便从第i张图片进行读取，顺序读取12张图片。图片读取完成后，将最后一张图片对应的标记文件读取进来作为本次训练的标签计算loss值。读取验证数据时也采用同样的规则，a的取值范围变为0至15。
25.步骤s13：选取4个新的视频帧序列，对其中图像进行增强变换后，依次将4个视频帧序列中图像按相同的方式进行缩小拼接，得到一个增强视频帧序列，由此构建增强数据集；增强变换包括：翻转、裁剪、尺寸变换、平移变换与色域扭曲。
26.常用于目标检测的数据增强方法有图像翻转、裁剪、尺寸变换、平移变换、旋转变换、色域扭曲等。现有的数据增强算法是将每张图片做随机变换后输入神经网络进行训练，然而当训练样本为视频序列时，应保证序列中的每张图片进行相同的变换，因此现有的数据增强算法不能直接用于本发明。
27.本发明实施例针对烟雾的视频帧序列的设计了一种数据增强算法，该算法包含了图像翻转、裁剪、尺寸变换、平移变换与色域扭曲的功能，由于烟雾的运动有一定的方向性，因此本发明实施例不包括旋转变换。此外，由于本发明实施例的烟雾检测网络是以连续多张视频帧序列作为输入，计算设备压力较大，因此难以进行批次训练，导致训练周期较常且模型鲁棒性欠佳。为了解决这一问题，本发明设计的数据增强算法可以一次处理四个视频帧序列，当四个序列分别进行变换后，再依次将四个序列中的图片按相同的方式进行缩小拼接，最后形成一个新的序列。这种方法可以使每次迭代训练计算四张图片的数据，丰富检测物体的背景。此外拼接后的图像中包含了缩小后的烟雾目标，这些图像将提高检测模型对小目标的敏感性，使之更适用于早期火灾探测。
28.在一个实施例中，如图2所示的三维卷积烟雾检测网络的结构示意图，上述步骤s2：将增强数据集输入三维卷积烟雾检测网络，烟雾检测网络包括：三维卷积层、跨阶段局部残差网络模块、金字塔池化模块、路径聚合网络模块和张量解码器；输出烟雾识别结果以及定位，具体包括：
29.步骤s21：三维卷积层包括4个三维卷积层，输入为12
×
416
×
416
×
3，其中12为一个增强视频帧序列中的12张图像，416
×
416为图像大小，3为图像的rgb通道，每经过一个三维卷积层，长与宽均缩小一半，输出为1
×
52
×
52
×
128；
30.步骤s22：跨阶段局部残差网络模块由11个二维深度可分离卷积串联构成，将三维卷积层的输出，选取52
×
52，26
×
26，13
×
13三个尺度进行输出解码；
31.如图3所示的跨阶段局部残差网络模块结构示意图，本发明实施例引入了残差结构与跨阶段局部网络结构，残差结构用以解决网络过深时出现的梯度消失的问题，跨阶段局部网络结构可以加强网络的学习能力。为了使三维卷积烟雾检测网络能够有效检测出不同大小的烟雾目标，本发明实施例选取52
×
52，26
×
26，13
×
13这三个尺度进行输出。
32.步骤s23：金字塔池化模块分别对应跨阶段局部残差网络模块的3个输出进行强化区域特征处理；
33.步骤s24：将金字塔池化模块的输出经由路径聚合网络模块进行各尺度之间的特征融合，得到3个大小为52
×
52
×
18，26
×
26
×
18，13
×
13
×
18的特征张量；
34.本发明实施例采用路径聚合网络进行各尺度之间的特征融合，对小尺度特征张量
进行上采样依次与中尺度及大尺度特征张量进行融合，然后对大尺度特征进行下采样依次与中尺度及小尺度特征张量进行融合，以此来缩短信息路径并利用大尺度特征张量中存在的精确定位信号来增强特征金字塔。
35.步骤s25：将3个特征张量分别输入对应的张量解码器进行解码，最终输出烟雾识别结果以及定位。
36.将路径聚合网络模块得到三个大小为52
×
52
×
18，26
×
26
×
18，13
×
13
×
18的特征张量，分别输入对应的yolo_head中进行张量解码，获取烟雾识别结果以及定位。yolo_head的工作原理如下，以大小为52
×
52
×
18的张量为例：首先将原图片划分为52
×
52的网格，每个单元格会预测3个潜在的目标，每个目标对应6个参数，分别为4个边界框参数、1个置信度以及1个类别概率值。
37.本发明公开了一种基于端到端三维卷积目标检测网络的视频烟雾检测方法，能够有效地提取出烟雾的静态和动态特征，动态特征与静态特征的结合可以有效提高视频烟雾检测算法的可靠性，从而准确地识别和定位视频帧中的烟雾。该方法可应用在视频火灾探测领域，具有较高的应用价值，提供了解决困扰目前视频火灾探测存在的高误报率问题的新方法。
38.实施例二
39.如图4所示，本发明实施例提供了一种基于端到端三维卷积目标检测网络的视频烟雾检测系统，包括下述模块：
40.数据集构建模块31，从多个烟雾视频中获取视频帧并进行分组，构建视频帧序列，对其进行数据增强，构建增强数据集；
41.检测网络构建及训练模块32，用于将增强数据集输入三维卷积烟雾检测网络，烟雾检测网络包括：三维卷积层、跨阶段局部残差网络模块、金字塔池化模块、路径聚合网络模块和张量解码器；输出烟雾识别结果以及定位。
42.提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。