一种基于时空域双通道火灾视频烟雾识别方法

技术特征：
1.一种基于时空域双通道火灾视频烟雾识别方法，其特征在于，其步骤如下：步骤一：收集并制作含有云、雾干扰图像和视频的烟雾数据集；步骤二：搭建静态特征提取网络和动态特征提取网络，对静态特征提取网络和动态特征提取网络进行融合连接，构建视频烟雾识别网络模型；步骤三：利用步骤一中的烟雾数据集对步骤二构建的视频烟雾识别网络模型进行训练，得到优化后的视频烟雾识别网络模型；步骤四：利用优化后的视频烟雾识别网络模型对实时采集的烟雾视频进行处理，静态特征提取网络提取图像空间域上的静态特征，动态特征提取网络提取视频序列在时间域上的动态特征，并将静态特征和动态特征进行融合生成烟雾特征，对烟雾特征进行识别，判断是否存在烟雾，如果存在烟雾则进行报警。2.根据权利要求1所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述步骤一中的烟雾数据集包含森林、田野、室内、操场、工地、城市、公路场景下的烟雾图像或视频，烟雾数据集是包含多种正样本、负样本的图像和视频。3.根据权利要求1或2所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述视频烟雾识别网络模型包括并联连接的静态特征提取网络和动态特征提取网络，静态特征提取网络和动态特征提取网络均与融合组件相连接，融合组件与全连接单元相连接；所述融合组件采用自适应融合方法，利用神经网络的学习能力，为融合特征重新分配权值。4.根据权利要求3所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述融合组件包括特征融合单元，特征融合单元将静态特征提取网络提取的静态特征和动态特征提取网络提取的动态特征组合：采用3d全局平均池化得到一组1
×
(n k)的特征向量i，特征向量经过重组转化为的特征矩阵i，特征矩阵i通过卷积处理得到权值矩阵ii，将的特征矩阵ii转换为1
×
(n k)的权值向量ii；将权值向量ii和对应的静态特征和动态特征相乘得到融合后的特征，输入全连接单元的全连接层。5.根据权利要求4所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述视频烟雾识别网络模型的融合方法为其中，参数和经过反向传播自主学习得到，f
st
和f
dy
分别表示用于融合的静态特征和动态特征，为融合后的特征。6.根据权利要求3-5中任一项所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述静态特征提取网络是基于残差注意力模块搭建的；所述静态特征提取网络依次连接12个残差注意力模块，且每两个2个残差注意力模块后连接1个池化层；所示残差注意力块均采用3
×
3大小的卷积核，步长为1；池化层均采用大小为2
×
2的最大池化且步长为2；所述静态特征提取网络采用relu非线性非饱和激活函数。7.根据权利要求6所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述残差注意力块包括通道注意力单元、空间注意力单元和残差结构，输入特征图x经过主干分支中的卷积运算传送至通道注意力单元，然后经过通道注意力单元处理得到的特征图传送至空间注意力单元，空间注意力单元处理得到特征图特征图是重新分配权值后的特征图，特征图与跳跃分支中的输入特征图x相加得到输出特征图
8.根据权利要求3-5、7中任一项所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述动态特征提取网络为权值3d卷积神经网络，且动态特征提取网络包括特征提取模块和注意力模块，特征提取模块包括至少两个依次连接的特征提取单元，每个特征提取单元包括依次连接的3d卷积层和池化层；特征提取模块处理后的特征图经过卷积运算分别得到特征图f＝{f1,f2,...,f
k
}和注意力图a＝{a1,a2,...,a
k
}，注意力图a＝{a1,a2,...,a
k
}中的特征a
k
作为权重和特征图f＝{f1,f2,...,f
k
}中的特征f
k
依次相乘，得到动态特征且9.根据权利要求8所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，所述动态特征提取网络的特征提取模块包括5个特征提取单元，特征提取单元中的3d卷积层均采用大小为3
×3×
3的3d卷积核，步长stride为1
×1×
1，填充属性padding＝1；池化层ii为2
×2×
2的3d最大池化。

技术总结
本发明提出了一种基于时空域双通道火灾视频烟雾识别方法，其步骤为：收集并制作含有云、雾干扰的烟雾数据集；搭建静态特征提取网络和动态特征提取网络，将静态特征提取网络和动态特征提取网络融合连接，构建视频烟雾识别网络模型；利用烟雾数据集对视频烟雾识别网络模型进行训练，得到优化后的视频烟雾识别网络模型；利用优化后的网络模型对实时采集的烟雾视频进行处理，静态特征提取网络提取图像在空间域上的静态特征，动态特征提取网络提取视频在时间域上的动态特征，将静态特征和动态特征进行融合生成烟雾特征，对烟雾特征进行识别判断是否存在烟雾。本发明具有更高的准确率和召回率，更低的误报率，能够对烟雾进行实时有效地识别和预警。地识别和预警。地识别和预警。


技术研发人员：郑远攀 王振宇 许博阳 牛依青 高宇飞
受保护的技术使用者：郑州轻工业大学
技术研发日：2022.03.07
技术公布日：2022/6/4