基于轻量化深度学习的典型极端火高精度识别方法

1.本发明涉及计算机视觉辨识技术领域，具体涉及一种基于轻量化深度学习的典型极端火高精度识别方法。


背景技术：

2.典型极端火往往比常规火灾造成的危害更为巨大，极端火行为是在特大型地表火在特定地形、可燃物及风场突变的情况下所产生的一种林火行为，其主要表现为树冠火(crown fire)、火旋风(fire whirl)、狂燃火(conflagration)、火暴(fire storm)、飞火(spot fire)、火焰融合(fire merging)、爆发火(eruptive fire)、跳跃火(jump fire)。典型极端火具有极不稳定、危险性高、扑救难度大等特点，例如：多向凹型火线蔓延的地表火行为会形成岛状合围，火旋风内部火焰温度可达1000多度，树冠火在强风下推进速度可达30公里每秒。这些典型极端火都往往不仅会对消防救援人员扑救难度带来巨大挑战，更会对消防救援人员本身的生命安全带来重大威胁。一方面，森林火灾发生地点地况复杂，典型极端火识别设备过大会导致携带不方便，影响森林火灾救援速度，所以不适合使用大型设备仪器进行检测，更适合使用可以搭载轻量化模型的便携式设备。另一方面，由于典型极端火的突发性和高危险性，消防人员人眼观察火场往往会因反映速度慢、视野受限大而无法精准辨别火灾情况，置身于极端火灾危险之中，必须找出一种搭载于设备机器的辅助完成典型极端火预警的方法。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于轻量化深度学习的典型极端火高精度识别方法，实现对典型极端火火灾现场进行实时分辨识和定位。
4.为实现上述目的，本发明采用如下技术方案：
5.一种基于轻量化深度学习的典型极端火高精度识别方法，包括以下步骤：
6.步骤s1:获取典型极端火图像；
7.步骤s2：对典型极端火图像进行极端火类型和极端火位置标注，生成典型极端火数据集，并预处理，得到训练数据集；
8.步骤s3：对轻量型网络结构mobilenetv3-small中bottleneck结构里的se注意力机制模块改进为ca注意力机制，构建mobilenetv3-small-ca网络结构；
9.步骤s4：基于yolov5网络模型的主干特征提取网络进行改进，引入mobilenetv3-small-ca网络结构，基于训练数据集对改进yolov5网络模型进行训练；
10.步骤s5：利用训练后的改进yolov5网络模型对典型极端火数据集进行辨识检测。
11.进一步的，所述步骤s1，具体为：通过网络获取、利用基于物理的三维模拟仿真装置进行图像渲染和极端火实验装置进行实验中高速相机视频图像捕捉，获取典型极端火图像。
12.进一步的，所述预处理包括对数据集进行转、翻转、颜色改变、裁剪、噪声处理、模
糊处理和关键点扭曲的数据增强处理。
13.进一步的，所述ca注意力机制包括坐标信息嵌入(coordinate information embedding)和坐标注意力生成(coordinate attention generation)两个步骤。
14.进一步的，所述坐标信息嵌入(coordinate information embedding)，给定输入x，使用池核的两个空间范围(h，1)或(1，w)分别沿水平坐标和垂直坐标对每个通道进行编码，高度为h的第c个通道的输出表示为：
[0015][0016]
类似地，第c个通道宽度为w的输出表示为：
[0017][0018]
使用上面两个公式变换，从两个方向将特征进行了聚合，产生了一对具有方向感知的特征图；
[0019]
对于坐标注意力生成(coordinate attention generation)，对上面两个变换进行concatenate操作然后使用1
×
1卷积变换函数f1对其进行变换操作：
[0020]
f＝δ(f1([zh,zw]))
[0021]
其中[
·
,
·
]是沿着空间维数进行concatenate操作，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射；
[0022]
然后沿着空间维数将f分解为2个单独的张量f h
∈r
c/r
×h和f w
∈r
c/r
×w，r是用来控制se block大小的缩减率；
[0023]
利用另外2个1
×
1卷积变换fh和fw分别将fh和fw变换为具有相同通道数的张量到输入，得到输入特征图在高度方向的注意力权重gh和在宽度方向的注意力权重gw:
[0024]gh
＝σ(fh(fh))
[0025]gw
＝σ(fw(fw))
[0026]
其中σ是sigmoid激活函数，最后，coordinate attention block的输出y写成：
[0027][0028]
进一步的，所述步骤s4具体为：基于yolov5网络模型的主干特征提取网络进行改进，引入mobilenetv3-small-ca网络结构替换原yolov5网络模型中的backbone部分，并在backbone下一层使用sppf替换掉spp。
[0029]
进一步的，所述改进yolov5网络模型使用对位置的损失函数ciou，ciou的计算公式如下：
[0030][0031]
其中ρ2(b,b
gt
)分别代表了预测框和真实框的中心点的欧氏距离，c代表的是能同时包含预测框和真实框的最小闭包区域的对角线距离。
[0032]
本发明与现有技术相比具有以下有益效果：
[0033]
本发明在轻量化网络结构mobilenetv3-small中用ca注意力机制代替了se机制，进而改进yolov5网络模型的主干特征提取网络，使得模型考虑到通道间信息和方向空间信息，计算量小的同时也可以实时精准的辨别和定位典型极端火。
附图说明
[0034]
图1是本发明的方法流程图；
[0035]
图2是本发明一实施例中本分典型极端火数据集；
[0036]
图3是本发明一实施例中嵌入的ca注意力机制图；
[0037]
图4为本发明一实施例中部分典型极端火检测结果图。
具体实施方式
[0038]
下面结合附图及实施例对本发明做进一步说明。
[0039]
请参照图1，本发明提供一种基于轻量化深度学习的典型极端火高精度识别方法，包括以下步骤：
[0040]
步骤s1：获取常规火焰、典型极端火图像，获取典型极端火图像主要来源于网络获取与视频分帧转化、利用基于物理的三维模拟仿真装置进行图像渲染和极端火实验装置进行实验中高速相机视频图像捕捉。所获取的图像的内容为典型极端火及其背景信息。
[0041]
步骤s2：对所获取的典型极端火图像进行极端火类型和极端火位置标注具体是采用labelimg软件对获取的典型极端火图像进行典型极端火类别和典型极端火位置标注，生成数据集，所建立的数据集为典型极端火的图像与视频数据集，对数据集的具体划分情况为：对数据集的划分按照训练集：测试集：验证集＝8:1:1的比例进行数据集的划分。
[0042]
在本实施例中，如图2所示，详细划分的典型极端火行为类型具体包括了火旋风、飞火、树冠火和火线融合；原始典型极端火数据样本有816张，数据样本不足，需要对数据集进行预处理和对数据集进行数据增强，如图2所示，为解决数据不平衡问题和数据样本过少问题进行了数据增强，获取了有树冠火1256张、火线合并1441张，火旋风1071张，飞火1200张，总计典型极端火图像4968张，增强数据有以下几种方式随机产生：旋转、翻转、颜色改变、裁剪、噪声处理、模糊处理和关键点扭曲。然后对每张极端火图像标注出典型极端火的类型和位置。
[0043]
步骤s3：对轻量型网络结构mobilenetv3-small中block结构里的se注意力机制模块改进为ca注意力机制，形成
[0044]
mobilenetv3-small-ca网络结构，其中，ca(coordinate attention)注意力机制模块结对于典型极端火图像特征提取的好坏会直接影响到对典型极端火的目标检测结果，ca注意力机制模块相比于se注意力机制不仅考虑到通道信息，也考虑到横向位置信息和纵向位置信息两个方向位置信息，并且ca注意力足够灵活和轻量，使用ca注意力机制会使得模型更关注重要特征。
[0045]
优选的，本实施例中，ca注意力机制通过coordinate information embedding和coordinate attention generation两个步骤来实现。
[0046]
对于coordinate information embedding这一步来说，给定输入x，我们使用池核的两个空间范围(h，1)或(1，w)分别沿水平坐标和垂直坐标对每个通道进行编码。因此，高
度为h的第c个通道的输出可表示为：
[0047][0048]
类似地，有第c个通道宽度为w的输出可表示为：
[0049][0050]
使用上面两个公式变换，从两个方向将特征进行了聚合，产生了一对具有方向感知的特征图。
[0051]
对于coordinate attention generation，对上面两个变换进行concatenate操作然后使用1
×
1卷积变换函数f1对其进行变换操作：
[0052]
f＝δ(f1([zh,zw]))
[0053]
其中[
·
,
·
]是沿着空间维数进行concatenate操作δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射。然后沿着空间维数将f分解为2个单独的张量fh∈r
c/r
×h和fw∈r
c/r
×w，r是用来控制se block大小的缩减率。利用另外2个1
×
1卷积变换fh和fw分别将fh和fw变换为具有相同通道数的张量到输入。得到输入特征图在高度方向的注意力权重gh和在宽度方向的注意力权重gw:
[0054]gh
＝σ(fh(fh))
[0055]gw
＝σ(fw(fw))
[0056]
其中σ是sigmoid激活函数。最后，coordinate attention block的输出y可以写成：
[0057][0058]
如图3所示，将mobilenetv3-small block部分中在dw卷积之后用ca注意力机制模块替换掉原有的se模块，这使得模型既可以满足轻量化的使用又可以实现精确特征提取。
[0059]
步骤s4：构建形成mobilenetv3-small-ca网络结构，基于yolov5网络模型的主干特征提取网络进行改进，引入mobilenetv3-small-ca网络结构替换原yolov5模型中的backbone部分，并在backbone下一层使用sppf替换掉spp获得更快的计算速度。
[0060]
优选的，本实施例中，模型使用对位置的损失函数ciou，ciou的计算公式如下：
[0061][0062]
其中ρ2(b,b
gt
)分别代表了预测框和真实框的中心点的欧氏距离，c代表的是能同时包含预测框和真实框的最小闭包区域的对角线距离。就是在diou的基础上增加了检测框尺度的loss，增加了长和宽的loss，这样预测框就会更加的符合真实框。基于训练集对优化后的改进yolov5网络模型进行训练。
[0063]
步骤s5：标注好典型极端火类别的典型极端火测试集图像或视频输入到训练后的改进的yolov5网络模型之中，在本实施例中检测典型极端火的置信度设置为0.25。如图4所示，最终输出典型极端火检测得分、类别、位置，本实施例中，可以对典型极端火的检测正确
率达到82.5％，位置也框选正确。
[0064]
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。