一种基于改进YOLOv4-tiny的轻量化抗干扰火焰检测方法

一种基于改进yolov4-tiny的轻量化抗干扰火焰检测方法
技术领域
1.本发明属于火焰探测领域，具体为一种基于改进yolov4-tiny的轻量化抗干扰火焰检测方法。


背景技术：

2.火灾一直是需要人们引起关注和警惕的重大灾害，由于其具有诱发因素多样、蔓延快、高爆发等特点，在危害人类生命安全的同时又造成巨大的经济损失，因此，火灾防治成为多学科研究的重要课题。火焰探测作为火灾防治的重要一环，一直都深受研究人员的重视。基于传感器的传统火焰探测技术，例如感温传感器、感烟传感器和感光传感器等都需要通过敏感原件对火焰燃烧过程中的温度、烟雾颗粒和光照强度等参量做出反应。同时将物理信号转为电信号，电信号再传送给火灾报警器[1]。然而无论是哪种参量，都需要一定时间的积累，这期间火灾不受控制。在面临空间大环境的情况下，传感器技术更是显得力不从心[2]。
[0003]
随着数字图像技术和计算机视觉的发展，出现了基于视觉的火灾检测技术。其大致分为两个阶段，传统的基于视觉的方法依赖于手工特征的设计，例如对火焰颜色[3，4]，纹理[5]等特征进行提取。不仅如此，随着时间推移，火焰在时间上的质心运动也可以作为加强判断依据[6]。然而现实中，火灾类型和场景复杂，不确定因素众多，依赖于人工算法提取特征泛化性不强[7]。
[0004]
近年来，随着深度学习的发展，使得卷积神经网络成为特征提取的主流，基于深度学习的火焰检测可分为基于图像分类网络的识别方法和基于目标检测网络的定位方法。在分类任务中只需辨别场景中是否有火焰存在，常常被作为一个二分类问题。例如使用mobilenet[8]，densenet[9],inception[10],vgg16和resnet50[11]等作为基础网络来训练火焰数据集。这些方法在速度和准确率上都达到了一个较好的水平。但其无法定位火焰的确切位置，通过目标检测方法可以很好地解决这一问题。目标检测方法可大致上被分为两阶段目标检测方法和一阶段目标检测方法。两阶段的代表性方法faster-rcnn,其在火焰检测的准确率上取得了不错的成绩[12]，但是时间消耗较大。li[7]等人对faster-rcnn、r-fcn、ssd和yolov3上进行火焰检测的性能对比，发现yolov3是更加合适的选择。为了进一步提升检测速度，研究人员开始选择轻量化的路线，更加轻量的yolo网络[13，14]受到青睐。上述方法均是基于单张图像的检测，检测过程相对独立，为了利用火焰随时间变化的特点，xie[15]等人提出一种视频火焰探测方法，融合了火焰随时间变化的闪烁特征与单张图像深层的静态特征，以达到检测更准确的目的。这种方式确实在准确度上有所贡献，但是多张序列图像闪烁特征的提取依赖于手工设计，面对复杂场景依然存在挑战。
[0005]
在火焰检测中，往往存在光照、太阳、晚霞等类火目标造成的干扰。对于火焰检测干扰因素的解决方案主要有两种，一种是图像预处理方法，通过预处理，使图像的亮度、对比度等指标性能得到一定平衡，从而提升检测的正确率。另一种是在卷积神经网络中使用注意力机制、多尺度特征融合或者其他方法来提高特征提取质量。
[0006]
在图像预处理方面，huang等[16]对分帧图像序列进行去噪，滤波，提取可疑火焰区域的静态特征和动态特征，随后基于改进的支持向量机利用融合特征进行分类，然而这种方式时间代价太大。sun等[17]提出双网络来解决灯光等类火目标对火焰检测的干扰，待检测图像先经过yolov3中对类火目标进行检测，将类火目标掩膜后送入inceptionv4网络中进行分类预测。虽然提高了准确率，但是双网络在速度上的影响是显然的，并且准确率依赖于yolov3对类火目标检测的精确度。wang等[18]提出一种rgb-his颜色模型，用于室内环境提取图像的火焰区域，与一般的颜色提取模型相比增加了火焰饱和度阈值用于抗干扰。图像预处理的方法在一定程度上起到了抗干扰的作用，但是在面对复杂环境下，预处理方法泛化性不强，同时时间消耗较大。
[0007]
在特征提取方面，muhammad等[19]提出一种特征图选择算法，可以从训练过程中智能地选择对火敏感的特征图。这些特征图能够用来进行更精确的火焰分割。同时通过进一步分析，也可以评估火灾的基本特征。高质量的特征信息对抗干扰火焰识别有着一定程度的帮助。shen等[20]提出一种轻量化网络模型lfnet用来进行烟火检测，该模型不仅对多尺度特征进行融合，还加入通道注意力机制，通过这种方式来增强模型在不确定环境因素下的抗干扰能力。
[0008]
[1]@article{8022860,author＝{yin,zhijian and wan,boyang and yuan,feiniu and xia,xue and shi,jinting},journal＝{ieee access},title＝{a deep normalization and convolutional neural network for image smoke detection},year＝{2017},volume＝{5},number＝{},pages＝{18429-18438},doi＝{10.1109/access.2017.2747399}}
[0009]
[2]jia y,chen w,yang m,et al.video smoke detection with domain knowledge and transfer learning from deep convolutional neural networks[j].optik-international journal for light and electron optics,2021,240(8):166947.
[0010]
[3]bakri n s,adnan r,samad a m,et al.a methodology for fire detection using colour pixel classification[c]//ieee international colloquium on signal processing&its applications.ieee,2018.@inproceedings{8368692,author＝{bakri,nurul shakira and adnan,ramli and samad,abd manan and ruslan,fazlina ahmat},booktitle＝{2018 ieee 14th international colloquium on signal processing its applications(cspa)},title＝{a methodology for fire detection using colour pixel classification},year＝{2018},volume＝{},number＝{},pages＝{94-98},doi＝{10.1109/cspa.2018.8368692}}
[0011]
[4]zhu x,xu y,chen h,et al.low false reject rate and false accept rate multi-step fire detection method[j].optik-international journal for light and electron optics,2013,124(24):6636-6641.
[0012]
[5]k.dimitropoulos,p.barmpoutis and n.grammalidis,"spatio-temporal flame modeling and dynamic texture analysis for automatic video-based fire detection,"in ieee transactions on circuits and systems for video technology,vol.25,no.2,pp.339-351,feb.2015,doi:10.1109/tcsvt.2014.2339592.@article
{6857396,author＝{dimitropoulos,kosmas and barmpoutis,panagiotis and grammalidis,nikos},journal＝{ieee transactions on circuits and systems for video technology},title＝{spatio-temporal flame modeling and dynamic texture analysis for automatic video-based fire detection},year＝{2015},volume＝{25},number＝{2},pages＝{339-351},doi＝{10.1109/tcsvt.2014.2339592}}
[0013]
[6]wang t,bu l,yang z,et al.a new fire detection method using a multi-expert system based on color dispersion,similarity and centroid motion in indoor environment[j].自动化学报：英文版,2020,7(1):13.@article{8741297,author＝{wang,teng and bu,leping and yang,zhikai and yuan,peng and ouyang,jineng},journal＝{ieee/caa journal of automaticasinica},title＝{a new fire detection method using a multi-expert system based on color dispersion,similarity and centroid motion in indoor environment},year＝{2020},volume＝{7},number＝{1},pages＝{263-275},doi＝{10.1109/jas.2019.1911546}}
[0014]
[7]li p,zhao w.image fire detection algorithms based on convolutional neural networks[j].case studies in thermal engineering,2020,19:100625.
[0015]
[8]muhammad k,khan s,elhoseny m,et al.efficient fire detection for uncertain surveillance environment[j].ieee transactions on industrial informatics,2019:3113-3122.@article{8635329,author＝{muhammad,khan and khan,salman and elhoseny,mohamed and hassan ahmed,syed and wook baik,sung},journal＝{ieee transactions on industrial informatics},title＝{efficient fire detection for uncertain surveillance environment},year＝{2019},volume＝{15},number＝{5},pages＝{3113-3122},doi＝{10.1109/tii.2019.2897594}}
[0016]
[9]li s,yan q,liu p.an efficient fire detection method based on multiscale feature extraction,implicit deep supervision and channel attention mechanism[j].ieee transactions on image processing,2020,pp(99):1-1.@article{9171455,author＝{li,songbin and yan,qiandong and liu,peng},journal＝{ieee transactions on image processing},title＝{an efficient fire detection method based on multiscale feature extraction,implicit deep supervision and channel attention mechanism},year＝{2020},volume＝{29},number＝{},pages＝{8467-8475},doi＝{10.1109/tip.2020.3016431}}
[0017]
[10]a.bari,t.saini and a.kumar,"fire detection using deep transfer learning on surveillance videos,"2021 third international conference on intelligent communication technologies and virtual mobile networks(icicv),2021,pp.1061-1067,doi:10.1109/icicv50876.2021.9388485.@inproceedings{9388485,author＝{bari,abdul and saini,tapas and kumar,anoop},booktitle＝{2021 third international conference on intelligent communication technologies and virtual mobile networks(icicv)},title＝{fire detection using deep transfer learning on surveillance videos},year＝{2021},volume＝{},number＝{},pages＝{1061-1067},doi＝{10.1109/icicv50876.2021.9388485}}
[0018]
[11]sharma j,granmo o c,goodwin m,et al.deep convolutional neural networks for fire detection in images[j].2017.
[0019]
[12]barmpoutisp,dimitropoulos k,kaza k,et al."fire detection from images using faster r-cnn and multidimensional texture analysis"[c]//icassp 2019-2019 ieee international conference on acoustics,speech and signal processing(icassp).ieee,2019.@inproceedings{8682647,author＝{barmpoutis,panagiotis and dimitropoulos,kosmas and kaza,kyriaki and grammalidis,nikos},booktitle＝{icassp 2019-2019 ieee international conference on acoustics,speech and signal processing(icassp)},title＝{fire detection from images using faster r-cnn and multidimensional texture analysis},year＝{2019},volume＝{},number＝{},pages＝{8301-8305},
[0020]
doi＝{10.1109/icassp.2019.8682647}}
[0021]
[13]wang s,chen t,lv x,et al.forest fire detection based on lightweight yolo.@inproceedings{9601362,author＝{wang,shengying and chen,tao and lv,xinyu and zhao,jing and zou,xiaoyan and zhao,xiaoye and xiao,mingxia and wei,haicheng},booktitle＝{2021 33rd chinese control and decision conference(ccdc)},title＝{forest fire detection based on lightweight yolo},year＝{2021},volume＝{},number＝{},pages＝{1560-1565},doi＝{10.1109/ccdc52312.2021.9601362}}
[0022]
[14]kang l w,wang i s,chou k l,et al.image-based real-time fire detection using deep learning with data augmentation for vision-based surveillance applications[c]//2019 16th ieee international conference on advanced video and signal based surveillance(avss).ieee,2019.@inproceedings{8909899,author＝{kang,li-wei and wang,i-shan and chou,ke-lin and chen,shih-yu and chang,chuan-yu},booktitle＝{2019 16th ieee international conference on advanced video and signal based surveillance(avss)},title＝{image-based real-time fire detection using deep learning with data augmentation for vision-based surveillance applications},year＝{2019},volume＝{},number＝{},pages＝{1-4},doi＝{10.1109/avss.2019.8909899}}
[0023]
[15]xie y,zhu j,cao y,et al.efficient video fire detection exploiting motion-flicker-based dynamic features and deep static features[j].ieee access,2020,8:81904-81917.@article{9081979,author＝{xie,yakun and zhu,jun and cao,yungang and zhang,yunhao and feng,dejun and zhang,yuchun and chen,min},journal＝{ieee access},title＝{efficient video fire detection exploiting motion-flicker-based dynamic features and deep static features},year＝{2020},volume＝{8},number＝{},pages＝{81904-81917},doi＝{10.1109/access.2020.2991338}}
[0024]
[16]x huang,du l.fire detection and recognition optimization based on virtual reality video image[j].ieee access,2020,8:77951-77961.@article
{9078090,author＝{huang,xinchu and du,lin},journal＝{ieee access},title＝{fire detection and recognition optimization based on virtual reality video image},year＝{2020},volume＝{8},number＝{},pages＝{77951-77961},doi＝{10.1109/access.2020.2990224}}
[0025]
[17]sun k,zhao q,wang x.using knowledge inference to suppress the lamp disturbance for fire detection[j].journal of safety science and resilience,2021,2(3):124-130.
[0026]
[18]wang t,bu l,yang z,et al.a new fire detection method using a multi-expert system based on color dispersion,similarity and centroid motion in indoor environment[j].ieee/caa journal of automaticasinica.2020,7(1):263-275.@article{8741297,author＝{wang,teng and bu,leping and yang,zhikai and yuan,peng and ouyang,jineng},journal＝{ieee/caa journal of automaticasinica},title＝{a new fire detection method using a multi-expert system based on color dispersion,similarity and centroid motion in indoor environment},year＝{2020},volume＝{7},number＝{1},pages＝{263-275},doi＝{10.1109/jas.2019.1911546}}
[0027]
[19]muhammad k,ahmad j,lv z,et al.efficient deep cnn-based fire detection and localization in video surveillance applications[j].ieee transactions on image processing,2018,29:8467-8475.@article{8385121,author＝{muhammad,khan and ahmad,jamil and lv,zhihan and bellavista,paolo and yang,po and baik,sung wook},journal＝{ieee transactions on systems,man,and cybernetics:systems},title＝{efficient deep cnn-based fire detection and localization in video surveillance applications},year＝{2019},volume＝{49},number＝{7},pages＝{1419-1434},doi＝{10.1109/tsmc.2018.2830099}}
[0028]
[20]shen c,hu j,wang c,et al.lfnet:lightweight fire smoke detection for uncertain surveillance environment[c]//2020 6th international conference on big data and information analytics(bigdia),shenzhen,china,2020:11-17.@inproceedings{9384527,author＝{shen,ce and hu,jinxing and wang,chuansheng and li,donghao},booktitle＝{20206th international conference on big data and information analytics(bigdia)},title＝{lfnet:lightweight fire smoke detection for uncertain surveillance environment},year＝{2020},volume＝{},number＝{},pages＝{11-17},doi＝{10.1109/bigdia51454.2020.00011}}。


技术实现要素：

[0029]
本发明针对火焰检测中存在的外界干扰、快速检测、定位等问题，提出一种基于改进yolov4-tiny的轻量化抗干扰火焰检测方法。首先对yolov4-tiny[21]进行了轻量化改进，选用深度可分离卷积[22](depthwise separable convolution)进行主干网络的卷积替换。于此同时，增加了fpn网络的网络层数并引入了eca通道注意力机制[23](efficient channel attention)以提升特征提取的质量。最后，为了提升火焰检测的抗干扰性，采用双
流结构的火焰检测模型。
[0030]
本发明是采用如下的技术方案实现的：一种基于改进yolov4-tiny的轻量化抗干扰火焰检测方法，包括以下步骤：
[0031]
s1:首先对yolov4-tiny网络结构进行改进：选用深度可分离卷积替换yolov4-tiny主干网络的普通卷积，大大降低模型参数量；然后，融合特征提取网络多尺度特征形成三/四检测头网络(yolov4tiny-l3/l4)，适应多种尺度火焰目标检测可有效避免火苗蔓延造成的误检、漏检；最后，在特征融合网络fpn中引入eca通道注意力机制有效提升火焰检测精度；
[0032]
s2:建立鲁棒性火焰检测数据集；
[0033]
s3:通过自建火焰检测数据集对改进后的yolov4-tiny网络进行训练，得到轻量化火焰检测网络；
[0034]
s4:获取摄像头实时火焰检测视频；
[0035]
s5:对视频进行分帧处理，形成图像序列；
[0036]
s6:按顺序获取相邻帧图像对，并对各张图像分别使用训练好的轻量化火焰检测网络进行火焰检测，并提取火焰预测框；
[0037]
s7:若未检测到任何火焰预测框，返回步骤s6，按顺序继续提取下一组相邻帧图像对进行检测。
[0038]
上述的一种基于改进yolov4-tiny的轻量化抗干扰火焰检测方法，轻量化火焰检测网络检测后的相邻帧图像对再经过iou后处理算法处理，具体过程为：
[0039]
s8:轻量化火焰检测网络检测后的相邻帧图像对若检测到火焰预测框，则按照自上而下、从左到右的方式同时遍历待检测图像对中的火焰预测框，并比较相同位置火焰预测框iou的大小；
[0040]
s9:如果相邻帧图像对中同一位置火焰预测框的iou大于等于所设定阈值，则认定为误把静态目标检测为火焰，故同时删除相邻帧图像对在该位置的火焰预测框；
[0041]
s10：如果相邻帧图像对同一位置火焰预测框的iou小于所设定阈值，则认为检测到相邻帧图像对中动态火焰，保留该火焰预测框；
[0042]
s11：待当前相邻帧图像对中同位置火焰预测框遍历且iou比较结束，输出当前图像对火焰检测框；
[0043]
s12：返回步骤s6继续通过轻量化火焰检测网络对下一组相邻帧图像对进行火焰检测，并根据iou提取火焰预测框。
[0044]
上述的一种基于改进yolov4-tiny的轻量化抗干扰火焰检测方法，自建火焰检测数据集中引入类火目标图像与真实火焰图像进行拼接形成干扰集图像。
[0045]
本发明首先对yolov4-tiny的骨干网络采用深度可分离卷积进行轻量化改进；其次在特征提取阶段，通过进一步融合多尺度特征提高网络对浅层特征的学习能力，同时在fpn中引入eca通道注意力模块，进一步提高精度；最后采用iou(intersection over union)后处理算法来有效屏蔽类火目标的干扰。在数据集方面，创建了自己的火焰检测数据集。实验证明，本发明方法在准确性，抗干扰性和检测时间上实现了综合提升。
附图说明
[0046]
图1为双流结构火焰检测流程图。
[0047]
图2为eca通道注意力模块图，图中的x为输入特征图，为加权之后输出的特征图，h、w、c为特征图的高，宽和通道维数，gap(global average pooling)为全局平均池化操作，k为一维卷积的卷积核大小，为了避免进行手动调优，k由公式1自适应调整，σ为sigmoid激活函数，k＝ψ(c)＝|log2(c)/2 1/2|
odd
ꢀꢀꢀ
(1)，其中|x|
odd
为最接近x的奇数。
[0048]
图3为改进后的yolov4-tiny网络结构图(convdw为深度可分离卷积操作，bn为批处理归一化操作)。
[0049]
图4为数据增强示例效果图。
[0050]
图5为干扰集图片制作过程示意图。
[0051]
图6为正常集和干扰集测试结果图。
[0052]
图7为iou阈值实验map和f1结果示意图。
[0053]
图8为使用iou后处理与不使用的检测结果对比图。
具体实施方式
[0054]
本发明的核心思想：视频相邻帧图像同时进入双流结构的火焰检测模型，能够有效利用上下文特征信息，已经检测的两张图像再经过iou后处理模块，舍弃不合格的预测框，从而达到抗干扰的目的。其中检测网络采用改进的yolov4-tiny，使得网络更加轻量化，速度更快，本发明双流结构火焰检测方法流程图如图1所示,检测方法包括以下步骤：
[0055]
s1:首先按照图3对yolov4-tiny网络结构进行改进；
[0056]
首先，选用深度可分离卷积替换yolov4-tiny主干网络的普通卷积，大大降低模型参数量；然后，融合特征提取网络多尺度特征形成三/四检测头网络(yolov4tiny-l3/l4)，适应多种尺度火焰目标检测可有效避免火苗蔓延造成的误检、漏检；最后，在特征融合网络fpn中引入eca通道注意力机制有效提升火焰检测精度。
[0057]
s2:建立鲁棒性火焰检测数据集；
[0058]
s3:通过自建数据集对轻量化检测网络yolov4tiny-l3/l4进行训练，得到轻量化火焰检测网络；
[0059]
s4:获取摄像头实时火焰检测视频；
[0060]
s5:对视频进行分帧处理，形成图像序列；
[0061]
s6:按顺序获取相邻帧图像对，并对各张图像分别使用训练好的轻量化火焰检测网络进行火焰检测，并提取火焰预测框；
[0062]
s7:若未检测到任何火焰预测框，返回步骤s6，按顺序继续提取下一组相邻帧图像对进行检测；
[0063]
s8:若检测到火焰预测框，按照自上而下、从左到右的方式同时遍历待检测图像对中的火焰预测框，并比较相同位置火焰预测框iou(交并比)的大小，
[0064]
s9:如果相邻帧图像对中同一位置火焰预测框的iou(交并比)大于等于所设定阈值，则认定为误把静态目标(如太阳、灯光等)检测为火焰，故同时删除相邻帧图像对在该位置的火焰预测框；
[0065]
s10：如果相邻帧图像对同一位置火焰预测框的iou(交并比)小于所设定阈值，则
认为检测到相邻帧图像对中动态火焰，保留该火焰预测框；
[0066]
s11：待将待检测图像对中同位置火焰预测框遍历且iou比较结束，输出当前图像对火焰检测框；
[0067]
s12：返回步骤s6继续通过轻量化火焰检测网络对相邻帧图像对进行火焰检测，并根据iou(交并比)提取火焰预测框。
[0068]
基于yolov4-tiny的改进
[0069]
为了能够满足实时性的需求，轻量化目标检测网络也逐渐发展，yolov4-tiny就是近年来的产物之一。yolov4-tiny是yolov4的压缩版，参数量只有600万左右，将近yolov4的十分之一，这也是yolov4-tiny能够在嵌入式备受瞩目的原因。其主干网络为cspdarknet53-tiny，它包含15个卷积层，为了能够缓解网络模型退化问题，加入了残差块resblock[24]。为了得到更多语义信息，yolov4-tiny方法使用特征金字塔网络提取不同尺度的特征并进行融合。本发明在yolov4-tiny的基础上进行了进一步轻量化操作，对原本的主干网络cspdarknet53-tiny，采用深度可分离卷积对其中的普通卷积进行替换。它创造性的将卷积过程分为逐通道卷积(depthwise convolution)和逐点卷积(pointwise convolution)两部分，极大的降低了参数量，使参数量变为普通卷积的11％，节省了运算成本。同时还注意到火焰的产生都是由前期的火苗引发，火苗初期以小目标为主。对于火情的防治来说，实时性至关重要，这就要求检测网络对小目标有较强的敏感度，以便达到在初期就可探测出火焰的产生。由于卷积过程中浅层特征包含更多的位置信息，为了增强原yolov4-tiny(输入为416
×
416
×
3)对于小目标的敏感程度，在原有特征金字塔两层(13
×
13、26
×
26)的基础上又增加两层浅层特征(52
×
52、104
×
104)用于检测头预测。同时，为了加强特征提取的质量，引入了eca通道注意力模块。它针对se(squeeze-and-excitation)模块做出改进[25]，提出了一种不降维的局部跨信道交互策略和自适应选择一维卷积核大小的方法，并且一维卷积核的大小可以通过学习得到，以极少的参数量显著提升特征提取的质量。其模块图如图2所示，改进后的yolov4-tiny模块图如图3所示。
[0070]
iou后处理算法
[0071]
因现实生活中往往有类火目标的存在，这对于火焰目标检测来说是重大的干扰因素，极大的增加了虚警率和误检率。如若一味依赖置信度阈值的设置，虽然在一定程度上增加了正检率，但是同时也会使得漏检率提高。尤其是对于削减了主干网络的轻量化目标检测网络来说，更是如此。依赖于单帧的图像检测方法所得信息有限，不能够利用到火焰随时间变化的动态变化，而盲目增加检测帧数又会使得实时性性能得不到足够的保证。故本发明在相邻帧检测结果的基础上，提出一种iou后处理算法，能够提高火焰目标检测的正检率。
[0072]
对于静态干扰项来说，短时间内形态上不会有明显的变化，而对于火焰来说，往往伴有一些动态变化。因此，对于前后两帧的图像来说，静态类火目标产生的误检框，由于其检测网络和网络权重相同，那么误检框的大小，位置坐标几乎不会有明显变化。反之，对于真实火焰目标来说，由于其跳跃闪烁等动态特征，在前后两帧内会出现位置上的偏离，甚至形态上的差异。此时即使在相同检测网络和相同网络权重的情况下，预测框往往也伴有不同程度的位置偏离和大小不一。本发明正是利用这一点，提升了火焰目标检测的正检率。
[0073]
实验设置与结果分析
[0074]
数据集
[0075]
本发明数据集主要从三方渠道获取，一部分为网络资源获取，一部分为自建火药燃烧视频数据集，其余为文献[9]和文献[26]中获得的火焰图片。将获得的视频数据集进行分帧操作，形成视频帧图像和火焰图像的混合数据集。将图像进行数据增强操作，包含旋转、翻转、颜色增强、随机颜色、对比度增强、亮度增强和mosaic数据增强，增强后的数据集共11037张图像。其中mosaic数据增强方法是将四张图像先进行简单的数据增强，例如旋转，色域变化，缩放等，再进行裁剪拼接形成四宫格图像。通过这种方式，极大地丰富了检测物体的背景，并且在batch normalization计算的时候会同时计算四张图片的数据，提高了训练效率。数据增强示例如图4所示。
[0076]
在生活中，火焰往往伴随着类火目标产生，而目前火焰数据集中缺少火焰与类火目标同时存在的图像。因此，为了验证本发明方法的抗干扰性，制作了干扰集图像。类似于图4中的mosaic数据增强方式，但是不进行任何基础数据增强，只对类火目标图片和真实火焰图片进行了拼接。其中部分类火目标图片来自于文献[9]，真实火焰目标图像则来自于本发明获取的火焰视频数据集分帧后的视频帧图像，由此形成1000张干扰集图像。干扰集图像的制作过程如图5所示。
[0077]
参数设置
[0078]
本发明将数据集图像分为训练集、测试集和验证集，共11037张。其中8939张图像用于作训练集，994张图像用于作验证集，最后1104张图像作测试集。对于有锚框(anchor)的目标检测算法来说，需要预先设定锚框的大小比例。本发明采用基于改进yolov4-tiny的轻量化目标检测算法，将图片划分为13
×
13、26
×
26、52
×
52、104
×
104大小的网格。根据本发明数据集以及经过数据标注后的真实目标框，再通过k-means算法[21]对标注后的真实目标框进行长宽比的聚类计算，得出12个尺寸的先验框大小。经过k-means聚类后得出的先验框更加符合火焰的真实大小，能够加快模型收敛速度，同时也提升精度。
[0079]
在训练过程中，通常的随机梯度下降方法很可能陷入局部最优解，从而使得训练速度减慢，训练效果不理想。本发明采用余弦退火(cosine annealing)算法衰减学习率可以有效解决这一问题。余弦退火算法通过热重启(warm restart)突然增加学习率，以此来跳出局部最优解[27]。采用余弦退火算法后，学习率的更新方式如公式(2)所示：new
lr
＝eta
min
(initial
lr-eta
min
)(1 cos(epoch
·
π/t
max
))/2
ꢀꢀꢀ
(2)，其中new
lr
为新学习率，eta
min
为最小学习率，initial
lr
为初始学习率，t
max
表示周期的1/2。
[0080]
本发明t
max
＝5，eta
min
＝0.00005，权重衰减正则项为0.0005，学习率为0.001，迭代次数epoch＝500，选取loss最低的权重作为最后预测权重。
[0081]
评价指标
[0082]
本发明所使用的评价指标为准确率(precision,p)，平均准确率(average precision,ap)，多类别ap平均值(mean ap,map)，召回率(recall,r)，基于准确率与召回率的综合评价指标(f1-score,f1)，模型复杂度评价标准为参数量大小(mbyte,mb)和每秒浮点运算次数(floating-point operations per second,flops)。计算公式如下：
[0083]
p＝tp/(tp fp)
ꢀꢀꢀ
(3)
[0084]
r＝tp/(tp fn)
ꢀꢀꢀ
(4)
[0085]
f1＝2pr/(p r)
ꢀꢀꢀ
(5)
[0086]
ap＝s
pr
ꢀꢀꢀ
(6)
[0087][0088]
其中，tp为正确预测正样本的数量；fp为错误预测正样本的数量；fn为错误预测负样本的数量；s
pr
为不同置信度下的precision-recall曲线下的面积；为多类别ap的平均值。
[0089]
实验结果
[0090]
实验对比的方法包括yolov4的轻量化版本yolov4-tiny，efficientnet作为主干网络从而形成的目标检测方法efficientdet[28]，mobilenet替换ssd原先的主干网络从而形成mobilenet-ssd方法，以及本发明改进yolov4-tiny之后形成的三层探测头方法yolov4-tiny-l3(13
×
13,26
×
26,52
×
52)和四层探测头方法yolov4-tiny-l4(13
×
13,26
×
26,52
×
52,104
×
104)。
[0091]
模型复杂度对比实验
[0092]
各种方法的参数量和计算量如表1所示，改进后yolov4-tiny由于在骨干网络使用深度可分离卷积代替普通3
×
3卷积，其参数量和计算量大幅降低。虽然计算量不及mobilenet-ssd，但是在参数量方面，本发明改进之后的方法优于其余方法。
[0093]
表1.各种方法的参数量和计算量
[0094][0095]
消融和对比实验
[0096]
为了验证改进之后的有效性，对改进的方法做了消融实验，在包含了1104张图像的测试集上进行性能测试，需要注意的是此时并没有加入iou后处理算法。各种方法在1104测试集上的性能表现如表2所示,yolov4-tiny-l3(no-eca)是在原yolov4-tiny的基础上使用深度可分离卷积和fpn增加了52
×
52有效特征层之后的方法。同理，yolov4-tiny-l4(no-eca)是在yolov4-tiny-l3(no-eca)的基础上在fpn又增加了104
×
104特征层之后的方法。而yolov4-tiny-l3(eca)和yolo v4-tiny-l4(eca)是将上述两种方法分别加入eca通道注意力模块后的方法。yolo v4-tiny(eca)仅仅是将原yolov4-tiny加入eca通道注意力模块的方法。
[0097]
通过表2分析可得，增加有效特征层后，三层有效特征层方法(yolov4-tiny-l3(no-eca))，在map和precision上有提升，在f1和recall上有小幅下降。而加入第四层有效特征层(yolov4-tiny-l4(no-eca))后，各项数据均有提升。对于eca通道注意力模块来说，yolov4-tiny-l4(no-eca)增加eca通道注意力模块后指标上有少量提升，yolov4-tiny-l3(no-eca)则有升有降。此外，在表格的前两行对efficientdet和mobilenet-ssd做了同样
1104张图像上的对比测试。通过上述的分析，得出了在fpn增加特征层(13
×
13和104
×
104)和eca通道注意力模块的有效性。不仅如此，使用深度可分离卷积使得模型更加轻量化。这意味着，在原yolov4-tiny参数量约为18％的基础上，在火焰目标检测上实现了更高的性能。
[0098]
表2 各方法在1104测试集上的性能表现
[0099][0100]
干扰集实验
[0101]
在生活场景中，往往存在类火目标的干扰，为了验证类火目标对火焰检测的干扰性，先用1000张正常的火焰视频帧图像(正常集)做测试，共500对相邻帧火焰图像序列；用同样的1000张火焰视频帧图像加入类火目标图片(干扰集)做测试，共500对相邻帧火焰图像序列。其中干扰集图片的制作过程如图5所示。从图6可以看出，加入干扰项以后，五种方法的map和f1值都显著降低，火焰检测受到了明显干扰。
[0102]
iou阈值实验
[0103]
为了提升方法的抗干扰性，采用了iou后处理算法。其中iou阈值作为判定是否是真实火焰的关键值。采用实验的方法来最终确定iou阈值，通过观察不同iou阈值情况下map值和f1值得出结论，其中当iou阈值设为1时，此时iou后处理算法不起作用。由图7可以看出，在iou阈值设定为0.99的情况下，三种方法的map值和f1值都为最优，且都比不采用iou后处理算法要更好一些。图8对三种方法(yolov4-tiny(eca),yolov4-tiny-l3(eca),yolov4-tiny-l4(eca))进行了有无iou后处理算法的检测，其中每副图中右上角图像为真实火焰图像。由图8知三种方法都受到了类火目标不同程度的干扰，其中yolov4-tiny对小目标检测不明显，而通过iou后处理算法后，三种方法抗干扰性明显提升，误检显著降低。
[0104]
检测时间对比实验
[0105]
为了验证火焰检测方法的实时性，对五种方法进行了检测时间对比。分别在笔记本电脑(cpu-i5-8250u)m1环境下运行和谷歌云服务器colab(gpu-tesla k80)m2上运行。干扰集图像做检测，求取检测时间平均值。其实验数据如表3所示。从数据中可以看出在cpu环境下mobilenet-ssd的检测速度最快，而在gpu环境下改进后的yolov4-tiny-l3(iou)方法和yolov4-tiny-l4(iou)方法要优于其他方法。iou的后处理过程虽然一定程度上减少了火焰目标误检问题，但其处理过程中也增加了时间消耗。同样，单独对iou后处理过程进行了
时间消耗检测，在干扰集中进行检测，求取500对相邻帧图像检测时间的平均值，发现时间消耗仅为0.23ms。
[0106]
表3 各方法在干扰集上的检测时间性能表现
[0107][0108]
结论
[0109]
本发明提出一种双流结构的火焰检测模型，用于相邻帧图像的火焰检测。同时，对其中的检测网络yolov4-tiny做出改进，使用深度可分离卷积对主干网络进行了轻量化提升，在fpn中增加了有效特征层并引入了eca模块。改进后的yolov4-tiny在参数量约为原来18％的基础上实现了检测性能的提升。yolov4-tiny-l3方法和yolov4-tiny-l4方法在本发明火焰数据集上的map和f1分别达到87.73％、90.69％和81％、85％。此外，为了防止静态类火目标对检测结果造成影响，提出了一种iou后处理算法。对于预测后的相邻帧图像来说，它们对应预测框的iou值超出某个范围则认为它们是假阳性。本发明的iou阈值通过实验获得为0.99。对iou后处理算法在干扰集上进行测试，本发明的方法在抗干扰性上做出了一定贡献。实时性对火焰检测来说十分重要，本发明对各类方法的检测时间进行对比，验证了本发明方法有着出色的表现并且iou后处理过程仅0.23ms。通过分析证明，本发明方法在轻量化，准确性和实时性方面做了一定程度的平衡提升。
[0110]
[21]@article{bochkovskiy2020yolov4,title＝{yolov4:optimal speed and accuracy of object detection},author＝{bochkovskiy,alexey and wang,chien-yao and liao,hong-yuan mark},journal＝{arxiv preprint arxiv:2004.10934},year＝{2020}
[0111]
}
[0112]
[22]howard a g,zhu m,chen b,et al.mobilenets:efficient convolutional neural networks for mobile vision applications[j].
[0113]
2017.@article{howard2017mobilenets,title＝{mobilenets:efficient convolutional neural networks for mobile vision applications},author＝{howard,andrew g and zhu,menglong and chen,bo and kalenichenko,dmitry and wang,weijun and weyand,tobias and andreetto,marco and adam,hartwig},
[0114]
journal＝{arxiv preprint arxiv:1704.04861},
[0115]
year＝{2017}
[0116]
}
recognition},
[0138]
pages＝{10781
‑‑
10790},
[0139]
year＝{2020}
[0140]
}。