面向小样本条件下的消防火源检测方法、装置及存储介质与流程

1.本发明属于目标检测及工业部署领域，具体涉及一种面向小样本条件下的消防火源检测方法、装置及存储介质。


背景技术：

2.火灾的防控工作一直是广大人民备受关注的公共安全问题之一，火灾带给人类的痛苦和损失是巨大的，对社会产生的破坏都是不可逆的，对于火灾的探测与防控是必不可少的。目前火灾探测器被广泛应用于火灾检测中，但是单一的火灾探测器检测结果往往不够可靠，检测速度也无法达到实时的效果。ting等提出了多传感器数据融合算法将采集到的火灾物理参数进行融合。但是火灾探测器有很多局限性，设备必须接近火源，属于接触性探测，而且必须等待火灾发生一定时间后产生大量的烟雾，co等火灾物理参数后才能够触发报警，而且无法清楚地感知到火灾的大小、详细位置信息等，给火灾检测带来了很大的不便。
3.随着社会经济和技术的不断发展，采用计算机视觉的火灾探测技术得到了广泛的应用，如今视频监控系统遍布工业现场的各个角落，利用现有的视频监控系统实现火灾检测，不仅能够降低成本，而且还能提高检测火灾的能力。卷积神经网络cnn主要实现了火灾图像和非火灾图像的分类，往往没有考虑与火相似的物体，对于类火物体存在很多的误报。到目前为止，各种改进版的cnn相继出现，这些方法主要分为两类：(1)两阶段法(two stage)，主要思路是先通过启发式方法或者cnn网络产生一系列稀疏的候选框，然后对这些候选框进行分类和回归。这类方法的优点是准确度高，但往往速度较慢，如fasterr-cnn、centernet2等。(2)单阶段法(one stage)，主要思路是均匀地在图片的不同位置上密集抽样，然后利用cnn提取特征后直接分类和回归，输出物体的分类概率和坐标，整个过程只需一步，因此速度较快，如ssd、yolov5、retinanet等。
4.在工业应用中通常难以获得大量的可用样本，因此上述方法大多是基于小样本进行检测，小样本之所以称之为小样本就是因为在工业应用中通常很难获得大量的可用样本，同时在工业现场由于所采集的场景幅度巨大，导致检测到目标占原图的比例很少的一部分，目标特性不能充分体现，这也是检测的难点所在。小样本检测比小样本分类的难点在于：首先，不但要识别类别还需要确定目标位置；检测不但要提取关于分类的高层语义信息，还要学习关于定位的低层特征；前景和背景容易混淆；回归参数难以从源数据集中获取。上述检测方法尚未解决该问题。
5.因此，本技术提出一种面向小样本条件下的消防火源检测方法。


技术实现要素：

6.为了克服上述现有技术存在的不足，本发明提供了一种面向小样本条件下的消防火源检测方法、装置及存储介质。
7.为了实现上述目的，本发明提供如下技术方案：
8.一种面向小样本条件下的消防火源检测方法，包括以下步骤：
9.收集工业现场的火源图像数据；
10.构建火源检测模型；
11.将火源图像数据输入火源检测模型中，通过火源检测模型对火源图像数据进行分析，获得检测结果；所述检测结果包括火源的具体位置、精度和类别；
12.所述构建火源检测模型具体包括：
13.将轻量级注意力模块cbam引入yolov5算法的主干网，构建cbam结构；
14.在yolov5算法的预测层prediction中引入标签平滑方法label smoothing；
15.在yolov5算法中引入数据增强方法mosaic9，构成yolov5改进模型；
16.利用火源图像数据对所述yolov5改进模型进行训练，得到火源检测的模型权重，获得火源检测模型。
17.优选地，所述收集工业现场的火源图像数据具体为：
18.采用红外成像和可见光成像摄像头采集不同场景下的火源视频数据，并将火源视频数据进行保存。
19.优选地，在利用火源图像数据对所述yolov5改进模型进行训练之前，对所述火源图像数据进行预处理，包括：
20.对采集到的火源图像数据进行标注，包括标注图像的目标位置信息和类信息，获得标签文件；
21.对标签文件进行数据增强，增加火源图像数据的样本量和火源图像中的火源目标个数；
22.利用数据增强后的火源图像数据对所述yolov5改进模型进行训练。
23.优选地，所述对标签文件进行数据增强包括：
24.通过对火源图像数据进行翻转、平移、缩放，增加火源图像数据的样本量；
25.通过填鸭式数据增强方法增加火源图像中的火源目标个数。
26.优选地，所述填鸭式数据增强方法的处理过程包括：
27.读取标签文件，判断该文件中是否有需要进行增强的目标；
28.复制进行增强的目标，对复制出来的目标进行随机转换；
29.将随机转换后的目标粘贴到原图上或者其它图像上；
30.若粘贴的新目标与原有目标不重叠，则采用泊松融合的方法，将新目标粘贴到图像上，获得增强后的图像和标签。
31.优选地，所述填鸭式数据增强方法对目标物体进行随机转换的方式为：大小改变
±
20％，角度旋转
±
15
°
。
32.优选地，所述标签平滑方法label smoothing获得的平滑后的标签为：
[0033][0034]
其中，qi表示真实标签，ε表示常数，k表示分类的类别数。
[0035]
根据权利要求4所述的面向小样本条件下的消防火源检测方法，其特征在于，所述数据增强方法mosaic9指的是对9张图像随机裁剪、随机缩放、随机排列组合成一张图片。
[0036]
优选地，在互联网端收集其他场景的现有火源图像数据，通过数据增强后的火源图像数据及现有火源图像数据共同对所述yolov5改进模型进行训练。
[0037]
本发明还提供一种检测驾驶员分心的装置，(这里)包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述面向小样本条件下的消防火源检测方法。
[0038]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述面向小样本条件下的消防火源检测方法。
[0039]
本发明提供的面向小样本条件下的消防火源检测方法具有以下有益效果：
[0040]
(1)缓解了小样本条件下，数据的样本量不够，训练困难的问题，使用不同的增强方法，大幅增加了样本的数量和质量，提升了模型的过拟合能力。
[0041]
(2)工业现场采集的图像中小目标情况居多，通过本方法解决小目标检测难的问题，提升了小目标的检测精度。
附图说明
[0042]
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例1的面向小样本条件下的消防火源检测方法的流程图；
[0044]
图2为数据增强流程图；
[0045]
图3为yolov5的整体架构；
[0046]
图4为骨干网络嵌入的cbam结构的示意图；
[0047]
图5为模型转换流程图；
[0048]
图6为将本发明的方法应用到工业中的总流程图；
[0049]
图7为模型推理流程图。
具体实施方式
[0050]
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0051]
实施例1
[0052]
本发明提供了一种面向小样本条件下的消防火源检测方法，具体如图1所示，包括以下步骤：
[0053]
步骤1、收集工业现场的火源图像数据，具体为：
[0054]
采用红外成像和可见光成像摄像头采集不同场景下的火源视频数据，并将火源视频数据进行保存，并将其转换成一张张的图片用于网络模型的训练。
[0055]
本发明使用的实验数据集为自制的fire-detection dataset，所有图像均取自工业现场采集的图片，选取4783张带有火源(fire)的图像。
[0056]
步骤2、构建火源检测模型
[0057]
步骤2.1、优化yolov5算法
[0058]
(1)将轻量级注意力模块cbam引入yolov5算法的主干网，构建cbam结构；
[0059]
本实施例中采用现有的yolov5算法，yolov5的整体架构如图3所示。yolov5算法是一种单阶段目标检测算法，该算法在yolov4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。在模型训练阶段，提出了一些改进思路，主要包括mosaic数据增强、自适应锚框计算、自适应图片缩放。在骨干部分融合其它检测算法中的一些新思路，主要包括：focus结构与csp结构。目标检测网络在backbone与最后的head输出层之间往往会插入一些层，yolov5中添加了fpn pan结构。输出层的锚框机制与yolov4相同，主要改进的是训练时的损失函数giou_loss，以及预测框筛选的diou_nms。
[0060]
从图3可以看出，yolov5与yolov4在结构上基本相似，yolov5在backbone和neck中使用了两种不同的csp。在backbone中，使用带有残差结构的csp1_x，因为backbone网络较深，残差结构的加入使得层和层之间进行反向传播时，梯度值得到增强，有效防止网络加深时所引起的梯度消失，得到的特征粒度更细。在neck中使用csp2_x，相对于单纯的cbl将主干网络的输出分成了两个分支后将其concat，使网络对特征的融合能力得到加强，保留了更丰富的特征信息。yolov5增加focus结构，对图片进行切片操作，以3x608x 608的图片作为输入，经过切片操作后，变成12x 304x 304的特征图，最后使用32个卷积核进行一次卷积，变成32x 304x 304的特征图，通过这种切片结构，可以保留更多的细粒度特征。
[0061]
目前yolov5因其快速、准确、轻量化等诸多优点，被广泛使用在工业界。本发明主要集中在以yolov5为基准，在此基础上对其算法进行改进并将其应用于实际项目中，达到较好的结果。
[0062]
在火灾检测中，收集到数据集中存在许多小目标。因此，本发明将轻量级注意力模块cbam引入主干网，以构建cbam结构，如图4所示。cbam是一个结合了通道和空间的注意力模块，它能让网络知道重点去关注哪一部分，相应实现重要特征的突出表现，同时抑制不那么突出的特征。
[0063]
它依次沿通道和空间的两个独立维度推断注意力权重，然后将注意力权重与输入特征映射相乘以进行自适应特征优化。注意力模块提高了特征提取网络对大场景下的小目标的特征表达能力，提高了对小尺度火源目标的聚焦能力。
[0064]
(2)在yolov5算法的预测层prediction中引入标签平滑方法labelsmoothing。
[0065]
标签平滑最早应用于分类算法中，后引入目标检测算法中。目标检测算法分为分类与回归两个分支，其主要作用于分类分支，属于正则化方法中的一种。它的主要思想是对真实标签(ground truth)的分布进行改造，使其不再遵循one-hot形式，标签平滑方法label smoothing获得的平滑后的标签为：
[0066][0067]
其中表示qi真实标签，ε是一个非常小的常数，k代表分类的类别数。经过label smoothing后能够减少模型过度依赖标签的问题，有效改善标签准确性不高的情况。在yolov5的预测层prediction引入label smoothing标签平滑方法，提高检测框标签的准确率。
[0068]
(3)在yolov5算法中引入数据增强方法mosaic9，构成yolov5改进模型。
[0069]
yolov5中除了使用基本的数据增强方法外，还使用了mosaic数据增强方法，本实施例就是将四张图片，进行随机裁剪、缩放后再随机排布拼接后形成一张图片，实现丰富数据集目标的同时，增加了小目标样本，提升网络训练速度；在进行归一化操作时，也会一次性计算四张图片，mini-batch则不需要很大，使得模型的内存需求降低。由于本发明采集的数据集中目标大小占比都偏少，所以本发明采用mosaic方法的增强版mosaic9，即对9张图片随机裁剪、随机缩放、随机排列组合成一张图片，对新合成的图片放入网络中进行训练，该mosaic9增强方法使目标检测性能更加好，尤其是小目标检测性能提升最多。
[0070]
步骤2.2、对所述火源图像数据进行预处理，如图2所示，包括：
[0071]
步骤2.2.1、对采集到的火源图像数据进行标注，包括标注图像的目标位置信息和类信息，获得标签文件。
[0072]
具体为，使用labelimg标注软件进行标注，将图像中标注的目标位置信息和类信息存储为训练需要的xml文件，形成标签文件。由于从工业现场上采集到的火灾图像数量有限且场景单一，为了让网络能够更好地学习到目标特征，需要对数据集进行数据拓展。
[0073]
步骤2.2.2、对标签文件进行数据增强，增加火源图像数据的样本量和火源图像中的火源目标个数。
[0074]
(1)常用的数据增强方法有翻转、旋转、平移、缩放等。旋转和水平翻转进行数据增强，训练集图像的角度变换增强了训练模型对不同角度图像的鲁棒性，提高了模型的泛化能力。通过常用的数据增强方法，本发明可以线下成倍提高数据集的张数，增加样本量，解决小样本条件下的样本量不足的问题。
[0075]
(2)在本发明采集到的数据中，不仅样本量偏少同时存在大量的小目标，这是因为起火一般都是由一处小火苗引起的，在工业消防领域中本发明也需要在火势未扩张之前检测到火源的存在并发出报警信息，及时处理，因此对小目标的准确检测就尤为重要。检测小物体可以通过增加输入图像分辨率或通过融合高分辨率特征与低分辨率图像的高维特征来解决。然而，这种使用较高分辨率的方法增加了计算开销，并且没有解决小物体和大物体之间的不平衡。因此本发明决定采用复制粘贴式数据增强，通过填鸭式数据增强方法增加样本中的目标个数。填鸭式数据增强方法是复制图中目标物体，对其进行随机转换(大小改变
±
20％，角度旋转
±
15
°
)，粘贴到新位置，并确保粘贴的对象不与任何现有的对象重叠和距图像边界至少五个像素。
[0076]
填鸭式数据增强具体处理过程为：
[0077]
通过读取标签文件，判断是否是要进行增强的目标以及读取是否属于小目标；
[0078]
满足条件的话就开始复制该个目标，对复制出来的目标进行随机转换，
[0079]
将随机转换后的目标粘贴到原图上或者其它图像上，并判断粘贴的新目标是否与原有目标重叠(通过iou阈值判断)；
[0080]
小于设定的iou阈值就继续进行下一步，采用泊松融合的方法，将新目标粘贴到图像上(使用该方法是为了粘贴新目标的时候与原图像没有违和感)；
[0081]
将获得增强后的图像和标签进行保存即可。
[0082]
该方法解决了少样本条件下样本量少以及小目标位置缺乏多样性，包含信息少等问题，在同一张图上能匹配出更多的小目标的正样本，提高了小目标的检测精度。
[0083]
步骤2.2.4、在互联网端寻找一些相关火源图像数据集，重新标注并加入到数据集
中，增加数据集场景的多样性，提高样本质量，减少训练过程中可能会出现过拟合的现象，提高机器学习模型泛化能力，解决小样本条件下的困局。
[0084]
步骤2.3、通过数据增强后的火源图像数据及现有火源图像数据共同对所述yolov5改进模型进行训练，得到火源检测的模型权重，获得检测精度高的火源检测模型。
[0085]
在模型训练阶段，将动量(momentum)设置为0.9，优化器为adam优化器，衰变值(decay)为0.0005、批尺寸(batch size)为2，训练轮数(epoch)为200。使用小批量随机梯度下降进行优化，初始学习率(learning rate)为0.01。本发明代码训练实验环境为：inter core i5-10600kf cpu@4.10ghz，32gb内存，nvidia geforce rtx 2060ti，windows 10，64位操作系统。编程语言为python，深度学习框架为pytorch1.7，gpu加速库为cuda10.2和cudnn7.6.4。本发明工程应用实验环境为研华工控机和鲲云星空加速卡x3。
[0086]
步骤3、将实时采集到的火源图像数据输入火源检测模型中，通过火源检测模型对火源图像数据进行分析，获得检测结果。检测结果包括火源的具体位置(左上角坐标和右下角坐标)、精度及类别等。
[0087]
检测过程具体为通过训练好的模型权重对实时采集的图像进行检测，通过模型权重学习到的火源目标的特征及一系列参数等判断该实时采集的图像上是否有火源以及火源的位置信息等。
[0088]
在上述检测方法的前提下，本实施例还对模型进行了部署，本发明实现在电脑客户端实现目标检测的功能，在windows系统下，使用gpu训练神经网络，得到训练好火源检测的模型权重。移动互联网的飞速发展，使得越来越多基于深度学习的应用出现在移动设备上和工业常用的工控机上，为人们生活带来了极大的方便同时也为工业消防提供了实时监测。
[0089]
下面对本实施例提供的火源检测模型进行工业应用开发工具及环境配置：
[0090]
研华工控机：工控机(ipc-610l)4u高14槽背板架装工业机箱，配置前置风扇，主要特点有：用户界面友好，带前置过滤网易于维护，支持250watxpfc ps/2电源，前置电源和hdd状态指示灯，抗振荡抗冲击，能在高温下稳定工作，防震设计的驱动器台可以容下3个5.25寸及1个3.5寸前端驱动器，灵活的机械设计支持ps/2单电源和冗余电源。研华工控机在工业领域被大量使用且性能稳定，备受客户青睐。
[0091]
鲲云星空加速卡：鲲云星空x3加速卡是全球首款搭载caisa芯片的数据流架构深度学习推断设备，使用rainbuilder编译工具进行编译部署，鲲云工具链rainbuilder是鲲云caisa架构对应的开发和部署工具链，包含编译器(rbcompiler)、运行时(rbruntime)和驱动(rbdriver)三个部分，其中编译器用于将已训练好的深度学习网络转译成caisa引擎兼容的表达形式，运行和驱动共同组成了caisa加速处理时的软件层程序。x3加速卡是一款工业级hhhl(半高半长)单槽规格的pcie板卡，其功耗小于60w。峰值性能达到10.9tops，芯片利用率高达95.4％接口采用pcie 3.0x8，内存板载8gb ddr4，电源pcie供电，散热方式主动散热(单风扇)工作温度-20℃～70℃，外形尺寸169.5mm x 69.6mm。
[0092]
得益于其轻量化的规格特点，这款高性能加速卡可以与不同类型的计算机设备进行适配，包括个人电脑、工业计算机、网络视频录像机、工作站、服务器等。鲲云加速卡主芯片为caisa，由于加速卡主芯片caisa的独特的数据流架构，x3加速卡可以支持大多数常用的深度学习算子。因此从设计的角度来说，任何搭载该款芯片的设备均可以加速绝大多数
主流的深度学习网络，且实现低延迟高芯片使用率(理论上使用率可达95.4％甚至更高)的加速效果。鲲云加速卡有国产gpu之称，在同等性能条件下，鲲云加速卡在推理端有着自己独特的优势，能很好嵌入到各种设备端，实现端到端的推理。
[0093]
模型转换
[0094]
本发明的yolov5改进算法训练好后得到的是一个yolov5.pt的权重，将其部署到工控机上并使用鲲云加速卡进行推理加速，首先需要完成模型转换，模型转换流程图如图5所示。
[0095]
pytorch模型转sg_ir，需提前在运行路径中存放模型文件，文件含有模型的.pt文件和该模型对应的图像前处理文件preprocess.py，使用rbcli指令，将对应的输入模型转换成初始的sg-ir。量化是将初始的sg-ir进行低比特数据压缩的过程，以上一步生成的浮点sg-ir为输入，输出8bit整型sg-ir。流图的量化需要指定图像的预处理程序、量化范围，以及量化数据集路径等。将量化后的sg_ir放入可执行文件中，运行程序即可在鲲云加速卡端做推理应用。
[0096]
在实际使用时，如图6和图7所示，包括以下实施步骤：
[0097]
鲲云加速卡运行需提前安装好pcie驱动并打开device-manager服务。本发明用js(javascript)语言开发一套智能消防可视化平台系统，并将推理端的代码嵌入进去，实现界面可视化操作。
[0098]
js语言是一种输入网络的高级脚本语言，已经被广泛用于web应用开发，为网页添加各式各样的动态功能，为用户提供更流畅美观的浏览效果。
[0099]
摄像头采用定制的红外成像和可见光成像雄迈摄像头，雄迈摄像头在现场采集到的视频流通过rtsp协议将其传送到工控机上同时开启鲲云加速卡做推理，一台工控机可同时通过网线连入多台摄像头，实现多网口并行做推理。检测结果显示在智能化平台上，该平台会显示当前场景是否有火源，如果检测到火源，会快速准确定位到其位置，并显示到窗口界面上。如果检测到有火源会输出一个报警信号，该信号通过串口传输到报警箱中，发出报警信号提醒用户发现火源，直到火源被扑灭报警箱停止工作，工作流程如图7所示。
[0100]
本发明针对火灾检测这一特定领域及传统火灾探测器检测范围有限精度低时间长以及工业消防领域样本量少等问题，提出一种基于数据增强的改进的yolov5火灾检测方法，对收集到的数据进行一系列增强操作，提高数据集的质量和数量，在yolov5结构上微调，添加注意力模块，提高特征提取的表达能力，通过改进的mosaic9增强，提升了小目标的检测精度，提高了对火灾检测的效果，特别是对小样本条件下的检测。实验表明该模型能够实现精准、快速的火灾检测，将改进的模型移植到研华工控机上并使用鲲云加速卡进行推理加速，实现工业现场端到端实时处理，并配置智能化界面实现可视化效果。与传统的采用传感器检测火灾相比而言，本发明提出火灾检测系统具有实时、直观、便捷等诸多优点，能准确定位起火的源头，尤其在查询火灾发生的原因及责任归属上有着极其显著的作用，并能很好的部署到各种工业现场。
[0101]
本发明可在边缘端国产鲲云加速卡上部署检测模型，能很好的提升检测性能，同时节约开发成本及提高工业安保性。实现工业现场端到端实时检测，通过智能消防可视化界面监测摄像头、工控机、报警箱等一整套设备，实现智能消防一体化。
[0102]
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，
任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。