基于边缘计算的作业平台火灾事故预警系统

1.本发明涉及图像处理，目标检测、深度学习领域，具体涉及基于边缘计算的作业平台火灾事故预警系统。


背景技术：

2.社会经济的发展离不开石油资源，随着我国陆地上石油资源存储量逐年递减，人类对石油开采迈向了更广袤的海洋。海洋平台是石油勘探开发的重要设备，作业平台具有可燃物多、空间面积小、环境恶劣以及结构复杂、人员生活与油气处理设备高度集中的特点，所以一旦发生火灾爆炸事故将会造成大量的人员伤亡及经济损失，油气泄露也会对海洋环境造成无法估计的破坏。如何保证在火灾发生前期阶段对火焰进行快速识别及提前预警是目前急需要解决的问题。针对这一问题，目前最常见的检测方法主要有两种：一是依靠人工检测，值班人员通过感官的看、听、嗅或相关检测设备对平台进行火灾巡视，人工火灾巡检的方式虽然应用广泛，但是火情巡检质量不高，且消耗大量的人员。尤其是在夜间的情况下，人工火灾巡检的方式出现疏漏的可能性高；二是采用智能视频检测系统，但是海上平台环境恶劣、网络较差，导致传输有延时、实时性差、部署大型服务器成本较高、对硬件的计算要求高，加大的限制了实际的落地应用。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，本发明提出一种基于边缘计算的作业平台火灾事故预警系统及经过模型的轻量化优化显著提高火焰检测速度，并且提高火焰检测识别的精度，可以在环境恶劣、网络较差的情况下，缓解平台火灾监测中网络通信高延迟所带来的技术困难，满足实时检测需求。同时也充分利用人工智能给人类带来的便利，降低了人力资源的消耗。
4.该目标检测算法在yolox模型的基础上，采用ghostnet模型作为yolox的骨干网络，并在骨干网络中加入通道注意力模块(ecanet)，降低了原生yolox中neck和prediction层中的head模块的卷积参数冗余；neck层中设计了ld-aspp模块，并将其添加在特征层进行上采样之前，使算法能更好的提取到目标特征区域；prediction层的head模块中，采用可变卷积(deformableconv)加强检测头的学习能力，提取火焰不规则形状的特征。该算法在保证检测精度的前提下，减少了模型的参数量，缩小了模型体积，能更好的满足边缘计算设备轻量化的要求。本发明的目的是为了搭建视频监控预警平台、部署摄像头、添加边缘计算的规则，实现火情预警功能，降低预警延时时间。
5.为了实现上述目的，本发明采用的技术方案：
6.基于边缘计算的作业平台火灾事故预警系统，系统主要包括视频数据采集设备、边缘计算端和云端服务器。所述视频数据采集设备是由平台上若干监控摄像头组成；所述的边缘端由智能预警系统、视频显示模块以及无线通信模块组成，智能预警系统所使用的检测模型是部署在边缘端中改进后的yolox火焰检测模型，由边缘端外接的蜂鸣器实现报
警。视频显示模块用于实时展示平台上所有的监控画面。无线通讯模块用于将报警信息传输到云端服务器并接收云端服务器传输更新后的模型参数；所述的云端服务器用于接收边缘端传输来的报警信息以及调用本地视频训练模型，更新模型参数。整体结构如图(1)所示。该技术方案包括以下步骤：
7.步骤1：作业平台监控设备实时拍摄视频原始数据，通过局域网将视频原始数据传送到平台检测中心，即边缘端。
8.步骤2：边缘端(nvidiajetsonxaviernx)获取来自平台监控设备拍摄的视频原始数据，通过部署在边缘设备中改进后的yolox火焰检测算法初步分析视频数据，生成预测结果。所述的边缘端模型移植、推理过程及信息传输过程如下：
9.s21：边缘端的主体为英伟达高性能ai模组jetsonxaviernx，将训练完成的yolox目标检测模型移植到边缘设备中，通过深度学习框架tensorrt将fp32型数据转换为fp16型数据，并对目标检测模型进行层间融合、张量融合、模型剪枝和权值量化，生成推理引擎；
10.s22：在推理阶段，将所有网络层中的卷积核尺寸设置为3*3,便于目标检测模型的部署与加速。通过推理引擎对采集到的视频数据进行识别检测，并将检测结果通过边缘端中的通信模块传入到云端服务器；
11.s23：边缘端与云服务器之间的信息传输主要利用线程池创建、管理、销毁socket子线程，利用socket通信协议进行通信，通过json格式来对视频数据进行标识，将报警画面发送至服务器。报警类型以fire 摄像头编号 系统时间的命名方式保存至本地，并将其名称以字段的方式传至服务器；
12.步骤3：基于边缘端设备的火灾事故预警系统检测过程如图(2)所示，其特征在于以下步骤：
13.s31：用于视频数据处理过程：
14.边缘端自动获取来自平台监控设备拍摄的视频原始数据，对视频数据做抽帧、分帧预处理，原始视频数据经过预处理后得到每一帧画面的堆叠信息。
15.s32：用于实现火焰检测的过程：
16.经过预处理后的视频数据传入到部署在边缘设备中改进后的yolox火焰检测算法，本文提出一种改进后的基于yolox网络结构的小目标火灾检测方法，该网络结构在保证检测精度的前提下，减少模型的参数量，缩小模型体积。改进后的yolox网络结构如图(3)所示。首先，采用ghostnet模型作为yolox的骨干网络，并在骨干网络中加入通道注意力模块(ecanet)，降低了原生yolox中neck和prediction层中的head模块的卷积参数冗余；其次，为了弥补因缩小模型体积牺牲的检测精度，在原yolox的neck层中添加了ld-aspp模块，ld-aspp模块图如(6)所示，并将其添加在特征层进行上采样之前，使算法能更好的提取到目标特征区域；最后，为了提升火焰检测算法的性能，在原yolox网络结构prediction层的head模块中采用可变卷积(deformableconv)，head模块结构如图(4)所示，加强检测头的学习能力，提取火焰不规则形状的特征。通过上述的改进，使火焰检测模型的参数量更少、体积更小，且检测精度更高，能更好的满足部署到jetsonxaviernx设备上的需求。
17.通过监控摄像头获取原始视频数据，视频数据经过帧处理后得到每一帧画面的堆叠信息，每一帧图片都是640*640*3大小。然后将图片输入到改进后的yolox模型中，对视频数据进行特征提取、特征融合和目标识别三大处理，进行火焰烟雾检测对火灾事故进行预
判，生成预判结果；若判断结果为平台上有疑似火焰产生，则产生报警信息，边缘设备外接的蜂鸣器会发出报警。
18.s33:用于产生报警信息过程：
19.当边缘设备外接的蜂鸣器发出报警时，平台监控中心的管理人员能够在显示器上看到经过火灾检测算法处理后的监控视频，监控画面中会显示矩形框将火焰标注，然后结合摄像头编号快速到达现场进行确认并及时处理。
20.步骤4：若工作人员通过二次判断没有火焰产生，则将视频数据暂时缓存2-3天，边缘端利用运行的空闲时间将该数据上传至云端服务器，供服务器对错误预判数据进行分析，更新模型的参数，改善本地边缘设备中的模型的检测精度。
21.本发明的有益效果：
22.本发明所述边缘计算的作业平台火灾事故预警系统，注重采取边缘计算的方式，缓解了作业平台火灾监测中网络通信高延迟所带来的技术困难，通过本发明方法，实现对作业平台的火灾检测识别的实时检测功能，通过4g或5g传输来实现报警信息的迅速确认，完成联动报警功能。在这个物联网的时代，充分利用边缘计算的优势，有效提高视频传输以及实时处理的响应速度，提高作业平台的安全性，大大降低了计算成本和能源损耗。同时也充分利用了人工智能给人类带来的便利，降低了人工资源的消耗。
附图说明
23.图1为本发明的数据采集系统示意图；
24.图2为本发明的检测流程图；
25.图3为本发明改进后的yolox网络结构图；
26.图4为本发明的模型head模块结构图；
27.图5为本发明的ecanet注意力机制图；
28.图6为本发明的ld-aspp模块图；
29.图7为本发明可变卷积提取特征过程图；
具体实施方式
30.为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对上述技术方案进行详细的说明。
31.步骤1：作业平台监控设备实时拍摄视频原始数据，通过局域网将视频原始数据传送到平台检测中心，即边缘端。
32.步骤2：边缘端获取来自平台监控设备拍摄的视频原始数据，通过部署在边缘设备中改进后的yolox火焰检测算法初步分析视频数据，生成预测结果。所述的边缘端模型移植、推理过程及信息传输过程如下：
33.s21：边缘端的主体为英伟达高性能ai模组jetsonxaviernx，将训练完成的yolox目标检测模型移植到边缘设备中，通过深度学习框架tensorrt将fp32型数据转换为fp16型数据，并对目标检测模型进行层间融合、张量融合、模型剪枝和权值量化，生成推理引擎；
34.s22：在推理阶段，将所有网络层中的卷积核尺寸设置为3*3大小,便于目标检测模型的部署与加速。通过推理引擎对采集到的视频数据进行识别检测，并将检测结果通过边
缘端中的通信模块传入到云端服务器；
35.s23：边缘端与云服务器之间的信息传输主要利用线程池创建、管理、销毁socket子线程，利用socket通信协议进行通信，通过json格式来对视频数据进行标识，将报警画面发送至服务器。报警类型以fire 摄像头编号 系统时间的命名方式保存至本地，并将其名称以字段的方式传至服务器；
36.步骤3：基于边缘端设备的火灾事故预警系统包括以下步骤：
37.s31：用于视频数据处理过程：
38.监控摄像头获取到的视频数据传到jetsonxaviernx设备中，对视频数据做抽帧、分帧预处理，原始视频数据经过预处理后得到每一帧画面的堆叠信息，每一帧都是3通道的640*640大小的图片。
39.s32：用于实现火焰检测的过程：
40.经过预处理后的视频数据传入到部署在边缘设备中改进后的yolox火焰检测算法，本文提出一种改进后的基于yolox网络结构的小目标火灾检测方法，该网络结构在保证检测精度的前提下，减少模型的参数量，缩小模型体积。首先，采用ghostnet模型作为yolox的骨干网络，并在骨干网络中加入通道注意力模块(ecanet)，ecanet注意力机制如图(5)所示，降低了原生yolox中neck和prediction层中的head模块的卷积参数冗余；其次，为了弥补因缩小模型体积牺牲的检测精度，在原yolox的neck层中添加了ld-aspp模块，ld-aspp模块图如(6)所示，并将其添加在特征层进行上采样之前，使算法能更好的提取到目标特征区域；最后，为了提升火焰检测算法的性能，在原yolox网络结构prediction层的head模块中采用可变卷积(deformableconv)，head模块结构如图(4)所示，加强检测头的学习能力，提取火焰不规则形状的特征。通过上述的改进，使火焰检测模型的参数量更少、体积更小，且检测精度更高，能更好的满足部署到jetsonxaviernx设备上的需求。
41.将经过预处理后的图片堆叠信息输入到改进后的yolox火焰检测模型中，对图片进行特征提取、特征融合和检测目标物体三大处理。首先，通过监控摄像头获取视频数据，视频数据经过帧处理后得到每一帧画面的堆叠信息，每一帧图片都是640*640*3大小。将640*640*3大小的图片输入到ghostnet骨干网络中进行特征提取。ghostnet首先使用较少的普通卷积生成一部分特征图，然后对已经生成的一部分特征图进行廉价操作(cheap)获得另外一部分特征图，最后将两部分特征图拼接在一起。ghostnet利用线性运算来扩充特征，增加通道数。线性运算可以使用更少的参数来生成更多的特征图，在不改变输出特征图大小的条件下，所需的参数总量和浮点数均低于普通cnn网络。并且，ghostnet实现了识别和线性变化并行，保留了已有的特征映射，在维持相似识别性能的同时降低通用卷积层的计算成本，提升算力。
42.通过采用ghostnet作为yolox的骨干网络，模型的体积缩小，普通卷积计算如式(1)，cheap操作计算如式(2)，参数量压缩率计算如式(3)：cost＝h'
×
w'
×n×k×k×
c#(1)
[0043][0044]
[0045]
其中输入：h
×w×
c，输出：h'
×
w'
×
n，卷积核尺寸：k
[0046]
采用ghostnet会明显降低yolox模型的参数量，减小模型大小，实现轻量化目标，但是会在一定程度上造成关键信息的损失，加入注意力机制可以减少背景带来的噪音影响，提升模型检测精度。目前常用的注意力机制有senet，sknet，ecanet，本发明选择加入ecanet，该模块使网络在几乎不增加运算量的情况下获得更好的性能。与senet相比，采用了一种不降维的局部跨通道交互策略，该策略对于学习通道注意力非常重要。具体来说，在给定输入特征的情况下ecanet去除了原来senet中的fc层，直接在全局平均池化之后的特征上采用一个可以权重共享的1d卷积进行学习，其中1d卷积涉及到超参数k，就是卷积核尺寸，它代表了局部跨通道交互的覆盖率，这样就避免了通道数下降对于信息的丢失，也增强了通道间信息的联系，从而使神经网络更好地学习到有用的信息。
[0047]
经过ghostnet骨干网络层分别提取到3个80*80*256、40*40*512、20*20*1024大小的特征层。然后将3个不同大小的特征层传入到neck层进行特征融合，结合不同尺度的特征信息使网络提取到更多有效特征，在neck层采用上采样和下采样实现特征融合。为了使模型更多的关注火焰自身的特征，提高算法的特征提取能力，在neck层进行上采样之前加入ld-aspp模块。在ld-aspp模块中，特征图经过两个不同的分支：在第一分支中，特征图通过1*1卷积操作将通道降低为与上一层特征图相同的通道数；在第二个分支中，特征图经过自适应平均池化(adaptiveavgpool2d)，再经过sigmoid激活函数输出为一个权重。然后将特征图与权重相乘得到新特征图，再经过上采样，与其尺寸相等的特征图拼接，再经过1*1卷积操作降低通道。
[0048]
通过前面的骨干网络层和neck层输出3个不同尺度的效特征层，为了提升火焰检测算法的性能，在head模块中采用可变卷积提取有效特征，可变卷积提取像特征过程如图(7)所示，加强检测头的学习能力。传统的卷积核通常是固定尺寸，固定大小的。这种卷积核对未知变化的适应性差，泛化能力较弱，尤其在火焰检测中，由于火焰的形状是不规则的，所以普通卷积效果会更差。因此本发明采用设置初始膨胀率为d的可变卷积模块来提取输入物的特征，在本例中d＝2，首先可变卷积单元中会通过一个平行的标准卷积单元计算得到的偏移量，加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，而不是限制在卷积核为中心的方形位置。普通卷积计算如式(4)，可变卷积计算如式(5)。
[0049][0050][0051]
其中，y为输出的特征矩阵，x为输入的特征矩阵，p0为任意位置，w为采样值的权重矩阵，r为单元格且覆盖了整个输入特征矩阵，pn为r上的任意位置，δpn为偏移量。
[0052]
通过添加偏移量可以加强检测头的学习能力，使感受野与火焰形状更加贴近。然后通过head模块分两个部分实现分类和检测框的生成，最后在预测时进行整合。
[0053]
经过改进后的yolox模型进行火焰烟雾检测对火灾事故进行预判，生成预判结果；
若判断结果为平台上有疑似火焰产生，则产生报警信息，边缘设备外接的蜂鸣器会发出报警。
[0054]
s33:用于产生报警信息过程：
[0055]
一旦输入视频中检测出火焰信息，边缘设备外接的蜂鸣器会发出报警并利用边缘设备的4g或5g模块，将产生报警信息的视频数据以fire 摄像头编号 系统时间的命名方式保存至本地，并将其名称以字段的方式传至服务器。当边缘设备外接的蜂鸣器发出报警时，平台监控中心的管理人员能够在显示设备上看到经过火灾检测算法处理后的监控视频，监控画面中会显示矩形框将火焰标注处理，然后结合报警信息快速的到达现场进行确认并及时处理。
[0056]
步骤4：用于实现智能预警系统模型的训练以及参数的更新，其特征在于：使用边缘设备的4g或5g模块将边缘端设备汇总的检测结果视频保存到本地，报警信息上传到云端服务器。若判断不是火灾产生，则将视频数据暂存2-3天，边缘端利用运行空闲时间将误判视频数据上传至云端服务器，供服务器对错误预判数据进行分析，对火焰检测模型进一步训练，更新模型的参数，改善本地边缘计算中的火焰检测模型的检测精度。