一种基于YOLO-MobileNet的电力作业现场安全防护装备穿戴状态检测方法与流程

一种基于yolo-mobilenet的电力作业现场安全防护装备穿戴状态检测方法
技术领域
1.本发明属于目标检测技术领域，涉及一种基于yolo-mobilenet的电力作业现场安全防护装备穿戴状态检测方法，用于检测电力作业现场的作业人员的安全防护装备穿戴状态，尤其适用于检测电力作业现场的作业人员的安全帽佩戴状态，监督作业人员安全帽佩戴情况。


背景技术：

2.安全防护装备，尤其是安全帽是电力作业中重要的安全防护措施，对保障电力作业中的人身安全至关重要。安全帽能够保护电力作业人员头部安全，避免头部触电和砸伤。在电力作业中，当作业人员受到坠落物的冲击时，安全帽的帽壳、帽衬在瞬间先将冲击力分解到头盖骨的整个面积上，然后利用安全帽的各个部位：帽壳、帽衬的结构、材料和所设置的缓冲结构(插口、拴绳、缝线、缓冲垫等)的弹性变形、塑性变形和允许的结构破坏将大部分冲击力吸收，使最后作用到人员头部的冲击力降低到4900n以下，从而起到保护作业人员的头部不受到伤害或降低伤害的作用。
3.电力作业过程中，由于部分作业人员安全意识淡薄以及高温等原因，部分电力作业人员的安全防护装备经常穿戴不完整，特别容易在不戴安全帽的情况下进行电力作业，给电力安全生产和作业人员人身安全带来了极大的安全隐患，为此，需要时刻监督作业人员安全防护装备穿戴情况乃至安全帽佩戴情况。传统的作业人员安全防护装备穿戴尤其是安全帽佩戴监督方法需要现场管理人员通过人眼对现场进行监督，浪费大量的人力资源，而且监督效果受监督人员责任心等因素影响较大。为了提高电力作业人员安全防护装备穿戴尤其是安全帽佩戴检测的效率，目前采用基于远程视频分析的检测方法。该方法利用布控球等视频采集设备对电力作业现场进行视频采集，并将采集后的视频传输到远程服务器，服务器利用人工智能方法对视频进行分析，实现电力作业人员安全帽的检测。现有用于电力作业人员安全帽检测的方法主要由基于yolo类方法和r-cnn类方法，前者用于实时检测，检测速度相对较快，后者检测精度更好，但是检测速度较慢，不适用于实时检测。基于yolo的检测方法虽然检测速度相对较快，但是由于作业现场较多，需要分析的视频较多，而服务器计算能力有限，导致检测实时性不够好，因此在实际应用过程中，检测速度仍需进一步提高，以满足检测的实时性要求。为此，需要在满足检测精度要求的情况下，降低yolo类方法的复杂度，以提高基于人工智能的电力作业现场安全防护装备穿戴状态的检测速度，满足检测的实时性要求。


技术实现要素：

4.本发明要解决的技术问题是：克服现有技术的缺点，提供一种基于yolo-mobilenet的电力作业现场安全防护装备穿戴状态检测方法，在满足检测精度要求的情况下，降低yolo类方法的复杂度，提高基于人工智能的电力作业现场安全防护装备穿戴状态
的检测速度，满足检测的实时性要求。
5.本发明解决技术问题的技术方案是：一种基于yolo-mobilenet的电力作业现场安全防护装备穿戴状态检测方法，其特征在于，具体步骤如下：
6.1)构建数据集、对数据集图像进行标注
7.2)构建基于yolo-mobilenet的安全防护装备穿戴状态检测网络
8.⑴
构建包含通道注意力网络的mobilenetv2瓶颈模块；
9.⑵
构建改进的mobilenetv2网络；
10.⑶
将步骤
⑵
中构建的改进的mobilenetv2网络代替yolov4主干特征提取网络cpsdarknet，从而构建出基于yolo-mobilenet的安全防护装备穿戴状态检测网络；
11.3)网络模型训练和测试
12.利用已构建的网络模型训练数据集和网络模型测试数据集对网络模型进行训练和测试。
13.进一步，所述步骤1)构建数据集、对数据集图像进行标注包括如下步骤：
14.⑴
利用视频采集设备对电力作业现场进行视频采集；
15.⑵
对采集到的视频图像进行筛选；
16.⑶
将筛选的图像组成网络模型训练数据集和网络模型测试数据集，分别进行标注。
17.进一步，所述步骤1)的
⑵
对采集到的视频图像进行筛选，具体如下：
18.①
选择不同场景下电力作业人员的图像进行分组，已经穿戴安全防护装备的图像为第一组，没有穿戴安全防护装备的图像为第二组；
19.②
将第一组图像分为训练一组和测试一组，将第二组图像分为训练二组和测试二组；
20.③
将训练一组图像和训练二组图像组成网络模型训练数据集，将训练二组图像和测试二组图像组成网络模型测试数据集；
21.④
所述第一组图像的划分比例与所述第二组图像的划分比例相同。
22.进一步，所述步骤2)的
⑴
构建包含通道注意力网络的mobilenetv2瓶颈模块，具体如下：
23.①
mobilenetv2瓶颈模块由三部分组成：
24.第一部分由一个扩展层、一个批归一化层和一个激活函数层组成；
25.第二部分包括一个卷积核为3的深度可分离卷积、一个批归一化层和一个激活函数层；
26.第三部分由一个线性层和一个批归一化层组成；
27.②
在第二部分的批归一化层和激活函数层之间增加一个通道注意力网络，从而构建包含通道注意力网络的mobilenetv2瓶颈模块。
28.进一步，所述mobilenetv2瓶颈模块的第一部分的一个激活函数层的激活函数为relu6激活函数，所述第二部分的一个激活函数层的激活函数为relu6激活函数。
29.进一步，所述步骤2)的
⑵
构建改进的mobilenetv2网络，具体如下：
30.①
在步骤2)的
⑴
构建的包含通道注意力网络的mobilenetv2瓶颈模块中，用hard-swish函数代替包含通道注意力网络的mobilenetv2瓶颈模块中第二部分的relu6激活函
数，从而构建改进的mobilenetv2网络；
31.②
在改进的mobilenetv2网络的不同阶段交替地使用改进的瓶颈模块和原瓶颈模块，并且根据实际测试结果对瓶颈模块数量进行调整；
32.③
调整后的瓶颈模块数量依次为1，2，3，4，3，2，1。
33.进一步，所述步骤2)的
⑶
将构建的改进的mobilenetv2网络代替yolov4主干特征提取网络cpsdarknet表示为：
34.用步骤2)的
⑵
中构建的改进的mobilenetv2网络代替yolov4主干特征提取网络cpsdarknet，经过路径聚合网络得到三个检测头的输入特征；利用深度可分离卷积代替与空间金字塔网络输入和输出连接的标准卷积。
35.进一步，所述步骤2)的
⑵
中，三个检测头的输入特征分别为：浅层输入特征、中层输入特征和深层输入特征，其中：
36.在改进的mobilenetv2网络，输出特征图大小为输入图像大小的1/8的瓶颈层的最后一层的输出特征作为yolov4路径聚合网络path aggregation network,panet的浅层输入特征；
37.在改进的mobilenetv2网络，输出特征图大小为输入图像大小的1/16的瓶颈层的最后一层的输出特征作为yolov4路径聚合网络的中层输入特征；
38.在改进的mobilenetv2网络，输出特征图大小为输入图像大小的1/32的瓶颈层的最后一层的输出特征作为yolov4空间金字塔池化网络spatial pyramid pooling networks,sppnet的输入，空间金字塔池化网络的输出作为yolov4路径聚合网络的深层输入特征。
39.进一步，所述步骤3)网络模型训练和测试，具体如下：
40.①
网络模型训练
41.在模型训练过程中，总的迭代次数为300次，最小批次是15，初始学习速率为0.06，采用余弦退火学习率策略，利用随机梯度下降方法优化网络参数，随机梯度下降优化器的动量为0.6，权重衰减0.0004；
42.②
测试
43.利用测试集对步骤
①
已训练的网络模型进行测试，测试网络模型能否满足要求，如果能满足要求，则结束训练，不能满足要求，调整参数重新对模型进行训练和测试。
44.本发明提供了一种基于yolo-mobilenet的电力作业现场安全防护装备穿戴状态检测方法，在mobilenetv2的瓶颈层中增加了eca-net注意力模块，提高包含有用特征的通道权重，进而提高瓶颈层特征提取能力；利用改进的瓶颈层和mobilenetv2瓶颈层构建改进的mobilenetv2网络，并对改进的mobilenetv2网络最后三层进行删减，并将处理得到的改进的mobilenetv2网络替代yolov4的主干特征提取网络cspdarknet53网络，得到计算量更小的yolo-mobilenet网络。通过对yolo-mobilenet检测网络的改进，降低了yolov4检测网络的复杂度，解决了现有技术的基于yolov4的安全防护装备穿戴状态检测方法中，yolov4检测网络复杂度高导致的检测速度慢、实时性不够好的问题，在满足检测精度要求的情况下，提高了基于人工智能的电力作业现场安全防护装备穿戴状态的检测速度，满足了检测的实时性要求。相对于现有技术的基于yolov4的安全防护装备穿戴状态检测方法，本发明检测方法虽然检测精度由原来的97.5％减低到95.0％，但是，检测速度却由原来的22帧/秒
提高到65帧/秒，完全能够满足实时检测的要求。
附图说明
45.图1是本发明的流程框图；
46.图2是本发明的深度卷积网络结构图；
47.图3是本发明的有效的通道注意力网络(eca-net)的网络结构图；
48.图4是本发明的改进的mobilenetv2的瓶颈层网络结构图；
49.图5是本发明的结构图。
具体实施方式
50.下面利用附图和具体实施方式对本发明作进一步说明。
51.参见图1-图5，本实施例一种基于yolo-mobilenet的电力作业现场安全防护装备穿戴状态检测方法，用来提高电力作业现场作业人员安全帽佩戴状态检测速度，具体步骤如下：
52.1)构建数据集、对数据集图像进行标注
53.⑴
利用现场布控球对电力作业现场进行视频采集；
54.⑵
对采集到的视频图像进行筛选：
55.①
选择不同场景下电力作业人员的图像进行分组，已经穿戴安全防护装备的图像为第一组共5000张，没有穿戴安全防护装备的图像为第二组共5000张；
56.②
在第一组图像中随机选择4000帧图像作为训练一组、随机选择1000帧图像作为测试一组，在第二组图像中随机选择4000帧图像作为训练二组、随机选择1000帧图像作为测试二组；
57.③
将训练一组的4000帧图像和训练二组的4000帧图像组成网络模型训练数据集，将训练二组的1000帧图像和测试二组的1000帧图像组成网络模型测试数据集；
58.⑶
将筛选的图像组成网络模型训练数据集和网络模型测试数据集，利用labelme软件分别进行标注；
59.2)构建基于yolo-mobilenet的安全防护装备穿戴状态检测网络
60.⑴
构建包含通道注意力网络的mobilenetv2瓶颈模块，具体如下：
61.①
mobilenetv2瓶颈模块由三部分组成：
62.第一部分由一个扩展层、一个批归一化层和一个激活函数层组成；
63.第二部分包括一个卷积核为3的深度可分离卷积、一个批归一化层和一个激活函数层；
64.第三部分由一个线性层和一个批归一化层组成；
65.所述mobilenetv2瓶颈模块的第一部分的一个激活函数层的激活函数为relu6激活函
66.数，所述第二部分的一个激活函数层的激活函数为relu6激活函数；
67.②
在第二部分的批归一化层和激活函数层之间增加一个通道注意力网络(eca-net)，从而构建出包含通道注意力网络的mobilenetv2瓶颈模块；
68.所述通道注意力网络根据通道与图像关键信息之间的关系，为不同的通道分配不
同的权重，通道中包含的特征与分类任务越相关，分配给通道的权重就越大，这使得网络更加关注包含重要特征的通道，减少了无用信息的影响；eca-net相对其它注意力模块结构简单，计算量小，因此对网络复杂度影响较小；
69.⑵
构建改进的mobilenetv2网络，具体如下：
70.①
在步骤
⑴
构建的包含通道注意力网络的mobilenetv2瓶颈模块中，用hard-swish函数代替包含通道注意力网络的mobilenetv2瓶颈模块中第二部分的relu6激活函数，从而构建出改进的mobilenetv2网络，提高检测精度；
71.②
如果直接使用改进的瓶颈模块以堆叠的方式来构建网络，通道权重将不断地与特征矩阵相乘，这样可能破坏模块中捷径连接的属性，这在一定程度上会减弱快捷连接提升网络性能的能力，因此，在改进的mobilenetv2网络的不同阶段交替地使用改进的瓶颈模块和原瓶颈模块，并且根据实际测试结果对瓶颈模块数量进行调整；
72.③
调整后的瓶颈模块数量依次为1，2，3，4，3，2，1；
73.⑶
将步骤
⑵
中构建的改进的mobilenetv2网络代替yolov4主干特征提取网络cpsdarknet，降低yolov4主干特征提取网络计算量；经过路径聚合网络得到三个检测头的输入特征；为了降低网络复杂度，利用深度可分离卷积代替与空间金字塔网络输入和输出连接的标准卷积，从而构建出基于yolo-mobilenet的安全防护装备穿戴状态检测网络；
74.所述三个检测头的输入特征分别为：浅层输入特征、中层输入特征和深层输入特征，其中：
75.在改进的mobilenetv2网络，输出特征图大小为输入图像大小的1/8的瓶颈层的最后一层的输出特征作为yolov4路径聚合网络path aggregation network,panet的浅层输入特征；
76.在改进的mobilenetv2网络，输出特征图大小为输入图像大小的1/16的瓶颈层的最后一层的输出特征作为yolov4路径聚合网络的中层输入特征；
77.在改进的mobilenetv2网络，输出特征图大小为输入图像大小的1/32的瓶颈层的最后一层的输出特征作为yolov4空间金字塔池化网络spatial pyramid pooling networks,sppnet的输入，空间金字塔池化网络的输出作为yolov4路径聚合网络的深层输入特征；
78.3)网络模型训练和测试
79.①
网络模型训练
80.在模型训练过程中，总的迭代次数为300次，最小批次(mini-batch)是15，初始学习速率为0.06，采用余弦退火学习率策略，利用随机梯度下降(stochastic gradient descent，sgd)方法优化网络参数，随机梯度下降优化器的动量(momentum)为0.6，权重衰减0.0004；
81.②
测试
82.利用测试集对步骤
①
已训练的网络模型进行测试，测试网络模型能否满足要求，如果能满足要求，则结束训练，不能满足要求，调整参数重新对模型进行训练和测试。
83.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。