基于改进两步检测的电力安全带检测及预警方法与流程

1.本发明涉及安全带检测领域，特别是涉及基于改进两步检测的电力安全带检测及预警方法。


背景技术：

2.坠落事故是电力系统最主要的伤亡事故之一，电力系统高空作业的施工人员需要佩戴电力安全带，来保障高处作业施工人员的安全，保证电力生产运营安全。电力安全带由腰带和安全绳组成，常用于电力施工检修场景中。然而早期对未佩戴电力安全带的危险排查主要依靠人力监督，人力监督反应速度慢，且无法同时监督多个施工现场。随着深度学习的发展，基于深度学习的安全带检测算法可以实时检测作业人员是否正确佩带安全带，有着反馈速度快且可同时检测多个施工场景的优点。
3.电力安全带检测属于计算机视觉中的目标检测范畴。深度网络可以自动学习到图像多层次的特征，包括丰富的底层纹理特征和深层的语义特征。近年来，越来越多的深度学习算法被应用于目标检测，并极大提高了检测精度。基于深度学习的目标检测算法主要分为两类：双步检测方法和单步检测方法。双步检测方法首先要提取候选区域，随后使用分类器检测候选区域。


技术实现要素：

4.为解决上述问题，本发明在实时图像采集系统采集检测图像数据的基础上，提出了基于改进两步检测的电力安全带检测及预警方法，具体步骤如下，其特征在于：
5.步骤1，采集实际应用场景的图像数据：将采集到的图像进行增广，并使用图像标注工具labellmg进行标注，同时分类建立数据集，将数据集划分为训练样本和测试样本；
6.步骤2，对操作人员戴上安全带的图像进行随机擦除：由于图像数据中操作人员的动作幅度和是否佩戴安全带的标签呈强关联性，在动作幅度大的操作人员中有很大比例佩戴了安全带，为了泛化检测模型，需要对带有安全带标签的图像进行随机擦除；
7.步骤3，设计两步检测的电力安全带检测模型：首先设计由卷积层和连接层组成的目标区域检测模型，用于确定检测目标区域，再设计一个是否正确佩戴安全带分类模型；
8.步骤4，训练两步检测的电力安全带检测模型：将带有标注的训练样本用于训练两步检测的电力安全带检测模型，获得训练完成的两步检测的电力安全带检测模型；
9.步骤5，将训练获得的改进两步检测的电力安全带检测模嵌入传感器及其采集系统中，并实际应用；
10.步骤6，开启安全带检测报警功能，如发现有人员未佩戴安全帽，可以在监控室进行语音报警、提醒处理，同时在视频的位置播放警示声音，并将监控记录存入监控管理系统。
11.进一步，步骤1中为采集图像进行数据增广的过程可以表示为：
12.为了增强检测模型的泛化能力和鲁棒性，本发明利用生成对抗网络对数据进行增
广，具体步骤如下：
13.步骤1.1，设计生成对抗网络，网络模型由一个生成网络g和一个对抗网络d组成；
14.步骤1.2，将随机噪声输入至生成网络，并输出生成后的安全带检测图像；
15.步骤1.3，将生成网络输出的图像数据和真实检测的安全带检测图像数据输入至对抗网络，对抗网络输出生成网络g输出图像数据为真实图片的概率；
16.步骤1.4，根据网络输出循环更新网络模型参数，使得满足目标损失函数的优化目标，获得训练完成的安全带检测图像增广模型，损失函数f公式如下：
17.f＝e
x～μ
[logd(x)] e
z～γ
[log(1
‑
d(g(z)))]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]
式中e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是对抗网络的鉴别函数，g(z)是生成网络的输出数据；
[0019]
步骤1.5，利用训练完成的安全带检测图像增广模型完成对电力安全带检测数据的增广。
[0020]
进一步，步骤2中对安全带标签图像的随机擦除的过程可以表示为：
[0021]
步骤2.1，随机选定图像中的一个矩形区域，将矩形区域的像素值置0，其中矩形区域的高宽为：
[0022][0023][0024]
式中h为矩形区域的高，w为矩形区域的宽，s是矩形区域面积，r是矩形区域的高宽比；
[0025]
步骤2.2，随机选取图像中的点(a,b)，改点需满足下列条件：
[0026]
a w≤w0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0027]
b h≤h0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0028]
式中，w0是图像的高，h0是图像的宽；
[0029]
步骤2.3，将图像中的(a,b,a w,b h)的矩形区域作为随机擦除区，将该区域的像素值置0。
[0030]
进一步，步骤3中设计两步检测的电力安全带检测模型的过程可以表示为：
[0031]
目标区域检测模型主要由yolov3构成，模型包含三部分：主干模块、特征融合模块和预测模块，在主干模块中加入多感受野机制，使用卷积核大小为1
×
1和5
×
5的dbl模块与原始的dbl模块并行连接，dbl模块和多感受野模块的映射关系表示为下式：
[0032]
x
multi
＝h1(x) h3(x) h5(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0033]
式中，x
multi
是多感受野模块的输出；h1()、h3()和h5()分别表示卷积核大小分别为：1
×
1、3
×
3和5
×
5的映射；x表示yolov3原本的特征图输出；
[0034]
安全带分类检测模型主要通过计算yolov3特征图输出特征值与已知类别训练样本特征值的距离来对输入的图像数据进行分类，距离公式d如下式所示：
[0035][0036]
式中x
multi
是测试样本的多感受野模块的输出，x’multi
是训练样本的多感受野模块
的输出；在训练样本集中找出与测试样本最近邻的k个点，涵盖这k个训练样本点的领域记作n
k
，根据分类决策规则决定测试样本的类别
[0037][0038]
其中，y
i
∈{0,1}是训练样本的实际类别，i是指示函数，当y
i
＝1的数量多于y
i
＝0时，i为1，否则为0；最后交叉验证，根据识别率来确定k值。
[0039]
进一步，步骤4中训练两步检测的电力安全带检测模型的过程可以表示为：
[0040]
步骤4.1把图像化为小网格，同时在每个小网格中，都预测两个锚框；
[0041]
步骤4.2通过阈值去除概率低的锚框，再根据非极大值抑制去除冗余锚框；
[0042]
步骤4.3设置模型损失函数，损失函数是用来评价模型预测值和真实值不一样的程度，用于更新模型参数、收敛模型，本发明的损失函数loss如下式：
[0043]
loss＝∑coorerror iouerror classerror
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0044]
式中，coorerror是坐标误差，iouerror是iou误差，classerror是分类误差。
[0045]
进一步，步骤5中将两步检测模型实际应用的过程可以表示为：
[0046]
通过两步检测模型检测对操作人员佩戴安全带进行检测，首先通过模型对检测目标区域进行定位，确定操作人员所在的区域；再通过训练好的模型对目标区域进行分类识别，检测操作人员是否正确佩戴安全带。
[0047]
本发明基于改进两步检测的电力安全带检测及预警方法，有益效果：本发明的技术效果在于：
[0048]
本发明为了泛化检测模型，对带有安全带标签的图像进行随机擦除，同时利用安全带检测图像增广模型完成对电力安全带检测数据的增广，增强检测模型的鲁棒性和泛化能力，最后在yolov3的主干模块中加入多感受野机制，细化模型的输出特征，提高模型分类精度。
[0049]
1.本发明为了泛化检测模型，对带有安全带标签的图像进行随机擦除，增强了检测模型的泛化能力；
[0050]
2.本发明对带有安全带标签的图像进行随机擦除，增强了检测模型的鲁棒性和泛化能力；
[0051]
3.本发明在yolov3的主干模块中加入多感受野机制，细化模型的输出特征，提高模型分类精度。
附图说明
[0052]
图1为本发明的流程图；
[0053]
图2为本发明的生成对抗网络结构图；
具体实施方式
[0054]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0055]
本发明提出了基于改进两步检测的电力安全带检测及预警方法，为了泛化检测模型，对带有安全带标签的图像进行随机擦除，再利用安全带检测图像增广模型完成对电力安全带检测数据的增广，增强检测模型的鲁棒性和泛化能力，最后在yolov3的主干模块中
加入多感受野机制，细化模型的输出特征，提高模型分类精度，图1为本发明的流程图，下面结合流程图对本发明的步骤作详细介绍。
[0056]
步骤1，采集实际应用场景的图像数据：将采集到的图像进行增广，并使用图像标注工具labellmg进行标注，同时分类建立数据集，将数据集划分为训练样本和测试样本；
[0057]
为了增强检测模型的泛化能力和鲁棒性，本发明利用生成对抗网络对数据进行增广，具体步骤如下：
[0058]
步骤1.1，设计生成对抗网络，网络模型由一个生成网络g和一个对抗网络d组成，生成对抗网络结构图如图2；
[0059]
步骤1.2，将随机噪声输入至生成网络，并输出生成后的安全带检测图像；
[0060]
步骤1.3，将生成网络输出的图像数据和真实检测的安全带检测图像数据输入至对抗网络，对抗网络输出生成网络g输出图像数据为真实图片的概率；
[0061]
步骤1.4，根据网络输出循环更新网络模型参数，使得满足目标损失函数的优化目标，获得训练完成的安全带检测图像增广模型，损失函数f公式如下：
[0062]
f＝e
x～μ
[log d(x)] e
z～γ
[log(1
‑
d(g(z)))]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0063]
式中e是分布期望，x是训练样本，μ是训练样本x的概率分布，z是生成器的随机样本，γ是随机样本z的概率分布，d(x)是对抗网络的鉴别函数，g(z)是生成网络的输出数据；
[0064]
步骤1.5，利用训练完成的安全带检测图像增广模型完成对电力安全带检测数据的增广。
[0065]
步骤2，对操作人员戴上安全带的图像进行随机擦除：由于图像数据中操作人员的动作幅度和是否佩戴安全带的标签呈强关联性，在动作幅度大的操作人员中有很大比例佩戴了安全带，为了泛化检测模型，需要对带有安全带标签的图像进行随机擦除，对安全带标签图像的随机擦除步骤如下所示：
[0066]
步骤2.1，随机选定图像中的一个矩形区域，将矩形区域的像素值置0，其中矩形区域的高宽为：
[0067][0068][0069]
式中h为矩形区域的高，w为矩形区域的宽，s是矩形区域面积，r是矩形区域的高宽比；
[0070]
步骤2.2，随机选取图像中的点(a，b)，改点需满足下列条件：
[0071]
a w≤w0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0072]
b h≤h0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0073]
式中，w0是图像的高，h0是图像的宽；
[0074]
步骤2.3，将图像中的(a，b，a w，b h)的矩形区域作为随机擦除区，将该区域的像素值置0。
[0075]
步骤3，设计两步检测的电力安全带检测模型：首先设计由卷积层和连接层组成的目标区域检测模型，用于确定检测目标区域，再设计一个是否正确佩戴安全带分类模型；
[0076]
目标区域检测模型主要由yolov3构成，模型包含三部分：主干模块、特征融合模块和预测模块，在主干模块中加入多感受野机制，使用卷积核大小为1
×
1和5
×
5的dbl模块与
原始的dbl模块并行连接，dbl模块和多感受野模块的映射关系表示为下式：
[0077]
x
multi
＝h1(x) h3(x) h5(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0078]
式中，x
multi
是多感受野模块的输出；h1()、h3()和h5()分别表示卷积核大小分别为：1
×
1、3
×
3和5
×
5的映射；x表示yolov3原本的特征图输出；
[0079]
安全带分类检测模型主要通过计算yolov3特征图输出特征值与已知类别训练样本特征值的距离来对输入的图像数据进行分类，距离公式d如下式所示：
[0080][0081]
式中x
multi
是测试样本的多感受野模块的输出，x’multi
是训练样本的多感受野模块的输出；在训练样本集中找出与测试样本最近邻的k个点，涵盖这k个训练样本点的领域记作n
k
，根据分类决策规则决定测试样本的类别
[0082][0083]
其中，y
i
∈{0,1}是训练样本的实际类别，i是指示函数，当y
i
＝1的数量多于y
i
＝0时，i为1，否则为0；最后交叉验证，根据识别率来确定k值。
[0084]
步骤4，训练两步检测的电力安全带检测模型：将带有标注的训练样本用于训练两步检测的电力安全带检测模型，获得训练完成的两步检测的电力安全带检测模型，训练步骤如下所示：
[0085]
步骤4.1把图像化为小网格，同时在每个小网格中，都预测两个锚框；
[0086]
步骤4.2通过阈值去除概率低的锚框，再根据非极大值抑制去除冗余锚框；
[0087]
步骤4.3设置模型损失函数，损失函数是用来评价模型预测值和真实值不一样的程度，用于更新模型参数、收敛模型，本发明的损失函数loss如下式：
[0088]
loss＝∑coorerror iouerror classerror
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0089]
式中，coorerror是坐标误差，iouerror是iou误差，classerror是分类误差。
[0090]
步骤5，将训练获得的改进两步检测的电力安全带检测模嵌入传感器及其采集系统中，并实际应用；
[0091]
通过两步检测模型检测对操作人员佩戴安全带进行检测，首先通过模型对检测目标区域进行定位，确定操作人员所在的区域；再通过训练好的模型对目标区域进行分类识别，检测操作人员是否正确佩戴安全带。
[0092]
步骤6，开启安全带检测报警功能，如发现有人员未佩戴安全帽，可以在监控室进行语音报警、提醒处理，同时在视频的位置播放警示声音，并将监控记录存入监控管理系统。
[0093]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。