一种基于单阶段目标检测网络的电力巡检鸟窝检测方法与流程

1.本发明涉及计算机视觉和图像检测技术领域，特别的为一种基于单阶段目标检测网络的电力巡检鸟窝检测方法。


背景技术：

2.故障检测是计算机视觉在工业制造领域中的重要应用之一，它可以提高工厂生产效率减少甚至替代人力劳动，并且能够有效保证产品质量。如何精准高效地检测电力塔鸟窝是当下研究的难点，目前主要有三种研究方法，一种是人工检测，靠人眼进行图片检测分类；一种是利用传统的图像检测方法对图像特征进行提取及分类；一种是直接利用神经网络来检测电力塔是否存在故障。
3.人工检测方法，人眼长期高度集中注意力易疲劳，效率低下、人工成本高、误检率高。传统的图像检测算法主要流程是数据增强、边缘检测、图像分割、特征提取、图像分类。数据增强采用灰度变换增强、直方图增强、图像锐化等方法，边缘检测分为空间域和频率域的检测，空间域的边缘检测算子有canny算子，sobel算子，roberts算子等，频率域的检测方法有傅里叶变换，小波变换，gabor变换等。也通过灰度直方图中的二阶矩，熵、逆差矩、对比度、相关性等。但传统的图像检测方法效率低下且精度不高，随着深度学习技术目标检测算法的发展，girshick等提出了r
‑
cnn算法，首次将深度学习代入计算机视觉的应用领域。接着he等(hekm,zhangxy,rensq,et al.spatial pyramid poolingin deep convolutional network forvisual recognition[j])，提出了spp
‑
net算法，解决了候选框缩放成统一大小而导致物体变形的问题，girshick(girshick r.fast r
‑
cnn[c//proceedings of the ieee international conference on computer vision,2015:176
‑
183.)通过对r
‑
cnn和spp
‑
net的缺点做进一步改进，提出了fast r
‑
cnn，以上方法都是基于区域的目标检测方法，后来出现了基于回归的目标检测方法。如ssd[[6]liu w,anguelov d,erhan d,et al.ssd:single shot multibox detector[c]//proc of european conference on computervision.amsterdam,nederland:springer,2016:21
‑
37.]等，以上深度学习的方法相比传统图像处理技术对大物体检测具有很高的精度，但对小尺度物体检测存在易误检、漏检的缺陷。
[0004]
综上所述，研发一种基于单阶段目标检测网络的电力巡检鸟窝检测方法，仍是计算机视觉和图像检测技术领域中急需解决的关键问题。


技术实现要素：

[0005]
本发明的目的是提供一种基于单阶段目标检测网络的电力巡检鸟窝检测方法，解决上述背景技术中的问题。
[0006]
为实现以上目的，本发明通过以下技术方案予以实现：一种基于单阶段目标检测网络的电力巡检鸟窝检测方法，包括以下步骤：
[0007]
s1、训练过程。
[0008]
s2、检测过程。
[0009]
进一步的，在s1操作步骤中，所述训练过程是构建检测鸟窝的网络模型，将带鸟窝的电塔图片数据集，输入到该单阶段目标检测网络模型中进行训练，最终得到能够精准检测鸟窝的神经网络。
[0010]
进一步的，在s1操作步骤中，所述训练过程包括电塔图像数据集采集、网络输入端进行图像预处理和特征信息提取三个过程。
[0011]
进一步的，所述电塔图像数据集采集是用带高清摄像头的无人机进行定点采集，无人机通过激光雷达设定航线与拍摄角度，特定航线与拍摄角度保证了电塔和无人机安全的同时，提高了图片的拍摄精度与质量，拍摄规则采用由远到近，由整体到局部，从右至左，自上而下，从正面到背面的拍摄顺序。杆塔拍摄内容：杆塔整体、基础、塔头、左相绝缘子(含地线支架)、中相绝缘子串、右相绝缘子(含地线支架)，杆塔采集照片不少于6张，缺陷单独拍照。
[0012]
进一步的，所述网络输入端进行图像预处理是通过mosaic数据增强算法进行数据增强，mosaic数据增强采用4张图片，做随机缩放、随机裁剪、随机排布的操作然后进行拼接，mosaic数据增强算法丰富了数据集，增加了很多小目标，让网络具有更好的鲁棒性。
[0013]
进一步的，所述特征信息提取是backbone和neck网络结构的工作，所述网络backbone结构是focus cbl csp1_1 cbl csp1_3 cbl csp1_3 cbl spp，focus有32个卷积核，其目的是做一个切片操作，让原始的608*608*3的图片，最终变成304*304*32的特征图，cspx_y网络结构，由卷积层和x个resnet网络中的y个残差结构组成，resnet残差结构增加了网络特征提取和特征融合的能力，cbl由conv bn leaky_relu激活函数三者组成，spp采用1
×
1，5
×
5，9
×
9，13
×
13的最大池化的方式，再进行多尺度特征融合，将得到的特征向量经过fpn pan网络，所述neck结构是fpn pan结构，所述fpn网络是自顶向下的结构，将高层的多尺度特征信息通过上采样的方式进行传递融合，得到进行预测的特征图，所述pan是一个自底向上的特征金字塔，自底向上的传递传达强定位特征，从不同的检测层进行特征聚合，将不同电塔鸟窝得分高的特征图和对应的权重打包成权重文件。
[0014]
进一步的，在s2操作步骤中，所述检测过程是通过对待检测的图片进行直方图均衡化做数据增强，再将待检测的电塔图片输入到网络的输出层中，进行检测，在检测过程中，需要确认待检测图片是否存在鸟窝的特征，如果存在鸟窝的特征，则将该图片标记为存在鸟窝的图片，否则该图片标记为不存在鸟窝的图片。
[0015]
进一步的，所述输出层是实现网络得到图片的特征向量后进行分类输出的过程，将学习得到的故障特征图的权重与测试集的图像进行匹配，采用giou_loss作为boundingbox的损失函数，得到多个初步的预测框，在此基础上使用nms非极大值抑制算法，识别出一些被遮挡重叠的目标，生成的预测框更加精确，giou的目标相当于在损失函数中加入了一个ground truth和预测框构成的闭包的惩罚，它的惩罚项是闭包减去两个框的并集后的面积在闭包中的比例越小越好。
[0016]
进一步的，所述giou算法包括以下步骤：
[0017]
输入：任意两个目标框：a是ground truth,b是预测框；
[0018]
输出：giou；
[0019]
步骤一、根据目标框a和b，找到一个最小范围覆盖a,b的矩形框c；
[0020]
步骤二、计算iou：
[0021][0022]
步骤三、计算giou：
[0023][0024]
其中，c是a和b两个区域的闭包，经过giou_loss和nms非极大值抑制算法生成预测框，预测框即为检测电力塔的鸟窝位置。
[0025]
本发明提供了一种基于单阶段目标检测网络的电力巡检鸟窝检测方法。具备以下有益效果：
[0026]
(1)、本发明中的该单阶段目标检测网络模型能够准确检测出电力塔图片中的鸟窝。
[0027]
(2)、本发明使用giou_loss作为boundingbox的损失函数，giou不仅关注预测框重叠区域，还关注其他的非重合区域，能更好的反映两者的重合度。
[0028]
(3)、本发明中的预测框nms非极大值抑制算法能够避免预测框随机初始化带来的小物体难以检测的影响；
[0029]
(4)、本发明使用的算法，对计算性能要求有限，可移植于各类电脑设备，并适用于目标类别多、目标较为复杂的应用场景。
附图说明
[0030]
图1为一种基于单阶段目标检测网络的电力巡检鸟窝检测方法的流程图；
[0031]
图2为一种基于单阶段目标检测网络的电力巡检鸟窝检测方法中该单阶段目标检测网络的网络结构示意图；
[0032]
图3为一种基于单阶段目标检测网络的电力巡检鸟窝检测方法中focus的结构示意图；
[0033]
图4为一种基于单阶段目标检测网络的电力巡检鸟窝检测方法中neck的结构示意图。
具体实施方式
[0034]
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
[0035]
实施例：
[0036]
请参照图1
‑
4所示，一种基于单阶段目标检测网络的电力巡检鸟窝检测方法，包括以下步骤：
[0037]
步骤一、训练过程。
[0038]
步骤二、检测过程。
[0039]
训练过程是构建检测鸟窝的网络模型，将带鸟窝的电塔图片数据集，输入到该单阶段目标检测网络模型中进行训练，最终得到能够精准检测鸟窝的神经网络。
[0040]
训练过程包括电塔图像数据集采集、网络输入端进行图像预处理和特征信息提取三个过程。
[0041]
电塔图像数据集采集是用带高清摄像头的无人机进行定点采集，带有高清摄像头的无人机会根据航线定点的拍摄图片，无人机通过激光雷达设定航线与拍摄角度，特定航线与拍摄角度保证了电塔和无人机安全的同时，提高了图片的拍摄精度与质量，拍摄规则采用由远到近，由整体到局部，从右至左，自上而下，从正面到背面的拍摄顺序。杆塔拍摄内容：杆塔整体、基础、塔头、左相绝缘子(含地线支架)、中相绝缘子串、右相绝缘子(含地线支架)，杆塔采集照片不少于6张，缺陷单独拍照，并将收集得到的数据集按7：3的比例分为训练集和测试集。
[0042]
网络输入端进行图像预处理是通过mosaic数据增强算法进行数据增强，mosaic数据增强采用4张图片，做随机缩放、随机裁剪、随机排布的操作然后进行拼接，即将四张图片进行随机裁剪,再拼接到一张图上作为训练数据，mosaic数据增强算法的具体步骤为：从数据集中每次随机读取四张图片；分别对四张图片进行翻转(对原始图片进行左右的翻转)、缩放(对原始图片进行大小的缩放)、色域变化(对原始图片的明亮度、饱和度、色调进行改变)操作；对四张图片进行摆放，完成四张图片的摆放之后，利用矩阵的方式将四张图片它固定的区域截取下来，然后将它们拼接起来，拼接成一张新的图片。mosaic数据增强算法丰富了数据集，增加了很多小目标，让网络具有更好的鲁棒性。
[0043]
特征信息提取是backbone和neck网络结构的工作，网络backbone结构是focus cbl csp1_1 cbl csp1_3 cbl csp1_3 cbl spp，focus有32个卷积核，其目的是做一个切片操作，让原始的608*608*3的图片，最终变成304*304*32的特征图，cspx_y网络结构，neck结构是fpn pan结构，fpn网络是自顶向下的结构，将高层的多尺度特征信息通过上采样的方式进行传递融合，得到进行预测的特征图。由卷积层和x个resnet网络中的y个残差结构组成，resnet残差结构增加了网络特征提取和特征融合的能力，resnet残差结构网络计算如下：
[0044]
输入：第l层网络生成的数据a
l
；
[0045]
输出：y＝a
l 2
；
[0046]
s1：将第l层网络生成的数据与第l 1层的网络做卷积：
[0047]
z
l 1
＝w
l 1
a
l
b
l 1
；
[0048]
s2：将第l 1层网络的卷积结果做非线性操作：
[0049]
a
l 1
＝relu(z
l 1
)；
[0050]
s3：将第l 1层网络生成的数据与第l 2层的网络做卷积：
[0051]
z
l 2
＝w
l 2
a
l 1
b
l 2
；
[0052]
s4：将第l 2层网络的卷积结果与第l层网络生成的数据相加并做非线性操作：
[0053]
a
l 2
＝relu(z
l 2
a
l
)；
[0054]
y＝a
l 2
；
[0055]
其中，w
l
代表网络第l层的权重参数，b
l
代表网络第l层的偏置参数，a
l
代表网络第l层的数据输出，z
l
代表网络第l层的卷积结果，relu是该残差网络使用的激活函数。
[0056]
relu(x＜0)＝0
[0057]
relu(x≥0)＝x；
[0058]
cbl由conv bn leaky_relu激活函数三者组成，conv是卷积层，conv有128个尺寸为3*3，步长为2的卷积核，bn是数据批量归一化，能加快训练中卷积速度，bn算法步骤如下：
[0059]
输入：将输入数据集划分为m个小数据集：b＝{x1,x2,...,xm}；
[0060]
输出：{y
i
＝bn
γ,β
(x
i
)}；
[0061]
s1：求数据均值：
[0062][0063]
s2：求数据方差：
[0064][0065]
s3：数据标准化：
[0066][0067]
s4：训练参数γ，β，输出y
[0068][0069]
leaky_relu激活函数如下：
[0070]
y
i
＝x
i if x
i
≥0
[0071][0072]
其中，a
i
是(1， ∞)区间内的固定参数，spp是做空间金字塔池化操作，大体由conv、maxpooling、concat组成，先经conv提取特征输出，再经过5
×
5、9
×
9、13
×
13这3个尺寸的高斯内核的最大池化的方式进行下采样，将上述3个最大池化操作得到的数据进行拼接融合并与其初始特征相加，再经conv将输出回复到同原始输入一致。经过fpn pan网络处理后，送往输出端，fpn网络是自顶向下的，fpn包括bottom
‑
uppathway、top
‑
downpathway和lateralconnections三部分，
[0073]
p
i
、p
i 1
、...、p
i n
＝f(c
i
、c
i 1
、...、c
i n
)
[0074]
其中，c
i
是fpn的输入，即上一步生成的多尺度特征向量，pi是经过融合后的输出，将上一步生成的不同分辨率的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图，pan是一个自底向上的特征金字塔，自底向上的传递传达强定位特征，从不同的检测层进行特征聚合，fpn pan结构如图3所示，将不同电塔鸟窝得分高的特征图和对应的权重打包成权重文件，并得到能检测相应特征的网络模型，其模型结构如图2所示。
[0075]
检测过程是通过对待检测的图片进行直方图均衡化做数据增强，再将待检测的电塔图片输入到网络的输出层中，进行检测，在检测过程中，需要确认待检测图片是否存在鸟窝的特征，如果存在鸟窝的特征，则将该图片标记为存在鸟窝的图片，否则该图片标记为不存在鸟窝的图片，检测过程包括电塔图像数据集采集、数据增强、特征检测与输出三个过程。
[0076]
电塔图像数据集采集是用带高清摄像头的无人机进行定点采集，无人机通过激光
雷达设定航线与拍摄角度，特定航线与拍摄角度提高了图片的拍摄精度和拍摄质量，待检测的图像进行直方图均衡化，由于是彩色图像，所以需要将彩色图像分成r、g、b三个通道，分别进行直方图均衡化，再将3个通道的结果合并，算法如下：
[0077]
输入：各通道灰度为r的待变换图像；
[0078]
输出：各通道变换后的图像进行融合得到新图像dn；
[0079]
s1、计算灰度值为r的概率密度：
[0080][0081]
s2、计算经过算法处理后的r灰度值映射s：
[0082][0083]
s3、将3个通道的s新图像进行融合：
[0084]
dn＝0.2989*r 0.5870*g 0.1140*b；
[0085]
其中，r是待变换图像的灰度级，l表示整个图像的灰度级数，t(r)是灰度级映射函数，s是灰度级为r的图像像素经变换后的灰度映射，p
r
(r)是灰度级为r的概率密度，w是积分的假变量。
[0086]
输出层是实现网络得到图片的特征向量后进行分类输出的过程，将学习得到的故障特征图的权重与测试集的图像进行匹配，采用giou_loss作为boundingbox的损失函数，得到多个初步的预测框，在此基础上使用nms非极大值抑制算法，识别出一些被遮挡重叠的目标，生成的预测框更加精确。
[0087]
nms非极大值抑制算法的具体的实现步骤为：设定目标框的置信度阈值；根据置信度降序排列候选框列表；选取置信度最高的框添加到输出列表，并将其从候选框列表中删除；计算置信度最高的框与候选框列表中的所有框的iou值，删除大于阈值的候选框；重复上述过程，直到候选框列表为空，返回输出列表。
[0088]
giou的目标相当于在损失函数中加入了一个ground truth和预测框构成的闭包的惩罚，它的惩罚项是闭包减去两个框的并集后的面积在闭包中的比例越小越好。
[0089]
进一步的，giou算法包括以下步骤：
[0090]
输入：任意两个目标框：a是ground truth,b是预测框；
[0091]
输出：giou；
[0092]
s1、根据目标框a和b，找到一个最小范围覆盖a,b的矩形框c；
[0093]
s2、计算iou：
[0094][0095]
s3、计算giou：
[0096][0097]
其中，c是a和b两个区域的闭包，经过giou_loss和nms非极大值抑制算法生成预测框，预测框即为检测电力塔的鸟窝位置。
[0098]
本发明中的该单阶段目标检测网络模型能够准确检测出电力塔图片中的鸟窝，使用giou_loss作为boundingbox的损失函数，giou不仅关注预测框重叠区域，还关注其他的非重合区域，能更好的反映两者的重合度，预测框nms非极大值抑制算法能够避免预测框随机初始化带来的小物体难以检测的影响，使用的算法，对计算性能要求有限，可移植于各类电脑设备，并适用于目标类别多、目标较为复杂的应用场景。
[0099]
以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。