一种级联骨干的金具检测模型及剪枝方法与流程

1.本发明涉及图像分析技术领域，尤其涉及一种级联骨干的金具检测模型及剪枝方法。


背景技术：

2.金具是输电线路上广泛使用的铁质或铜制金属附件，主要用于支持、固定、接续裸导线、导体及绝缘子等，种类繁多且形状差异较大。由于金具常年运行在户外，极易产生锈蚀、形变、损坏等现象，严重时会引起大规模地停断电，经济损失不可估量，因此实现对金具目标高精度实时检测可自动定位其故障，对保障电网的安全运行具有重大意义。近年来，随着人工智能技术发展，采用计算机视觉和图像处理技术对航拍金具图像进行自动化处理已成为当下的主要手段。
3.目前较为成功的金具检测模型大多采用复杂的深层主干网络或依赖大量锚框来提高检测精度，但同时带来过多模型参数，对硬件计算资源要求较高，无法满足实时检测的需求；同时，较大的模型体积也使其无法适用于硬件资源相对受限的作业平台。
4.本发明将无锚网络思想应用于金具检测，利用关键点对金具进行检测，减少参数量同时提升检测速度，但此模型在应用中也存在一些问题。首先，单一的轻量级主干网络在检测中特征提取能力不足，无法解决复杂背景下金具多尺度的问题；其次，为适用于计算和存储资源有限的移动边缘端，需进一步压缩模型体积。
5.因此，在上述背景下，将无锚化网络应用于边缘端金具检测，进一步提升提取特征能力并压缩模型体积，使其满足边缘端部署的精度和体积要求成为重中之重。


技术实现要素：

6.本发明的目的是提供一种级联骨干的金具检测模型及剪枝方法，，减少模型参数量和计算量，训练模型得出结果；
7.进一步的，所述步骤s1中，构建金具数据集，得到不同类别的金具图像，具体包括：
8.将航拍图像中输电线路及杆塔中包含金具的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具种类和数目较多的图像。
9.进一步的，所述步骤s2中，借鉴cbnet的多融合阶梯级联主干网络结构，错级连接mobilenetv3与resnet18，具体包括：
10.首先，引入cbnet复合骨干网络思想，通过融合双支主干网络的高层和低层特征进行互补，提高检测精度和速度。
11.其次，主干网络采用轻量级网络mobilenetv3，并新增一个并行分支主干resnet-18。resnet-18分支网络无下采样操作以保证尺度不变性，减少特征丢失。同时网络层数的加深增强了网络学习困难样本的能力。
12.然后，选取mobilenetv3的第二层、第三层、第五层分别输出4倍、8倍、16倍下采样三个特征，用于和resnet-18残差块输出的特征进行堆叠：第一个残差块输出的特征与
mobilenetv3的输入特征进行堆叠；第二个残差块的输出的特征与mobilenetv3的第一个输出特征进行堆叠，以此类推。
13.最后，将主干网络与分支网络最后的输出特征进行通道叠加。cbnet复合结构所占内存大小远低于原模型采用的hourglass和dla主干结构，提升了训练速度和检测精度。
14.进一步的，所述步骤s3中，引入高效通道注意力模块，对主干网络两个分支的输出进行优化，增强有效特征，具体包括：
15.首先引入高效通道注意力机制ecanet抑制双主干网络输出的无效特征。此模块在引入极少计算量的前提下直接使用一维卷积获取局部通道之间的关系，避免对特征进行降维，减少通道信息的丢失。通过在两条主干网络最后的输出部分并行添加eca模块，避免了串行叠加使用注意力机制造成过多的参数和计算开销的问题。
16.进一步的，所述步骤s4中，融合无锚网络思想，通过中心点、中心点偏移量、目标尺度三个预测分支进行回归检测，具体包括：
17.首先，借鉴典型无锚网络centernet利用关键点定位待检测目标的思想，将金具的边界框中心建模为一个点对象，生成关键点热力图，提取所有金具的局部峰值点，预测每一个像素点是否为中心点。具体做法是将热力图上的所有响应点与其连接的8个相邻点进行比较，如果该点响应值大于或等于其8个相邻点的值，则保留该点，否则忽略该点，最后保留满足要求的前100个峰值点。
18.然后，通过检测网络进行预测。检测网络包含3个分支：中心点预测分支、中心点偏移量分支以及目标尺度分支。中心点预测分支用来估计关键点；偏移量分支用来预测关键点偏置，表示标注信息从输入图像映射到输出特征图时由于取正操作带来的坐标误差；目标尺度分支通过预测的目标框宽高和中心点位置得出目标框的位置坐标和大小。
19.进一步的，所述步骤s5中，设计基于稀疏化训练的模型剪枝方法，减少模型参数量和计算量，训练模型得出结果，具体包括：
20.首先，利用mobilenetv3网络单元中bn层的γ尺度因子作为评判剪枝与否的标准，并定义一个百分数形式的全局阈值作为剪枝的引导参数。当γ尺度因子小于设定的阈值时，对其所在通道的输入输出连接以及相关的权重进行裁剪，将冗余的连接从网络中彻底移除，实现通道级别的结构性剪枝。bn层的变换为：
[0021][0022][0023]
式中，z
in
和z
out
表示bn层的输入和输出；b表示mini-batch；μb和σb分别为b的均值和标准差；γ和β为bn层可训练的超参数。
[0024]
训练时为了识别γ的大小，通过对bn层的γ系数施加l1正则约束，诱导模型朝着结构性稀疏的方向调整参数，自动识别冗余通道。剪枝操作总的损失函数为：
[0025][0026]
式中，(x,y)表示输入和输出；w表示权重；首个累加表示正常的网络训练下的损失；第二个累加表示γ的l1正则，其中g(s)＝|s|；λ为新引入的超参数。
[0027]
其次，通过通道剪枝对模型进行进一步修剪。定义全局剪枝率λ，代表需要剪枝的通道数占总通道数的比例，λ对应γ的阈值为γ1；此外为防止有用层被全部剪掉，另外设置一个保护阈值β，表示每层中至少需要保留通道比例，β对应γ的阈值为γ2。根据分析稀疏训练后γ的分布，按30％的比例设置参数量剪枝率并迭代执行稀疏、通道剪枝、微调的过程，使得由于剪枝带来的精度下降可以通过微调补偿回来，从而得到精度损失较小的轻量化模型。
[0028]
最后，对每一次剪枝后的网络进行微调，补偿剪枝带来的少量精度损失。
[0029]
综上，具体剪枝步骤为：
[0030]
1)根据金具数据集制定相应的网络模型并初始化；
[0031]
2)对模型进行稀疏化训练，找到γ尺度因子较小的通道进行剪枝；
[0032]
3)对γ＜γ1且γ＜γ2的通道，进行通道剪枝；
[0033]
4)对迭代执行稀疏、通道剪枝后的模型进行fine-tune；
[0034]
5)重复步骤1-4；
[0035]
6)完成剪枝。
[0036]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种级联骨干的金具检测模型及剪枝方法：借鉴cbnet多融合阶梯级联结构，改进骨干网络；引入高效通道注意力机制ecanet对骨干网络的输出进行优化，增强有效特征；融合无锚网络思想，通过中心点、偏移量及尺度三个预测分支进行回归检测；设计基于稀疏化训练的模型剪枝方法，减少参数量和内存消耗，训练模型得出结果。此方法将无锚网络思想应用于金具检测，通过设计级联骨干网络和高效通道注意力机制提高精度的同时，设计基于迭代稀疏训练的模型压缩方法，结合通道剪枝，实现了模型极大比例的压缩。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1是本发明实施例一种级联骨干的金具检测模型及剪枝方法的流程图；
[0039]
图2是本发明实施例高效通道注意力机制模块的网络结构示意图；
[0040]
图3是本发明实施例模型剪枝流程图；
[0041]
图4为本发明实施例金具检测的效果图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明目的是提供一种高精度轻量化的金具检测方法，解决现有金具检测方法存在的特征提取能力不足、模型体积大等问题，实现在精度提高前提下压缩模型体积的目的。
[0043]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0044]
如图1所示，本发明提供的一种级联骨干的金具检测模型及剪枝方法流程图，包含以下步骤：
[0045]
s1，构建金具数据集，得到不同类别的金具图像；
[0046]
s2，借鉴cbnet复合主干网络结构，错级连接mobilenetv3与resnet18，提高特征提取能力；
[0047]
s3，引入高效通道注意力模块，对主干网络两个分支的输出进行优化，增强有效特征；
[0048]
s4，融合无锚网络思想，通过目标中心点、中心点偏移量、目标尺度三个预测分支进行回归检测。
[0049]
s5，设计基于稀疏化训练的模型剪枝方法，减少模型参数量和计算量，训练模型得出结果；
[0050]
深度学习模型在训练时需要大量的数据集图像样本作为支撑，由于无人机航拍图像采集到的大多为输电线路全局图像，需要按照模型输入图像尺寸对其进行裁剪。因此，所述步骤s1中，构建金具数据集，得到不同类别的金具图像，具体包括：
[0051]
将航拍图像中输电线路及杆塔中包含金具的区域裁剪下来，进行清洗，选取其中图像清晰、含有金具种类和数目较多的图像。
[0052]
金具检测任务中，密集、相互遮挡现象会加大主干网络提取特征的难度，导致缺检漏检。原主干网络resnet-18对输入图片进行8倍下采样，两个相邻的金具经过下采样后处于同一个像素点中，难以提取到金具信息。resnet-101网络深度较深，模型的表征能力也较强，但相应也造成模型计算冗余。因此，在所述步骤s2中，借鉴cbnet网络多融合阶梯级联主干网络结构，错综连接mobilenetv3与resnet18，具体包括：
[0053]
首先，引入cbnet复合骨干网络思想，通过融合双支主干网络的高层和低层特征进行互补，提高检测精度和速度。
[0054]
其次，主干网络采用轻量级网络mobilenetv3，并新增一个并行分支主干resnet-18。resnet-18分支网络无下采样操作以保证尺度不变性，减少特征丢失。同时网络层数的加深增强了网络学习困难样本的能力。
[0055]
然后，选取mobilenetv3的第二层、第三层、第五层分别输出4倍、8倍、16倍下采样三个特征，用于和resnet-18残差块输出的特征进行堆叠：第一个残差块输出的特征与mobilenetv3的输入特征进行堆叠；第二个残差块的输出的特征与mobilenetv3的第一个输出特征进行堆叠，以此类推。
[0056]
最后，将主干网络与分支网络最后的输出特征进行通道叠加。cbnet复合结构所占内存大小远低于原模型采用的hourglass和dla主干结构，提升了训练速度和检测精度。
[0057]
复合骨干网络可以充分提取图像特征，有效特征中也包含干扰检测效果的特征，因此在不过多增加计算量的前提下，需进一步抑制无效特征。在所述步骤s3中，引入高效通道注意力模块，对主干网络两个分支的输出进行优化，增强有效特征，具体包括：
[0058]
首先引入高效通道注意力机制ecanet抑制复合主干网络输出的无效特征。首先输入全局特征，特征维度为1
×1×
c，c为通道数目，全局特征反映了通道特征图之间的有效
性；sigmoid激活函数输出反映通道重要性和关联性的维度为1
×1×
c的新权重；最后使用新权重与输入特征图进行乘积，实现特征权值的重分配，极大的增强分支的有效特征。此模块引入极少计算量，没有对特征进行降维，减少了通道信息的丢失。
[0059]
本方法在两条主干网络最后的输出部分并行添加eca模块，网络结构图如图2所示。
[0060]
无锚网络是一种新型灵活的检测方法，通过学习关键点的特征或者密集区域特征来实现检测目的。所述步骤s4中，融合无锚网络思想，通过中心点、中心点偏移量、目标尺度三个预测分支进行回归检测，具体包括：
[0061]
首先，借鉴典型无锚网络centernet利用关键点定位待检测目标的思想，将金具的边界框中心建模为一个点对象，生成关键点热力图，提取所有金具的局部峰值点，预测每一个像素点是否为中心点。具体做法是将热力图上的所有响应点与其连接的8个相邻点进行比较，如果该点响应值大于或等于其8个相邻点的值，则保留该点，否则忽略该点，最后保留满足要求的前100个峰值点。
[0062]
然后，通过检测网络进行预测。检测网络包含3个分支：中心点预测分支、中心点偏移量分支以及目标尺度分支。中心点预测分支用来估计关键点；偏移量分支用来预测关键点偏置，表示标注信息从输入图像映射到输出特征图时由于取正操作带来的坐标误差；目标尺度分支通过预测的目标框宽高和中心点位置得出目标框的位置坐标和大小。
[0063]
嵌入式设备和移动设备的硬件条件有限，因此需进一步对此模型进行压缩和加速，使其能够部署在移动设备。所述步骤s5中，设计基于稀疏化训练的模型剪枝方法，减少模型参数量和计算量，训练模型得出结果，具体包括：
[0064]
首先，利用mobilenetv3网络单元中bn层的γ尺度因子作为评判剪枝与否的标准，并定义一个百分数形式的全局阈值作为剪枝的引导参数。当γ尺度因子小于设定的阈值时，对其所在通道的输入输出连接以及相关的权重进行裁剪，将冗余的连接从网络中彻底移除，实现通道级别的结构性剪枝。bn层的变换为：
[0065][0066][0067]
式中，z
in
和z
out
表示bn层的输入和输出；b表示mini-batch；μb和σb分别为b的均值和标准差；γ和β为bn层可训练的超参数。
[0068]
然后，在训练期间，为了识别γ的大小，通过对bn层的γ系数施加l1正则约束，诱导模型朝着结构性稀疏的方向调整参数，自动识别冗余通道。剪枝操作总的损失函数为：
[0069]
式中，(x,y)表示输入和输出；w表示权重；首个累加表示正常的网络训练下的损失；第二个累加表示γ的l1正则，其中g(s)＝|s|；λ为新引入的超参数。
[0070]
最后，实施如图3所示的剪枝操作流程。具体结构化剪枝步骤为：
[0071]
1)根据金具数据集制定相应的网络模型并初始化；
[0072]
2)对模型进行稀疏化训练；
[0073]
3)找到γ尺度因子较小的通道进行剪枝；
[0074]
4)对剪枝后的模型进行fine-tune；
[0075]
5)重复步骤1-4；
[0076]
6)完成剪枝。
[0077]
所述步骤s5中，训练模型，通过目标中心点、中心点偏置、目标尺度三条预测分支回归得出金具检测结果。具体包括：
[0078]
模型训练时的损失由三部分构成，整体损失函数为：
[0079]
l
det
＝lk λ
off
l
off
λ
size
l
size
ꢀꢀꢀ
(4)
[0080]
式中，lk为目标中心点损失，l
off
为目标中心点偏置损失，l
size
为目标尺寸损失。λ
off
和λ
size
用于调节l
off
和l
size
。
[0081]
对于目标中心点损失，训练中心点网络时将关键点通过如下式的高斯分布核分散到热力图上。
[0082][0083]
式中，σ
p
是目标自适应尺度的标准方差；y
xyc
是将关键点分散到热力图上的高斯核。
[0084]
目标关键点损失值lk由焦点损失计算得到，lk计算公式为：
[0085][0086]
式中，α和β为焦点损失的超参数；n是图像的关键点数量，用于将所有正的焦点损失标准化为1。
[0087]
对于目标中心的偏置损失，由于网络会对输入图像进行下采样操作，所得特征图必然会在重新映射到原图像上时产生精度误差，因此对于图像中每个有效中心点，额外添加一个l
off
来进行补偿。这样，所有类别c的中心点将共享同一个偏移预测值。l
off
的偏置值由l1损失计算得到，即:
[0088][0089]
式中，是预测得到的偏置；是训练过程中提前计算出来的值。
[0090]
对于目标尺度的损失l
size
，网络通过关键点估计因子预测图像中所有的中心点，并为每个目标回归出该目标的尺寸sk，公式为：
[0091][0092]
为了减少目标尺寸的回归难度，使用作为预测值，并采用l1损失来监督回归目标的h和w。目标大小的损失值l
size
公式为：
[0093][0094]
本发明方法的检测效果如图4所示。本发明借鉴cbnet多融合阶梯级联结构，采用mobilenetv3及resnet-18双骨干网络，提高特征提取能力；引入高效通道注意力机制ecanet对骨干网络的输出进行优化，增强有效特征；设计基于稀疏化训练的模型剪枝方法，减少参数量和内存消耗；训练模型，通过中心点、偏移量及尺度三个预测分支产生最后的预测结果。此方法将无锚网络应用于金具检测，通过迭代稀疏训练的方式，结合通道剪枝，在提高检测精度的同时，实现了模型极大比例的压缩，满足了边缘端部署需求。
[0095]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。