小目标缺陷的轻量化检测模型、方法、设备及存储介质

1.本发明属于目标检测领域，涉及一种小目标缺陷的轻量化检测模型、方法、设备及存储介质。


背景技术：

2.输电线路是电网系统的重要组成部分，研究如何更安全、快捷地对输电线路进行监测是十分必要的。绝缘子作为输电线路中机械支撑和电气绝缘支撑部件，对输电线路的安全运行起到至关重要的作用。绝缘子长期暴露在自然环境下容易发生自爆、掉串、污秽等故障，绝缘子一旦发生缺陷等故障，将直接影响到输电线路的使用和寿命。
3.输电线路铺设范围广，地理位置特殊，人工巡检不仅效率低且在不同巡检环境下受地理环境影响，视觉上容易产生误判、漏检等问题。利用搭载深度学习算法的无人机装置进行巡检，很大程度上解决了人工巡检作业危险、效率低、人工成本高等实际问题。深度学习领域的学者在绝缘子检测方向开展了很多研究工作，其主流研究方向分为两种：一是通过优化二阶网络或采用较大网络模型直接提升网络检测精度。二是随着yolo系列网络的不断优化，通过训练单阶段轻量化网络以实现轻量化实时检测。
4.提升网络检测精度的典型成果包括，zhao等在二阶模型faster r-cnn的基础上采用金字塔策略，优化复杂背景下绝缘子的特征提取能力，详见“w.zhao,m.xu,x.cheng and z.zhao.an insulator in transmission lines recognition and fault detection model based on improved faster rcnn[j].ieee transactions on instrumentation and measurement,vol.70,pp.1-8,2021,art no.5016408.”。feng等对yolov5x较大网络模型优化k-means聚类算法，提升网络对绝缘子目标的检测精度，详见“z.feng,l.guo,d.huang and r.li.electrical insulator defects detection method based on yolov5[c]//2021ieee 10th data driven control and learning systems conference(ddcls),2021,pp.979-984.”。以上改进虽然提升了网络的检测精度，但是模型参数量大、运算过程复杂对于移动设备的算力仍然是个极大的挑战，无法满足无人机巡检的实际应用需求。
[0005]
致力于轻量化的代表成果包括，zhang等在yolov3的基础上提出密集金字塔结构，提高网络深层语义信息利用率、轻量化网络体积，详见“x.zhang et al.insudet:a fault detection method for insulators of overhead transmission lines using convolutional neural networks[r].ieee transactions on instrumentation and measurement,vol.70,pp.1-12,2021,no.5018512.”。cheng等利用yolov4单阶段检测网络的特性训练模型，通过不同的数据增强方式提高网络的检测精度，详见“y.cheng:detection of power line insulator based on enhanced yolo model[c]//2022ieee asia-pacific conference on image processing,electronics and computers(ipec),2022,pp.626-632”。yan等将yolov5主干网络替换为shufflenetv2网络，将panet下采样网络替换为深度可分离卷积以达到降低网络参数的目的，详见“颜宏文，万俊杰，潘志敏，章健
军，马瑞.基于改进yolov5-lite轻量级的配电组件缺陷识别[j].高电压技术：1-10.”。以上几种单阶检测网络优化后对网络参数与模型体积进行大幅降低和压缩，但是在无人机设备巡检中对绝缘子自爆缺陷的检测效果较差。
[0006]
为了解决绝缘子缺陷检测阶段目标检测算法运算复杂、模型体积庞大导致算法部署到无人机嵌入式设备较困难的问题，本发明设计了特征提取模块和轻量化模块，提出绝缘子自爆缺陷的轻量化检测网络de-yolo，它在保证对模型体积进行压缩的同时使检测精度也取得较为满意的结果。


技术实现要素：

[0007]
为了解决上述问题，本发明提供一种小目标缺陷的轻量化检测模型，它通过削弱复杂背景对绝缘子故障的干扰、互补提取绝缘子细微特征，在显著降低网络参数的同时强化网络提取绝缘子有效信息的能力，能解决绝缘子缺陷检测模型运算复杂、体积庞大的问题。
[0008]
本发明的第二目的是，提供一种小目标缺陷的轻量化检测方法。
[0009]
本发明的第三目的是，提供一种电子设备。
[0010]
本发明的第四目的是，提供一种计算机存储介质。
[0011]
本发明所采用的技术方案是，一种小目标缺陷的轻量化检测模型，包括主干网络、特征融合颈及预测输出三部分；
[0012]
所述主干网络包含交替连接的4个轻量化模块dc-se和4个特征提取模块newc3-1，主干网络负责提取绝缘子的特征信息；
[0013]
所述特征融合颈包含4个特征提取模块newc3-2，负责实现对主干网络提取的多维特征的信息融合；
[0014]
所述特征提取模块newc3-1和newc3-2包含深度卷积、逐点卷积与通道注意力机制，旨在降低模型参数的同时，通过结合通道信息增强网络对绝缘子有效特征的提取能力；
[0015]
所述轻量化模块dc-se融合传统卷积与深度卷积，随着网络不断加深利用数目成倍增长的卷积逐步扩大通道数量，助力绝缘子特征的互补提取；同时，引入注意力机制se强化主干网络对细节特征的表达能力，提高网络对不同尺寸绝缘子图像的特征融合能力，改善特征融合过程对细节信息的丢失问题，从而加强浅层网络对绝缘子自爆缺陷特征的检测性能；
[0016]
所述预测输出负责给出对绝缘子缺陷的检测结果。
[0017]
进一步地，所述特征提取模块newc3-j(j＝1,2)是为了充分提取绝缘子上的小目标特征；
[0018]
每个newc3-j(j＝1,2)模块由x个new-bottleneckj(j＝1,2)与2个卷积模块(conv bn silu)组成，conv bn silu由1
×
1传统卷积、bn归一化以及silu激活函数组成，其通道数为newc3-j(j＝1,2)模块的输入通道数；
[0019]
所述new-bottleneckj(j＝1,2)模块由3
×
3深度卷积、逐点卷积和eca构成，分为new-bottleneck1与new-bottleneck2两种结构；
[0020]
new-bottleneck1输入与输出之间采用残差连接，残差连接用于优化主干网络可以缓解梯度爆炸问题；
[0021]
new-bottleneck2采用串行的方式进行信息传输，因为其作用于颈部的融合结构，其直接输出的方式能更大程度上保留融合特征信息；
[0022]
骨干网络中含有4个newc3-1，该模块依次含有3、6、9、3个new-bottleneck1；特征融合颈中含有4个newc3-2，其中均含3个new-bottleneck2；
[0023]
所述new-bottleneckj(j＝1,2)的数量x由配置文件.yaml和参数depth_multiple的乘积自动决定；
[0024]
所述new-bottleneckj(j＝1,2)采用3
×
3深度卷积与1
×
1逐点卷积处理后，参数量约为传统卷积的1/9，深度可分离卷积在保证提取更多特征属性的同时减少了更多的参数量；
[0025]
绝缘子图像进入new-bottleneckj模块首先经过3
×
3的深度卷积进行特征提取，深度卷积与逐点卷积组成的深度可分离卷积负责降低网络的参数量。假设输入特征图尺寸是h
×w×cx
，输出特征图尺寸是h
×w×cy
，则经过传统卷积处理的运算量与经过深度可分离卷积的运算量之比为：
[0026][0027]
其中，p
sum
表示深度可分离卷积总参数，p
conv
表示传统卷积总参数；h
×w×
1是深度卷积的卷积核大小，c
x
为卷积核个数，1
×1×cx
为逐点卷积核大小，cy为逐点卷积核个数；h
×w×cx
为传统卷积核大小，cy为传统卷积核个数。
[0028]
由式(4)可知，采用3
×
3深度卷积与1
×
1逐点卷积处理后，参数量约为传统卷积的1/9，深度可分离卷积在保证提取更多特征属性的同时减少了更多的参数量。
[0029]
所述逐点卷积负责将深度卷积生成的特征进行新的通道拼接，随后将信息传入注意力机制进行处理；
[0030]
所述注意力机制通过内核的快速一维卷积来共享相同的学习参数，让模型具有更轻体积的同时有效捕获了跨通道交互、强化网络提取绝缘子有效信息的能力、提高特征融合的质量进一步提高网络检测精度。
[0031]
进一步地，所述轻量化模块dc-se通过1个1
×
1卷积和d个深度卷积串联并经bn处理和silu激活后再与1
×
1卷积拼接，实现特征提取；然后利用通道注意力机制se解决输电线路巡检时所拍摄图片背景复杂干扰信息过多的问题；
[0032]
所述dc-se模块被用在骨干网络中，依次使用的4个dc-se模块中，深度卷积的数量分别为128、256、512、和1024，它们利用数目成倍增长的卷积逐步扩大通道数，强化提取绝缘子上的小缺陷特征；
[0033]
所述dc-se模块在对通道信息全局提取的同时，借助se自适应学习不同通道之间的依赖关系，自适应的增强目标的特征像素，削弱复杂背景信息对绝缘子故障检测的干扰，在扩大浅层网络感受野的同时保证网络对缺陷的精准提取。
[0034]
一种小目标缺陷的轻量化检测方法，按照以下步骤进行：
[0035]
s1、将绝缘子图像输入骨干网络，完成绝缘子的特征信息提取，并送入特征融合颈；
[0036]
s2、特征融合颈融合主干网络提取的多维特征信息后，送入预测输出；
[0037]
所述特征融合颈中dc-se模块的计算过程为：
[0038]
y0＝conv(ki)
[0039]
y1＝concat(dwd(
…
dw2(dw1(y0))),y0)
[0040]ki 1
＝se(y1)
[0041]
其中，y0表示对输入ki(i取1、2...n)经conv卷积提取的特征图，y1表示对y0实施dw卷积后再和y0拼接的结果，k
i 1
表示se模块最终提取的特征图；
[0042]
s3、预测输出完成预测，输出对绝缘子上缺陷的检测结果。
[0043]
一种电子设备，采用上述方法实现绝缘子的缺陷检测。
[0044]
一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的缘子缺陷检测方法。
[0045]
本发明的有益效果是：
[0046]
本发明针对绝缘子缺陷检测阶段目标检测算法运算复杂、模型体积庞大导致算法部署到无人机嵌入式设备较困难的问题，设计了一种适用于移动终端设备的轻量化目标检测网络de-yolo。首先融合深度可分离卷积、逐点卷积和eca注意力机制提出了特征提取模块newc3，它负责显著降低网络参数、同时强化网络提取绝缘子有效信息的能力。再借助通道数成倍增长策略和通道注意力机制se设计了轻量化模块dc-se，它用于削弱复杂背景对绝缘子故障的干扰、互补提取绝缘子细微特征，进而增强浅层网络对目标特征信息的提取能力。newc3和dc-se能保证de-yolo的轻量化，同时满足绝缘子自爆缺陷实时检测的要求。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1是本发明实施例轻量化检测模型的结构示意图。
[0049]
图2是本发明实施例轻量化检测模型中的new-c3(j＝1,2)模块的结构示意图。
[0050]
图3是本发明实施例轻量化检测模型中的轻量化模块dc-se的结构示意图。
[0051]
图4是本发明实施例的检测方法与其他算法对简单背景下绝缘子的检测对比图，
[0052]
其中图4(a)是yolov5s简单背景下检测效果图，图4(b)是de-yolo简单背景下检测效果图。
[0053]
图5是本发明实施例的检测方法与其他算法对复杂背景下绝缘子的检测对比图，其中图5(a)是yolov5s复杂背景下检测效果图，图5(b)是de-yolo复杂背景下检测效果图。
具体实施方式
[0054]
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
实施例1，
[0056]
一种小目标缺陷的轻量化检测模型，其结构如图1所示，包括主干网络、特征融合
颈及预测输出三部分；
[0057]
其中，主干网络包含交替连接的4个轻量化模块dc-se和4个特征提取模块newc3-1，主干网络负责提取绝缘子的特征信息；
[0058]
特征融合颈包含4个特征提取模块newc3-2，负责实现对主干网络提取的多维特征的信息融合；
[0059]
特征提取模块newc3-1和newc3-2包含深度卷积、逐点卷积与通道注意力机制，旨在降低模型参数的同时，通过结合通道信息增强网络对绝缘子有效特征的提取能力；
[0060]
轻量化模块dc-se融合传统卷积与深度卷积，随着网络不断加深利用数目成倍增长的卷积逐步扩大通道数量，助力绝缘子特征的互补提取；同时，引入注意力机制se强化主干网络对细节特征的表达能力，提高网络对不同尺寸绝缘子图像的特征融合能力，改善特征融合过程对细节信息的丢失问题，从而加强浅层网络对绝缘子自爆缺陷特征的检测性能；
[0061]
预测输出负责给出对绝缘子缺陷的检测结果。
[0062]
如图2所示，
[0063]
特征提取模块newc3-j(j＝1,2)是为了充分提取绝缘子上的小目标特征；
[0064]
每个newc3-j(j＝1,2)模块由x个new-bottleneckj(j＝1,2)与2个卷积模块(conv bn silu)组成，conv bn silu由1
×
1传统卷积、bn归一化以及silu激活函数组成，其通道数为newc3-j(j＝1,2)模块的输入通道数；new-bottleneckj(j＝1,2)模块由3
×
3深度卷积、逐点卷积和eca构成，分为new-bottleneck1与new-bottleneck2两种结构；new-bottleneck1输入与输出之间采用残差连接，残差连接用于优化主干网络可以缓解梯度爆炸问题；new-bottleneck2采用串行的方式进行信息传输，因为其作用于颈部的融合结构，其直接输出的方式能更大程度上保留融合特征信息；
[0065]
骨干网络中含有4个newc3-1，该模块依次含有3、6、9、3个new-bottleneck1；特征融合颈中含有4个newc3-2，其中均含3个new-bottleneck2；
[0066]
new-bottleneckj(j＝1,2)的数量x由配置文件.yaml和参数depth_multiple的乘积自动决定；new-bottleneckj(j＝1,2)采用3
×
3深度卷积与1
×
1逐点卷积处理后，参数量约为传统卷积的1/9，深度可分离卷积在保证提取更多特征属性的同时减少了更多的参数量；
[0067]
逐点卷积负责将深度卷积生成的特征进行新的通道拼接，随后将信息传入注意力机制进行处理；注意力机制通过内核的快速一维卷积来共享相同的学习参数，让模型具有更轻体积的同时有效捕获了跨通道交互、强化网络提取绝缘子有效信息的能力、提高特征融合的质量进一步提高网络检测精度。
[0068]
如图3所示，
[0069]
轻量化模块dc-se通过1个1
×
1卷积和d个深度卷积串联并经bn处理和silu激活后再与1
×
1卷积拼接，实现特征提取；然后利用通道注意力机制se解决输电线路巡检时所拍摄图片背景复杂干扰信息过多的问题；
[0070]
dc-se模块被用在骨干网络中，依次使用的4个dc-se模块中，深度卷积的数量分别为128、256、512、和1024，它们利用数目成倍增长的卷积逐步扩大通道数，强化提取绝缘子上的小缺陷特征；
[0071]
dc-se模块在对通道信息全局提取的同时，借助se自适应学习不同通道之间的依赖关系，自适应的增强目标的特征像素，削弱复杂背景信息对绝缘子故障检测的干扰，在扩大浅层网络感受野的同时保证网络对缺陷的精准提取。
[0072]
实施例2，
[0073]
一种小目标缺陷的轻量化检测方法，按照以下步骤进行：
[0074]
s1、将绝缘子图像输入骨干网络，完成绝缘子的特征信息提取，并送入特征融合颈；
[0075]
s2、特征融合颈融合主干网络提取的多维特征信息后，送入预测输出；
[0076]
所述特征融合颈中dc-se模块的计算过程为：
[0077]
y0＝conv(ki)
[0078]
y1＝concat(dwd(
…
dw2(dw1(y0))),y0)
[0079]ki 1
＝se(y1)
[0080]
其中，y0表示对输入ki(i取1、2...n)经conv卷积提取的特征图，y1表示对y0实施dw卷积后再和y0拼接的结果，k
i 1
表示se模块最终提取的特征图；
[0081]
s3、预测输出完成预测，输出对绝缘子上缺陷的检测结果。
[0082]
为了验证本发明de-yolo的检测效果，开展对比实验。绝缘子图像数据来自中国电力绝缘子数据集(cplid)，含有绝缘子图像848张，其中含正常绝缘子图像600张，含缺陷绝缘子图像248张。原始数据集数量较少，且样本数目不平衡，故采用随机缩放、水平翻转、增加亮度、增加高斯噪声等方式进行数据增强，将数据集扩充至4000张，按照7:2:1划分训练集、验证集与测试集。
[0083]
对比的五个经典目标检测网络为faste r-cnn(详见“ren s,he k,girshick r,et al.faster r-cnn:towards real-time object detection with region proposal networks[j].advances in neural information processing systems,2015,28:91-99”)、ssd(详见“[21]liu w,anguelov d,erhan d,et al.ssd:single shot multibox detector[c]//european conference on computer vision.springer,cham,2016:21-37”)、yolo系列(详见“redmon j,farhadi a.yolov3:an incremental improvement[j].arxivpreprint arxiv:1804.02767,2018.”“bochkovskiy a,wang c y,liao h y m.yolov4:optimal speed andaccuracy of object detection[j].arxiv preprint arxiv:2004.10934,2020.”“j.glenn,yolov5,github,https://github.com/ultralytics/yolov5,2020.”)，对比试验结果见表1，其中粗体代表最好指标。
[0084]
表1不同检测模型对比实验结果
[0085][0086]
由表1可知，二阶目标检测网络faster r-cnn检测精度比单阶网络yolo系列仅高
了1％左右，但在模型体积与浮点运算量上却远超yolov5s网络数十倍，在无人机巡检的应用中是不可行的。ssd网络检测精度最低，为81.9％且网络模型体积较大，运算复杂。yolov3网络的检测精度可达93.6％，模型体积达62.5m远超de-yolo数十倍、其浮点运算量更是高达156；yolov4网络检测为92.6％，其模型体积与浮点运算量较为庞大不利于绝缘子自爆缺陷实时检测。de-yolo网络在网络深度减少的同时，模型体积仅为4.2m相较于yolov5s网络的模型体积压缩了41.6％、浮点运算降低了45％，检测精度也有所提升可达93.2％。由上述实验结果可知，de-yolo网络拥有较好的鲁棒性与较低的模型复杂度，各项性能均达到令人满意的水准，更适合应用在无人机巡检绝缘子的移动设备中。
[0087]
如图4所示，
[0088]
图4(a)中简单环境下绝缘子自爆缺陷检测精度仅为72％，表明yolov5s模型对小目标缺陷的提取能力较弱。图4(b)中de-yolo网络以93％较高的精度定位出绝缘子的位置，缺陷检测精度为75％，实现了绝缘子特征的有效提取。
[0089]
如图5所示，
[0090]
图5(a)中面对复杂背景yolov5s对自爆缺陷检测准确率仅为77％，图5(b)中de-yolo网络不仅以高达94％的准确率定位出绝缘子位置，更以87％的准确率检测出绝缘子自爆的小目标缺陷。
[0091]
可见，本发明提出的de-yolo网络即使在不同复杂程度背景下仍具有较高的检测精度，且在模型轻量化方面可以满足移动设备的应用。
[0092]
本发明实施例所述小目标缺陷的检测方法如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例所述图像的重建方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0093]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。