一种基于轻量化模型的绝缘子缺陷检测方法及其系统

1.本技术涉及计算机技术领域，尤其涉及一种基于轻量化模型的绝缘子缺陷检测方法及其系统。


背景技术：

2.在恶劣的自然环境中，架空输电线路上的绝缘子会发生老化、腐蚀、损坏等故障。绝缘子的故障会严重影响到供电系统的正常工作。因此，绝缘子缺陷检测尤为重要。
3.现有的，基于支持向量机(supportvector machines，svm)的分类模型集成到多尺度滑动窗口框架中，用于红外图像绝缘子的定位。利用主成分分析降维后的方向梯度直方图特征和局部二值模式特征进行融合，利用svm分类算法获得训练模型并检测出绝缘子。通过绝缘子的颜色和空间特征确定绝缘子的目标区域，对目标区域进行形态学处理以确定缺陷位置。以及基于微波技术的复合绝缘子内部缺陷检测方法。这些方法只能提取浅层特征，只能在特定环境下工作，在复杂背景和大干扰下鲁棒性差，不能满足实际需要。
4.近年来，随着深度学习突飞猛进，分类、物体检测、语义分割算法在计算机视觉领域取得了长足的进步，也开始涉足电力工业应用。目前基于深度学习的绝缘子诊断方法可分为两类，一类是通过目标检测算法直接在原始图像上定位缺陷，另一类是先提取整幅图像中的绝缘子，然后对绝缘子的局部图像进行缺陷识别。
5.目前，利用特征金字塔网络(feature pyramid networks fpns)对(faster regions with convolutional neural network，faster r-cnn)进行改进，实现复杂背景图像中绝缘子的定位,采用hsv颜色空间自适应阈值算法对图像进行分割，利用直线检测、图像旋转和垂直投影完成绝缘子故障检测。该方法取得了很好的检测精度，但由于模型复杂度高导致检测速度过慢。
6.目前提出了一种基于改进的特征融合ssd的红外绝缘子图像检测模型，实现变电站绝缘子的自动检测和一种基于yolov4的玻璃绝缘子自爆检测方法实现对自爆绝缘子的识别和定位，这两种方法提升了速度，满足了自爆绝缘子的实时检测要求，但都不能完全剔除背景信息对绝缘子缺陷检测的干扰，在多重复杂背景信息融合的情况下检测精度和速度性能较差。
7.现有技术中还提出了利用批量残差网络(aggregated residual network，resnext)改进faster r-cnn特征提取用来捕获缺陷和绝缘子，然后采用resnext作为u型网络(u-networks，unet)网络编码器对检测到的绝缘子进行分割，还设计了二值交叉熵损失和dice系数损失的混合损失来训练网络。通过结合掩模区域卷积神经网络(mask regions with convolutional neural network，mask r-cnn)和曲线拟合的方法分割出悬链线绝缘子区域。然后，利用提出的重构和分类卷积自动编码网络提取缺陷区域。最后，通过基于密度的含噪声应用空间聚类指标来判断缺陷级别。现有绝缘子缺陷检测算法虽然都获得了很好的性能，但是现有算法模型复杂度高，参数量和计算量大且召回率低。另外，现有绝缘子缺陷检测算法高计算资源和模型复杂度超出了移动和嵌入式设备能力，不便于在野外条件
下利用移动设备随时随地监测绝缘子状况。
8.因此，目前仍需要解决的技术问题是：如何提供一种在保证精度速度提升的前提下，降低了模型参数量和复杂度，符合部署在移动端或嵌入式设备的要求的绝缘子缺陷检测方法。


技术实现要素：

9.本技术的目的在于提供一种基于轻量化模型的绝缘子缺陷检测方法及其系统，该方法在保证精度速度提升的前提下，降低了模型参数量和复杂度，该方法符合部署在移动端或嵌入式设备的要求。
10.为达到上述目的，本技术提供一种基于轻量化模型的绝缘子缺陷检测方法，该方法包括如下步骤：获取绝缘子航拍图像；基于预先训练的轻量化绝缘子分割模型，对绝缘子航拍图像中的背景进行剔除，突出显示绝缘子特征，对绝缘子进行分割，获取绝缘子语义分割图；基于预先训练的轻量化绝缘子缺陷检测模型，对绝缘子语义分割图中的绝缘子缺陷进行检测，获得绝缘子缺陷检测结果。
11.如上的，其中，预先训练轻量化绝缘子分割模型的方法包括如下步骤：利用深度可分离卷积轻量化模型作为主干网络，对金字塔场景解析网络模型进行改进；利用dice损失函数和焦点损失函数，进一步优化金字塔场景解析网络模型的损失函数，生成焦点金字塔场景解析网络模型；将被标注过的绝缘子图像输入到焦点金字塔场景解析网络模型中训练网络参数，获得轻量化绝缘子分割模型。
12.如上的，其中，获得轻量化绝缘子分割模型的方法包括：利用voc数据集对焦点金字塔场景解析网络模型进行预训练，输出预训练模型权重，将预训练模型权重引入焦点金字塔场景解析网络模型中，获取预训练后的轻量化绝缘子分割模型；在预训练后的轻量化绝缘子分割模型中输入预先制备的绝缘子分割数据集，进一步训练；预训练后的轻量化绝缘子分割模型在学习率动态变化的情况下，不断对比损失函数和收敛速度，选择最好的学习率进行训练。
13.如上的，其中，制备绝缘子分割数据集的方法包括如下子步骤：获取基础绝缘子分割数据集；利用数据增强技术对绝缘子分割数据集进行了扩充，获得扩充后的绝缘子分割数据集；对扩充后的绝缘子分割数据集中的图像进行绝缘子的手动标注，获得绝缘子图像的标签图；将绝缘子分割数据集中的绝缘子原图与标签图一同读取出来，作为最终的绝缘子分割数据集。
14.如上的，其中，预先训练的轻量化绝缘子缺陷检测模型的方法包括如下步骤：利用深度可分离卷积轻量化模型与yolov4网络结合，生成轻量化绝缘子缺陷检测模型；将经过轻量化绝缘子分割模型处理后的绝缘子语义分割图输入到轻量化绝缘子缺陷检测模型中，训练轻量化绝缘子缺陷检测模型的网络参数，获得训练后的轻量化绝缘子分割模型。
15.如上的，其中，对绝缘子进行分割的方法包括如下步骤：将绝缘子航拍图像输入轻量化绝缘子分割模型中，对绝缘子航拍图像中的背景进行剔除；采用深度可分离卷积轻量化模型作为主干网络，来提取绝缘子航拍图像中绝缘子的基础特征层；将提取的基础特征层输入到金字塔池化模块，将其分成不同尺度大小的特征图；对不同尺度大小的特征图进行平均池化操作，将不同尺度大小特征图的上下文信息进行整合，获得不同区域的特征；利
用卷积操作对不同区域的特征进行整合，并将卷积操作的通道数调整成类别数量，最终输出和输入图像相同尺度的绝缘子语义分割图。
16.如上的，其中，对绝缘子语义分割图中的绝缘子缺陷进行检测的方法包括如下步骤：将绝缘子语义分割图输入轻量化绝缘子缺陷检测模型中；采用深度可分离卷积轻量化模型作为主干特征提取网络，提取绝缘子语义分割图中绝缘子缺陷的特征，获得三个基础特征层；采用空间金字塔池化网络和路径聚合网络，对三个基础特征层进行加强特征融合，获得绝缘子缺陷有效特征图；利用yolov3网络模型，对绝缘子缺陷有效特征图进行绝缘子缺陷预测，获得最终的缺陷检测结果。
17.本技术还提供一种基于轻量化模型的绝缘子缺陷检测系统，该系统包括：图像获取装置，用于获取绝缘子航拍图像；绝缘子分割模块，用于基于预先训练的轻量化绝缘子分割模型，对绝缘子航拍图像中的绝缘子进行分割，获取绝缘子语义分割图；绝缘子缺陷检测模块，用于与绝缘子分割模块相连，基于预先训练的轻量化绝缘子缺陷检测模型，对绝缘子语义分割图中的绝缘子缺陷进行检测，获得绝缘子缺陷检测结果。
18.如上的，其中，轻量化绝缘子分割模型包括两个模块，分别是特征提取模块和金字塔池化模块；特征提取模块，用于对航拍图像中的绝缘子进行特征提取；金字塔池化模块，用于对特征提取模块提取的特征进行加强特征提取。
19.如上的，其中，轻量化绝缘子缺陷检测模型包含主干特征提取网络、加强特征提取网络和预测网络；主干特征提取网络，用于对绝缘子语义分割图像中的绝缘子缺陷特征进行提取，获得三个基础特征层；加强特征提取网络，用于对三个基础特征层进行加强特征融合；预测网络，用于根据加强特征提取网络获得的绝缘子缺陷特征，预测最终的缺陷检测结果。
20.本技术实现的有益效果如下：
21.(1)本技术将轻量化的fpspnet网络与轻量化的yolov4网络相结合生成基于fpspnet_yolov4的绝缘子缺陷检测算法。本技术基于轻量化模型的绝缘子缺陷检测算法具有精度高、速度低、参数量少且模型复杂度低的特点，符合部署在移动和嵌入式设备的性能要求。
22.(2)本技术利用轻量化模型mobilenetv2替换resnet50作为主干特征提取网络优化pspnet网络，利用focal loss和dice loss结合的损失函数训练pspnet网络生成轻量化fpspnet绝缘子分割方法；利用mobilenetv2替换cspdarknet53作为yolov4网络的主干特征提取网络，利用深度可分离卷积优化yolov4网络生成轻量化绝缘子缺陷检测算法，同时利用迁移学习和动态学习率对模型的训练过程进行优化。与现存的绝缘子缺陷检测算法相比，本技术的优化算法可以清晰分割绝缘子并检测出绝缘子缺陷，同时解决了现有算法在保证精度和速度的同时兼顾模型参数量和复杂度性能的问题。
附图说明
23.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
24.图1为本技术实施例的一种基于轻量化模型的绝缘子缺陷检测方法的流程图。
25.图2为本技术实施例的对绝缘子进行分割，获取绝缘子语义分割图的方法流程图。
26.图3为本技术实施例的预先训练轻量化绝缘子分割模型的方法流程图。
27.图4为本技术实施例的获得轻量化绝缘子分割模型的方法流程图。
28.图5为本技术实施例的预先训练的轻量化绝缘子缺陷检测模型的方法流程图。
29.图6为本技术实施例的对绝缘子语义分割图中的绝缘子缺陷进行检测的方法流程图。
30.图7为本技术实施例的一种基于轻量化模型的绝缘子缺陷检测系统的结构示意图。
31.图8为本技术实施例的轻量化绝缘子分割模型。
32.图9为改进后的yolov4模型。
33.附图标记：10-图像获取装置；20-绝缘子分割模块；30-绝缘子缺陷检测模块；100-绝缘子缺陷检测系统。
具体实施方式
34.下面结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.实施例一
36.如图7所示，本技术提供一种基于轻量化模型的绝缘子缺陷检测系统100，该系统包括：
37.图像获取装置10，用于获取绝缘子航拍图像。
38.绝缘子分割模块20，用于基于预先训练的轻量化绝缘子分割模型，对绝缘子航拍图像中的绝缘子进行分割，获取绝缘子语义分割图。
39.其中，轻量化绝缘子分割模型是基于mobilenetv2(深度可分离卷积)轻量化模型的fpspnet(焦点金字塔场景解析网络)分割模型。
40.如图8所示，轻量化绝缘子分割模型包括特征提取模块：深度可分离卷积(mobilenetv2)和金字塔池化模块。为了降低模型复杂度和参数量，这里的特征提取模块是mobilenetv2，用于对航拍图像中的绝缘子进行特征提取。金字塔池化模块用于对特征提取模块提取的特征进行加强特征提取。经过金字塔池化模块获取的特征进入concat层(拼接层)，concat层对输入的数据进行拼接。
41.绝缘子缺陷检测模块30，用于与绝缘子分割模块20相连，基于预先训练的轻量化绝缘子缺陷检测模型，对绝缘子语义分割图中的绝缘子缺陷进行检测，获得绝缘子缺陷检测结果。
42.轻量化绝缘子缺陷检测模型是基于mobilenetv2的yolov4缺陷检测模型。网络结构主要包含主干特征提取网络、加强特征提取网络和预测网络。为了使得整体系统模型的轻量化，采用mobilenetv2作为主干特征提取网络用于对绝缘子语义分割图像中的绝缘子缺陷特征进行提取，获得三个基础特征层。加强特征提取网络采用的是空间金字塔池化
(spatial pyramid pooling，spp)和路径聚合网络(path aggregation network，panet)，对三个基础特征层进行加强特征融合，更好地捕捉到绝缘子缺陷特征的信息。预测网络是yolov3，利用加强特征提取网络获得的绝缘子缺陷特征，预测最终的缺陷检测结果。
43.如图9所示，为基于mobilenetv2改进后的yolov4缺陷检测模型，改进后的yolov4缺陷检测模型包括深度可分离卷积轻量化模型、spp模型、金字塔场景解析网络模型，可分离卷积轻量化模型与spp网络模型和金字塔场景解析网络模型连接。输入图像从深度可分离卷积轻量化模型输入，经过二维卷积和现有的inverted_resblock(残差连接深度可分离卷积块)处理后，获得的检测结果再经过深度卷积处理后输入spp网络最大池化层，然后经过拼接和深度卷积获得yolo head头部数据。另外，将inverted_resblock
×
6和inverted_resblock
×
7处理后的数据均经过拼接、卷积、上采样和下采样处理获得头部数据。
44.实施例二
45.如图1所示，本技术提供一种基于轻量化模型的绝缘子缺陷检测方法，该方法包括如下步骤：
46.步骤s1，获取绝缘子航拍图像。
47.具体的，通过航拍的方式获取绝缘子航拍图像。
48.步骤s2，基于预先训练的轻量化绝缘子分割模型，对绝缘子航拍图像中的背景进行剔除，突出显示绝缘子特征，对绝缘子进行分割，获取绝缘子语义分割图。
49.其中，轻量化绝缘子分割模型通过识别绝缘子航拍图像中的绝缘子轮廓，将绝缘子航拍图像中绝缘子轮廓外侧的图像部分作为背景进行剔除。
50.如图2所示，对绝缘子进行分割，获取绝缘子语义分割图的方法包括如下步骤：
51.步骤s210，将绝缘子航拍图像输入轻量化绝缘子分割模型中，对绝缘子航拍图像中的背景进行剔除。
52.步骤s220，采用深度可分离卷积轻量化模型(mobilenetv2)作为主干网络，来提取绝缘子航拍图像中绝缘子的基础特征层。
53.步骤s230，将提取的基础特征层输入到金字塔池化模块，将其分成不同尺度大小的特征图。
54.其中，特征图的尺度大小为预设的。
55.步骤s240，对不同尺度大小的特征图进行平均池化操作，将不同尺度大小特征图的上下文信息进行整合，获得不同区域的特征。
56.其中，上下文信息的理解就是图像中的每一个像素点不可能是孤立的，一个像素一定和周围像素是有一定的关系的，大量像素的互相联系才产生了图像中的各种物体，所以上下文信息就指像素以及周边像素的某种联系。结合上下文信息，意思也就是在判断某一个位置上的像素属于哪种类别的时候，不仅考察到该像素的灰度值，还充分考虑和它临近的像素。不同区域的特征指的是不同尺度大小特征图的特征。
57.步骤s250，利用卷积操作对不同区域的特征进行整合，并将卷积操作的通道数调整成类别数量，最终输出和输入图像相同尺度的绝缘子语义分割图。
58.其中，类别数量指的是绝缘子种类的数量。
59.如图3所示，预先训练轻量化绝缘子分割模型的方法包括如下步骤：
60.步骤t1，利用深度可分离卷积轻量化模型(mobilenetv2)作为主干网络，对金字塔
场景解析网络(pspnet)模型进行改进。
61.其中，深度可分离卷积轻量化模型(mobilenetv2)的工作原理是：先将输入图像利用1
×
1卷积运算升维，再经过3
×
3深度可分离卷积运算后利用1
×
1卷积降维，在网络结构的最后去掉了relu激活层，直接进行残差网络的加法，然后输出。深度可分离卷积轻量化模型通过在网络结构的最后去掉了relu激活层，使得加深网络的同时缩小了模型体积，降低了模型参数量，降低模型复杂度。
62.其中，金字塔场景解析网络(pspnet)模型为现有的模型。
63.步骤t2，利用dice损失函数和焦点损失函数，进一步优化金字塔场景解析网络模型(pspnet)的损失函数，生成焦点金字塔场景解析网络(fpspnet)模型。
64.由于航拍图像中背景负样本所占比例很大，绝缘子正样本所占比例很小，负样本主导损失迭代方向，网络学习绝缘子特征的能力减弱，无法对绝缘子和背景进行精准分类，导致绝缘子和背景样本分布不均衡，难易样本类别分布不平衡的问题。因此，本技术提出利用基于焦点损失函数和dice损失函数优化策略来优化金字塔场景解析网络(pspnet)模型。
65.作为本发明的具体实施例，dice损失函数定义如下:
66.dice loss＝1-s；
67.其中，dice loss表示dice损失函数；s表示dice系数，dice系数取值范围为[0，1]，dice系数越大表示绝缘子分割检测值和绝缘子分割真实值重合度越大，因此，dice系数越大越好。
[0068]
dice系数定义如下：
[0069][0070]
其中，x表示绝缘子分割检测值，y表示绝缘子分割真实值。
[0071]
具体的，绝缘子分割检测值指的是输入的绝缘子图像中检测器对绝缘子像素的分类结果，分类结果显示输入图像中的绝缘子像素；绝缘子分割真实值是指人工在绝缘子图像中沿着绝缘子轮廓逐点描绘的结果，也即人工标注的绝缘子像素值。
[0072]
作为本发明的具体实施例，焦点损失函数定义如下：
[0073]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)；
[0074]
其中，fl(p
t
)表示焦点损失函数；p
t
表示绝缘子属于某一类别的类别概率，α
t
表示控制正负样本的系数，取值范围为[0,1]，(1-p
t
)
γ
表示样本难易分类的调制系数。当p
t
趋于0，调制系数很大，则表示难分类样本主导损失梯度方向；当p
t
趋于1，调制系数趋于0，则表示易分类样本对损失的影响很小。若某样本属于绝缘子p
t
＝0.9或p
t
大于0.9，则该样本为易分类样本；若某样本属于绝缘子p
t
＝0.6或p
t
小于0.6，则该样本为难分类样本，若p
t
大于0.6且小于0.9，则样本为介于难分类和易分类之间的分类样本。
[0075]
步骤t3，将被标注过的绝缘子图像输入到焦点金字塔场景解析网络(fpspnet)模型中训练网络参数，获得轻量化绝缘子分割模型。
[0076]
如图4所示，步骤t3包括如下子步骤：
[0077]
步骤t310，利用voc数据集对焦点金字塔场景解析网络模型进行预训练，输出预训练模型权重，将预训练模型权重引入焦点金字塔场景解析网络模型中，获取预训练后的轻
量化绝缘子分割模型。
[0078]
其中，voc数据集为现有的用于绝缘子识别的公共数据集。
[0079]
步骤t320，在预训练后的轻量化绝缘子分割模型中输入预先制备的绝缘子分割数据集，进一步训练。
[0080]
制备绝缘子分割数据集的方法包括如下子步骤：
[0081]
步骤t321，获取基础绝缘子分割数据集。
[0082]
其中，基础绝缘子分割数据集即绝缘子航拍图像。
[0083]
步骤t322，利用数据增强技术对绝缘子分割数据集进行了扩充，获得扩充后的绝缘子分割数据集。
[0084]
作为本发明的一个具体实施例，扩充后的绝缘子分割数据集共有889张图像。
[0085]
步骤t323，对扩充后的绝缘子分割数据集中的图像进行绝缘子的手动标注，获得绝缘子图像的标签图。
[0086]
具体的，采用labelme对扩充后的绝缘子分割数据集中的图像进行绝缘子的手动标注，获得标注过的绝缘子图像(标签图)。
[0087]
其中，在标注时，先沿着绝缘子轮廓逐点描绘，将其标签设为绝缘子(insulator)，再沿着缺陷轮廓逐点描绘，将其标签设为缺陷(defect)，其他区域为背景。然后生成了标签json文件，被用于网络权重的训练。
[0088]
步骤t324，将绝缘子分割数据集中的绝缘子原图(img.jpg)与标签图(label.png)一同读取出来，作为最终的绝缘子分割数据集。
[0089]
步骤t325，按照9：1：1的比例将生成的数据集划分为训练集、验证集和测试集。
[0090]
步骤t330，预训练后的轻量化绝缘子分割模型在学习率动态变化的情况下，不断对比损失函数和收敛速度，选择最好的学习率进行训练。
[0091]
将训练集输入到预训练后的轻量化绝缘子分割模型中进行训练，在训练过程中不断利用验证集对训练的权重进行验证，得到性能最好的权重并将其输出，利用测试集对训练好的网络权重模型(即将获得的权重引入轻量化绝缘子分割模型中)进行性能测试。
[0092]
其中，在焦点金字塔场景解析网络(fpspnet)绝缘子分割方法的训练过程中引入了迁移学习和动态学习率用于训练权重性能的提升。
[0093]
训练集被用于每轮的训练，验证集被用于避免参数过拟合并且在每轮训练之后验证网络性能。同时利用早停法记录训练过程中最好的验证集精度，该过程中设置整体训练每十轮验证损失都不下降，则表示模型基本收敛，则会停止训练。设置的训练批次为200轮，100轮用于主干网络的冻结训练，100轮过后开启全网络训练，动态学习率的设置会根据损失值的下降程度逐渐减小，保证模型在训练后期不会有太大波动，从而使得训练结果获得最好的性能。
[0094]
轻量化绝缘子分割模型的基本网络参数如表1所示：
[0095][0096]
表1
[0097]
其中，5e-4和1e-4表示学习率，(5e-4表示5
×
10-4
，1e-4表示10-4
)，其中，一个epoch(epoch)是指把所有训练数据完整的训练一遍,数据进行一次前向-后向的训练。
[0098]
为综合评估绝缘子分割算法性能，使用均交并比(mean intersection over union，miou)、均像素精度(mean pixel-accuracy，mpa)来评价分割精度。使用可训练参数量来评价分割方法模型复杂度，使用检测单张图像所消耗的时间来评价速度。
[0099]
其中，单类的交并比为该类真实值和预测值的交和并的比值，miou值的计算方法为：
[0100][0101]
其中，tp表示被模型预测为正的正样本(真正)；fn表示被模型预测为负的正样本(假负)；fp表示被模型预测为正的负样本(假正)。
[0102]
其中，单类的像素精度为该类真实值和预测值的交与真实值的比值，map值的计算方法为：
[0103][0104]
其中，p表示绝缘子分割预测值，也就是在绝缘子图像中预测的绝缘子像素集合；gt表示表示人工标注的绝缘子图像中绝缘子像素集合，也就是绝缘子分割真实值。
[0105]
步骤t4，利用轻量化绝缘子分割模型进行绝缘子分割测试。
[0106]
本技术基于gpu设备进行绝缘子分割测试，具体测试环境如表2所示：
[0107][0108]
表2
[0109]
将本技术提出的基于轻量化fpspnet的绝缘子分割方法与基于轻量化pspnet、原始pspnet、轻量化deeplab和原始deeplab的绝缘子分割方法分别测试，进行性能对比，验证本技术提出的适用于移动端设备的基于轻量化fpspnet的绝缘子分割方法的性能。
[0110]
具体的，输入为889张带标签的绝缘子图像，大小统一缩放成473
×
473，其中1/11用于验证集，1/11用于测试集，9/11用于训练集。利用mobilenetv2分别对pspnet模型和deeplab模型进行轻量化处理，在测试阶段，将数据分别输入到fpspnet模型、原始pspnet模型、轻量化pspnet模型、原始deeplab模型和轻量化deeplab模型进行了性能对比，对比模型都是基于引入数据增强和迁移学习技术的基础上进行对比，如表3所示：
[0111][0112]
表3
[0113]
由表3可以看出基于pspnet模型的绝缘子分割方法相比于deeplab模型的绝缘子分割方法在像素精确度和均交并比方面具有更好的性能。但两种模型经过轻量化处理之后均交并比和像素精度均有所降低。因此，本技术在轻量化pspnet模型的损失函数中同时引入了dice loss和focal loss对损失函数进行优化生成fpspnet模型。可以看出本技术提出的基于mobilenetv2-fpspnet模型的轻量化绝缘子分割方法均交并比和像素精度均获得了一定程度的提升，缓解了轻量化处理后模型的分割精度和均交并比的损失。
[0114]
进一步，对各种模型绝缘子分割参数量的对比如表4所示：
[0115][0116]
表4
[0117]
由表4可以看出，经过轻量化处理后的轻量化模型(mobilenetv2-deeplab；mobilenetv2-pspnet；mobilenetv2-fpspnet)与原始模型相比参数量大幅减小，对于pspnet和deeplab两种模型，按照实际应用中绝缘子分割模型对于轻量化的要求，轻量化pspnet模型拥有最少的参数量。因此，从空间复杂度方面考虑选择使用轻量化处理后的mobilenetv2-pspnet模型用于绝缘子分割。分析得出本技术提出的基于mobilenetv2-fpspnet模型的轻量化绝缘子分割方法参数量最少，可以部署在移动端设备，将航拍图像中绝缘子的背景剔除，以更好地实现后续缺陷检测任务。
[0118]
综合考虑评估绝缘子分割性能，可以得出本技术提出的基于mobilenetv2-fpspnet模型的轻量化绝缘子分割方法拥有精度高、参数量少的高性能指标，在模型复杂度和计算量方面都符合移动端等嵌入式设备的运行要求。
[0119]
步骤s3，基于预先训练的轻量化绝缘子缺陷检测模型，对绝缘子语义分割图中的绝缘子缺陷进行检测，获得绝缘子缺陷检测结果。
[0120]
如图6所示，步骤s3包括如下子步骤：
[0121]
步骤s310，将绝缘子语义分割图输入轻量化绝缘子缺陷检测模型中。
[0122]
步骤s320，采用深度可分离卷积轻量化模型(mobilenetv2)作为主干特征提取网络，提取绝缘子语义分割图中绝缘子缺陷的特征，获得三个基础特征层。
[0123]
本技术利用深度可分离卷积轻量化模型(mobilenetv2)替换yolov4原有的主干网络(cspdarknet53)，用于绝缘子缺陷基础特征的提取。使得加深网络的同时缩小了模型体积，降低了模型参数量，降低模型复杂度。由于yolov4模型的大部分参数都集中在panet部分的普通卷积层，因此，本技术采用深度可分离卷积轻量化模型(mobilenetv2)替换panet网络和spp网络中的普通卷积层，进一步降低模型参数量。
[0124]
步骤s330，采用空间金字塔池化网络(spatial pyramidpooling，spp)和路径聚合网络(path aggregation network，panet)，对三个基础特征层进行加强特征融合，获得绝缘子缺陷有效特征图。以更好地捕捉到绝缘子缺陷特征的信息。
[0125]
其中，panet网络和spp网络中的普通卷积层由深度可分离卷积轻量化模型(mobilenetv2)替换掉。
[0126]
步骤s340，利用yolov3网络模型，对绝缘子缺陷有效特征图进行绝缘子缺陷预测，获得最终的缺陷检测结果。
[0127]
其中，yolov3网络模型为现有的模型。
[0128]
步骤s340包括如下子步骤：
[0129]
步骤s341，利用yolov3网络模型，对提取的每个绝缘子缺陷有效特征图进行num_anchors
×
4的卷积运算。
[0130]
其中，num_anchors
×
4中的num_anchors表示该有效特征层每个特征点所拥有的先验框数量；4表示x_offset、y_offset、h和w四个参数的调整情况；x_offset表示真实框距
离先验框中心的x轴方向的偏移情况；y_offset表示真实框距离先验框中心的y轴方向的偏移情况；h表示真实框的高度相对于先验框的变化情况；w表示真实框的宽度相对于先验框的变化情况，其中真实框是指工作人员先用labelimg软件预先在缺陷处生成的矩形框。
[0131]
步骤s342，预测绝缘子缺陷有效特征图上每个网格点上的每个先验框的偏移量，并根据偏移量将对应的先验框进行调整，获得预测框。
[0132]
步骤s343，再对有效特征层进行num_anchors
×
num_classes的卷积运算,预测有效特征层上每个网格点上每个预测框对应的缺陷种类。
[0133]
其中，num_classes表示缺陷总类别数，即绝缘子缺陷检测模型训练的缺陷总类别数。
[0134]
步骤s344，对预测结果进行解码处理和非极大值抑制处理(nms)，生成最终的缺陷检测结果。
[0135]
如图5所示，预先训练的轻量化绝缘子缺陷检测模型的方法包括如下步骤：
[0136]
步骤p1，利用深度可分离卷积轻量化模型与yolov4网络结合，生成轻量化绝缘子缺陷检测模型。
[0137]
利用深度可分离卷积轻量化模型替换cspdarknet53作为yolov4网络的主干特征提取网络，利用深度可分离卷积层替换yolov4网络中panet网络和spp网络中的普通卷积层，生成轻量化绝缘子缺陷检测模型，生成轻量化绝缘子缺陷检测模型。
[0138]
步骤p2，将经过轻量化绝缘子分割模型处理后的绝缘子语义分割图输入到轻量化绝缘子缺陷检测模型中，训练轻量化绝缘子缺陷检测模型的网络参数，获得训练后的轻量化绝缘子分割模型。
[0139]
步骤p2包括如下子步骤：
[0140]
步骤p210，对轻量化绝缘子分割模型处理后的绝缘子语义分割图进行缺陷标注，作为绝缘子缺陷数据集。
[0141]
其中，采用labelimg软件进行手动标注，在标注时利用矩形框将绝缘子缺陷部分标注出，将绝缘子语义分割图标签设为缺陷(defect)，其他区域为背景。然后生成了标签xml文件，被用于网络权重的训练。其中，绝缘子语义分割图为采用绝缘子分割方法剔除背景并突出显示绝缘子的分割图像。
[0142]
步骤p220，按照9：1：1的比例将生成的绝缘子缺陷数据集划分为训练集、验证集和测试集。
[0143]
步骤p230，将绝缘子缺陷数据集中的训练集输入到轻量化绝缘子缺陷检测模型进行训练。
[0144]
步骤p240，利用迁移学习和动态学习率对轻量化绝缘子缺陷检测模型进行优化训练，获得训练后的轻量化绝缘子缺陷检测模型。
[0145]
具体的，调整轻量化绝缘子缺陷检测模型的训练参数，并输出损失函数，输出轻量化绝缘子缺陷检测模型的权重。
[0146]
其中，训练后的轻量化绝缘子分割模型在学习率动态变化的情况下，不断对比损失函数和收敛速度，选择最好的学习率进行训练。
[0147]
步骤p3，基于训练后的轻量化绝缘子缺陷检测模型，进行缺陷检测测试。
[0148]
步骤p3包括如下子步骤：
[0149]
步骤p310，采用绝缘子分割方法剔除背景并突出显示绝缘子的分割图像作为数据集。
[0150]
步骤p320，将yolov4模型的主干网络分别利用mobilenetv1、mobilenetv2、mobilenetv3替换原始的cspdarknet53进行可训练参数性能对比。
[0151]
其中，yolov4模型为现有的模型，将yolov4模型的主干网络分别利用mobilenetv1、mobilenetv2、mobilenetv3替换原始的cspdarknet53进行可训练参数性能对比的结果如表5所示：
[0152][0153]
表5
[0154]
更换主干网络后，yolov4参数降低幅度较小。因此，本技术又采用深度可分离卷积层代替panet和spp中的普通卷积层，进一步降低模型参数，改进后的网络参数对比如表6所示：
[0155][0156]
表6
[0157]
与只替换主干网络的模型相比，使用了深度可分离卷积层的模型参数量大幅减少。
[0158]
进一步，对改进前后四种算法的性能对比如表7所示：
[0159][0160]
表7
[0161]
由表7可知，本技术训练的轻量化模型在保证检测精度小幅度上下波动的情况下大幅降低了参数量，加快了检测速度。在三种轻量化模型算法中，根据现有的计算方法计算召回率、精确度、速度和map值，本技术提出的基于mobilenetv2-yolov4的绝缘子缺陷检测
算法具有最少的参数10.87m，最高的精确度和map，速度和召回率相差不大。mobilenetv3-yolov4模型召回率、精确度和map偏低，检测效果较差，mobilenetv1-yolov4参数相对较多，精确度和map性能指标都稍低于mobilenetv2-yolov4模型。
[0162]
为了对本技术算法有更清晰地理解，对算法的精度、速度、参数量进行客观分析。本技术先添加了dice loss函数结合交叉熵损失函数训练原始pspnet生成改进金字塔场景解析网络(improved pyramid scene parsing network，ipspnet)进行了性能测试，之后在dice loss基础上将交叉熵损失函数替换成focal loss训练轻量化pspnet网络生成fpspnet网络进行了性能测试，最后将两种分割模型进行对比。如表8所示：
[0163][0164]
表8
[0165]
由表8可以看出本技术提出基于fpspnet模型的轻量化绝缘子分割方法相较于非轻量化方法训练时间更短，参数量大幅降低，轻量化分割方法检测所耗费的时间更少，效率更高，虽然像素精度和交并比性能稍有下降，但由于损失函数的优化，绝缘子分割准确率有少许提升。
[0166]
基于ssd模型和基于yolov4模型的绝缘子缺陷检测算法性能对比结果如表9：
[0167][0168]
表9
[0169]
由表9可以看出，基于vgg-ssd的绝缘子缺陷检测算法虽然精度和速度性能较好，但参数量太大，召回率太低。为得到轻量化绝缘子缺陷检测模型，本技术先训练并测试了mobilenetv1-ssd用于绝缘子缺陷检测，然后测试了基于mobilenetv1-yolov4的绝缘子缺陷检测算法进行性能对比。可以看出，虽然mobilenetv1-ssd模型参数量最少，检测速度最快，但是召回率远远低于mobilenetv1-yolov4，导致绝缘子缺陷检测效果有所下降。由于绝缘子缺陷检测实际应用中平均精度性能重要性处于首位。因此，针对基于ssd模型召回率低的问题，本技术基于yolov4进行改进生成轻量化绝缘子缺陷检测算法。综合参数量、召回率、精确度、map和速度多重指标考虑，可以看出，本技术提出的基于mobilenetv2-yolov4的绝缘子缺陷检测算法具有最优性能。
[0170]
进一步，对两种基于深度学习的绝缘子缺陷检测算法综合性能对比，对比结果如表10所示：
[0171][0172]
表10
[0173]
由表10可以看出，ipspnet-ssd算法由于本身特征提取网络的模型复杂度较高，所以参数量很大，检测速度也相对较慢。本技术针对该问题着重进行了研究，将绝缘子缺陷检测算法整体轻量化。最后经过实验结果表明，本技术提出的基于轻量化模型fpspnet-yolov4的绝缘子缺陷检测算法具有最高的map99.37％、检测单张图片耗时最低38ms、参数量最少的高性能。
[0174]
综上，本技术提出了一种基于mobilenetv2轻量化模型的绝缘子缺陷检测算法。提出利用mobilenetv2对pspnet分割模型进行轻量化处理生成轻量化绝缘子分割方法，又基于focal loss和dice loss策略联合对pspnet的损失函数进行优化生成轻量化fpspnet模型；提出利用mobilenetv2和深度可分离卷积对yolov4进行轻量化处理，最后将两个阶段的轻量化模型相结合生成基于轻量化模型的绝缘子缺陷检测算法，简化了检测流程，减少了模型参数量，降低了模型复杂度。将本技术提出的算法和现有的绝缘子缺陷检测算法进行对比。测试结果表明，本技术提出的基于轻量化模型的绝缘子缺陷检测算法精度可以达到99.37％，图像检测速度提升到了38ms/张，模型参数量降到了14.08m，充分验证了本技术提出的轻量化绝缘子缺陷检测算法同时达到了精度、速度和复杂度三重性能的提升。
[0175]
本技术实现的有益效果如下：
[0176]
(1)本技术将轻量化的fpspnet网络与轻量化的yolov4网络相结合生成基于fpspnet_yolov4的绝缘子缺陷检测算法。本技术基于轻量化模型的绝缘子缺陷检测算法具有精度高、速度低、参数量少且模型复杂度低的特点，符合部署在移动和嵌入式设备的性能要求。
[0177]
(2)本技术利用轻量化模型mobilenetv2替换resnet50作为主干特征提取网络优化pspnet网络，利用focal loss和dice loss结合的损失函数训练pspnet网络生成轻量化fpspnet绝缘子分割方法；利用mobilenetv2替换cspdarknet53作为yolov4网络的主干特征提取网络，利用深度可分离卷积优化yolov4网络生成轻量化绝缘子缺陷检测算法，同时利用迁移学习和动态学习率对模型的训练过程进行优化。与现存的绝缘子缺陷检测算法相比，本技术的优化算法可以清晰分割绝缘子并检测出绝缘子缺陷，同时解决了现有算法在保证精度和速度的同时兼顾模型参数量和复杂度性能的问题。
[0178]
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。