一种绝缘子缺陷检测方法及装置与流程

1.本技术涉及缺陷检测技术领域，尤其涉及一种绝缘子缺陷检测方法及装置。


背景技术：

2.目前大多数的研究都聚集在对绝缘子等输电线路关键部件的图像定位检测上，从各个方面对检测的精度、速度进行改进，但是没有对这些输电线路部件的存在状态进行检测。另一些对部件状态的研究也局限于特定的场景下(如单一缺陷，单一种类绝缘子，图像背景单一等)，鲁棒性不强，缺乏一定的实际应用能力。
3.对于缺陷检测，通常可以有两种方式：分类和目标定位。把绝缘子分为有缺陷和无缺陷两种，进行一个二分类，从相关研究可以看出，这种做法虽然能够检测到缺陷，同时误检率较高，并且不能详细区分各种缺陷类别，对于进一步的实际应用有所限制。


技术实现要素：

4.本技术实施例提供了一种绝缘子缺陷检测方法及装置，使得能够对常见的缺陷进行快速精确的检测。
5.有鉴于此，本技术第一方面提供了一种绝缘子缺陷检测方法，所述方法包括：
6.采集待测绝缘子图像；
7.将所述待测绝缘子图像输入至绝缘子定位网络，得到所述待测绝缘子图像中待测绝缘子区域以及所述待测绝缘子区域的置信度；
8.将所述置信度大于置信度阈值的所述待测绝缘子区域进行裁剪；
9.将裁剪后的所述待测绝缘子区域的图像输入至绝缘子缺陷检测网络中，识别待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
10.可选的，还包括：
11.在存在缺陷的所述待测绝缘子图像中显示所述待测绝缘子区域、所述待测绝缘子区域的置信度、待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
12.可选的，还包括：在所述将所述待测绝缘子图像输入至绝缘子定位网络，得到所述待测绝缘子图像中待测绝缘子区域以及所述待测绝缘子区域的置信度，之前还包括：
13.获取多张包含绝缘子的图像的数据集，所述数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
14.对所述数据集中的绝缘子进行标注；
15.将所述数据集划分为训练集、验证集和测试集；
16.迭代训练所述绝缘子定位网络，得到训练好的所述绝缘子定位网络。
17.可选的，还包括：在所述将裁剪后的所述待测绝缘子区域的图像输入至绝缘子缺陷检测网络中之前，还包括：
18.将所述绝缘子定位网络输出的包含绝缘子区域的图像中的绝缘子进行裁剪，构成所述缺陷检测网络的训练数据集；
19.将训练数据集中的缺陷位置进行标注；
20.对所述缺陷检测网络进行训练，得到训练好的所述缺陷检测网络。
21.可选的，采用adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
22.本技术第二方面提供一种绝缘子缺陷检测装置，所述装置包括：
23.采集单元，用于采集待测绝缘子图像；
24.绝缘子定位单元，用于将所述待测绝缘子图像输入至绝缘子定位网络，得到所述待测绝缘子图像中待测绝缘子区域以及所述待测绝缘子区域的置信度；
25.裁剪单元，用于将所述置信度大于置信度阈值的所述待测绝缘子区域进行裁剪；
26.缺陷识别单元，用于将裁剪后的所述待测绝缘子区域的图像输入至绝缘子缺陷检测网络中，识别待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
27.可选的，还包括：
28.图像显示单元，用于在存在缺陷的所述待测绝缘子图像中显示所述待测绝缘子区域、所述待测绝缘子区域的置信度、待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
29.可选的，还包括：
30.第一数据集获取单元，用于获取多张包含绝缘子的图像的数据集，所述数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
31.第一标注单元，用于对所述数据集中的绝缘子进行标注；
32.划分单元，用于将所述数据集划分为训练集、验证集和测试集；
33.第一训练单元，用于迭代训练所述绝缘子定位网络，得到训练好的所述绝缘子定位网络。
34.可选的，还包括：
35.第二数据集获取单元，用于将所述绝缘子定位网络输出的包含绝缘子区域的图像中的绝缘子进行裁剪，构成所述缺陷检测网络的训练数据集；
36.第二标注单元，用于将训练数据集中的缺陷位置进行标注；
37.第二训练单元，用于对所述缺陷检测网络进行训练，得到训练好的所述缺陷检测网络。
38.可选的，还包括：
39.优化单元，用于采用adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算；
40.从以上技术方案可以看出，本技术具有以下优点：
41.本技术中，提供了一种绝缘子缺陷检测方法，采集待测绝缘子图像；将待测绝缘子图像输入至绝缘子定位网络，得到待测绝缘子图像中待测绝缘子区域以及待测绝缘子区域的置信度；将置信度大于置信度阈值的所述待测绝缘子区域进行裁剪；将裁剪后的待测绝缘子区域的图像输入至绝缘子缺陷检测网络中，识别待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
42.本技术包括绝缘子定位网络和绝缘子缺陷检测网络，在检测到图像中的绝缘子之后进行缺陷状态的检测。绝缘子定位网络负责检测图像中的绝缘子，输出包含绝缘子位置信息和置信度信息，接着按照置信度大小裁剪出符合要求的绝缘子，然后将裁剪后的绝缘
子图像送入绝缘子缺陷检测网络进行缺陷状态的检测，用于缺陷的识别检测，输出绝缘子、绝缘子缺陷位置信息及置信度状态信息，并在图像上展示，实现了对常见的缺陷进行快速精确的检测。
附图说明
43.图1为本技术一种绝缘子缺陷检测方法的一个实施例的方法流程图；
44.图2为本技术一种绝缘子缺陷检测装置的一个实施例中的装置结构图；
45.图3为本技术实施例对绝缘子图像进行识别的流程示意图；
46.图4为本技术实施例中对绝缘子图像进行裁剪后的图像；
47.图5为本技术识别绝缘子缺陷后的实施例1中输出图像示意图；
48.图6为本技术识别绝缘子缺陷后的实施例2中输出图像示意图；
49.图7为本技术识别绝缘子缺陷后的实施例3中输出图像示意图；
50.图8为本技术识别绝缘子缺陷后的实施例4中输出图像示意图。
具体实施方式
51.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.图1为本技术一种绝缘子缺陷检测方法的一个实施例的方法流程图，如图1所示，图1中包括：
53.101、采集待测绝缘子图像；
54.需要说明的是，本技术可以通过航拍采集电力线路上的绝缘子图像，获取高处的难以识别的电力传输线的图像。
55.102、将待测绝缘子图像输入至绝缘子定位网络，得到待测绝缘子图像中待测绝缘子区域以及待测绝缘子区域的置信度；
56.需要说明的是，本技术可以采用级联结构基于yolov3深度学习网络，如图3所示，图3中包括绝缘子定位网络以及绝缘子缺陷检测网络。由于航拍的角度以及距离不同，可能会导致绝缘子在采集的绝缘子图像中的比例较小，而一般的目标检测模型通常对小目标提取特征不足，因此，本技术采用基于yolov3的级联检测结构。如图3所示，航拍绝缘子图像经过绝缘子定位网络后将输出包含绝缘子的矩形框以及矩形框包含有绝缘子的置信度。
57.103、将置信度大于置信度阈值的待测绝缘子区域进行裁剪；
58.需要说明的是，本技术可以将矩形框包含有绝缘子的置信度大于置信度阈值的待测绝缘子区域进行裁剪，从而得到绝缘子区域的矩形框图像。本技术可以设置置信度阈值为0.6，即对包含有绝缘子的置信度大于或者等于0.6的矩形框进行裁剪。
59.相比于未裁剪之前的绝缘子图像，其缺陷部分占比极小，裁剪相当于增大了缺陷的面积，能够在一定程度上避免了缺陷部分太小导致的噪声干扰大的问题，从而能够有效进行缺陷信息的提取，提升后续缺陷检测的精度，从而有利于模型进行检测。如图4所示裁剪后的绝缘子图片。
60.104、将裁剪后的待测绝缘子区域的图像输入至绝缘子缺陷检测网络中，识别待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
61.需要说明的是，本技术可以由缺陷检测网络进行特征提取，有效利用缺陷特征信息。绝缘子定位网络和缺陷检测网络都将从三个不同的尺度上特征图进行包围框的预测，最后整个网络输出绝缘子及其缺陷的位置、类别、置信度信息。本技术的级联结构的后端是绝缘子缺陷检测网络，后端接收裁剪后的绝缘子图像，后端结构和前端一致，进行绝缘子缺陷信息的有效提取。
62.具体的，本技术在识别出绝缘子的缺陷后，可以将存在缺陷的待测绝缘子图像中显示待测绝缘子区域、待测绝缘子区域的置信度、待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。如图5至图8为识别绝缘子缺陷后的输出图像的示意图，图中包括定位的绝缘子矩形框、定位出包含绝缘子矩形框区域的置信度、识别出的缺陷区域以及该区域所属缺陷的类型及置信度。
63.在一种具体的实施方式中，本技术还包括：
64.获取多张包含绝缘子的图像的数据集，数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
65.对数据集中的绝缘子进行标注；
66.将数据集划分为训练集、验证集和测试集；
67.迭代训练绝缘子定位网络，得到训练好的绝缘子定位网络；
68.将绝缘子定位网络输出的包含绝缘子区域的图像中的绝缘子进行裁剪，构成缺陷检测网络的训练数据集；
69.将训练数据集中的缺陷位置进行标注；
70.对缺陷检测网络进行训练，得到训练好的缺陷检测网络。
71.需要说明的是，本技术可以选择包括多种缺陷的绝缘子图像作为数据集，数据集中绝缘子主要有陶瓷、玻璃、复合绝缘子三大种类。再对数据集进行图像标注，标注出图中的绝缘子区域，按照8:1:1的比例划分为与训练集、验证集、和测试集，用于对绝缘子定位网络进行训练，绝缘子定位网络训练完成后，将图像中的绝缘子区域进行裁剪，将裁剪后的图像作为缺陷检测网络的训练集，标对裁剪后的图像中的缺陷部分进行标注，用于对缺陷检测网络进行训练。
72.本技术包括绝缘子定位网络和绝缘子缺陷检测网络，在检测到图像中的绝缘子之后进行缺陷状态的检测。绝缘子定位网络负责检测图像中的绝缘子，输出包含绝缘子位置信息和置信度信息，接着按照置信度大小裁剪出符合要求的绝缘子，然后将裁剪后的绝缘子图像送入绝缘子缺陷检测网络进行缺陷状态的检测，用于缺陷的识别检测，输出绝缘子、绝缘子缺陷位置信息及置信度状态信息，并在图像上展示，实现了对常见的缺陷进行快速精确的检测。
73.在一种具体的应用例中，本技术本技术采用adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。训练迭代为100个epoch(1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被训练几次)，分阶段进行参数设置。权值衰减正则化系数为0.005，冲量0.9，前50个epoch的样本批量batch_size为8，初始学习率为0.0001，学习率衰减系数为0.9；后50个epoch的batch_size为4，初始学习率为0.00001，
学习率衰减系数为0.9，在这阶段主要对模型参数进行微调。实验采用交叉迭代训练的方式，每经过一个epoch训练集进行一个epoch验证集的验证，以便于及时调整模型的参数，然后保存每个epoch的模型状态，包含每个epoch的训练和验证损失值等。
74.表1实验参数配置
[0075][0076]
对于精度的度量，本技术主要采用precision、recall、ap、f值进行量化分析(检测的类别数为1时，ap和map在数值上相等)，对应数值越高，表明模型的检测性能越好，检测准确度越高。本技术在验证实验中设置的iou(交并比)阈值为0.5(交并比设置的越高对网络检测性能准确度的要求越高)。从表2以及下图2中可以看出，级联模型具有良好的绝缘子目标识别、绝缘子自爆、绝缘子放电缺陷检测性能。
[0077]
表2级联检测模型实验结果
[0078][0079]
模型在各类绝缘子，各种背景下的直观检测效果如图5
‑
图8所示。可以看出，yolov3级联检测结构能够对包括绝缘子、绝缘子自爆、绝缘子放电等具有相对比较精确的检测效果。检测效果也呼应了检测评价指标值数值，说明本技术所提出的yolov3级联缺陷检测结构能够有效地进行缺陷检测，模型泛化能力、鲁棒性强，实现了绝缘子和其缺陷精确定位和检测识别。
[0080]
在一种具体的实施方式中，用于检测缺陷的数据集共1726张，来自10kv的低压输电线，图像尺寸和正常绝缘子相同，命名为“defect_insulator”。本技术实验中选取常见的两种绝缘子缺陷：自爆(missing caps)，放电(lightning)进行缺陷检测实验。将图像按照“名称_序号”格式进行命名，详细信息见下表3。
[0081]
表3数据集信息
[0082][0083]
在输电线路中，中高电压用引脚、应变、悬吊绝缘子，低压用卸扣、拉索绝缘子，高压线路绝缘子呈细长状，而低压线路绝缘子形态各异，例如柱式、棒状、覆盆式等，数据集中绝缘子主要有陶瓷、玻璃、复合绝缘子三大种类。按照8:1:1的比例划分为与训练集、验证集、和测试集，在机器学习中，训练集用来训练模型参数，测试集用于测试模型的泛化能力，验证集是在模型训练的过程中作为模型训练性能的反馈，用于选择模型的超参数，判断是否过拟合或欠拟合。
[0084]
本技术中模型训练所用数据集采用pascalvoc2007数据集格式，主要包括图像文件、标注文件和索引文件。采用labelimg开源数据标注软件进行图像标注。
[0085]
接下来在配置了图像处理单元gpu的服务器上进行的模型训练，服务器操作系统ubuntu系统，中央处理器，内存等其他硬件信息和软件信息如下表4所示：
[0086]
表4实验配置信息
[0087][0088]
整个缺陷级联检测结构遵循分别独立训练和联合结构预测的方式，即训练绝缘子定位网络进行图像中绝缘子定位，训练缺陷检测网络对绝缘子中的缺陷进行识别。在“defect_insulator”数据集上进行绝缘子定位，根据网络输出结果，将相应的绝缘子裁剪下来，构成缺陷检测网络的训练数据集。和绝缘子定位网络训练方式一致，对裁剪下来的符合标准(阈值范围)的缺陷绝缘子图像进行标注处理，然后送入检测网络中产生经优化后的网络参数，最后得到鲁棒性强的缺陷检测网络。
[0089]
在进行网络预测时，对输入的图像首先通过绝缘子定位网络进行绝缘子定位，接着根据置信度值对相应绝缘子你进行裁剪，然后将裁剪后的绝缘子图像送入缺陷检测网络进行缺陷的识别分类和定位，最后在同一张图像上输出绝缘子和缺陷的位置、置信度和类别信息等。
[0090]
本技术还提供了一种绝缘子缺陷检测装置的一个实施例，如图2所示，图2中包括：
[0091]
采集单元201，用于采集待测绝缘子图像；
[0092]
绝缘子定位单元202，用于将待测绝缘子图像输入至绝缘子定位网络，得到待测绝缘子图像中待测绝缘子区域以及待测绝缘子区域的置信度；
[0093]
裁剪单元203，用于将置信度大于置信度阈值的待测绝缘子区域进行裁剪；
[0094]
缺陷识别单元204，用于将裁剪后的待测绝缘子区域的图像输入至绝缘子缺陷检测网络中，识别待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
[0095]
在一种具体的实施方式中，还包括：
[0096]
图像显示单元，用于在存在缺陷的待测绝缘子图像中显示待测绝缘子区域、待测绝缘子区域的置信度、待测绝缘子的缺陷区域、缺陷类型以及所属的缺陷类型的置信度。
[0097]
在一种具体的实施方式中，还包括：
[0098]
第一数据集获取单元，用于获取多张包含绝缘子的图像的数据集，数据集中的绝缘子种类包括陶瓷、玻璃、复合绝缘子；
[0099]
第一标注单元，用于对数据集中的绝缘子进行标注；
[0100]
划分单元，用于将数据集划分为训练集、验证集和测试集；
[0101]
第一训练单元，用于迭代训练绝缘子定位网络，得到训练好的绝缘子定位网络。
[0102]
在一种具体的实施方式中，还包括：
[0103]
第二数据集获取单元，用于将绝缘子定位网络输出的包含绝缘子区域的图像中的绝缘子进行裁剪，构成缺陷检测网络的训练数据集；
[0104]
第二标注单元，用于将训练数据集中的缺陷位置进行标注；
[0105]
第二训练单元，用于对缺陷检测网络进行训练，得到训练好的缺陷检测网络。
[0106]
在一种具体的实施方式中，还包括：
[0107]
优化单元，用于采用adam算法对绝缘子定位网络或绝缘子缺陷检测网络进行优化计算。
[0108]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0109]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0110]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0111]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以
通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0112]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0113]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0114]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。