输电线路防振锤脱落的检测方法、装置、介质及终端设备与流程

1.本发明涉及遥感影像技术领域，尤其涉及一种输电线路防振锤脱落的检测方法、装置、计算机可读存储介质及终端设备。


背景技术：

2.保障输电线路的可靠性和稳定性是智能电网建设的一项十分重要的内容。防振锤作为保护输电线老化和损坏的关键设备，具有减少导线振动频率和幅度的作用，因而被广泛应用于高压输电线路中。由于防振锤的固定线夹常年受暴晒、雨水、雷击等自然环境的影响而极易产生松动，就会发生脱落、移位等缺陷，久而久之将造成导线断股、导线散股、线间短路、金具损坏等事故。防振锤性能失效会严重影响输电线路的安全稳定运行，因此，及时检测防振锤各种缺陷并迅速进行故障诊断显得尤为重要。
3.我国国土面积辽阔，有很多不同的地形，在电路巡检领域，由于输电线路走廊地形环境复杂，无法及时反馈输电线路的运作情况，在某些苛刻的环境条件下如高海拔地区和环境恶劣的地区，沿该地段的某些区域基本上没有巡查道路，这一类地区的电力建设存在很多困难。因此，人工检查方法费时、费力，工作条件极其艰难，同时后期的维护工作也难以进行。近年来，电力机器人发展迅速且展现出结构精巧、性能机动灵活、隐蔽性强和采集图像清晰等优势。借助电力机器人巡检卓有成效，能够提高巡检质量和效率。其中，电力机器人首先采集输电线路巡检图像，再经后期图像处理以及深度学习等技术，实现防振锤的故障检测，进一步推动了输电线路检测智能化建设。
4.目前针对输电线路中防振锤缺陷检测的研究较少，现有的防振锤缺陷检测算法主要采用基于滑动窗口的区域选择策略和基于组合特征级联策略。然而，上述算法难以解决电力机器人等智能巡检设备对防振锤多角度检测、目标尺度小、背景复杂多变等问题，导致检测准确率低。随着深度学习算法的出现，防振锤缺陷检测技术取得了突破性进展，利用深度卷积神经网络突破了以往目标检测算法只能提取浅层特征的瓶颈，从而提高了复杂背景下的防振锤缺陷检测性能，但是由于事先很难收集大量的缺陷样本，训练过程中的正常样本和缺陷样本的数量不平衡导致模型出现不稳定和过拟合的情况。


技术实现要素：

5.本发明实施例提供一种防振锤脱落检测模型的优化方法、装置、终端设备及存储介质，能够提高防振锤脱落检测的适应速度和检测精度。
6.为实现上述目的，本发明实施例提供了一种输电线路防振锤脱落的检测方法，包括：
7.获取防振锤图像样本集；
8.通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集；
9.通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建
的fasterr-cnn网络进行训练，得到初始检测模型；
10.通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得到防振锤脱落检测模型；
11.将预先获取的待检测的防振锤图像输入至所述防振锤脱落检测模型，得到防振锤的脱落检测结果。
12.作为上述方案的改进，所述所述通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集，具体为：
13.将所述防振锤图像样本集划分为正常样本集、第一缺陷样本集和第二缺陷样本集；
14.通过图像标定工具对所述正常样本集、所述第一缺陷样本集和第二缺陷样本集分别进行标注，得到标注的正常样本集、标注的第一缺陷样本集和标注的第二缺陷样本集；
15.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集分别进行图像增强，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集。
16.作为上述方案的改进，所述对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集分别进行图像增强，具体为：
17.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和按照预设的角度进行顺时针旋转；或，
18.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和引入噪声；
19.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和引入天气因素；或，
20.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和按照预设的角度进行顺时针旋转；或，
21.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和引入噪声；或，
22.对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和引入天气因素。
23.作为上述方案的改进，所述通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练，得到初始检测模型，具体为：
24.将所述正常样本训练集输入至第一特征提取网络中，得到正常样本特征图；
25.将所述缺陷样本训练集输入至第二特征提取网络中，并基于迁移学习将所述正常样本特征图迁移至所述缺陷样本的特征空间中，得到缺陷样本特征图；
26.将所述正常样本特征图和所述缺陷样本特征图输入至区域建议网络中，生成多个建议窗口；
27.将所述正常样本特征图、所述缺陷样本特征图和多个所述建议窗口输入至感兴趣区域中，输出每个所述建议窗口的固定尺寸的特征图；
28.将每个所述建议窗口的固定尺寸的特征图输入至所述fasterr-cnn网络的分类器中，输出最大概率估计和目标边界框位置；
29.将所述最大概率估计对应的所述建议窗口作为初始检测模型。
30.作为上述方案的改进，所述通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练的过程中，还包括：
31.构建所述fasterr-cnn网络的损失函数，通过所述损失函数和随机梯度下降算法迭代更新所述fasterr-cnn网络的网络权重。
32.作为上述方案的改进，所述损失函数l的表达式为：
33.l＝ls l
t
；
34.其中，ls为fasterr-cnn网络的源域损失函数，l
t
为fasterr-cnn网络的目标域损失函数；
35.所述fasterr-cnn网络的源域损失函数ls的表达式为：
[0036][0037]
其中，为源域的分类损失函数，为源域的回归损失函数，n
cls
为分类损失的样本数量，n
reg
为回归损失的样本数量，l为平衡参数，pi为第i个锚框属于第i个真实标注图像中目标的预测概率，为第i个真实标注图像，ti为第i个预测边界框的四维坐标，为第i个真实标注边界框的四维坐标，ui为第i个预测边界框的四维坐标和真实标注边界框的四维坐标的集合；
[0038]
所述fasterr-cnn网络的目标域损失函数l
t
的表达式为：
[0039][0040]
其中，为目标域的分类误差函数，为目标域的回归误差函数。
[0041]
作为上述方案的改进，所述通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得到防振锤脱落检测模型，具体为：
[0042]
通过将所述缺陷样本测试集输入至所述初始检测模型中，得到缺陷样本测试集的检测结果；
[0043]
当所述缺陷样本测试集的检测结果的平均精度大于预设阈值时，将该初始检测模型作为防振锤脱落检测模型。
[0044]
为实现上述目的，本发明实施例对应提供了一种输电线路防振锤脱落的检测装置，包括：
[0045]
数据接收模块，用于获取防振锤图像样本集；
[0046]
数据处理模块，用于通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集；
[0047]
模型训练模块，用于通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练，得到初始检测模型；
[0048]
样本测试模块，用于通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得到防振锤脱落检测模型；
[0049]
脱落检测模块，用于将预先获取的待检测的防振锤图像输入至所述防振锤脱落检
测模型，得到防振锤的脱落检测结果。
[0050]
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的输电线路防振锤脱落的检测方法。
[0051]
为实现上述目的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的输电线路防振锤脱落的检测方法。
[0052]
与现有技术相比，本发明实施例公开的输电线路防振锤脱落的检测方法、装置、计算机可读存储介质和终端设备，首先，获取防振锤图像样本集；其次，通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集；然后，通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练，得到初始检测模型；进而，通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得到防振锤脱落检测模型；最后，将预先获取的待检测的防振锤图像输入至所述防振锤脱落检测模型，得到防振锤的脱落检测结果。从而能够将大量无缺陷样本的知识有效迁移到少量有缺陷样本，实现以少量缺陷样本来构建防振锤脱落检测模型，与传统的防振锤脱落检测方法相比适应速度快、检测精度高。
附图说明
[0053]
图1是本发明一实施例提供的一种输电线路防振锤脱落的检测方法的流程示意图；
[0054]
图2是本发明一实施例提供的一种防振锤脱落检测模型的示意图；
[0055]
图3是本发明一实施例提供的一种输电线路防振锤脱落的检测装置的结构示意图；
[0056]
图4是本发明一实施例提供的一种终端设备的结构框图。
具体实施方式
[0057]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
参见图1，是本发明一实施例提供的一种输电线路防振锤脱落的检测方法的流程示意图。
[0059]
本发明实施例提供的输电线路防振锤脱落的检测方法，包括步骤：
[0060]
s11、获取防振锤图像样本集；
[0061]
s12、通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集；
[0062]
s13、通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练，得到初始检测模型；
[0063]
s14、通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得
到防振锤脱落检测模型；
[0064]
s15、将预先获取的待检测的防振锤图像输入至所述防振锤脱落检测模型，得到防振锤的脱落检测结果。
[0065]
在一些更优的实施例中，所述步骤s12，具体为：
[0066]
将所述防振锤图像样本集划分为正常样本集、第一缺陷样本集和第二缺陷样本集；
[0067]
通过图像标定工具对所述正常样本集、所述第一缺陷样本集和第二缺陷样本集分别进行标注，得到标注的正常样本集、标注的第一缺陷样本集和标注的第二缺陷样本集；
[0068]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集分别进行图像增强，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集。
[0069]
优选的，所述第一缺陷样本集与所述第二缺陷样本集的样本比列为4：1。
[0070]
需要说明，所述第一缺陷样本集用于进行缺陷样本训练检测模型，通过对所述第一缺陷样本集进行标注和图像增强得到缺陷样本训练集；所述第二缺陷样本集用于测试检测模型，通过对所述第二缺陷样本集进行标注和图像增强得到缺陷样本测试集。
[0071]
优选的，所述图像标定工具为labelimg工具。
[0072]
需要说明的是，通过labelimg工具对所述正常样本集、所述第一缺陷样本集和第二缺陷样本集进行标注后，得到的标注的正常样本集、标注的第一缺陷样本集和标注的第二缺陷样本集为xml文件。由于防振锤脱落缺陷情况的复杂性，标注时应将标注对象分为以下两种情况：(1)若防振锤为局部脱落，则仅标记单个防振锤缺陷目标；(2)若防振锤为整个脱落，则需要设置参照目标，即标注缺陷目标及其配对目标。
[0073]
在一个具体的实施例中，所述对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集分别进行图像增强，具体为：
[0074]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和按照预设的角度进行顺时针旋转；或，
[0075]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和引入噪声；
[0076]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和引入天气因素；或，
[0077]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和按照预设的角度进行顺时针旋转；或，
[0078]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和引入噪声；或，
[0079]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和引入天气因素。
[0080]
优选的，顺时针旋转的角度包括以下中的至少一种：30
°
、60
°
、270
°
和330
°
。
[0081]
优选的，所述噪声包括：高斯噪声、散粒噪声和脉冲噪声。
[0082]
优选的，所述天气因素包括：雨、雪和雾。
[0083]
可以理解的，由于输电线路防振锤的数据量小，需要对训练样本和测试样本进行图像增强，以提高系统的鲁棒性和检测精度，
[0084]
需要说明，在所述步骤s13中，所述预先基于迁移学习算法搭建的fasterr-cnn网络主要由特征提取网络、特征自适应迁移模块、区域建议网络和感兴趣区域四部分组成。特征提取网络学习正常样本和缺陷样本特征，特征自适应迁移模块将正常样本信息有效迁移到缺陷样本中，然后经过区域建议网络和感兴趣区域，输出缺陷检测结果。需要说明，在图2中特征提取网络又称特征提取器，特征自适应迁移模块又称特征迁移模块，感兴趣区域又称预测层。
[0085]
参见图2，图2是本发明一实施例提供的一种防振锤脱落检测模型的示意图。
[0086]
从图2可见，在本发明中构造了两个特征提取网络，下称第一特征提取网络和第二特征提取网络，构造两个特征提取网络是由于强共享的特征提取结构在很大程度上表现出对特定域的特性支持，并且由于fasterr-cnn网络源域和目标域的分布不一致，在将正常样本特征图迁移到缺陷样本特征空间时，源域存在对目标域的有害信息，导致目标域的结构受到破坏，影响迁移效果，所以在本发明中源域和目标域的训练过程不共享特征提取网络。
[0087]
优选的，所述预先基于迁移学习算法搭建的fasterr-cnn网络包括：第一特征提取网络、第二特征提取网络、区域建议网络、特征自适应迁移模块、感兴趣区域和fasterr-cnn网络的分类器。
[0088]
在一个更优的实施例中，所述步骤s13，具体为：
[0089]
将所述正常样本训练集输入至第一特征提取网络中，得到正常样本特征图；
[0090]
将所述缺陷样本训练集输入至第二特征提取网络中，并基于迁移学习将所述正常样本特征图迁移至所述缺陷样本的特征空间中，得到缺陷样本特征图；
[0091]
将所述正常样本特征图和所述缺陷样本特征图输入至区域建议网络中，生成多个建议窗口；
[0092]
将所述正常样本特征图、所述缺陷样本特征图和多个所述建议窗口输入至感兴趣区域中，输出每个所述建议窗口的固定尺寸的特征图；
[0093]
将每个所述建议窗口的固定尺寸的特征图输入至fasterr-cnn网络的分类器中，输出最大概率估计和目标边界框位置；
[0094]
将所述最大概率估计对应的所述建议窗口作为初始检测模型。
[0095]
需要说明，所述第一特征提取网络和所述第二特征提取网络均采用resnet50和特征金字塔相结合的结构，通过多向的信息传递方式，能够有效融合各层特征；将学习到的正常样本特征图输入到特征自适应迁移模块中得到重加权向量，然后将重加权向量有效迁移至缺陷样本的特征空间中，以提高缺陷样本特征表达能力。
[0096]
所述特征金字塔结构包括自底而上、自顶而下和横向连接三个部分，特征金字塔结构可以融合各层级的特征，同时使其具有强空间信息和强上下文信息，能够增强特征学习能力。其中，自底向上就是将resnet50作为基本骨干网络，根据特征图的尺寸分为5个阶段c1-c5；自顶向下就是从最高层开始进行最近邻上采样；横向连接就是将自底向上捕获的特征图和上采样生成的相同尺寸的结果进行融合。示例性的，就是对c2-c5中的每一层经过一个1x1卷积操作，然后和上采样的特征图进行求和操作；为了消除上采样造成的混叠效应，采用3x3的卷积核对融合之后的特征图进行操作。
[0097]
源域图像(即正常样本训练集的图像)经过第一特征提取网络得到对应层的正常样本特征图，一起输入到轻量的特征自适应迁移模块中得到源域对应的正常样本特征图的
重加权向量，然后将重加权向量作为卷积核，分别对目标域对应的特征图做卷积操作，得到重加权后的目标域特征图，即缺陷样本特征图；然后，将所述正常样本特征图和所述缺陷样本特征图输入至区域建议网络rpn中，生成多个建议窗口；之后将多个建议窗口映射到第一特征提取网络和第二特征提取网络的卷积神经网络的最后一层卷积特征图上，通过感兴趣区域roi的池化层生成多个所述建议窗口的固定尺寸的特征图，以使区域建议网络rpn根据锚框生成一批具有这些不同比例特征的兴趣区域；最后将多个所述建议窗口的固定尺寸的特征图输入至faster r-cnn网络的分类器中，该分类器可以最终生成静态目标的最大概率估计，并优化目标的边界框位置，输出检测结果。
[0098]
作为其中一个可选的实施方式，所述步骤s14中，所述所述通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练的过程中，还包括：
[0099]
构建所述fasterr-cnn网络的损失函数，通过所述损失函数和随机梯度下降算法迭代更新所述fasterr-cnn网络的网络权重。
[0100]
具体的，所述损失函数l的表达式为：
[0101]
l＝ls l
t
；
[0102]
其中，ls为fasterr-cnn网络的源域损失函数，l
t
为fasterr-cnn网络的目标域损失函数；
[0103]
所述fasterr-cnn网络的源域损失函数ls的表达式为：
[0104][0105]
其中，为源域的分类损失函数，为源域的回归损失函数，n
cls
为分类损失的样本数量，n
reg
为回归损失的样本数量，l为平衡参数，pi为第i个锚框属于第i个真实标注图像中目标的预测概率，为第i个真实标注图像，ti为第i个预测边界框的四维坐标，为第i个真实标注边界框的四维坐标，ui为第i个预测边界框的四维坐标和真实标注边界框的四维坐标的集合；
[0106]
所述fasterr-cnn网络的目标域损失函数l
t
的表达式为：
[0107][0108]
其中，为目标域的分类误差函数，为目标域的回归误差函数。
[0109]
进一步的，根据以下公式计算源域或目标域的分类损失函数和回归损失函数：
[0110][0111][0112]
[0113]
其中，l
cls
为分类损失函数，l
reg
为回归损失函数，s
l1
为平滑公式，x为预测边界框的四维坐标与真实标注边界框的四维坐标的差值。
[0114]
进一步的，所述通过所述损失函数和随机梯度下降算法迭代更新所述fasterr-cnn网络的网络权重，具体为：
[0115]
根据以下公式更新所述fasterr-cnn网络的网络权重：
[0116][0117]
α＝base_α
×
0.1
floor(iter/5000)
；
[0118]
其中，所述w
t 1
为第t 1轮的网络权重，w
t
为第t轮的网络权重，μ为第t-1轮梯度值的权重，v
t
为第t轮权重的更新值，为损失函数对第t轮的网络权重进行求导，α为学习速率，base_α为学习速率的初始值，iter为当前的迭代次数。
[0119]
优选的，学习速率的初始值为0.001。
[0120]
需要说明，第i个预测边界框的四维坐标ti＝{t
x
,ty,tw,th}，即四个参数化坐标。
[0121]
在一些更优的实施例中，所述步骤s15，具体为：
[0122]
通过将所述缺陷样本测试集输入至所述初始检测模型中，得到缺陷样本测试集的检测结果；
[0123]
当所述缺陷样本测试集的检测结果的平均精度大于预设阈值时，将该初始检测模型作为防振锤脱落检测模型。
[0124]
具体的，所述缺陷样本测试集的检测结果包括：缺陷样本测试集中每一图像的检测回归框和分类准确率。
[0125]
需要说明，在计算所述缺陷样本测试集的检测结果的平均精度之前，需要计算所述检测结果的准确率和召回率；其中，
[0126]
根据以下公式计算所述检测结果的准确率pre：
[0127][0128]
根据以下公式计算所述检测结果的召回率recall：
[0129][0130]
其中，n
tp
为实际为真且预测为真的样本个数，n
fp
为实际为假但预测为真的样本个数，n
fn
为实际为真但预测为假的样本个数。
[0131]
可以理解，准确率可以在一定程度上反映检测模型的误检情况，召回率可以在一定程度上反映检测模型的漏检情况。以召回率为横轴，准确率为纵轴，构造pr曲线，所述平均精度ap为pr曲线上准确率的平均值。
[0132]
相应地，本发明实施例还提供了一种输电线路防振锤脱落的检测装置，能够实现上述输电线路防振锤脱落的检测方法的所有流程。
[0133]
参见图3，是本发明一实施例提供的一种输电线路防振锤脱落的检测装置的结构示意图。
[0134]
本发明实施例提供的输电线路防振锤脱落的检测装置，包括：
[0135]
数据接收模块21，用于获取防振锤图像样本集；
[0136]
数据处理模块22，用于通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集；
[0137]
模型训练模块23，用于通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练，得到初始检测模型；
[0138]
样本测试模块24，用于通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得到防振锤脱落检测模型；
[0139]
脱落检测模块25，用于将预先获取的待检测的防振锤图像输入至所述防振锤脱落检测模型，得到防振锤的脱落检测结果。
[0140]
作为其中一个可选的实施方式，所述数据处理模块22，包括：
[0141]
样本划分单元，用于将所述防振锤图像样本集划分为正常样本集、第一缺陷样本集和第二缺陷样本集；
[0142]
样本标注单元，用于通过图像标定工具对所述正常样本集、所述第一缺陷样本集和第二缺陷样本集分别进行标注，得到标注的正常样本集、标注的第一缺陷样本集和标注的第二缺陷样本集；
[0143]
图像增强单元，用于对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集分别进行图像增强，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集。
[0144]
进一步的，所述图像增强单元，具体用于：
[0145]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和按照预设的角度进行顺时针旋转；或，
[0146]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和引入噪声；
[0147]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行水平翻转和引入天气因素；或，
[0148]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和按照预设的角度进行顺时针旋转；或，
[0149]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和引入噪声；或，
[0150]
对所述标注的正常样本集、所述标注的第一缺陷样本集和所述标注的第二缺陷样本集均进行离焦模糊和引入天气因素。
[0151]
作为其中一个具体的实施方式，所述模型训练模块23，具体用于：
[0152]
将所述正常样本训练集输入至第一特征提取网络中，得到正常样本特征图；
[0153]
将所述缺陷样本训练集输入至第二特征提取网络中，并基于迁移学习将所述正常样本特征图迁移至所述缺陷样本的特征空间中，得到缺陷样本特征图；
[0154]
将所述正常样本特征图和所述缺陷样本特征图输入至区域建议网络中，生成多个建议窗口；
[0155]
将所述正常样本特征图、所述缺陷样本特征图和多个所述建议窗口输入至感兴趣区域中，输出每个所述建议窗口的固定尺寸的特征图；
[0156]
将每个所述建议窗口的固定尺寸的特征图输入至fasterr-cnn网络的分类器中，
输出最大概率估计和目标边界框位置；
[0157]
将所述最大概率估计对应的所述建议窗口作为初始检测模型。
[0158]
作为其中一个优选的实施例，所述模型训练模块23中，所述通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练的过程中，还包括：
[0159]
构建所述fasterr-cnn网络的损失函数，通过所述损失函数和随机梯度下降算法迭代更新所述fasterr-cnn网络的网络权重。
[0160]
具体的，所述损失函数l的表达式为：
[0161]
l＝ls l
t
；
[0162]
其中，ls为fasterr-cnn网络的源域损失函数，l
t
为fasterr-cnn网络的目标域损失函数；
[0163]
所述fasterr-cnn网络的源域损失函数ls的表达式为：
[0164][0165]
其中，为源域的分类损失函数，为源域的回归损失函数，n
cls
为分类损失的样本数量，n
reg
为回归损失的样本数量，l为平衡参数，pi为第i个锚框属于第i个真实标注图像中目标的预测概率，为第i个真实标注图像，ti为预测边界框的四维坐标，为第i个真实标注图像边界框的四维坐标，ui为第i个预测边界框的四维坐标和真实标注边界框的四维坐标的集合；
[0166]
所述fasterr-cnn网络的目标域损失函数l
t
的表达式为：
[0167][0168]
其中，为目标域的分类误差函数，为目标域的回归误差函数。
[0169]
作为其中一个可选的实施方式，所述样本测试模块24，包括：
[0170]
通过将所述缺陷样本测试集输入至所述初始检测模型中，得到缺陷样本测试集的检测结果；
[0171]
当所述缺陷样本测试集的检测结果的平均精度大于预设阈值时，将该初始检测模型作为防振锤脱落检测模型。
[0172]
需要说明的是，本实施例的输电线路防振锤脱落的检测装置的各实施例的相关具体描述和有益效果可以参考上述的输电线路防振锤脱落的检测方法的各实施例的相关具体描述和有益效果，在此不再赘述。
[0173]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或
多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0174]
相应地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的输电线路防振锤脱落的检测方法。
[0175]
本发明实施例还提供了一种终端设备，参见图4，是本发明一实施例提供的一种终端设备的结构框图，包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的输电线路防振锤脱落的检测方法。
[0176]
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、
……
)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
[0177]
所述处理器10可以是中央处理单元(central processtng untt，cpu)，还可以是其他通用处理器、数字信号处理器(dtgttal stgnal processor，dsp)、专用集成电路(appltcatton spectftc tntegrated ctrcutt，astc)、现成可编程门阵列(fteld-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
[0178]
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(smart medta card，smc)、安全数字(secure dtgttal，sd)卡和闪存卡(flash card)等，或所述存储器20也可以是其他易失性固态存储器件。
[0179]
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图4结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
[0180]
综上，本发明实施例所提供的一种输电线路防振锤脱落的检测方法、装置、计算机可读存储介质及终端设备，首先，获取防振锤图像样本集；其次，通过对所述防振锤图像样本集进行预处理，得到正常样本训练集、缺陷样本训练集和缺陷样本测试集；然后，通过所述正常样本训练集和所述缺陷样本训练集对预先基于迁移学习算法搭建的fasterr-cnn网络进行训练，得到初始检测模型；进而，通过所述缺陷样本测试集和平均精度对所述初始检测模型进行测试分析，得到防振锤脱落检测模型；最后，将预先获取的待检测的防振锤图像输入至所述防振锤脱落检测模型，得到防振锤的脱落检测结果。从而能够将大量无缺陷样本的知识有效迁移到少量有缺陷样本，实现以少量缺陷样本来构建防振锤脱落检测模型，与传统的防振锤脱落检测方法相比适应速度快、检测精度高。
[0181]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为
本发明的保护范围。