一种无人机线路巡视缺陷内容识别方法与流程

1.本发明涉及一种无人机线路巡视缺陷内容识别方法，属于电力线路缺陷检测技术领域。


背景技术：

2.随着我国对长距离、大容量、超高压的输电线路的需求越来越大，作为输电线路的重要组件均压环，由于长期暴漏在野外，风吹雨林，同时受到机械应力、强电场等影响，极易发生倾斜，从而影响输电线路安全，因此对均压环倾斜及时检测成为安全输电的重要一环。目前，我国对输电线路巡检包括均压环倾斜，主要以无人机巡检为主，直升机巡检为辅，两种方式均是通过巡检时拍摄高清图片，线下检测缺陷的方式去定位缺陷。当前，线下缺陷检测主要以人工检测为主，机器自动检测为辅。人工检测一方面受人员素质影响，导致检测效果参差不齐，另一方面，由于线路越来越多，人员的缺口越来越大，此外，随着人工智能技术的发展，尤其机器视觉的发展，大量工业质检不断被机器所取代，因此输电线路巡视缺陷—均压环倾斜，未来采用机器自动检测将是趋势。
3.目前，有关于输电线路巡视缺陷—均压环倾斜的机器自动检测，主要有基于hog(histograms of oriented gradients)特征提取的传统目标检测和基于yolo(you only look once)的深度学习目标检测算法。其中，基于hog特征提取的传统目标检测方法由于手动设计特征，表达能力不足，无法很好的将均压环和背景进行区分，因而无法获得较为准确的均压环hog特征，从而导致均压环倾斜检测效果较差。而基于yolo的深度学习目标检测算法，由于采用了cnn自动提取特征，因此定位均压环位置效果较好，但由于均压环倾斜与均压环正常相比，特征不明显，而模型无法对倾斜角度进行定量，因而容易导致均压环倾斜误判和漏判。


技术实现要素：

4.为了克服上述问题，本发明提供一种无人机线路巡视缺陷内容识别方法，该缺陷内容识别方法首次采用分类方式，并进行环形平滑预测，相比于角度回归方式，避免了角度边界处预测问题，从而实现了模型的收敛。
5.本发明的技术方案如下：
6.一种无人机线路巡视缺陷内容识别方法，包括以下步骤：
7.模型训练数据准备；所述模型训练数据准备具体为通过无人机对输电线路进行巡视，并采集若干包含均压环的图片，对所述图片进行旋转标注，得到模型训练数据；
8.模型构建；所述模型构建具体为构建基于yolov5m的深度学习模型；
9.模型训练；所述模型训练具体为将所述模型训练数据输入所述深度学习模型，进行训练，得到训练好的深度学习模型；
10.模型部署；所述模型部署具体为将所述深度学习模型部署到对应的服务器端，将采集到的图像输入所述深度学习模型中，所述深度学习模型输出均压环信息。
11.进一步的，所述旋转标注具体包括，标注类别信息、中心点位置、长边长度、短边长度和归一化长边倾斜角度。
12.进一步的，所述深度学习模型的网络架构包括主干网络、颈部网络和头部网络；所述主干网络包括focus网络单元和若干个串联的csp1_x网络单元；模型训练数据作为所述focus网络单元的输入，所述focus网络单元的输出作为第一个csp1_x网络单元的输入，第一个csp1_x网络单元的输出作为第二个csp1_x网络单元的输入，以此类推，直到最后一个csp1_x网络单元的输出作为所述颈部网络的输入；所述颈部网络采用fpn pan结构；所述头部网络将所述颈部网络的各尺度输出经过卷积进行深度匹配，其每个特征点的输出为前景置信度、中心点坐标、长边长度、短边长度、各类别置信度以及输出长边水平角度的类别置信度。
13.进一步的，所述csp1_x网络单元包括2个分支，一个分支包括依次连接的cbl结构、x个残差结构和卷积层，另一个分支包括卷积层，2个分支的输出进行深度方向拼接后，依次经过bn层、激活层leaky-relu和cbl层。
14.进一步的，所述csp1_x网络单元的数量为4个，x取3。
15.进一步的，所述颈部网络的fpn pan网络结构具体为：
16.将第四个所述csp1_x网络单元输出的第一特征图经上采样后与第三个所述csp1_x网络单元输出的第二特征图进行深度方向拼接，得到第三特征图；
17.将所述第三特征图与第二个所述csp1_x网络单元输出的第四特征图进行深度方向拼接，输出第五特征图；
18.将所述第五特征图经下采样后与所述第三特征图进行深度方向拼接，输出第六特征图；
19.将所述第六特征图经下采样后与所述第一特征图进行深度方向拼接，输出第七特征图；
20.所述第五特征图、所述第六特征图和所述第七特征图分别为所述颈部网络各尺度的输出。
21.进一步的，进行所述模型训练时，设置初始学习率lr为0.001，学习率衰减率为0.99，训练batchsize为8，迭代轮次为24。
22.进一步的，所述深度学习模型通过环形平滑标签进行角度预测，公式如下：
[0023][0024]
其中，r为窗口半径，a为长边水平角度，b为长边角度所在类别，x为预测角度值。
[0025]
进一步的，所述深度学习模型的回归损失采用smoothl1作为损失函数，如下所示：
[0026][0027]
其中，x为回归的中心点坐标以及长宽预测值和真实值之差。
[0028]
本发明具有如下有益效果：
[0029]
1.该方法对传统的yolo算法进行深度改进，尤其是yolo算法检测头部分，新增一个输出值，即归一化角度值，作为检测目标的长边水平角度。因此，改进后的yolo算法不仅
可以获得检测目标的中心点和长宽，还能获得长边的水平角度，从而实现目标的旋转检测。
[0030]
2.本发明中通过环形平滑标签进行角度预测，避免了角度预测边界问题。
附图说明
[0031]
图1为本发明的模型网络架构图。
[0032]
图2为本发明的实施例的检测框示意图。
[0033]
图3为本发明的实施例的检测向量示意图。
[0034]
图4为本发明的实施例的角度预测示意图。
具体实施方式
[0035]
下面结合附图和具体实施例来对本发明进行详细的说明。
[0036]
实施例一
[0037]
参考图1-4，一种无人机线路巡视缺陷内容识别方法，其特征在于，包括以下步骤：
[0038]
模型训练数据准备；所述模型训练数据准备具体为通过无人机对输电线路进行巡视，并采集若干包含均压环的图片，对所述图片进行旋转标注，得到模型训练数据；
[0039]
模型构建；所述模型构建具体为构建基于yolov5m的深度学习模型；
[0040]
模型训练；所述模型训练具体为将所述模型训练数据输入所述深度学习模型，进行训练，得到训练好的深度学习模型；
[0041]
模型部署；所述模型部署具体为将所述深度学习模型部署到对应的服务器端，将采集到的图像输入所述深度学习模型中，所述深度学习模型输出均压环信息。
[0042]
通过旋转标注可以实现目标的旋转检测。
[0043]
实施例二
[0044]
一种基于无人机巡视的输电线路均压环倾斜识别方法，在实施例一的基础上，所述旋转标注具体包括，标注类别信息、中心点位置、长边长度、短边长度和归一化长边倾斜角度。
[0045]
所述归一化长边倾斜角度即水平角度与长边的夹角除以360
[0046]
实施例三
[0047]
一种基于无人机巡视的输电线路均压环倾斜识别方法，在实施例二的基础上，所述深度学习模型的网络架构包括主干网络、颈部网络和头部网络；所述主干网络包括focus网络单元和若干个串联的csp1_x网络单元；模型训练数据作为所述focus网络单元的输入，所述focus网络单元的输出作为第一个csp1_x网络单元的输入，第一个csp1_x网络单元的输出作为第二个csp1_x网络单元的输入，以此类推，直到最后一个csp1_x网络单元的输出作为所述颈部网络的输入；所述颈部网络采用fpn pan结构；所述头部网络将所述颈部网络的各尺度输出经过卷积进行深度匹配，其每个特征点的输出为前景置信度、中心点坐标、长边长度、短边长度、各类别置信度以及输出长边水平角度的类别置信度。
[0048]
进一步的，所述csp1_x网络单元包括2个分支，一个分支包括依次连接的cbl结构、x个残差结构和卷积层，另一个分支包括卷积层，2个分支的输出进行深度方向拼接后，依次经过bn层、激活层leaky-relu和cbl层。
[0049]
进一步的，所述csp1_x网络单元的数量为4个，x取3。
[0050]
进一步的，所述颈部网络的fpn pan网络结构具体为：
[0051]
将第四个所述csp1_x网络单元输出的第一特征图经上采样后与第三个所述csp1_x网络单元输出的第二特征图进行深度方向拼接，得到第三特征图；
[0052]
将所述第三特征图与第二个所述csp1_x网络单元输出的第四特征图进行深度方向拼接，输出第五特征图；
[0053]
将所述第五特征图经下采样后与所述第三特征图进行深度方向拼接，输出第六特征图；
[0054]
将所述第六特征图经下采样后与所述第一特征图进行深度方向拼接，输出第七特征图；
[0055]
所述第五特征图、所述第六特征图和所述第七特征图分别为所述颈部网络各尺度的输出。
[0056]
进一步的，进行所述模型训练时，设置初始学习率lr为0.001，学习率衰减率为0.99，训练batchsize为8，迭代轮次为24。
[0057]
相比于传统的yolo算法，输电线路巡检缺陷—均压环倾斜误检和漏检显著降低了，如表1所示，本发明中改进yolov5算法相比于传统yolo检测算法，均压环倾斜误检率从60.7％下降到9.6％，漏检率从43.3％下降到3.5％，基本满足了输电线路巡检缺陷—均压环倾斜检测的实际巡检需求。
[0058]
表1
[0059][0060][0061]
实施例四
[0062]
一种无人机线路巡视缺陷内容识别方法，在实施例一的基础上，所述深度学习模型通过环形平滑标签进行角度预测，公式如下：
[0063][0064]
其中，r为窗口半径，a为长边水平角度，b为长边角度所在类别，x为预测角度值。
[0065]
进一步的，所述深度学习模型的回归损失采用smoothl1作为损失函数，如下所示：
[0066][0067]
其中，x为回归的中心点坐标以及长宽预测值和真实值之差。
[0068]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。