一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法

本发明涉及输电线路智能巡检与计算机视觉，具体为一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法。

背景技术：

1、悬垂线夹作为特高压及超高压输电线路中将导线可靠悬挂于杆塔绝缘子串下端并承受垂直荷载的关键连接金具，是保障输电线路安全稳定运行的核心部件。然而，悬垂线夹在长期运行过程中，受持续机械垂直荷载、环境腐蚀及恶劣风偏等因素影响，容易产生本体细微裂纹、极小尺寸开口销缺失等缺陷，从而引发导线脱落、线路掉闸等电网事故，对电网安全造成直接威胁。

2、目前针对悬垂线夹缺陷的检测方法，主要依赖于人工或传统视觉目标检测算法对无人机等设备拍摄的巡检图像进行判别，其弊端日益凸显。例如，由于悬垂线夹自身涵盖u型挂环、联板等多组件空间嵌套的复杂构型，且易受绝缘子串、密集金具及复杂背景植被遮挡，加之无人机飞行带来的剧烈透视畸变与高同构性金属纹理干扰，导致微小的裂纹与缺销等缺陷特征在巡检图像中极不明显，并且传统的视觉模型受限于刚性卷积采样僵化、粗糙金字塔融合吞噬微弱细节以及缺乏跨维度特征聚焦机制，难以克服这些极端的尺度差异与视觉干扰，存在较高的漏检与虚警误判风险。

3、因此，亟需一种融合自适应形变特征提取机制、高分辨率多尺度特征解耦架构以及跨维度空间注意力重构的新型视觉感知与缺陷检测方法，以实现对复杂高空环境下，构型复杂且交叠严重的悬垂线夹的自适应精准定位，解决常规算法在多金具交织、剧烈透视畸变与强纹理背景干扰下的细粒度微小缺陷捕获问题。

4、目前，应用于输电线路悬垂线夹缺陷的检测方法，主要可分为以下几类：

5、（1）基于传统数字图像处理的检测方法：采用经典的计算机视觉算法，利用边缘检测算子及阈值分割等技术，通过提取悬垂线夹的几何轮廓或边缘像素梯度突变特征，来判断其是否发生宏观位移或结构损伤。该方法计算代价相对较低，但在电网实际野外环境中，面对光照剧烈变化、背景纹理复杂等成像场景时，尤其是在背景包含错综复杂的绝缘子伞裙或导线纹理时，其鲁棒性与泛化能力极弱。

6、（2）基于通用深度学习目标检测的方法：采用faster r-cnn、yolo系列等主流目标检测网络模型，通过卷积神经网络对悬垂线夹巡检图像进行特征提取与边界框回归。该方法在一定程度上实现了自动化检测，但由于通用模型的特征提取融合机制和感受野尺寸相对固定，且多采用刚性卷积采样，难以应对悬垂线夹宏观组件与毫米级微小缺陷尺度跨度极大的问题；同时，面对金属表面强反光、金具同构纹理等环境伪特征时，由于决策维度单一，极易产生较高的漏检与误判率。

7、（3）基于多传感器与空间建模的检测方法：结合可见光高清图像与激光雷达等传感器点云数据，通过三维空间联合建模来精确测量悬垂线夹的空间位姿与表面形变，从而综合诊断其是否发生微小裂纹或部件缺失。该方法虽然空间定位精度较高，但依赖昂贵的激光雷达和重型传感器设备，数据采集与后续处理的计算成本高昂，且部署难度大，难以满足现代电网利用轻量化无人机进行大规模、常态化及高频次巡检的业务需求。

8、基于上述，现有技术在以下维度存在缺点：

9、1.特征提取主干网络对微小缺陷特征的捕捉与形变自适应能力不足：现有的目标检测模型在特征提取阶段普遍依赖于具备固定方形感受野的常规刚性卷积。在无人机高空巡检场景中，由于拍摄视角的实时变化与风偏影响，悬垂线夹在二维图像中会呈现出剧烈的几何透视畸变；同时，线夹自身包含u型挂环、联板与船体等多组件嵌套结构，物理边界极不规则。传统的刚性卷积无法打破网格限制动态贴合这些复杂的非刚性边缘进行采样，导致大量背景杂波被纳入感受野，严重降低了特征提取的信噪比。更关键的是，主干网络在进行连续的下采样过程中，极易造成本体微小裂纹、毫米级开口销缺失等高频、高分辨率的亚像素级异常特征在深层网络中丢失，从而造成了对微小缺陷的极高漏检率。

10、2.跨层特征融合不充分导致对极端尺度差异的解耦与重组能力不足：悬垂线夹的宏观整体框架与其局部的微小缺损之间，存在着极端不对称的极化尺度差异。现有的特征融合网络如fpn或panet结构等，在处理跨层级多尺度特征时，通常采用简单的最近邻插值操作与粗放的通道拼接（concat）融合方式。这种缺乏深度解耦的浅层线性融合，不仅容易导致高分辨率的微小缺陷几何边缘在跨层传递中产生严重的锯齿化失真，还会使得底层极其微弱的缺陷异常响应直接被深层网络传导下来的宏观强语义特征所稀释。由于缺乏对微弱特征的像素级重标定与精细重组机制，现有模型难以在统一的特征空间中兼顾宏观定位与微观探伤。

11、3.真实的输电线路野外环境错综复杂，悬垂线夹的金属材质与背景中紧密相连的绝缘子串、防振锤及导线等具有极高的视觉同构性。悬垂线夹本体的极细微裂缝或部件缺失产生的灰度梯度，极易与背景中广泛存在的金具正常铸造纹理、锈蚀斑块以及复杂光影交叠产生的伪边缘发生严重混淆。现有模型通常受限于单一的特征表达，且缺乏跨维度空间注意力机制的有效引导，无法动态抑制环境伪特征，难以将真实的线夹本征缺陷从高频复杂的同构金属背景噪声中干净剥离。这导致模型在低对比度或多金具交叠遮挡的极端工况下，极易将正常纹理误判为裂纹，产生大量的虚警误报，无法满足电网智能化闭环巡检的高可靠性要求。

技术实现思路

1、本发明针对复杂高空环境下悬垂线夹的精准定位与细粒度缺陷检测问题，提出了一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法，提取悬垂线夹复杂多变的物理边界与缺陷特征，全面提升复杂电网高空巡检环境下目标感知的精准度、抗同构背景干扰的鲁棒性。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法，其包括以下步骤：

4、s1，构建输电线路悬垂线夹图像数据集；

5、s2，构建强抗扰多尺度形变感知特征提取单元，将任意输电线路悬垂线夹图像f1输入至强抗扰多尺度形变感知特征提取单元，进行特征提取，输出定向解耦悬垂线夹细粒度缺陷特征图f12、定向解耦悬垂线夹细粒度缺陷特征图f13、定向解耦悬垂线夹细粒度缺陷特征图f14；

6、s3，构建跨层级重标定引导特征融合单元，将f12、f13、f14输入至跨层级重标定引导特征融合单元，进行特征融合，输出定向解耦悬垂线夹细粒度缺陷特征图f27、定向解耦悬垂线夹细粒度缺陷特征图f28、定向解耦悬垂线夹细粒度缺陷特征图f29；

7、s4，构建动态旋转解耦预测单元，将f27、f28、f29输入至动态旋转解耦预测单元，进行多尺度目标回归、分类预测、在f1上绘制定向检测框及置信度，输出悬垂线夹缺陷检测图p；

8、s5，构建强抗扰形变自适应细粒度悬垂线夹缺陷检测模型，运用输电线路悬垂线夹图像数据集对强抗扰形变自适应细粒度悬垂线夹缺陷检测模型进行训练并更新参数，获得优化后的强抗扰形变自适应细粒度悬垂线夹缺陷检测模型；

9、s6，将优化后的强抗扰形变自适应细粒度悬垂线夹缺陷检测模型应用到实际的无人机输电线路巡检作业场景：以无人机拍摄到的包含悬垂线夹的输电线路图像为输入，实现对悬垂线夹缺陷的定位与缺陷检测，输出悬垂线夹缺陷检测结果。

10、作为本发明所述的一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法的一种优选方案，其中：所述强抗扰多尺度形变感知特征提取单元的具体构建过程如下：

11、s21，将任意输电线路悬垂线夹图像f1输入一个标准卷积子模块中，得到定向解耦悬垂线夹细粒度缺陷特征图f2；

12、s22，将f2输入至第一hrda模块，利用其内部的三分支并行结构，进行多层级跨维度特征提取操作，提取悬垂线夹复杂组件边界形变特征，得到定向解耦悬垂线夹细粒度缺陷特征图f3；将f2输入至第一crbs模块，利用其内部的级联空洞卷积，扩充感受野并结合双池化空间注意力方式，抑制复杂背景并捕获悬垂线夹的宏观上下文结构特征，得到定向解耦悬垂线夹细粒度缺陷特征图f4；对 f3与f4进行concat操作，沿通道维度拼接，融合悬垂线夹多尺度形变与宏观结构信息，得到定向解耦悬垂线夹细粒度缺陷特征图f5；对 f5进行conv1×1卷积操作，实现通道降维与融合，得到定向解耦悬垂线夹细粒度缺陷特征图f12；

13、s23，将f3输入至第二hrda模块中，进一步自适应提取更深层次的悬垂线夹及其缺陷特征，得到定向解耦悬垂线夹细粒度缺陷特征图f6；将f4输入至第二crbs模块中，剥离悬垂线夹正常金属纹理与缺陷断口的混淆特征，强化对复杂背景的抗干扰能力，得到定向解耦悬垂线夹细粒度缺陷特征图f7；对f6与f7进行concat操作，沿通道维度拼接，得到定向解耦悬垂线夹细粒度缺陷特征图f8；对f8进行conv1×1卷积操作，实现通道降维与融合，得到定向解耦悬垂线夹细粒度缺陷特征图f13；

14、s24，将f6输入至第三hrda模块中，进行最终形变自适应提取，提取微弱的悬垂线夹缺陷特征，得到定向解耦悬垂线夹细粒度缺陷特征图f9；将f7输入至第三crbs模块中，完成悬垂线夹强语义特征的提取与复杂背景剔除，得到定向解耦悬垂线夹细粒度缺陷特征图f10；将f9与f10进行concat操作，沿通道维度拼接，实现深层高语义特征的高效聚合，得到定向解耦悬垂线夹细粒度缺陷特征图f11；将f11进行conv1×1卷积操作，实现跨通道信息整合，输出定向解耦悬垂线夹细粒度缺陷特征图f14。

15、作为本发明所述的一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法的一种优选方案，其中：所述hrda模块的构建与执行过程如下：

16、a1，对悬垂线夹畸变自适应特征图x1进行conv3×3卷积操作，实现初步的特征提取并实现下采样，输出悬垂线夹畸变自适应特征图x2；

17、a2，将x2并行输入至三个分支中进行特征提取：

18、在分支一中：对x2进行conv3×3卷积操作，捕获悬垂线夹的基础局部几何边缘与形变特征，输出得到悬垂线夹畸变自适应特征图x7；

19、在分支二中：首先，对x2进行conv3×3卷积操作，输出悬垂线夹畸变自适应特征图x3；随后，将x3输入至扩张率为3的空洞卷积层，输出悬垂线夹畸变自适应特征图x4；对x3和x4进行concat操作，沿通道维度拼接，得到悬垂线夹畸变自适应特征图x5；最后，对x5进行conv1×1卷积操作，实现不同感受野下多尺度异构特征的初步融合与降维聚合，输出得到悬垂线夹畸变自适应特征图x6；

20、在分支三中：首先，对x2同时进行水平方向全局平均池化和垂直方向全局平均池化操作，沿不同空间维度进行一维特征编码，提取悬垂线夹水平与垂直方向的结构边缘分布特征，分别输出悬垂线夹畸变自适应特征图x9和悬垂线夹畸变自适应特征图x10；随后，对x9进行维度重排操作，得到悬垂线夹畸变自适应特征图x11；对x10和x11进行concat操作，沿通道维度拼接，得到悬垂线夹畸变自适应特征图x12；对x12进行conv1×1卷积操作，实现特征维度的融合与降维，得到悬垂线夹畸变自适应特征图x13；最后，通过sigmoid激活函数对x13进行非线性归一化处理，生成已显著强化悬垂线夹及其缺陷特征的跨维度形变边界响应权重图h1；与此同时，通过sigmoid激活函数对x9进行非线性归一化处理，生成跨维度形变边界响应权重图h2；

21、a3，首先，将x7与x6进行逐元素相加操作，实现基础形变特征与多尺度异构感受野特征的深度协同与融合，得到悬垂线夹畸变自适应特征图x8；随后，基于张量广播方式，将x8与h1进行逐元素相乘操作，进行初步空间定位引导，输出悬垂线夹畸变自适应特征图x14；最后，基于张量广播方式，将x14与h2进行逐元素相乘操作，抑制错综复杂的环境背景噪声，输出悬垂线夹畸变自适应特征图x15。

22、作为本发明所述的一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法的一种优选方案，其中：所述crbs模块的构建与执行过程如下：

23、b1，将多感受野协同提纯特征图y1并行输入至两个分支中，分别进行多尺度宏观特征提取与生成抑制空间背景的权重，两个分支具体构建过程如下：

24、在分支一中：将y1输入至扩张率为3的空洞卷积层，在不损失空间分辨率的前提下初步扩大感受野，输出多感受野协同提纯特征图y2；将y2输入至扩张率为5的空洞卷积层，输出多感受野协同提纯特征图y3；将y3输入至扩张率为7的空洞卷积层，进一步实现感受野的扩张，输出多感受野协同提纯特征图y4；对y2、y3、y4进行concat操作，沿通道维度拼接，得到多感受野协同提纯特征图y5；对y5进行conv1×1卷积操作，输出多感受野协同提纯特征图y6；

25、在分支二中：对y1并行进行通道平均池化和通道最大池化操作，沿通道维度进行空间特征压缩，捕获全局背景的整体表征特性与局部边缘细节特征，分别输出多感受野协同提纯特征图y7和多感受野协同提纯特征图y8；对y7和y8进行concat操作，沿通道维度拼接，得到多感受野协同提纯特征图y9；对y9进行conv7×7卷积操作，输出多感受野协同提纯特征图y10；通过sigmoid激活函数对y10进行非线性归一化处理，生成已剥离了相近金属材质与纹理背景干扰的级联背景抑制权重图w1；

26、b2，将y6与w1进行逐元素相乘操作，实现对多尺度宏观特征进行自适应加权，抑制相近金属材质与纹理背景干扰，输出多感受野协同提纯特征图y11；对y11进行conv3×3卷积操作，实现加权提纯后特征的局部空间平滑与非线性重构，输出多感受野协同提纯特征图y12。

27、作为本发明所述的一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法的一种优选方案，其中：所述跨层级重标定引导特征融合单元的具体构建过程如下：

28、s31，将f12输入至conv 1×1卷积层，进行通道特征对齐，得到定向解耦悬垂线夹细粒度缺陷特征图f16；对f16进行downsample下采样操作，实现空间特征尺度的压缩与对齐，得到定向解耦悬垂线夹细粒度缺陷特征图f17；与此同时，将f12输入至conv 3×3卷积层，进行空间特征融合，得到定向解耦悬垂线夹细粒度缺陷特征图f15；对f12、f15进行加权融合操作，完成浅层高分辨几何细节的重构，得到定向解耦悬垂线夹细粒度缺陷特征图f23；将f23输入至第二mdfg模块中，利用其内部方式动态放大属于细粒度异常响应的权重，输出定向解耦悬垂线夹细粒度缺陷特征图f24；将f24输入至跨阶段局部瓶颈子模块c2f中，进行信息提炼与通道信息融合，输出定向解耦悬垂线夹细粒度缺陷特征图f27；

29、s32，将f14输入至conv 3×3卷积层，得到定向解耦悬垂线夹细粒度缺陷特征图f18；对f18进行upsample上采样操作，实现空间尺度的放大，得到定向解耦悬垂线夹细粒度缺陷特征图f20；

30、s33，将f13、f17、f20进行加权融合操作，避免传统粗放通道拼接带来的锯齿化失真，得到定向解耦悬垂线夹细粒度缺陷特征图f21；将f21输入至第一mdfg模块中，得到定向解耦悬垂线夹细粒度缺陷特征图f22；

31、s34，将f20、f21、f22进行加权融合操作，完成特征重组，得到定向解耦悬垂线夹细粒度缺陷特征图f25；将f25输入至跨阶段局部瓶颈子模块c2f中，聚合上下文语义信息与通道信息融合，输出定向解耦悬垂线夹细粒度缺陷特征图f28；

32、s35，将f18输入至conv 1×1卷积层，实现通道还原，得到定向解耦悬垂线夹细粒度缺陷特征图f19；将f14、f19进行加权融合操作，实现悬垂线夹深层特征的强化与重构，得到定向解耦悬垂线夹细粒度缺陷特征图f26；将f26输入至跨阶段局部瓶颈子模块c2f中，进行深层特征信息的提炼与通道信息融合，得到定向解耦悬垂线夹细粒度缺陷特征图f29。

33、作为本发明所述的一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法的一种优选方案，其中：所述mdfg模块的构建与执行过程如下：

34、c1，将多尺度重标定特征图z1并行输入至两个分支一和分支二中，进行特征融合，两个分支具体构建过程如下：

35、在分支一中：对z1进行conv3×3卷积操作，捕获高分辨率的微小缺陷边缘几何特征，输出多尺度重标定特征图z2；将z2输入至扩张率为3的空洞卷积层，在不损失空间分辨率的前提下扩大局部感受野，输出多尺度重标定特征图z3；将z2和z3进行concat操作，沿通道维度拼接，实现基础局部特征与扩张感受野特征的融合，得到多尺度重标定特征图z4；

36、在分支二中：对z1进行conv5×5卷积操作，捕获低分辨率的缺陷边缘几何特征，得到多尺度重标定特征图z5；将z5输入至扩张率为5的空洞卷积层，以更大的感受野范围捕获细粒度缺陷周围的上下文结构特征，输出多尺度重标定特征图z6；对z5和z6进行concat操作，沿通道维度拼接，实现不同扩张尺度下特征的融合，得到多尺度重标定特征图z7；

37、c2，将z4与z7进行逐元素相加操作，实现双分支多尺度扩张特征的深度融合，得到多尺度重标定特征图z8；对z8进行最大池化操作，提取空间维度上最显著的悬垂线夹及其缺陷特征，得到多尺度重标定特征图z9；对z9进行conv7×7卷积操作，实现大感受野下的空间特征平滑与深度提炼，输出多尺度重标定特征图z10；通过sigmoid激活函数对z10进行非线性归一化处理，生成已动态放大细微缺陷特征的特征重标定引导权重图o1；

38、c3，将z1与o1进行逐元素相乘操作，得到多尺度重标定特征图z11。

39、作为本发明所述的一种基于无人机巡检的输电线路悬垂线夹缺陷检测方法的一种优选方案，其中：所述动态旋转解耦预测单元的具体构建过程如下：

40、s41，将f27、f28、f29分别并行输入至三个定向边界框检测头中，自适应拟合无人机巡检视角下悬垂线夹及其局部缺损区域的任意倾斜角度，分别输出悬垂线夹初始定向预测结果r1、悬垂线夹初始定向预测结果r2、悬垂线夹初始定向预测结果r3；

41、s42，对r1、r2、r3进行加权框融合与旋转软非极大值抑制操作，抑制金具重叠与光影畸变环境下的冗余虚警，实现对悬垂线夹宏观组件与毫米级微小缺陷预测框的深度解耦与协同优选，输出悬垂线夹最终定向预测结果r4；

42、s43，基于r4，在f1上绘制定向检测框及置信度，得到包含贴合悬垂线夹轮廓的定向检测框及其置信度分数、贴合悬垂线夹缺陷的定向检测框及其置信度分数的悬垂线夹缺陷检测图p。

43、与现有技术相比：

44、针对特征提取主干网络对微小缺陷特征的捕捉与形变自适应能力不足的问题，本发明设计了强抗扰多尺度形变感知特征提取单元，该单元在输入特征经基础编码后，由并行异构感受野畸变自适应模块hrda通过跨维度池化动态贴合组件边界以适应透视变形，保留微小异常特征；再由多尺度感受野级联背景抑制模块crbs通过空洞卷积扩大感受野并捕获结构特征，从而降低缺陷漏检率；

45、针对跨层特征融合不充分，导致对极端尺度差异的解耦与重组能力不足的问题，本发明设计了跨层级重标定引导特征融合单元，该单元构建多向交织结构，将不同阶段特征汇聚对齐并双向反哺传导，规避锯齿化失真；同时引入多尺度空洞特征重标定引导模块mdfg，在融合前动态调整异常响应权重进行像素级重标定，实现对目标尺寸差异的解耦；

46、针对复杂同构纹理背景的特征抗干扰能力不足的问题，本发明结合多尺度感受野级联背景抑制模块crbs、多尺度空洞特征重标定引导模块mdfg与动态旋转解耦预测单元共同排除杂波；在特征处理阶段过滤周边相似金属杂波；在输出阶段，动态旋转解耦预测单元自适应包裹缺陷区域，辅以加权框融合与旋转软非极大值抑制操作，解决组件交叠与光影条件下的误报问题，提升检测鲁棒性。