输电线路缺陷与异物检测方法、装置、设备和介质

本发明涉及输电线路检测，尤其涉及一种输电线路缺陷与异物检测方法、装置、设备和介质。

背景技术：

1、输电线路作为电力系统中的关键基础设施，其运行状态直接关系到电网的安全与稳定。随着智能电力巡检的发展，基于视觉的输电线路隐患检测已成为电力领域的重要研究方向。相比传统人工巡检方式，自动检测能够降低人力成本，提高巡检效率，并能够实现更及时的故障响应。

2、事实上，输电线路隐患检测仍面临诸多挑战。巡检图像通常具有复杂背景，树枝、建筑、云层等非目标区域，容易产生干扰，导致模型出现误检。部分隐患目标属于细粒度局部异常，如绝缘子破损、闪络和销钉缺失等，这类目标往往尺度较小、外观变化不稳定、边界模糊，难以通过常规目标检测框架获得充分表征。同时不同类别隐患在空间结构上存在明显差异，如绝缘子串、销钉等依附于构件结构的局部目标，鸟巢、气球、垃圾、风筝等附着或悬挂在输电线路周围的异物目标。如何在复杂场景下同时兼顾背景抑制、局部异常增强并利用构件的结构信息来表征不同尺度隐患目标，是提升输电线路隐患检测性能的关键问题。

3、近年来，yolo系列和detr系列方法被广泛应用于输电线路缺陷检测。yolo类方法具有较高实时性，但主要依赖局部卷积特征和密集预测，对全局上下文和结构关系建模能力有限。detr类方法通过transformer和集合预测机制实现端到端检测，减少了锚框和nms等后处理步骤；rt-detr进一步兼顾了检测精度与推理速度。但在输电线路航拍场景中，rt-detr仍容易受到背景纹理噪声、小目标弱响应和跨尺度细节融合不足的影响。

4、具体而言，复杂背景干扰是输电线路隐患检测中的关键问题。现有方法通过注意力机制、多尺度特征融合或上下文建模增强目标区域表达。例如，已有技术通过场景感知增强模块获取全局环境信息，以提高模型对复杂背景的适应能力；同时利用细节内容引导注意力增强小缺陷区域的细粒度特征。还有技术通过引入浅层高分辨特征和多分支融合模块，提升复杂背景下小尺度目标缺陷的表达能力。还有技术利用动态上下文建模和小波采样方式增强多尺度目标表示与细节保持能力。

5、上述现有技术中的方法提升了复杂场景下的特征表达能力，但输电线路图像中的高频响应并不完全是有效缺陷。树枝、建筑、云层纹理等同样会产生大量高频响应，直接增强细节容易同时放大背景噪声和真实缺陷，导致误检。

技术实现思路

1、本发明提供一种输电线路缺陷与异物检测方法、装置、设备和介质，以解决输电线路隐患检测中复杂背景干扰强、局部异常表征不足以及跨尺度结构信息利用不充分的问题，从而能够在保持端到端检测流程不变的基础上增强电力场景的适应能力。

2、第一方面，本发明提供一种输电线路缺陷与异物检测方法，所述方法包括：

3、获取待检测的输电线路巡检图像，并通过骨干网络提取所述输电线路巡检图像的初始多尺度特征；

4、采用低频引导细化模块对所述初始多尺度特征进行低频-高频分解，根据分解得到的低频结构分量对高频细节分量进行选择性调制，并对调制后的高频特征进行基于响应幅值的选择性平滑处理，得到细化后的高频分量，将所述细化后的高频分量与所述低频结构分量融合，得到细化后的多尺度特征；

5、将所述细化后的多尺度特征中除最低分辨率尺度以外的其余尺度特征输入至异常感知增强模块，经所述异常感知增强模块分别提取局部对比特征和边缘特征，将输入特征、所述局部对比特征和所述边缘特征进行融合后与所述输入特征进行残差连接，得到增强后的多尺度特征；

6、将所述细化后的多尺度特征中最低分辨率尺度的特征经aifi模块处理后，作为起始高层特征输入至自顶向下特征融合路径；在所述自顶向下特征融合路径中，采用结构感知融合模块逐级进行融合：以所述增强后的多尺度特征中对应尺度的特征作为低层特征，以所述起始高层特征或由上一级结构感知融合模块的输出特征构造得到的高层输入特征作为高层特征，根据所述低层特征生成结构感知门控图，利用所述结构感知门控图对所述高层特征进行结构调制，将调制后的高层特征与所述低层特征进行融合，得到各级结构感知融合模块的输出特征；

7、根据各级所述结构感知融合模块的输出特征，预测所述巡检图像中输电线路缺陷和异物的目标类别和位置。

8、在一种可能的设计中，采用低频引导细化模块对所述初始多尺度特征进行低频-高频分解，根据分解得到的低频结构分量对高频细节分量进行选择性调制，并对调制后的高频特征进行基于响应幅值的选择性平滑处理，得到细化后的高频分量，将所述细化后的高频分量与所述低频结构分量融合，得到细化后的多尺度特征，包括：

9、获取某一尺度输入特征，其中表示实数空间，表示通道数，表示特征图的高度，表示特征图的宽度；

10、基于所述某一尺度输入特征，通过如下公式确定低频结构分量：

11、

12、其中，表示局部平均池化操作，用于提取特征的邻域均值作为低频背景估计；表示深度可分离卷积操作；表示批归一化操作；表示卷积操作；

13、基于低频结构分量，通过如下公式确定高频细节分量：

14、

15、根据所述低频结构分量生成空间注意力权重和通道注意力权重，并利用所述空间注意力权重和所述通道注意力权重对所述高频细节分量进行调制，得到净化后的高频特征：

16、

17、其中，表示逐元素乘法；

18、对所述净化后的高频特征进行基于响应幅值的选择性平滑处理，得到细化后的高频分量；

19、将所述低频结构分量与所述细化后的高频分量，通过如下公式得到细化后的多尺度特征：

20、

21、其中，表示输出映射函数。

22、在一种可能的设计中，根据所述低频结构分量生成空间注意力权重和通道注意力权重，包括：

23、沿通道维度计算所述低频结构分量的平均响应与最大响应：

24、

25、

26、其中，表示低频结构分量在位置处沿通道维度的平均响应值，表示低频结构分量在位置处沿通道维度的最大响应值，表示特征图中任意位置，表示低频结构分量在第个通道、位置处的值，表示通道索引，表示通道总数，表示最大值函数；

27、基于所述低频结构分量的平均响应与最大响应，通过卷积映射构造空间注意力：

28、

29、其中，表示空间注意力权重在位置处的值，表示sigmoid激活函数，和表示卷积映射的可学习权重参数，表示位置低频结构特征图沿通道维度计算出的平均值，表示位置低频结构特征图沿通道维度计算出的最大值，表示空间行方向的偏移量，表示空间列方向的偏移量；

30、对所述低频结构分量执行全局平均池化，得到通道描述向量：

31、

32、其中，表示第个通道的通道描述向量，和分别表示高度和宽度的索引；

33、基于所述通道描述向量，通过两层非线性映射得到通道注意力：

34、

35、其中，表示第个通道的注意力权重值，表示中间压缩维度，表示relu激活函数，表示第一层非线性映射中连接第个输入通道到第个输出通道的可学习权重参数，表示第二层非线性映射中连接第个中间维度到第个输出通道的可学习权重参数，表示第个通道的通道描述向量。

36、在一种可能的设计中，对所述净化后的高频特征进行基于响应幅值的选择性平滑处理，得到细化后的高频分量，包括：

37、定义门控矩阵，其中为预设幅值阈值，为指示函数，当净化后的高频特征的幅值绝对值小于阈值时，门控矩阵对应位置取值为1，否则取值为0；

38、根据门控矩阵对净化后的高频特征进行选择性平滑，得到细化后的高频分量：

39、

40、其中，表示深度可分离卷积操作。

41、在一种可能的设计中，经所述异常感知增强模块分别提取局部对比特征和边缘特征，将输入特征、所述局部对比特征和所述边缘特征进行融合后与所述输入特征进行残差连接，得到增强后的多尺度特征，包括：

42、以细化后的多尺度特征作为异常感知增强模块的输入特征，通过如下公式计算局部对比特征：

43、

44、

45、其中，表示局部平均池化操作，表示当前位置特征与邻域平均背景之间的差异响应；

46、对所述输入特征进行高频分离，提取边缘特征：

47、

48、对输入特征、局部对比特征和边缘特征进行拼接融合，得到融合特征：

49、

50、其中，表示通道拼接操作，为特征融合函数；

51、基于所述融合特征，通过如下公式得到增强后的多尺度特征：

52、

53、

54、其中，表示卷积映射，为自适应权重，表示sigmoid激活函数，为预设残差增强系数。

55、在一种可能的设计中，在所述自顶向下特征融合路径中，采用结构感知融合模块逐级进行融合，包括：

56、获取低层特征和高层特征，所述低层特征为当前级融合节点处所述增强后的多尺度特征中对应尺度的特征；

57、将所述高层特征上采样至与所述低层特征一致的空间分辨率：

58、

59、其中，表示上采样操作，表示上采样后的高层特征；

60、利用所述低层特征生成结构感知门控图：

61、

62、其中，表示低层特征在位置处的结构显著性门控值，表示特征图中任意位置，表示通道索引，表示通道总数，表示可学习权重参数，表示relu激活函数，表示sigmoid激活函数，表示基于卷积的结构建模映射；

63、对所述上采样后的高层特征进行结构调制：

64、

65、其中，为高层特征映射函数，为调制后的高层特征；

66、基于所述调制后的高层特征，通过如下公式计算得到结构感知融合模块的输出特征：

67、

68、其中，表示卷积映射函数。

69、在一种可能的设计中，通过如下方式得到高层输入特征：

70、将所述起始高层特征经投影变换，得到投影后的起始高层特征；将所述投影后的起始高层特征与上一级结构感知融合模块的输出特征进行拼接，得到拼接特征；将所述拼接特征经fpn-block处理，得到所述高层输入特征；其中，所述投影变换用于统一所述起始高层特征的通道维度，使其与上一级结构感知融合模块的输出特征的通道维度相匹配。

71、第二方面，本发明提供一种输电线路缺陷与异物检测装置，所述装置包括：

72、特征提取单元，被配置为获取待检测的输电线路巡检图像，并通过骨干网络提取所述输电线路巡检图像的初始多尺度特征；

73、低频引导细化单元，被配置为采用低频引导细化模块对所述初始多尺度特征进行低频-高频分解，根据分解得到的低频结构分量对高频细节分量进行选择性调制，并对调制后的高频特征进行基于响应幅值的选择性平滑处理，得到细化后的高频分量，将所述细化后的高频分量与所述低频结构分量融合，得到细化后的多尺度特征；

74、异常感知增强单元，被配置为将所述细化后的多尺度特征中除最低分辨率尺度以外的其余尺度特征输入至异常感知增强模块，经所述异常感知增强模块分别提取局部对比特征和边缘特征，将输入特征、所述局部对比特征和所述边缘特征进行融合后与所述输入特征进行残差连接，得到增强后的多尺度特征；

75、结构感知融合单元，被配置为将所述细化后的多尺度特征中最低分辨率尺度的特征经aifi模块处理后，作为起始高层特征输入至自顶向下特征融合路径；在所述自顶向下特征融合路径中，采用结构感知融合模块逐级进行融合：以所述增强后的多尺度特征中对应尺度的特征作为低层特征，以所述起始高层特征或由上一级结构感知融合模块的输出特征构造得到的高层输入特征作为高层特征，根据所述低层特征生成结构感知门控图，利用所述结构感知门控图对所述高层特征进行结构调制，将调制后的高层特征与所述低层特征进行融合，得到各级结构感知融合模块的输出特征；

76、缺陷与异物检测单元，被配置为根据各级所述结构感知融合模块的输出特征，预测所述巡检图像中输电线路缺陷和异物的目标类别和位置。

77、第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的输电线路缺陷与异物检测方法。

78、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的输电线路缺陷与异物检测方法。

79、第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的输电线路缺陷与异物检测方法。

80、本发明提供的输电线路缺陷与异物检测方法、装置、设备和介质，其至少具有如下有益效果：

81、本发明通过联合抑制伪结构背景响应、增强局部异常线索并保留结构感知的跨尺度信息来改善特征表示。具体地，低频引导细化模块利用稳定的结构线索调控高频细节响应，并减少背景纹理的放大效应。异常感知增强模块通过结合局部对比度变化和边缘细节来强化局部缺陷相关模式。此外，结构感知融合模块利用底层结构信息引导跨尺度语义融合，从而改善小尺寸缺陷和不规则异物的表示。在ipfd数据集上的实验和消融研究证明了本发明在复杂巡检场景下对输电线路缺陷和异物检测的有效性。