基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法

摘要: 本发明绝缘子缺陷检测,具体涉及一种基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法。背景技术:1、绝缘子是输电线路中用于实现电气绝缘和机械支撑的关键...
基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法

本发明绝缘子缺陷检测,具体涉及一种基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法。

背景技术:

1、绝缘子是输电线路中用于实现电气绝缘和机械支撑的关键部件,通常以绝缘子串的形式安装于杆塔与导线之间。绝缘子长期运行于户外环境,易受污秽、温度变化、雷击、风雨、机械冲击以及材料老化等因素影响,产生绝缘子片缺失、伞裙缺失、伞裙破损、本体破损、裂纹、异物附着以及局部热异常等缺陷。上述缺陷若未被及时发现和处理,将导致绝缘子的绝缘性能下降,严重时可能引发闪络、掉串等事故,进而危及输电线路的安全稳定运行。因此,对绝缘子开展定期巡检和缺陷检测,对保障电网安全具有重要意义。

2、随着无人机巡检技术和双光成像设备的发展,在同一次巡检过程中即可获取同一绝缘子串对应的可见光图像和红外图像。可见光图像具有轮廓清晰、纹理丰富、空间分辨率较高的特点,适于表征绝缘子片的边缘、形状、表面纹理以及排列结构;红外图像能够反映绝缘子本体及其连接部位的热辐射分布,适于发现局部热异常和温度分布异常。然而,可见光图像易受低照度、阴影、雾霾和复杂背景等因素影响,且难以反映绝缘子的内部电气异常;红外图像则通常存在空间分辨率较低、目标边界模糊、纹理信息不足的问题。可见,单独依赖任一模态的图像均难以充分满足复杂巡检场景下的绝缘子缺陷检测需求;现有技术中亦存在仅利用红外图像进行绝缘子缺陷检测的方案,如文献[1]中的记载,其同样受制于单一模态信息表达能力的局限。

3、为综合利用可见光图像和红外图像的信息,现有技术已提出多种双模态绝缘子检测方法,主要包括两类。第一类为图像级融合方式,即先将红外图像与可见光图像融合为一幅融合图像,再将融合图像输入目标检测网络进行绝缘子识别或缺陷检测。例如,文献[2]公开了一种融合红外可见光的特高压线路绝缘子串深度学习识别方法,其将可见光图像的亮度分量与红外图像进行融合,再结合可见光图像的色度分量得到融合图像,并利用目标检测网络从融合图像中提取绝缘子串;文献[3]提出利用生成对抗网络对绝缘子红外图像与可见光图像进行融合,再采用目标检测网络对融合图像进行绝缘子故障识别。第二类为分模态处理方式,即在可见光图像和红外图像中分别独立进行检测,再通过几何映射关联两种模态的检测结果。例如,文献[4]公开了一种基于无人机双光融合的绝缘子缺陷检测方法,其在可见光图像中进行绝缘子目标检测,将检测到的绝缘子标记信息仿射至红外图像中,再分别基于可见光图像进行绝缘子缺陷检测、基于红外图像通过相对温差判断法确定绝缘子是否过热。

4、然而,上述现有技术仍存在以下不足:

5、其一,红外图像与可见光图像的成像机理不同,特征分布差异较大。图像级融合方式直接进行像素级加权、变换或特征拼接,容易使可见光图像中的边缘纹理信息与红外图像中的热响应信息相互干扰,造成小面积热异常在融合图像中被削弱,或者裂纹轮廓、破损边界等局部结构细节在融合重建过程中丢失;分模态处理方式则缺乏两种模态之间的特征级交互,其跨模态关联完全依赖于几何映射,局部配准误差会直接传递至缺陷判定结果,且可见光检测结果与红外热分析结果相互独立,难以发现结构异常与热异常并存的复合缺陷。

6、其二,现有方法通常未对绝缘子图像中的低频整体结构信息与高频局部细节信息进行区分建模。绝缘子串的主体轮廓、伞裙排列以及整体热响应分布属于低频整体结构信息,而伞裙边缘、裂纹轮廓、破损边界以及热异常区域边缘属于高频局部细节信息;将图像整体输入统一的检测网络,难以同时兼顾绝缘子串整体结构的完整表达与细粒度缺陷特征的增强表达。

7、其三,现有方法多以绝缘子串整体或单个目标框为检测粒度,未充分利用绝缘子片沿绝缘子串方向的周期排列关系以及相邻绝缘子片之间的关联关系,因而在复杂背景、模态图像质量不一致或局部配准偏差条件下,对绝缘子片缺失、伞裙缺失等表现为串内周期结构中断的缺陷定位能力不足,且检测结果的可解释性有待提高。

8、综上,如何在复杂巡检场景下实现可见光图像与红外图像之间抗干扰的特征级协同利用,对绝缘子串整体结构信息与局部细节信息进行分频建模,并利用绝缘子片的周期排列关系实现逐个绝缘子片的缺陷定位与识别,是本领域技术人员亟待解决的技术问题。

9、引证文献:

10、文献[1]: 范亮,汤坚,王秋媚,等. 绝缘子内部缺陷检测方法和装置:中国,cn117470859a[p]. 2024-01-30.(申请号:cn202311804168.3,申请日:2023-12-25,申请人:广州中科智巡科技有限公司);

11、文献[2]: 何冰,周韫捷,袁奇,等. 融合红外可见光的特高压线路绝缘子串深度学习识别方法:中国,cn107507172a[p]. 2017-12-22.(申请号:cn201710671781.0,申请日:2017-08-08,申请人:国网上海市电力公司);

12、文献[3]: 王勇,杨羽,刘津硕,等. 基于红外和可见光图像融合的绝缘子故障识别[j]. 红外技术,2025,47(5):648-655. 1;

13、文献[4]: 肖素枝,周鑫磊,郑炜,等. 基于无人机双光融合绝缘子缺陷检测方法及系统:中国,cn115049663b[p]. 2022-12-09.(申请号:cn202210977736.9,申请日:2022-08-16,专利权人:星逻智能科技(苏州)有限公司)

技术实现思路

1、为解决现有绝缘子双模态检测方法中结构细节与热异常信息易相互干扰、整体结构信息与局部缺陷信息缺乏分频建模,以及未利用绝缘子片周期排列关系,导致复杂巡检场景下缺陷检测能力不足的技术问题。本发明提供一种基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法。该方法对空间配准后的可见光图像和红外图像进行频率分解,通过低频全局结构建模与多方向高频细节建模,并结合配准可靠性信息进行双模态特征交互,实现绝缘子串分割;进而根据绝缘子串中心轴线和串内周期排列关系,将绝缘子串划分为按物理顺序排列的多个串内单元,提取各串内单元的多属性特征构造异构序列,经独立序列编码和基于可靠性的选择性交互,确定异常串内单元并输出其缺陷位置和缺陷类别。该方法能够降低复杂背景、模态差异及局部配准误差对检测结果的影响,达到提高绝缘子片缺失、伞裙破损、裂纹及局部热异常等缺陷的定位精度与识别能力的技术目的。

2、本发明采取的技术方案为:

3、基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法,包括以下步骤:

4、s1:获取同一绝缘子串对应的可见光图像和红外图像,对所述可见光图像和红外图像进行空间配准,并获得配准可靠性信息;

5、s2:分别对所述可见光图像和红外图像进行频率分解,获得各自对应的低频分量和多个方向的高频分量;

6、s3:对所述低频分量进行全局结构特征建模,获得低频结构特征;对所述多个方向的高频分量进行方向细节特征建模,获得方向高频特征;

7、s4:根据所述低频结构特征、方向高频特征和所述配准可靠性信息进行双模态特征交互,获得绝缘子串分割结果;

8、s5:根据所述绝缘子串分割结果确定绝缘子串中心轴线,并根据串内单元中心响应、沿所述绝缘子串中心轴线的方向高频周期响应以及相邻串内单元之间的间距一致性,将所述绝缘子串划分为按照物理排列顺序分布的多个串内单元;

9、s6:提取各所述串内单元的可见光结构特征、红外热响应特征、方向频率特征和可靠性特征,并按照所述物理排列顺序分别构造可见光结构序列、红外热响应序列、方向频率序列和可靠性序列;

10、s7:分别对所述可见光结构序列、红外热响应序列和方向频率序列进行序列编码,并根据所述可靠性序列对编码得到的结构状态、热响应状态和频率状态进行选择性交互,获得串内融合状态序列;

11、s8:根据所述串内融合状态序列确定异常串内单元,并输出所述异常串内单元对应的缺陷位置和缺陷类别。

12、所述s1包括:

13、s1.1:获取同一绝缘子串对应的可见光图像和红外图像,其中,表示可见光图像,表示红外图像;对所述可见光图像和红外图像进行空间配准,使两幅图像中的绝缘子区域建立空间对应关系;

14、s1.2:根据空间配准结果,计算任一空间位置处的配准可靠性:

15、;

16、其中,表示空间位置处的配准可靠性,表示空间位置处的跨模态边缘一致性,表示空间位置处的局部相位一致性,表示空间位置处的局部配准残差,、和分别表示跨模态边缘一致性、局部相位一致性和局部配准残差对应的权重系数,表示归一化映射函数;

17、s1.3:根据各空间位置处的配准可靠性生成配准可靠性图,所述配准可靠性图用于表征所述红外图像与可见光图像在不同空间位置处的对应可信程度,并作为所述配准可靠性信息控制双模态特征交互的强度。

18、所述s2包括:

19、s2.1:采用离散小波变换分别对所述可见光图像和红外图像进行频率分解:

20、;

21、;

22、其中,表示离散小波变换,采用一级或多级小波分解,所采用的小波基为haar小波、daubechies小波或symlet小波;和分别表示所述可见光图像和红外图像的低频分量;、和分别表示所述可见光图像在第一方向、第二方向和对角方向上的高频分量;、和分别表示所述红外图像在第一方向、第二方向和对角方向上的高频分量;

23、s2.2:将所述低频分量和用于表征绝缘子串的主体轮廓、伞裙排列以及整体热响应分布,并将各方向的所述高频分量用于表征绝缘子伞裙边缘、裂纹轮廓、破损边界以及热异常区域边缘,以分别输入对应的分频特征建模过程。

24、所述s3包括:

25、s3.1:将所述低频分量和分别输入对应的低频全局结构特征建模模块进行全局结构特征建模:

26、;

27、其中,和分别表示可见光低频全局结构特征建模模块和红外低频全局结构特征建模模块,和分别表示可见光低频结构特征和红外低频结构特征;所述低频全局结构特征建模模块用于提取绝缘子串主体轮廓、伞裙排列、整体连续性以及红外响应分布趋势;

28、s3.2:对于任一高频方向,将模态在方向上的高频分量输入方向高频细节特征建模模块进行方向细节特征建模:

29、;

30、其中,为模态索引,表示可见光模态,表示红外模态;为方向索引,分别表示第一方向、第二方向和对角方向的高频子带;表示模态在方向上的高频分量,表示模态在方向上的方向高频细节特征建模模块,表示模态在方向上的方向高频特征;所述方向高频细节特征建模模块用于增强绝缘子伞裙边缘、裂纹、破损边界以及热异常区域边缘的特征表达;

31、s3.3:将所述可见光低频结构特征、所述红外低频结构特征以及多个方向的所述方向高频特征作为可见光频率特征和红外频率特征,输出至所述s4进行双模态特征交互。

32、所述s4包括:

33、s4.1:将所述配准可靠性信息表示为配准可靠性图,根据所述可见光低频结构特征、所述红外低频结构特征和所述配准可靠性图生成低频模态权重:

34、;

35、其中,表示归一化指数函数,表示特征拼接操作,表示低频权重预测函数,和分别表示可见光低频权重和红外低频权重,且对于任一空间位置,满足,和分别表示空间位置处的可见光低频权重和红外低频权重;

36、s4.2:根据所述低频模态权重对所述可见光低频结构特征和所述红外低频结构特征进行加权交互,获得低频交互特征:

37、;

38、其中,表示低频交互特征,表示逐元素乘法;

39、s4.3:对于任一高频方向,根据方向上的可见光方向高频特征、红外方向高频特征和所述配准可靠性图生成方向高频模态权重:

40、;

41、并根据所述方向高频模态权重进行加权交互,获得方向上的方向高频交互特征:

42、;

43、其中,表示方向上的方向高频权重预测函数,和分别表示方向上的可见光高频权重和红外高频权重,表示方向上的方向高频交互特征,;

44、s4.4:将所述低频交互特征和多个方向的所述方向高频交互特征输入分割解码模块进行解码,获得所述绝缘子串分割结果,所述绝缘子串分割结果至少包括绝缘子串区域掩膜和串内单元中心响应图;其中,表示绝缘子串区域掩膜,表示串内单元中心响应图;所述分割解码模块还输出绝缘子串中心轴线概率图、绝缘子串边界概率图和绝缘子串端点概率图中的至少一种。

45、(12)

46、其中,表示分割解码模块。

47、所述s5包括:

48、s5.1:根据所述绝缘子串区域掩膜提取绝缘子串骨架,对所述绝缘子串骨架进行直线拟合、曲线拟合或分段样条拟合,获得所述绝缘子串中心轴线:

49、;

50、其中,表示所述绝缘子串中心轴线,表示沿所述绝缘子串中心轴线的归一化弧长位置,和分别表示归一化弧长位置处对应的图像横坐标和图像纵坐标;

51、s5.2:沿所述绝缘子串中心轴线在其邻域内对串内单元中心响应图进行采样,获得串内单元中心响应曲线:

52、;

53、并对各方向的所述方向高频交互特征进行采样,获得方向高频响应曲线:

54、;

55、其中,表示归一化弧长位置处的串内单元中心响应,表示方向上归一化弧长位置处的方向高频响应,表示所述绝缘子串中心轴线上位置处的采样邻域,表示池化或统计采样操作,表示方向上的方向高频交互特征的幅值;

56、s5.3:根据所述串内单元中心响应曲线和多个方向的方向高频响应曲线构造综合单元响应:

57、;

58、其中,表示归一化弧长位置处的综合单元响应,、和分别表示第一方向、第二方向和对角方向上的方向高频响应曲线在归一化弧长位置处的取值,、、和分别表示串内单元中心响应和三个方向的方向高频响应对应的响应权重,所述响应权重为预设值或可学习参数;

59、s5.4:根据所述综合单元响应的局部极值确定串内单元候选中心位置,计算相邻候选中心位置与之间的间距,其中,和分别表示第个和第个串内单元候选中心位置对应的归一化弧长位置,表示第个相邻间距;并根据多个所述相邻间距计算周期参考间距:

60、;

61、其中,表示周期参考间距,表示中位值运算,表示参与计算的各个相邻间距,表示参与计算的相邻间距的数量;

62、s5.5:当任一所述相邻间距大于所述周期参考间距的预设倍数时,根据绝缘子串的周期排列关系在对应区间内补充串内单元候选中心位置,并根据相邻候选中心位置确定各串内单元的空间范围,获得按照物理排列顺序分布的多个串内单元,其中,表示串内单元集合,表示第个串内单元,表示串内单元数量。

63、所述s6中,提取所述可见光结构特征和红外热响应特征,包括:

64、s6.1:针对第个串内单元,提取可见光结构特征:

65、;

66、其中,表示第个串内单元的可见光结构特征,表示串内单元面积,表示串内单元宽度,表示轮廓完整度,表示边缘或纹理强度,表示形状对称性,表示与相邻串内单元之间的间距或形状差异;

67、s6.2:针对第个串内单元,提取红外热响应特征:

68、;

69、其中,表示第个串内单元的红外热响应特征,表示第个串内单元的平均红外响应,表示第个串内单元的最大红外响应,表示第个串内单元的红外响应离散程度,表示第个串内单元的红外响应梯度,表示第个串内单元的热点区域面积比例,表示第个串内单元的红外响应相对于整串红外响应基线的偏差,且:

70、;

71、其中,表示中位值运算,表示各串内单元的平均红外响应,表示串内单元数量;当所述红外图像包含辐射温度数据时,所述红外响应为实际温度值;当所述红外图像不包含辐射温度数据时,所述红外响应为红外灰度值或热辐射响应值;

72、s6.3:按照所述物理排列顺序,由各串内单元的所述可见光结构特征构造所述可见光结构序列,并由各串内单元的所述红外热响应特征构造所述红外热响应序列,其中,表示可见光结构序列,表示红外热响应序列。

73、所述s6中,提取所述方向频率特征和所述可靠性特征,包括:

74、s6.4:针对第个串内单元,统计其在所述可见光图像和红外图像的多个方向的高频分量中的单元高频响应:

75、;

76、其中,表示模态在方向上第个串内单元的单元高频响应,为模态索引,表示可见光模态,表示红外模态,为方向索引,表示第个串内单元内的像素数量,表示第个串内单元内的像素位置,表示像素位置处模态在方向上的方向高频特征的幅值;

77、s6.5:根据多个方向的所述单元高频响应,构造第个串内单元的方向频率特征:

78、;

79、其中,表示第个串内单元的方向频率特征,、、分别表示可见光模态在第一方向、第二方向和对角方向上的单元高频响应,、、分别表示红外模态在第一方向、第二方向和对角方向上的单元高频响应;

80、s6.6:根据所述配准可靠性信息、分割置信度、可见光清晰度和红外信噪比,生成第个串内单元的可靠性特征:

81、;

82、其中,表示第个串内单元的可靠性特征,表示第个串内单元的配准可靠性,表示第个串内单元的分割置信度,表示第个串内单元的可见光图像质量,表示第个串内单元的红外图像质量,表示可靠性特征生成函数;

83、s6.7:按照所述物理排列顺序,由各串内单元的方向频率特征构造方向频率序列,并由各串内单元的所述可靠性特征构造可靠性序列,其中,表示方向频率序列,表示可靠性序列,表示串内单元数量。

84、所述s7包括:

85、s7.1:采用第一序列编码器对所述可见光结构序列进行序列编码,获得结构状态序列;

86、采用第二序列编码器对所述红外热响应序列进行序列编码,获得热响应状态序列;

87、采用第三序列编码器对所述方向频率序列进行序列编码,获得频率状态序列;

88、其中,、和分别表示第一序列编码器、第二序列编码器和第三序列编码器,、和分别表示结构状态序列、热响应状态序列和频率状态序列,、和分别表示所述可见光结构序列、所述红外热响应序列和所述方向频率序列;

89、所述第一序列编码器、第二序列编码器和第三序列编码器中的至少两个具有不同的模型参数或不同的序列建模范围;

90、所述结构状态序列、所述热响应状态序列和所述频率状态序列分别由第个串内单元对应的结构状态、热响应状态和频率状态构成;

91、s7.2:对于第个串内单元,根据其所述结构状态、所述热响应状态、所述频率状态和可靠性特征,生成状态交互门控系数:

92、;

93、其中,、和分别表示第个串内单元的结构状态、热响应状态和频率状态对应的交互权重,表示第个串内单元的可靠性特征,即所述可靠性序列中第个串内单元对应的元素,表示门控参数,表示归一化指数函数,表示特征拼接操作;

94、s7.3:根据所述状态交互门控系数对各状态进行选择性交互,获得第个串内单元的融合状态:

95、;

96、并由全部串内单元的融合状态构成所述串内融合状态序列,其中,表示第个串内单元的融合状态,表示逐元素乘法,表示串内融合状态序列,表示串内单元数量;

97、s7.4:当任一串内单元的配准可靠性、分割置信度或者模态图像质量低于预设条件时,降低该串内单元对应状态的交互权重,以减少错误跨模态信息对缺陷判定结果的影响。

98、所述s8包括:

99、s8.1:根据第个串内单元的相邻串内单元状态和绝缘子串整体统计状态,生成第个串内单元的参考状态:

100、;

101、其中,表示第个串内单元的参考状态,表示第个串内单元前后各个相邻串内单元的融合状态,表示相邻串内单元参考范围,表示绝缘子串整体统计状态,表示参考状态生成函数;

102、s8.2:计算第个串内单元的融合状态与所述参考状态之间的状态偏差:

103、;

104、其中,表示第个串内单元的异常评分,表示距离计算函数或者可学习异常评分函数;

105、s8.3:当所述异常评分大于预设异常阈值时,将第个串内单元确定为异常串内单元,并根据缺陷分类函数输出对应的缺陷类别:

106、;

107、其中,表示缺陷分类函数,表示第个串内单元的缺陷类别;所述缺陷类别包括绝缘子片缺失、伞裙缺失、伞裙破损、本体破损、裂纹、异物附着和局部热异常中的至少一种;

108、s8.4:所述异常串内单元包括结构异常单元、热响应异常单元以及结构与热响应复合异常单元;当任一所述串内单元的结构异常结果与热响应异常结果不一致,且其配准可靠性低于预设条件时,降低该串内单元的缺陷置信度或输出复核标志。

109、本发明一种基于双模态频率辅助分割与串内异构序列分析的绝缘子缺陷检测方法,技术效果如下:

110、1)针对现有绝缘子双模态检测方法未对低频整体结构信息与高频局部细节信息进行区分建模的问题。本发明对可见光图像和红外图像分别进行频率分解,并通过低频全局结构特征建模和多方向高频细节特征建模实现分频特征表达,能够在保持绝缘子串主体轮廓、伞裙排列以及整体热响应分布连续性的同时,增强伞裙边缘、裂纹轮廓、破损边界以及热异常区域边缘等细粒度缺陷特征的表达能力,从而兼顾绝缘子串整体结构信息与局部缺陷信息的表征需求。

111、2)针对图像级融合方式容易使可见光结构细节与红外热异常信息相互干扰的问题。本发明无需进行融合图像重建,而是使频率特征直接参与绝缘子串分割、绝缘子串中心轴线确定和串内单元划分,并结合配准可靠性信息在特征层面进行双模态特征交互,避免了像素级融合重建过程中小面积热异常被削弱、局部结构细节丢失的问题,同时降低了局部配准误差向缺陷判定结果直接传递的风险。

112、3)针对现有方法未充分利用绝缘子片周期排列关系的问题。本发明联合串内单元中心响应和多个方向的方向高频周期响应确定串内单元候选位置,并根据绝缘子串的周期排列关系对遗漏的串内单元候选位置进行补偿,使绝缘子片缺失等表现为串内周期结构中断的缺陷位置仍被保留为独立的串内单元参与后续分析,提高了对绝缘子片缺失、伞裙缺失以及周期结构中断类缺陷的定位能力,降低了复杂背景和遮挡条件下的漏检风险。

113、4)本发明按照绝缘子片的物理排列顺序分别构造可见光结构序列、红外热响应序列、方向频率序列和可靠性序列,使不同信息来源、不同物理含义的特征保持独立表达,并通过异构序列建模实现结构异常、热响应异常以及结构与热响应复合异常的协同分析,兼顾了单一模态缺陷与跨模态复合缺陷的识别能力,克服了分模态独立处理方式难以发现复合缺陷的不足。

114、5)针对双模态图像质量不一致以及局部配准偏差的问题。本发明根据可靠性信息对编码得到的结构状态、热响应状态和频率状态进行选择性交互,在串内单元的配准可靠性、分割置信度或模态图像质量低于预设条件时,降低对应状态的交互强度,抑制错误跨模态信息对串内融合状态的干扰,提高了复杂巡检环境下绝缘子缺陷检测结果的稳定性和可靠性。

115、6)本发明根据相邻串内单元状态和绝缘子串整体统计状态生成参考状态,并利用串内单元融合状态与参考状态之间的状态偏差确定异常串内单元,充分发挥了绝缘子片之间周期排列关系和相邻关联关系的作用,使缺陷定位结果可解释到具体的串内单元,并可进一步区分结构异常单元、热响应异常单元以及结构与热响应复合异常单元;当跨模态判定结果不一致且配准可靠性不足时,还可降低缺陷置信度或输出复核标志,从而降低误报率,提高缺陷定位结果的可解释性和工程应用价值。