面向间隔棒表面裂纹检测的自适应语义分割方法及系统与流程
本发明属于电力系统的输电线路监测,涉及间隔棒检测,尤其涉及一种面向间隔棒表面裂纹检测的自适应语义分割方法及系统。
背景技术:
1、随着输电线路智能巡检和电力金具自动化质检技术的发展,针对金具、连接件、间隔棒等部件的表面缺陷检测需求不断提升。间隔棒(如锻造铝合金间隔棒)作为输电线路或相关装置中的重要部件,其表面若出现裂纹,可能影响结构强度、服役寿命和运行安全,因此需要对其表面裂纹进行高精度检测。传统检测方法主要包括人工目检、放大镜辅助检测、局部拍照后人工判读等方式,这些方法效率低、主观性强、漏检率高,难以满足大规模、自动化、在线化检测要求。
2、近年来,基于深度学习的裂纹检测方法发展迅速。尤其是语义分割方法能够对裂纹进行像素级定位,相比目标检测或图像分类方法更适合细小裂纹、分支裂纹和不规则裂纹的识别。目前,研究者通常利用已有大量公开裂纹数据集(例如混凝土裂纹数据集、道路路面裂纹数据集、钢结构裂纹数据集、金属构件裂纹数据集以及部分电力金具表面裂纹数据集)训练深度神经网络,以实现对裂纹区域的自动提取;然后通过迁移学习、无监督域适应或伪标签自训练方式,使模型适用于新的裂纹检测场景。
3、xie e等公开了一种基于transformer的简单高效的语义分割设计方法,该方法通常需要重新采集大量间隔棒图像,并人工逐像素标注裂纹区域,之后使用标注数据重新训练或微调语义分割模型(参见xie e, wang w, yu z, et al. segformer: simple andefficient design for semantic segmentation with transformers[c]//advances inneural information processing systems. red hook: curran associates, 2021, 34:12077-12090)。
4、zhuang f等公开了一篇关于迁移学习的综述,先利用公开裂纹数据集训练基础模型,再使用少量已标注的间隔棒样本进行微调,以降低目标域标注成本(参见zhuang f, qiz, duan k, et al. a comprehensive survey on transfer learning[j]. proceedingsof the ieee, 2021, 109(1): 43-76)。
5、zhang p等公开了用于领域自适应语义分割的原型标签去噪与目标结构学习方法,在训练过程中同时使用源域有标注图像与目标域无标注图像,通过对抗学习、特征对齐、伪标签训练、一致性约束等手段减小源域与目标域之间的分布差异(参见zhang p,zhang b, zhang t, et al. prototypical pseudo label denoising and targetstructure learning for domain adaptive semantic segmentation[c]//proceedingsof the ieee/cvf conference on computer vision and pattern recognition.nashville: ieee, 2021: 12414-12424)。此类方法通常要求在域适应阶段持续访问源域原始数据。
6、yang l等公开了让半监督语义分割的自训练更有效的st++,利用预训练模型对目标域无标注图像生成伪标签,再用伪标签继续训练模型,以实现目标域适应。但该方法对伪标签质量依赖较强,一旦目标域图像中的噪声、反光、结构边缘被错误识别为裂纹,容易造成错误累积。
7、可以看出,现有的监督式或半监督式裂纹检测方法通常需要采集一定数量的间隔棒裂纹图像,并进行像素级人工标注,然后利用这些目标域标注样本对模型进行训练或微调。由于裂纹语义分割需要标注到像素级,且间隔棒表面裂纹通常细小、边界模糊、样本数量少,因此目标域标注成本高、实施周期长。虽然,现有无监督域适应方法虽然可以减少目标域标注需求,但多数方法在训练过程中需要同时访问源域有标注数据和目标域无标注数据,通过特征对齐、对抗学习或联合训练来缩小源域和目标域之间的分布差异。也就是说,这类方法通常要求源域数据在目标适应阶段仍然可用。然而,在实际工程部署中,源域公开裂纹数据可能由于数据版权、存储容量、网络传输、隐私合规、部署环境限制等原因,无法在现场持续保存或调用。因此,现有方法难以同时满足“无目标域标注”和“无源域原始数据”的实际应用要求。
8、而,现有自训练或伪标签迁移方法通常根据模型输出的裂纹概率图生成伪标签。例如,当像素裂纹概率大于设定阈值时,将其标记为裂纹;当概率小于设定阈值时,将其标记为背景;该方式在源域和目标域差异较小时具有一定效果。但是,间隔棒属于金属构件,其表面可能存在反光、高亮区域、氧化层、划痕、污渍、加工纹理、压痕、孔洞边缘、构件轮廓边缘等干扰因素,这些干扰区域在图像中可能呈现细线状、暗纹状或边缘突变状,与真实裂纹在局部视觉特征上相似。若仅依据模型置信度阈值生成伪标签,则容易将上述干扰区域误标为裂纹,从而产生大量错误伪标签,在后续自训练过程中不断强化错误结果,造成错误累积。而且,现有伪标签方法通常只考虑预测概率,缺少对裂纹细长性、连续性、骨架长度、平均宽度、方向连续性等结构特征的校验;现有方法还缺少针对间隔棒构件边缘和结构线的误检抑制机制。
技术实现思路
1、本发明目的旨在针对现有表面裂纹检测方法存在的上述技术问题,提供一种面向间隔棒表面裂纹检测的自适应语义分割方法及系统,实现对间隔棒表面裂纹的有效识别和分割。
2、本发明首先预训练的裂纹语义分割模型对无标注的目标域间隔棒图像进行预测生成伪标签并进行净化处理,再利用与源域无关的目标域数据和净化后的伪标签对预训练的裂纹语义分割模型进行自适应训练,得到适用于间隔棒表面裂纹检测的裂纹语义分割模型。
3、基于上述分析,本发明提供了一种面向间隔棒表面裂纹检测的自适应语义分割方法,其包括以下步骤:
4、s1,利用预训练的裂纹语义分割模型对目标域间隔棒图像进行预测,生成初始伪标签;
5、s2,基于裂纹结构先验对初始伪标签进行净化;该步骤包括以下分步骤:
6、s21,基于初始伪标签中的初始裂纹候选像素集合,进行连通域分析,得到多个裂纹候选连通区域;
7、s22,对每个裂纹候选连通区域,提取裂纹结构特征;
8、s23,依据提取的裂纹结构特征,对每个裂纹候选连通区域进行可信度判定,并从初始伪标签中剔除判定为噪声伪标签区域,得到净化后的伪标签;
9、s3,利用净化后的伪标签对预训练的裂纹语义分割模型进行自适应训练;
10、s4,将待检测间隔棒图像输入自适应训练后的裂纹语义分割模型,得到裂纹语义分割结果。
11、上述步骤s1中,以公开裂纹数据集作为源域数据对语义分割模型进行预训练。所述公开裂纹数据集包括混凝土裂纹图像、路面裂纹图像、桥梁裂纹图像、钢结构裂纹图像、金属构件裂纹图像或其他公开可获得的裂纹图像数据中的至少一种。所述公开裂纹数据集中的每幅图像具有对应的裂纹像素级标注掩膜。
12、所述裂纹语义分割模型为u-net、deeplab系列模型、segformer模型或其他能够输出像素级裂纹概率图的语义分割网络。
13、将目标域间隔棒图像输入预训练的裂纹语义分割模型,得到裂纹概率图;结合设定的裂纹高置信阈值和背景高置信阈值,得到初始伪标签。
14、对于目标图像中的像素位置u,初始伪标签定义为::
15、;
16、其中,表示像素位置u属于裂纹类别的概率,为裂纹高置信阈值,为背景高置信阈值,且满足:
17、;
18、标签值1表示裂纹像素,标签值0表示背景像素,标签值255表示不确定像素或忽略区域。
19、上述步骤s21中,通过4-邻域或8-邻域连通分析方法对初始伪标签中的初始裂纹候选像素集合进行连通域分析。
20、上述步骤s22中,裂纹结构特征包括候选区域面积、最小外接矩形长宽比、骨架长度、平均宽度、方向连续性、分支特征以及与间隔棒结构边缘的重合程度等中的至少一种。
21、上述步骤s23中,当裂纹候选连通区域的裂纹结构特征满足以下一种或多种条件时,可将其判定为噪声伪标签区域并从初始伪标签中剔除:
22、1)候选区域面积大于预设面积阈值,且长宽比小于预设长宽比阈值;
23、2)候选区域骨架长度小于预设骨架长度阈值;
24、3)候选区域平均宽度大于预设宽度阈值;
25、4)候选区域与间隔棒结构边缘重合程度大于预设重合度阈值;
26、5)候选区域方向连续性低于预设方向连续性阈值。
27、此外,对于同一条裂纹被模型分割成多个断裂片段的情况,本发明还可以在结构先验筛选阶段进行断裂连接修复。具体地,若两个裂纹候选连通区域的最近骨架端点距离小于预设距离阈值,二者主方向夹角小于预设角度阈值,且两端点之间路径上的裂纹预测概率满足预设条件(如大于设定的裂纹高置信阈值),则认为二者可能属于同一条裂纹,可采用形态学连接、线段插值连接或一致标签约束的方式进行连接修复。通过该方式,可改善细小裂纹在初始伪标签中被分割为多个不连续片段的问题。
28、上述步骤s3中,自适应训练总损失包括基于净化后的伪标签的监督损失和基于多视图增强的一致性损失。
29、基于净化后的伪标签的监督损失定义为:
30、;
31、其中,表示交叉熵损失;表示dice损失;表示目标域间隔棒图像输入裂纹语义分割模型得到的裂纹概率;表示目标域间隔棒图像对应的净化后的伪标签。
32、基于多视图增强的一致性损失定义为:
33、;
34、其中,和表示对应几何变换的逆映射;和表示不同的数据增强操作,目标域间隔棒图像分别经和后的增强图像为和;和分别表示增强图像为和输入裂纹语义分割模型得到的裂纹概率;
35、自适应训练总损失表示为:
36、;
37、其中,和分别表示基于净化后的伪标签的监督损失和基于多视图增强的一致性损失的权重系数。
38、上述步骤s4中,将待检测间隔棒图像输入自适应训练后的裂纹语义分割模型,输出的裂纹概率图经阈值化后得到最终裂纹掩膜,表示为:
39、;
40、其中,表示像素的裂纹分割结果,表示分割阈值。
41、本发明还提供了一种面向间隔棒表面裂纹检测的自适应语义分割系统,其包括:
42、初始伪标签获取模块,用于利用预训练的裂纹语义分割模型对目标域间隔棒图像进行预测,生成初始伪标签;
43、净化模块,用于基于裂纹结构先验对初始伪标签进行净化;
44、自适应训练模块,用于利用净化后的伪标签对预训练的裂纹语义分割模型进行自适应训练;
45、裂纹语义分割输出模块,用于将待检测间隔棒图像输入自适应训练后的裂纹语义分割模型,得到裂纹语义分割结果。
46、与现有技术相比,本发明提供的面向间隔棒表面裂纹检测的自适应语义分割方法及系统具有以下有益效果:
47、1)本发明利用公开裂纹数据集训练初始裂纹语义分割模型,并在目标应用阶段仅使用无标注间隔棒图像进行自适应训练,从而避免或减少对间隔棒裂纹像素级人工标注数据的依赖,降低模型构建和工程部署成本。
48、2)本发明在模型迁移至间隔棒检测场景后,不再要求访问公开裂纹数据集中的原始图像和标注数据,而是仅基于已经训练好的源模型参数以及现场采集的无标注间隔棒图像进行自适应更新,从而解决传统无监督域适应方法需要同时使用源域数据和目标域数据、不利于实际部署的问题。
49、3)本发明通过裂纹结构先验伪标签净化,使模型能够抑制间隔棒表面反光、加工纹理、构件边缘、污渍等因素带来的误检,使其适应不同形状、不同型号、不同表面状态和不同成像条件下的裂纹检测任务。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com