基于语义约束裁剪与多模态大模型的金具X光缺陷检测方法及系统与流程
本发明涉及电力设备无损检测与计算机视觉,尤其涉及基于语义约束裁剪与多模态大模型的金具x光缺陷检测方法及系统。
背景技术:
1、金具是高压输电线路中用于连接、固定和保护导线、避雷线及绝缘子的金属构件的统称,主要包括耐张线夹、接续管、悬垂线夹和防震锤等类型。这类金具长期暴露于户外恶劣环境,持续承受机械拉伸载荷、风振疲劳与电化学腐蚀,其内部压接长度不足、钢芯滑移、内部裂纹、间隙超标等缺陷,是引发断线、掉串等严重电网事故的主要隐患。因此,对在役金具进行定期无损检测,是保障电网运行安全的核心环节。
2、x射线透射检测(dr)是当前工程中应用最广泛的金具内部缺陷检测技术,通过数字x射线成像设备获取反映金具内部结构的灰度图谱。但受金具多层金属结构投影重叠、透照工艺噪声等因素影响,原始x光图像中缺陷区域占比较低,且与正常区域对比度微弱。
3、现有基于深度学习的智能检测方案主要包括两阶段目标检测、改进yolo系列检测、生成对抗网络异常检测以及u-net系列分割,其分别存在不足,具体如下:1、两阶段目标检测是一种先通过目标检测网络定位压接区域,再进行缺陷分类的方案,该方案仅输出矩形边界框,缺乏像素级语义理解,无法区分钢芯、导线等内部部件,也不能提供直线度、间隙宽度等量化指标。
4、2、改进yolo系列检测是一种通过注意力机制、轻量化结构优化提升检测速度与精度,但本质仍属于目标检测范式,无法实现像素级分割与多部件语义解耦,最终结论仍依赖人工复核。
5、3、生成对抗网络异常检测仅需正常样本即可检测未知缺陷,但输出仅为异常热图,无法进行多类别语义分析与结构化质检,且计算开销大,难以适配边缘端实时检测。
6、4、u-net系列分割可实现像素级分割,但现有应用仅停留在单一分割环节,未与后续的几何约束裁剪、专家级检测决策形成系统化级联,未形成完整的检测技术链。
7、因此如何设计一种能解决上述技术问题的基于语义约束裁剪与多模态大模型的金具x光缺陷检测方法及系统是需要解决的技术问题。
技术实现思路
1、为了解决上述问题,本发明的目的在于提供一种基于语义约束裁剪与多模态大模型的金具x光缺陷检测方法及系统,已实现实现金具x光缺陷的自动化、高精度、专家级检测,解决人工阅片效率低、现有算法语义解耦能力不足、检测结论缺乏专业性的问题。
2、第一方面,本发明提供一种基于语义约束裁剪与多模态大模型的金具x光缺陷检测方法,包括以下步骤:
3、步骤s1:获取原始金具x光透射图像,输入深度语义分割网络,对金具的钢内部部件及背景进行像素级语义分割,输出各类别的语义分割掩膜;
4、步骤s2:基于语义分割结果对应的类别化彩色标注图,提取各部件的语义掩膜并进行降噪处理,基于金具部件的空间位置先验完成图像方向一致性校正,再依据语义锚点与金具解剖结构先验,从原始图像中自适应截取多个对应不同检测维度的关键功能区特写图像;
5、步骤s3:将原始全图与多张关键功能区特写图像按逻辑顺序组合,输入多模态视觉大语言模型,通过分级检测策略进行专家级缺陷推理,输出结构化质检报告。
6、进一步的,所述步骤s1中,所述深度语义分割网络采用u-net++嵌套密集跳跃连接架构,编码器集成resnet34残差网络作为骨干网络。
7、所述深度语义分割网络采用深度监督机制进行训练,损失函数采用二元交叉熵损失与dice系数损失联合构成的联合损失函数。
8、进一步的,所述步骤s1中,深度语义分割网络的输入为尺寸归一化的单通道灰度x光图像,输出为对应钢芯、导线、铝护套、背景四类目标的多通道分割概率图,每个像素的最终类别由多通道中概率最大值对应的类别确定;
9、所述类别化彩色标注图由语义分割掩膜渲染生成:为钢芯、导线、铝护套、背景分别分配唯一标识颜色,将单通道类别掩膜映射为三通道rgb彩色图像,作为步骤s2的处理输入。
10、进一步的,所述步骤s2中,语义掩膜提取与降噪具体为:
11、将彩色标注图转换至hsv色彩空间,分别设置绿色色相范围、蓝色色相范围、红色色相范围的阈值区间,通过颜色阈值分割生成各部件的二值掩膜;
12、对每个二值掩膜进行连通域分析,计算各连通域的轮廓像素面积,设置面积阈值像素,仅保留面积大于阈值的连通域,滤除小面积噪声伪影。
13、进一步的,所述步骤s2中,图像方向一致性校正具体操作步骤如下:
14、分别计算钢芯掩膜与铝护套掩膜非零像素区域的水平质心坐标,依据预设的金具结构先验,判断图像是否存在镜像反转;若方向与标准方向不符,则对彩色标注图与原始x光图像同步执行水平翻转,建立统一的坐标参照系。
15、进一步的,所述步骤s2中,用于确定裁剪范围的语义锚点通过如下方式计算确定:
16、钢芯水平中心计算公式如下:
17、
18、式中,、分别为钢芯掩膜非零像素的水平最小坐标与水平最大坐标;铝护套左右边界分别为其掩膜非零像素的水平最小坐标与水平最大坐标;
19、垂直裁剪区间,计算公式如下:
20、
21、式中,、分别为铝护套掩膜非零像素的垂直最小坐标与垂直最大坐标,h为图像高度。
22、进一步的,所述关键功能区特写图像包括螺纹锚固区、主体受力区、压接裕度处三张,各区域的裁剪范围满足:
23、螺纹锚固区特写:水平区间为,垂直区间为,用于评估钢芯锚固长度与螺纹损伤;
24、主体受力区特写:水平区间为,垂直区间为,用于评估钢芯与铝护套的贴合度及内部裂纹;
25、压接裕度处特写:水平区间为,垂直区间为,其中w为图像宽度,用于评估裕度间隙与压接质量。
26、进一步的,所述步骤s3中,分级检测策略具体包括以下步骤:
27、步骤s31:引导大模型完成金具类型识别与整体尺寸估算、钢芯与铝护套中轴线直线度判断、压接区域定位与类型识别、宏观缺陷排查,输出定性初判结论;
28、步骤s32:根据初判结论依次对每个区域进行精细化判断,输出包含合格判定、缺陷分析、整改建议的结构化json格式质检报告。
29、第二方面,本发明提供一种基于语义约束裁剪与多模态大模型的金具x光缺陷检测系统,包括语义分割模块、自适应裁剪模块以及多模态检测模块;
30、所述语义分割模块,用于获取原始金具x光透射图像,通过深度语义分割网络对钢芯、导线、铝护套及背景进行像素级语义分割,输出语义分割掩膜并渲染为类别化彩色标注图;
31、所述自适应裁剪模块,用于基于彩色标注图提取语义掩膜并完成降噪与方向校正,依据语义锚点与金具结构先验,自适应截取多张关键功能区特写图像;
32、所述多模态检测模块,用于将原始全图与关键功能区特写按逻辑顺序组合输入多模态视觉大语言模型,通过分级检测策略完成专家级缺陷推理,输出结构化质检报告。
33、本发明具有如下有益效果:
34、1-本发明采用集成resnet34残差骨干的u-net++深度语义分割网络,实现金具钢芯、导线、铝护套与背景的像素级精准分类与语义解耦。将投影方向上重叠的多层金属结构拆解为独立的语义图层,解决了多层结构遮挡导致缺陷特征被背景淹没的问题。
35、2-本发明采用基于语义锚点与几何约束的自适应解耦裁剪算法,实现不同类型、尺寸、摆放姿态下金具关键功能区的精准定位与自适应截取。替代了传统固定尺寸、固定位置的粗放裁剪模式,可精准提取具有高检测价值的局部特写区域,有效提升后续缺陷检测的针对性与检测精度。
36、3-本发明采用多模态视觉大语言模型结合“宏观初判+微观验证”双阶段检测策略,充分发挥大模型跨模态语义理解与复杂视觉推理能力,输出兼具宏观整体评价与微观定量分析的结构化质检结论。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com