基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法、设备、介质及产品与流程
本申请涉及接触网图像智能检测及计算机视觉,特别是涉及一种基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法、设备、介质及产品。
背景技术:
1、刚性接触网由于其结构紧凑、稳定性高,被广泛应用于地铁、隧道以及部分高限速的客运专线中。其中,接触网绝缘子(如棒式绝缘子、悬式绝缘子)作为电气绝缘与机械支撑的核心部件,长期承受着隧道内潮湿环境、金属粉尘、机械振动以及高压电弧的共同作用,使得绝缘子表面极易产生污秽、裂纹、掉块甚至结构性断裂等物理损伤,若这些故障未能被及时发现,极易引发电弧放电、击穿塌网等恶性行车事故。
2、目前,针对刚性接触网绝缘子的自动化巡检主要依赖计算机视觉技术,但依然面临以下核心挑战:
3、传统有监督大模型对故障样本依赖度极高:在实际铁路线路中,绝缘子发生严重缺陷属于极稀少事件,传统的深度学习分类或检测网络高度依赖海量的标注故障数据,在极少样本的现实场景下泛化能力差,难以识别未知的突发缺陷。
4、常规少样本方法缺乏高阶语义和结构关联能力:相关的视觉语言模型或基于图神经网络的少样本检测方法,大多仅能在视觉局部块或像素与静态文本提示之间进行“一对一”的孤立双边特征对齐,这种方式割裂了绝缘子伞裙连续拓扑结构之间的空间依赖性,忽略了全局上下文的一致性,导致对细微裂纹、早期浅表污秽等复杂协同病害的检测出现大量漏报与误报。
5、隧道等刚性悬挂复杂环境干扰严重:刚性接触网图像中通常交织着汇流排、定位底座、隧道衬砌、管线等密集的金属与混凝土背景。常规特征提取极易在这些异质背景交界处产生特征混淆,引发虚假响应。
6、近年来,大规模预训练的视觉语言模型(如对比语言-图像预训练(contrastivelanguage-image pre-training,clip))为跨模态语义对齐提供了强大的先验表征。然而,如何将这些通用视觉-语言先验有效地适配到具有高度专业性、拓扑结构严密的刚性接触网绝缘子少样本检测领域,并克服传统点对点匹配的局限性,仍是当前铁路智能运维领域亟待解决的关键技术问题。
7、因此,有必要提供一种基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,以解决上述问题。
技术实现思路
1、本申请的目的是提供一种基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法、设备、介质及产品,解决绝缘子异常检测中故障样本稀缺、传统匹配算法缺乏高阶结构推理能力导致弱小缺陷误报率高的问题,提高少样本条件下微小缺陷的检测精度,降低复杂背景下的误报率。
2、为实现上述目的,本申请提供了如下方案:
3、第一方面,本申请提供了一种基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,所述方法包括:
4、获取包含待检绝缘子的原始巡检图像;
5、将原始巡检图像输入至绝缘子缺陷检测模型中,输出缺陷检测结果;缺陷检测结果包括缺陷热力图和预警等级;其中,绝缘子缺陷检测模型包括特征提取网络、超图拓扑构建网络、超图推理网络、融合评估网络以及后处理与分级预警网络;
6、特征提取网络用于对原始巡检图像进行特征提取,得到视觉特征令牌序列,并利用预设数量的正常样本图像作为条件控制信号调制文本提示词模板,诱导生成正常文本语义中心和异常文本语义中心;预设数量大于等于第一预设阈值且小于等于第二预设阈值;
7、超图拓扑构建网络用于基于视觉特征令牌序列、正常文本语义中心和异常文本语义中心,确定跨模态异质节点集,并基于跨模态异质节点集,构建超边集合,基于超边集合,生成异质超图关联矩阵;
8、超图推理网络用于基于异质超图关联矩阵,在跨模态异质节点集中的视觉节点子集上执行多层超图卷积操作,使跨模态异质节点集中各视觉令牌节点在超图邻域内进行消息传递与特征更新,并基于特征更新后的视觉节点特征,输出异常概率向量;
9、融合评估网络用于基于视觉特征令牌序列、正常文本语义中心、异常文本语义中心以及异常概率向量,生成异常得分矩阵;
10、后处理与分级预警网络用于对异常得分矩阵进行处理,生成缺陷热力图,并基于缺陷热力图,输出预警等级。
11、第二方面,本申请提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法。
12、第三方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法。
13、第四方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法。
14、根据本申请提供的具体实施例,本申请具有以下技术效果:
15、本申请公开了一种基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法、设备、介质及产品,首先,通过利用预设数量的正常样本图像作为条件控制信号调制文本提示词模板,诱导生成正常文本语义中心和异常文本语义中心,以解决故障样本稀缺的问题;其次,通过超图拓扑构建网络确定跨模态异质节点集,构建超边集合并生成异质超图关联矩阵,以建立高阶结构关联能力;再者,通过超图推理网络在视觉节点子集上执行多层超图卷积操作,使各视觉令牌节点在超图邻域内进行消息传递与特征更新,并输出异常概率向量,以捕获结构连续性偏差并将微小缺陷特征显性放大;最后,通过融合评估网络生成异常得分矩阵,以及后处理与分级预警网络生成缺陷热力图并输出预警等级,以降低复杂背景下的误报率,从而在少样本条件下实现高精度、低误报的绝缘子缺陷检测。
1.一种基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,特征提取网络包括视觉编码器、提示词学习器和文本编码器;
3.根据权利要求2所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,超图拓扑构建网络包括:异质节点定义模块、结构保持超边构建模块、语义引导超边构建模块以及关联矩阵生成模块;
4.根据权利要求1所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,超图推理网络包括:特征映射模块、度矩阵计算模块、消息传递模块、特征更新模块以及异常激活模块;
5.根据权利要求1所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,融合评估网络包括:基础语义对齐分支、超图推理分支和像素级融合模块;
6.根据权利要求1所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,后处理与分级预警网络包括:空间还原模块、平滑处理模块以及分级预警模块;
7.根据权利要求1所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法,其特征在于,第一预设阈值为1,第二预设阈值为5。
8.一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于异质超图视觉-语言语义推理的绝缘子缺陷检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com