一种电缆线路设备红外电力设备开放词汇结构化解析方法、装置、电子设备及存储介质与流程
本发明属于电力设备智能巡检、红外图像分析、开放词汇视觉理解和交互式图像分割,具体涉及一种面向电缆线路设备红外巡检场景的电力设备开放词汇结构化解析方法、装置、电子设备及计算机可读存储介质。
背景技术:
1、电缆线路设备红外巡检通常依赖红外热像对套管、绝缘子、电缆终端、避雷器等设备进行温度监测。实际诊断并非仅寻找高温像素,而是需要明确异常温度属于哪一台设备、哪一个设备部件,并与同类设备或同一设备不同相别的对应部件进行比较。因此,红外巡检图像分析需要输出可用于诊断的结构化结果,包括设备实例、部件实例、部件掩膜以及部件与设备之间的归属关系。
2、现有红外电力设备检测或语义分割方法通常围绕预定义类别进行训练,能够识别有限数量的设备或部件类型,但难以适应实际巡检中的长尾部件名称、不同站点的命名习惯和巡检人员输入的自然语言描述。语义分割方法通常缺少实例区分能力,实例分割方法通常将设备作为整体目标,难以进一步解析内部部件;即便获得了部件区域,若未建立部件与所属设备之间的关系,也难以直接服务于相间温度比较和设备状态评估。
3、此外,红外图像存在纹理弱、边界模糊、热扩散、反光干扰、低对比度和传感器噪声等特点,单次前向预测或单次提示分割往往会出现局部遗漏、边界泄漏或相邻部件误包含等问题。可提示分割模型能够根据点、框或掩膜提示生成高质量掩膜,但在复杂红外场景下仍需要根据中间掩膜持续判断是否接受结果或继续给出纠错提示。因此,亟需一种能够理解开放词汇文本描述、建立设备-部件结构关系并通过序列工具调用不断修正掩膜的技术方案。
技术实现思路
1、本发明提出一种电缆线路设备红外电力设备开放词汇结构化解析方法、装置、电子设备及存储介质,旨在利用电缆线路设备红外图像及巡检目标文本描述,实现对电力设备及其关键部件的开放词汇识别、实例级解析、部件掩膜生成以及部件与所属设备之间归属关系构建,以解决现有红外电力设备分析方法依赖固定类别体系、难以适应长尾部件描述、缺乏设备-部件结构关系以及单次分割结果在红外弱纹理场景下不稳定的问题。
2、本发明采用以下技术方案予以实现:
3、一方面,本发明构建了一种面向电缆线路设备红外电力设备的开放词汇结构化解析方法,整体包括五个主要环节:图像文本获取、开放词汇结构化解析、可提示分割模型调用、序列式掩膜细化以及结构化结果输出。
4、作为进一步技术限定,所述图像文本获取环节用于获取待解析的电缆线路设备红外图像以及与巡检目标相关的文本描述。所述文本描述可以包括电压等级、设备名称、巡检备注、相别信息中的至少一种,也可以为巡检人员输入的自然语言目标描述,从而使解析过程不再局限于预设类别名称,能够适应实际巡检中存在的专业简称、长尾部件名称和多样化描述方式。
5、作为进一步技术限定,所述开放词汇结构化解析环节通过视觉语言智能体对红外图像和文本描述进行联合理解,生成设备实例、部件实例、设备边界框、部件边界框以及部件实例与所属设备实例之间的归属关系。与传统仅输出类别掩膜或目标框的方式不同,本发明输出的是面向红外诊断需求的结构化解析结果,使目标部件不仅能够被分割出来,而且能够明确其所属设备实例,为后续同类设备、同名部件或不同相别之间的温度对比提供结构化依据。
6、作为进一步技术限定,所述可提示分割模型调用环节根据视觉语言智能体生成的设备边界框、部件边界框以及文本描述,构造空间提示,并调用可提示分割模型生成目标部件的当前掩膜。通过将视觉语言智能体的语义理解能力与可提示分割模型的像素级分割能力相结合,本发明能够在不依赖固定类别分割头的情况下,实现对红外电力设备关键部件的细粒度掩膜提取。
7、作为进一步技术限定,所述序列式掩膜细化环节将当前红外图像、文本描述、设备边界框、部件边界框、当前掩膜以及历史细化动作共同构成交互状态,并由视觉语言智能体根据该交互状态输出掩膜接受动作或点提示细化动作。当视觉语言智能体判断当前掩膜已经满足解析要求时,输出掩膜接受动作;当视觉语言智能体判断当前掩膜存在目标区域遗漏、边界泄漏或误包含相邻结构时,输出点提示细化动作,并将该点提示细化动作输入可提示分割模型以更新当前掩膜。通过上述多轮交互式细化机制,本发明能够有效缓解红外图像中弱纹理、低对比度、边界模糊、热扩散和反光干扰造成的单次分割不稳定问题。
8、作为进一步技术限定,本发明设计了一种面向视觉语言智能体工具调用策略的误差区域引导偏好优化训练策略,使视觉语言智能体能够学习在不同掩膜状态下如何选择接受动作或点提示细化动作。该训练策略包括如下步骤:
9、a.误差区域构建:将当前掩膜与标注掩膜进行差异比较,得到遗漏目标部件区域和错误包含非目标区域。其中,遗漏目标部件区域用于表征当前掩膜未覆盖但属于目标部件的区域,错误包含非目标区域用于表征当前掩膜错误覆盖的背景区域、相邻部件区域或非目标设备区域。进一步对上述两类误差区域分别进行连通域分解,获得空间上相互独立的误差连通域,为后续点提示动作评价提供局部误差依据。
10、b.可靠提示区域构建:针对遗漏目标部件区域中的误差连通域,将其与当前掩膜和标注掩膜共同覆盖的正确目标区域进行合并,并通过形态学腐蚀去除边界不稳定区域,得到可靠正提示区域;针对错误包含非目标区域中的误差连通域,将其与部件边界框内的正确背景区域进行合并,并通过形态学腐蚀去除边界不稳定区域,得到可靠负提示区域。该机制能够避免将位于模糊边界、热扩散边缘或不稳定区域的点提示误判为有效纠错动作,从而提高动作监督的可靠性。
11、c.候选动作评分:针对同一交互状态,由当前视觉语言智能体生成多个候选动作。对于点提示细化动作,判断其点标签是否与对应误差区域一致,并判断其点坐标是否落入可靠正提示区域或可靠负提示区域;对于满足误差区域一致性条件的点提示细化动作,进一步调用可提示分割模型得到更新后的掩膜,并根据其所命中误差连通域在更新前后的面积变化,评价该动作的局部纠错效果。对于掩膜接受动作,则根据剩余误差区域是否仅为细小边界残差以及当前掩膜与标注掩膜之间的重叠程度,评价该接受动作是否合理。
12、d.偏好优化训练:根据候选动作的误差区域一致性、局部纠错效果、掩膜接受有效性以及掩膜重叠质量,对多个候选动作进行组内比较,选取相对优势最大的候选动作作为优选动作,选取相对优势最小的候选动作作为劣选动作,并基于优选动作与劣选动作构造偏好训练样本,以优化视觉语言智能体的工具调用策略。通过该训练方式,本发明不仅能够鼓励视觉语言智能体选择最终效果更好的动作,还能够鼓励其选择与真实误差区域一致的纠错动作,避免仅依据单步掩膜质量变化或最终掩膜质量进行粗粒度监督所导致的动作信用分配不准确问题。
13、又一方面,本发明构建了一种电缆线路设备红外电力设备开放词汇结构化解析装置,所述装置包括图像文本获取模块、开放词汇解析模块、归属关系构建模块、提示分割模块、序列细化决策模块、误差区域构建模块、动作评分模块、偏好优化模块以及结构化输出模块。
14、作为进一步技术限定,所述图像文本获取模块用于获取待解析的电缆线路设备红外图像以及与巡检目标相关的文本描述;所述开放词汇解析模块用于通过视觉语言智能体对红外图像和文本描述进行联合理解,生成设备实例、部件实例、设备边界框和部件边界框;所述归属关系构建模块用于建立部件实例与所属设备实例之间的归属关系;所述提示分割模块用于根据设备边界框、部件边界框和文本描述生成空间提示,并调用可提示分割模型生成目标部件掩膜;所述序列细化决策模块用于根据当前掩膜和历史细化动作构建交互状态,并输出掩膜接受动作或点提示细化动作;所述误差区域构建模块用于根据当前掩膜与标注掩膜之间的差异构建遗漏目标部件区域、错误包含非目标区域以及对应的可靠提示区域;所述动作评分模块用于对候选动作进行误差区域一致性判断和纠错效果评价;所述偏好优化模块用于根据候选动作评分构造优选动作和劣选动作,并优化视觉语言智能体的工具调用策略;所述结构化输出模块用于输出包括部件掩膜、部件名称、部件标识以及部件与设备之间归属关系的结构化解析结果。
15、再一方面,本发明还提供一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述电缆线路设备红外电力设备开放词汇结构化解析方法。
16、再一方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现上述电缆线路设备红外电力设备开放词汇结构化解析方法。
17、在实际推理阶段,仅需输入待解析的电缆线路设备红外图像以及巡检目标文本描述,即可通过视觉语言智能体完成目标设备和目标部件的开放词汇解析,并调用可提示分割模型生成目标部件掩膜;当初始掩膜存在遗漏、泄漏或误包含区域时,视觉语言智能体能够根据当前掩膜状态自动生成点提示细化动作,驱动可提示分割模型进行多轮更新,最终输出包含设备实例、部件实例、部件掩膜以及部件与设备之间归属关系的结构化解析结果。
18、与现有技术相比,本发明的优点和积极效果是:本发明提出的电缆线路设备红外电力设备开放词汇结构化解析方法不依赖固定类别体系,能够根据巡检人员输入的自然语言描述识别不同电压等级、不同设备类别和不同关键部件,提升了模型对专业术语、长尾部件和多样化巡检描述的适应能力;本发明显式建立部件实例与所属设备实例之间的归属关系,使红外图像解析结果能够直接服务于部件级温度统计、相间对比和设备状态诊断;本发明通过视觉语言智能体与可提示分割模型协同工作,将语义理解、空间提示生成和像素级掩膜提取统一到同一解析流程中,提高了红外电力设备关键部件解析的灵活性和精细度;本发明进一步提出误差区域引导的偏好优化训练策略,使视觉语言智能体能够学习更加合理的掩膜接受和点提示细化策略,提升了复杂红外场景下的边界修正能力、交互细化效率和最终掩膜质量。将本发明应用于电缆线路设备红外巡检图像分析,可有效支撑电力设备关键部件识别、异常发热定位、结构化温度对比和智能运维诊断等任务,具有较高的工程应用价值。
19、结合附图阅读本发明实施方式的详细描述后,本发明的其他特点和优点将变得更加清楚。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com