无人机巡检图像中均压环灼伤缺陷稀缺样本检测方法

摘要: 本发明涉及输电线路智能巡检、计算机视觉目标检测、视觉语言模型、生成式机器学习与缺陷识别。具体来说,涉及一种面向无人机巡检图像中均压环灼伤缺陷的稀缺样本检测方法。...
无人机巡检图像中均压环灼伤缺陷稀缺样本检测方法

本发明涉及输电线路智能巡检、计算机视觉目标检测、视觉语言模型、生成式机器学习与缺陷识别。具体来说,涉及一种面向无人机巡检图像中均压环灼伤缺陷的稀缺样本检测方法。

背景技术:

1、保障输电系统安全可靠运行,对于现代能源基础设施的稳定性至关重要。传统人工巡检的劳动强度高且容易出现误判,尤其是在偏远或危险环境中更是如此。随着无人机巡检在输电线路运维中的广泛应用,输电缺陷识别已从人工离线判读逐步转向图像智能分析[1]。然而,输电巡检图像面临背景复杂、构件尺寸变化明显、局部缺陷纹理弱、光照与视角扰动大等问题,导致常规整图检测模型在稀缺样本缺陷场景下容易出现漏检和误检[2]。现有研究表明,输电线路往往受领域语义不足和样本分布不均衡影响,传统通用预训练在该领域存在泛化不足[3]。

2、均压环灼伤是输电线路稀缺样本缺陷检测中的典型场景,会影响输电系统的可靠性与安全性。均压环是输电线路中的关键部件,通常与绝缘子配合安装,用于减轻杂散电容的影响,实现电场均匀分布,从而降低局部电场集中带来的放电风险。当均压环发生灼伤时,其表面结构和导电性能会受到破坏,导致电场分布失衡,进而引发局部过热、电晕放电以及绝缘老化等问题。随着缺陷程度加剧,还可能诱发绝缘子串异常放电甚至绝缘失效,增加输电线路跳闸和停运风险。因此,实现均压环灼伤缺陷的准确识别,对于提升输电设备状态感知能力、保障输电线路安全稳定运行以及降低运维成本具有重要意义。

3、现有技术中,多采用单一视觉模态的目标检测方法[4-6]。两阶段检测器能够先生成候选区域,再对候选区域进行识别与回归,其中 faster r-cnn(faster region-basedconvolutional neural network,快速区域卷积神经网络)通过候选区域生成网络(regionproposal network,rpn)生成候选区域并共享卷积特征,适合作为“先部件定位、后缺陷判别”的前置框架[4]。另一方面,图-文模态的发展为输电缺陷检测提供了新的技术路径。clip(contrastive language-image pre-training,对比式语言-图像预训练模型)[7]是一种通过对比学习将图像和文本映射到同一高维向量空间的多模态模型,文本描述可以用来引用已学习的视觉概念;vae(variational autoencoder,变分自编码器)通过重参数化和 kl(kullback-leibler,库尔贝克-莱布勒)散度约束学习潜在空间分布;其扩展形式cvae(conditional variational autoencoder,条件变分自编码器)[8]可进一步将条件变量注入潜在空间,从而使生成或重构过程受标签语义控制。近年来,winclip(基于滑窗提示的 clip 异常识别方法)[9]与 anomalyclip(面向异常检测的 clip 提示学习方法)[10]等方法又表明,视觉语言提示在零样本或稀缺样本异常识别中具有明确价值。

4、但是,现有技术仍然存在以下局限性:其一,直接整图多类检测难以兼顾复杂背景抑制与局部异常放大;其二,灼伤缺陷样本极少,常规监督学习难以获得稳定判别边界;其三,现有输电缺陷检测方案通常缺少对“正常—缺陷”语义边界的显式潜在空间约束;其四,通用异常检测虽然可使用提示词,但并不当然适用于均压环 roi(region of interest,感兴趣区域)级已知缺陷分类。上述不足正对应本发明拟解决的关键问题。

技术实现思路

1、为克服现有技术的不足,针对输电线路无人机巡检图像中均压环灼伤缺陷样本极少、缺陷区域局部且细微、正常样本数量远多于缺陷样本、整图背景复杂以及直接检测方式易漏检的问题,本发明提出一种面向已知缺陷类别的语义标签增强条件变分区域分类方法,以提高均压环灼伤识别的准确率、召回率、稳定性和工程部署可行性。无人机巡检图像中均压环灼伤缺陷稀缺样本检测方法,利用部件级目标检测神经网络从无人机巡检图像中定位均压环部件,得到候选区域集合;针对每一个候选区域提取感兴趣区域roi 视觉特征;构造正常均压环和灼伤均压环对应的文本语义描述,通过预训练文本编码器生成语义嵌入向量;将 roi 视觉特征与语义嵌入向量共同依次输入条件变分自编码模型和 roi 分类器,得到均压环正常/灼伤二分类输出。

2、无人机巡检图像中均压环灼伤缺陷稀缺样本检测方法,包括构建以下部分:部件级目标检测网络、文本语义嵌入模块、条件变分自编码模型、缺陷增强模块、特征聚合模块和 roi 分类器;其中,部件级目标检测网络用于完成均压环候选区域定位,得到roi 视觉特征;文本语义嵌入模块用于将正常均压环和灼伤均压环的文本提示语转化为语义嵌入向量;条件变分自编码模型包括条件变分编码器和条件解码器,条件变分编码器用于在语义条件约束下获得潜在变量分布、潜在变量样本并输出到条件解码器,条件解码器用于获取重构特征;缺陷增强模块用于在对条件变分自编码模型、缺陷增强模块、特征聚合模块和roi 分类器进行联合训练的阶段,针对标注为灼伤的均压环 roi 样本进行受限潜在空间采样,得到增强潜在变量,并经条件解码器生成缺陷增强特征;特征聚合模块用于融合所述roi 视觉特征、重构特征和缺陷增强特征,输出到roi分类器;roi分类器用于输出正常/灼伤类别概率。

3、对所述网络、模型和模块进行训练的流程如下:

4、对输入图像进行预处理:首先获取带标注的无人机巡检图像,并对图像中的均压环实例标注候选框和正常/灼伤类别;输入图像经预处理后送入部件级目标检测网络,部件级目标检测网络将正常均压环和灼伤均压环统一视为“均压环部件类”,从图像中生成候选区域集合 b={bi} ,并输出每个候选区域的位置;部件级目标检测网络的训练损失包括候选区域生成损失 lrpn和边界框回归损失 lreg;

5、对于每个候选区域 bi,部件级目标检测网络通过 roialign 或等效 roi 特征提取方式获得视觉特征 xi,roialign是从特征图中提取感兴趣区域特征的方法,根据训练标注中的类别标签 yi,选取正常文本提示语或灼伤文本提示语,经文本编码器clip得到语义嵌入向量 yclip;所述文本提示语采用英文模板表示正常均压环、灼伤均压环,或者采用具有同等语义的中文或英文描述;

6、随后,将 xi 与 yclip 共同输入条件变分编码器 enc,得到潜在变量分布参数 μi 和 σi,μi 表示第 i 个 roi 对应潜在变量分布的均值向量;σi 表示第 i 个 roi 对应潜在变量分布的标准差向量或尺度参数,用于表征该潜在变量分布在各维度上的离散程度,且其各维度取值为非负;再通过重参数化方式得到潜在变量 zi ,即 zi =μi +σi·ε,其中 ε表示服从标准正态分布的随机噪声;之后将 zi 与 yclip 输入条件解码器 dec,得到重构特征 xihat,由此形成重构损失 lrec 和 kl 散度损失 lkl,二者属于条件变分自编码模型,用于约束特征重构质量和潜在变量分布;

7、对于正常类 roi,即 yi 取值为 0 的样本,训练阶段进一步执行正常类一致性约束:基于潜在变量均值 μi 解码得到一组正常类均值重构特征,并基于随机采样潜在变量zi  解码得到另一组正常类采样重构特征,通过二者之间的距离形成正常类一致性损失lcon;

8、对于灼伤类 roi,即 yi 取值为 1 的样本,在对条件变分自编码模型、缺陷增强模块、特征聚合模块和 roi 分类器进行联合训练的阶段执行缺陷类受限潜在空间增强:所述受限潜在空间由条件变分编码器输出的 μi 和 σi 确定,其中,μi 作为该灼伤类 roi 在潜在空间中的采样中心,σi 作为各维度采样范围的尺度参数,并通过边界系数 k 控制采样边界;具体地,增强潜在变量 ziaug 的每一维取值被限制在 μi − k σi 至 μi + k σi 的范围内;增强潜在变量 ziaug 经条件解码器 dec 得到缺陷增强特征 xiaug 。

9、在分类训练中,将原始 roi 视觉特征 xi 、重构特征 xihat 和缺陷增强特征 xiaug输入特征聚合模块,得到聚合表示 hi ,所述特征聚合方式采用加权求和、特征拼接、门控融合或注意力融合方式中的一种,对于正常类样本,缺陷增强特征置为空特征或零向量,以保持输入维度一致,聚合表示 hi 输入 roi 分类器 c,输出正常/灼伤类别概率,并据此计算分类损失 lcls;

10、训练阶段的总损失为 :

11、

12、其中,lrpn 和 lreg 属于 stage i 部件级目标检测网络;lrec、lkl 和 lcon 属于条件变分自编码模型;lcls 属于 roi 分类器;λ1、λ2 和 λ3  为对应损失权重,通过上述联合优化过程,得到训练完成的部件级目标检测网络、文本语义嵌入模块、条件变分自编码模型、特征聚合模块和 roi 分类器。

13、工作流程如下:输入待检测的无人机巡检图像到训练完成的部件级目标检测网络从图像中提取均压环候选区域集合 b={bi},并输出每个候选区域的位置;随后,对每个候选区域 bi 提取 roi 视觉特征 xi;

14、对于同一 roi,分别构造正常均压环文本提示语和灼伤均压环文本提示语,并分别经文本编码器得到正常语义嵌入向量和灼伤语义嵌入向量,然后将同一 roi 视觉特征分别与两类语义嵌入向量组合输入条件变分自编码模型,得到对应的重构特征和类别得分;再由 roi 分类器输出正常类得分和灼伤类得分,选取得分较高者作为该 roi 的最终类别。

15、本发明的特点及有益效果是:

16、1)本发明将复杂整图检测任务拆分为“部件 roi 识别”与“部件 roi 细粒度缺陷判别”两部分,能够有效降低复杂背景和非目标构件对均压环灼伤识别的干扰。

17、2)本发明将文本语义嵌入作为条件变量注入变分潜在空间,使正常样本与灼伤样本在潜在空间中的分布间隔增大,提高稀缺样本条件下的类别可分性。

18、3)本发明通过正常类一致性约束压缩正常类内部散度,使正常样本形成更紧凑的潜在空间分布,从而提高对偏离正常类分布区域的缺陷样本的辨识能力。

19、4)本发明通过在训练阶段对缺陷类实施受限潜在空间采样与特征增强,在避免明显语义漂移的前提下,缓解了灼伤缺陷样本极少、类别严重不平衡所造成的判别边界不稳定问题。

20、5)本发明推理阶段不需要在线执行缺陷增强采样,仅保留部件定位与语义条件分类流程,因而具备较好的工程实现性和部署效率。