一种基于弱标签引导候选框优化的配电网小目标检测方法与系统
本发明涉及图像检测,特别涉及一种基于弱标签引导候选框优化的配电网小目标检测方法与系统。
背景技术:
1、近年来,随着电力巡检智能化发展,基于图像的配电网设备检测已成为配电网状态感知、缺陷识别和运维辅助决策的重要技术。现有相关实现方案大体可分为以下几类。
2、第一类是基于传统图像处理和手工特征的检测方法。该类方法通常利用颜色、边缘、纹理、形状、连通域、模板匹配、方向梯度直方图、尺度不变特征转换或传统机器学习分类器完成目标识别。这类方法实现简单,对少量规则设备或背景较单一场景具有一定效果,但其表达能力主要依赖人工设计特征,难以适应配电网图像中复杂背景、光照变化、尺度变化和遮挡干扰。
3、第二类是基于全监督深度学习的目标检测方法。该类方法通过大量精确边界框标签训练检测器,能够同时完成目标分类和定位,是当前工程应用中较常见的技术路线。对于配电网场景,常见改进包括引入特征金字塔、小目标检测头、注意力机制、轻量化骨干网络、边缘部署加速等。
4、第三类是基于小目标增强的检测方法。该类方法通常通过高分辨率特征保留、多尺度特征融合、浅层细节增强、超分辨率重建、密集锚框设计、局部上下文建模、注意力增强等方式提升小目标检测性能。这类方法能够缓解小目标经过下采样后空间细节丢失的问题,但多数仍需要精确边界框监督,且对弱标签条件下候选框偏移问题处理不足。
5、第四类是弱监督目标检测方法。该类方法使用图像级类别标签、点标签、粗框标签或其他弱标签代替精确边界框标签,通常基于多实例学习、类别响应图、候选区域打分、伪标签生成、自训练或在线候选框细化完成检测。其优点是减少标注成本,但在小目标密集、外观相似和背景复杂的配电网场景中,容易将目标局部判别区域误认为完整目标区域。例如,检测绝缘子时可能只框出局部伞裙,检测开关设备时可能只框出金属端部,检测线夹时可能将导线交叉处误判为目标。
6、第五类是基于结构先验或设备结构先验图的检测方法。该类方法尝试利用目标之间的共现关系、相对位置关系或场景知识辅助检测。例如,在配电网中,电杆、横担、导线、绝缘子、避雷器、熔断器、开关和变压器之间并不是随机分布,而是具有安装、支撑和连接关系。引入这些结构信息有助于降低误检。但现有方法多将结构关系作为后处理规则或静态先验使用,难以深度参与候选框生成、伪标签更新和模型训练过程。
7、综合来看,现有技术虽然分别在全监督检测、小目标增强、弱监督检测和结构知识引入方面已有一定基础,但仍缺乏一种将弱标签推断、候选框连续优化、设备结构图一致性和小目标几何约束统一到同一数学框架中的检测方法。
8、现有类似技术主要存在以下缺点。
9、第一,精确边界框标注成本高。配电网小目标种类多、尺寸小、分布密集,且很多目标需要电力专业知识才能准确识别。全监督检测方法需要对每个目标进行精确框标注,人工成本较高,且不同标注者对小部件边界的理解不一致,容易引入标注噪声。
10、第二,弱监督检测候选框容易定位不完整。传统弱监督检测往往依赖图像级分类响应或多实例学习得分,模型倾向于选择最能支持类别判断的局部区域,而非完整目标区域。这会导致候选框只覆盖目标的高响应局部,无法完整包围实际设备部件。
11、第三,现有候选框优化多停留在离散筛选层面。许多方法仅对候选框进行排序、非极大值抑制或基于交并比的伪标签更新,没有把候选框集合视为一个连续可优化的概率测度,也没有从几何优化角度描述候选框如何在弱标签、视觉证据和结构先验作用下稳定演化。
12、第四,现有小目标增强方法缺乏结构感知能力。多尺度特征融合虽然可以提升小目标特征表达能力,但它本质上仍主要依赖局部视觉特征,难以判断一个小目标是否出现在符合配电设备安装规律的位置。因此,在树枝、导线交叉、金属反光、背景纹理和相邻设备干扰下仍容易误检。
13、第五,现有结构约束方法通常作为后处理规则使用,缺乏端到端优化能力。如果结构关系只在检测结果输出后用于规则过滤,则无法参与候选框生成、伪框更新和特征学习,也难以从训练阶段修正弱标签导致的候选框偏移。
14、第六,现有方法解释性不足。传统检测器通常只输出类别、置信度和边界框,无法说明某个候选框为何被保留,是否符合设备结构关系,是否与弱标签一致,是否属于结构异常位置。这限制了其在电力巡检复核、缺陷报告和运维工单生成中的应用。
技术实现思路
1、本发明提供了一种基于弱标签引导候选框优化的配电网小目标检测方法与系统,以解决背景技术所提到的技术问题。
2、为达到上述目的,本发明采用如下技术方案:
3、本发明提供了一种基于弱标签引导候选框优化的配电网小目标检测方法,包括如下步骤:
4、s1、获取配电网巡检图像集合,设定配电网巡检图像集合内每张配电网巡检图像中的真实目标集合,依据真实目标集合构建弱标签观测模型;
5、s2、定义候选框状态空间,基于候选框状态空间、弱标签观测模型建立两个候选框之间的黎曼距离模型;
6、s3、生成初始候选框集合,定义初始候选框的经验概率测度;
7、s4、基于弱标签观测模型、初始候选框的经验概率测度构建弱标签变分后验推断模型;
8、s5、依据黎曼距离模型构建设备结构先验图和候选检测图,基于设备结构先验图和候选检测图定义结构一致性能量,定义拓扑骨架一致性能量;
9、s6、依据结构一致性能量、扑骨架一致性能量定义经验概率测度的自由能函数,基于经验概率测度的自由能函数并采用离散粒子形式在候选框概率测度空间中优化候选框分布;
10、s7、依据优化后的候选框分布,结合弱标签变分后验推断模型并采用em机制交替优化算法优化检测模型参数;
11、s8、将优化后的检测模型部署到设备端,输入配电网巡检图像,得到最终结果。
12、进一步地,所述s1具体包括如下步骤:
13、s11、获取配电网巡检图像集合,表达式为:
14、;
15、其中,表示配电网巡检图像集合,表示第
n幅配电网巡检图像,和分别表示配电网巡检图像的高度和宽度;表示实数集;表示第
n幅配电网巡检图像对应的弱标签观测集合;表示配电网巡检图像的总数;
16、弱标签观测集合被定义为:
17、;
18、其中,表示图像级类别标签,为设备类别的总数;表示点标签集合;表示粗框标签集合;表示设备台账、巡检任务、线路段、杆塔编号或拍摄位置信息;表示设备结构模板信息;
19、s12、设定配电网巡检图像集合内每张配电网巡检图像中的真实目标集合,表达式如下:
20、;
21、其中,表示第
n幅配电网巡检图像中的真实目标集合;表示第
n幅配电网巡检图像中的第个真实目标状态;表示第
n幅配电网巡检图像中的真实目标的总数;
22、s13、构建弱标签观测模型,表达式如下:
23、;
24、其中,表示真实目标集合生成弱标签观测集合的概率;表示图像级类别标签关于真实目标集合的条件似然;表示点标签集合关于真实目标集合的条件似然;表示粗框标签集合关于真实目标集合的条件似然;表示辅助信息关于真实目标集合的条件似然;表示设备结构模板信息关于真实目标集合的条件似然。
25、进一步地,所述s2具体包括如下步骤:
26、s21、定义候选框状态空间为:
27、;
28、其中,表示候选框状态空间;表示宽高尺度空间,表示类别概率单纯形;表示候选框局部视觉嵌入空间;
29、候选框状态空间中任一候选框表示为:
30、;
31、其中,表示类别概率分布;表示候选框特征;表示候选框的
x、y轴坐标;表示候选框的宽度和高度;
32、s22、为了刻画两个候选框之间的黎曼距离,定义候选框的度量张量,表达式为:
33、;
34、其中,表示候选框的度量张量;表示定义在类别概率单纯形上的费舍尔–拉奥信息度量张量,为防止分母为零的常数;表示候选框宽度维度的特征尺度参数;表示候选框高度维度的特征尺度参数;
35、s23、然后依据候选框的度量张量以及弱标签观测模型建立两个候选框之间的黎曼距离模型,表达式为:
36、;
37、其中,表示候选框与候选框之间的黎曼距离;表示转置。
38、进一步地,所述s3具体包括如下步骤:
39、s31、对配电网巡检图像进行预处理,得到归一化图像,表达式为:
40、;
41、其中,表示第
n幅配电网巡检图像经过预处理得到的归一化图像,表示预处理操作,包括亮度校正、尺寸缩放、噪声抑制、局部增强和归一化处理;
42、s32、将归一化图像输入到特征提取网络,得到多尺度视觉特征,表达式为:
43、;
44、其中,表示第个尺度的视觉特征;表示第个尺度对应的特征提取网络;
45、s33、基于多尺度视觉特征生成初始候选框集合,表达式为:
46、;
47、其中,表示初始候选框集合;表示候选框对应的候选框初始状态;表示候选框索引;
m表示初始候选框的总数;
48、s34、定义初始候选框的经验概率测度为:
49、;
50、其中,表示初始候选框的狄拉克测度,表示候选框初始质量权重,满足;
51、。
52、进一步地,所述s4具体包括如下步骤:
53、s41、将真实目标集合视为隐变量,将弱标签观测集合视为观测变量;定义目标后验为:
54、;
55、其中,表示目标后验;
56、s42、引入变分分布,然后构建弱标签变分后验推断模型,利用弱标签变分后验推断模型最大化变分推断观测变量中目标的下界,以恢复弱标签观测集合中的未知目标,弱标签变分后验推断模型的表达式为:
57、;
58、其中,表示弱标签变分后验推断模型的证据下界目标函数;表示弱标签观测似然;表示弱标签生成模型或检测模型的参数;表示关于变分后验分布)的数学期望;表示弱标签变分后验推断模型的参数;表示在给定第
n幅配电网巡检图像的条件下,检测模型对真实目标集合建立的图像条件先验分布;表示设备结构一致性似然;表示与第
n幅配电网巡检图像对应的设备结构图观测或设备结构先验;表示由设备结构关系构成的结构图观测或结构先验,表示kl散度;
59、的表达式为:
60、;
61、其中,为图像级弱标签似然,表示点标签似然;为粗框标签似然;
62、图像级弱标签似然的表达式为:
63、;
64、其中,
c表示设备类别索引;表示候选框属于设备类别
c的概率;表示第
n幅配电网巡检图像关于第
c个设备类别的图像级二值标签;
65、点标签似然的表达式为:
66、;
67、其中,表示点标签;表示自然指数函数;表示候选框的中心点坐标提取函数,表示点标签位置观测噪声的标准差;表示l2范数;
68、粗框标签似然的表达式为:
69、;
70、其中,表示粗框标签;表示交并比;表示iou的阈值。
71、进一步地,所述s5具体包括如下步骤:
72、s51、构建设备结构先验图,表达式为:
73、;
74、其中,表示设备结构先验图,表示设备类别节点集合,即设备结构先验图的节点;表示结构关系边集合;表示结构关系参数集合;表示结构邻接矩阵;
75、s52、定义两个候选框的相对几何向量:
76、;
77、其中,表示候选框
、 的相对几何向量;、表示候选框的
x、y轴坐标;、表示候选框的宽度和高度;
j表示候选框索引;
78、s53、基于两个候选框的相对几何向量,定义成对结构兼容函数,表达式为:
79、;
80、其中,表示候选框与候选框在分别属于设备类别和设备类别
b条件下的成对结构兼容度;表示设备类别
a与设备类别
b之间的先验期望相对几何向量;表示设备类别对(
, b)的相对几何关系协方差矩阵的逆矩阵;
81、s54、结合两个候选框之间的黎曼距离模型,并根据当前候选框的经验概率测度构建候选检测图,表达式为:
82、;
83、其中,表示候选检测图;表示候选框节点集合;表示候选框之间的候选结构边;表示候选框之间的关系距离矩阵,表达式为:
84、
85、其中,表示候选检测图中候选框与候选框之间的关系距离;
86、s55、定义候选检测图与先验结构图之间的格罗莫夫-瓦瑟斯坦距离,表达式如下:
87、;
88、其中,表示候选检测图与先验结构图之间的格罗莫夫-瓦瑟斯坦距离,表示候选检测节点与结构先验节点之间的软匹配矩阵,表示满足边缘分布约束的传输计划集合,表示候选检测图中候选框节点的质量分布;表示设备结构先验图中结构先验节点的质量分布;表示候选检测图中候选框所对应节点与设备结构先验图中的第
p个结构先验节点之间的软匹配权重或传输质量;表示候选检测图中的第
j个候选框节点与设备结构先验图中的第
q个结构先验节点之间的软匹配权重或传输质量;表示候选检测图中候选框和候选框所对应节点之间的关系距离;表示设备结构先验图中第
p个结构先验节点与第
q个结构先验节点之间的结构关系距离;
89、s56、基于成对结构兼容函数、候选检测图与先验结构图之间的格罗莫夫–瓦瑟斯坦距离,定义结构一致性能量为:
90、;
91、其中,表示结构一致性能量;表示成对局部结构兼容约束项的权重系数;表示设备结构先验图的结构邻接矩阵中对应设备类别与设备类别
b的元素;表示候选框属于设备类别的预测概率;表示候选框属于设备类别
b的预测概率;表示候选框在当前候选框经验概率测度中的质量权重;表示候选框在当前候选框经验概率测度中的质量权重;表示候选检测图与设备结构先验图之间整体gw结构对齐项的权重系数;
92、s57、提取配电网巡检图像中的设备骨架场,表达式为:
93、;
94、其中,表示第
n幅配电网巡检图像的设备骨架场;表示电杆骨架;表示导线骨架;表示横担骨架;
95、s58、基于配电网巡检图像中的设备骨架场定义骨架锚定能量为:
96、;
97、其中,表示骨架锚定能量,表示设备类别集合;表示点到集合的距离;表示候选框中心点坐标提取函数,表示设备类别
c在设备骨架场中的可行锚定区域;
98、s59、基于骨架锚定能量定义拓扑骨架一致性能量为:
99、;
100、其中,表示拓扑骨架一致性能量;表示第
l个拓扑持久性特征的索引表示参与拓扑骨架一致性计算的拓扑持久性特征总数;表示配电设备结构模板中对应拓扑特征的期望持久度;表示第
l个拓扑持久性特征的出生值;表示第
l个拓扑持久性特征的消亡值。
101、进一步地,所述s6具体包括如下步骤:
102、s61、定义经验概率测度的自由能函数,表达式如下:
103、;
104、其中,表示初始候选框经验概率测度的自由能;表示视觉证据能量,表示弱标签一致性能量,表示候选框测度熵,为熵正则系数;表示由当前候选框的经验概率测度;
105、视觉证据能量被定义为:
106、;
107、其中,表示候选框内部小目标显著性均值;表示小目标局部显著性场,被定义为:
108、;
109、其中,表示图像位置属于小目标局部区域的概率,表示显著性预测函数;表示多尺度特征提取或特征金字塔网络输出的第
l个尺度层级的视觉特征图;
110、弱标签一致性能量被定义为:
111、;
112、候选框测度熵被定义为:
113、;
114、s62、基于经验概率测度的自由能函数,将候选框优化建模为在候选框概率测度空间中的瓦瑟斯坦梯度流,表达式如下:
115、;
116、其中,表示候选框优化伪时间时刻的候选框经验概率测度;表示候选框经验概率测度关于优化伪时间的偏导数;表示候选框优化的伪时间,表示瓦瑟斯坦梯度流几何下的梯度算子,表示自由能关于经验概率测度的变分导数;
117、s63、设定候选框迭代优化次数
k,基于瓦瑟斯坦梯度流并采用离散粒子形式在候选框概率测度空间中优化候选框分布,其中优化后的候选框的表达式为:
118、;
119、其中,表示候选框经过第
k轮优化后的候选框;表示步长;表示候选框流形度量张量的逆矩阵;表示候选框状态空间上的黎曼度量张量,表示关于候选框状态变量的梯度算子;
120、优化后的候选框权重的表达式为:
121、;
122、其中,表示候选框经过第
k轮更新后的候选框权重。
123、进一步地,所述s7具体包括如下步骤:
124、s71、e步中,在当前检测模型参数下,基于弱标签变分后验推断模型估计候选框后验分布,表达式为:
125、;
126、其中,表示对第
n幅配电网巡检图像中的真实目标集合建立的候选变分概率分布;表示从预设变分分布族中选取的候选变分后验分布;表示在第t轮em迭代的检测模型参数下,给定第
n幅配电网巡检图像及其弱标签观测集合时,真实目标集合的目标后验概率分布;表示取使最小值对应的候选变分后验分布作为输出;
127、s72、基于候选框后验分布和弱标签变分后验推断模型生成结构一致的伪框,表达式为:
128、;
129、其中,表示伪框;表示设备类别的第个候选簇,表示融合视觉置信度、弱标签一致性和结构一致性的归一化权重;
130、归一化权重的计算式为:
131、;
132、其中,表示候选框属于设备类别的弱标签一致性得分,表示候选框属于设备类别的弱标签一致性得分,表示候选框的结构一致性得分,表示候选框的拓扑一致性得分,表示温度参数;表示设备结构一致性得分的权重系数;表示拓扑骨架一致性得分的权重系数;
133、s73、m步中,在伪框和候选框后验分布固定的条件下,更新检测模型参数,表达式为:
134、;
135、其中,表示更新后的检测模型参数;表示取使最小时对应的检测模型参数作为输出;表示总损失函数,表达式为:
136、;
137、其中,表示图像级弱标签损失,表示伪框定位损失,表示尺度一致性损失,表示设备结构图一致性损失,表示拓扑骨架一致性损失,表示候选框测度流稳定性损失,表示负类别抑制损失,表示图像增强一致性损失;、、、、、、、表示对应项的权重系数;
138、候选框测度流稳定性损失被定义为:
139、;
140、其中,表示瓦瑟斯坦距离;表示正部函数;
k表示候选框经验概率测度离散优化过程中的迭代索引,
k表示候选框经验概率测度离散优化的总迭代次数,表示优化后的经验概率测度;
141、s74、判断总损失函数是否收敛,如果是,则输出得到优化后的检测模型,否则返回s71中,继续进行迭代优化。
142、进一步地,所述s8具体包括如下步骤:
143、s81、将优化后的检测模型部署到设备端;
144、s82、将配电网巡检图像输入到优化后的检测模型中,得到优化后的候选框;然后基于优化后的候选框计算最终检测置信度,表达式为:
145、;
146、其中,表示候选框的最终检测置信度;
a表示第
n幅配电网巡检图像对应的小目标局部显著性场;
mean(
a, )表示候选框所覆盖区域内的小目标局部显著性响应均值;、、、、、表示对应项的权重系数;
147、s83、执行结构感知非极大值抑制,表达式如下:
148、;
149、其中,表示经过结构感知非极大值抑制处理后保留下来的最终候选检测结果集合;表示候选框对应的预测目标类别,表示结构感知非极大值抑制;
150、s84、优化后的检测模型输出最终结果,表达式如下:
151、;
152、其中,表示候选框对应的结构解释信息。
153、本发明另一方面还提供了一种基于弱标签引导候选框优化的配电网小目标检测系统,被配置为执行一种基于弱标签引导候选框优化的配电网小目标检测方法,包括:
154、图像获取模块,被配置为获取配电网巡检图像集合;
155、自由能函数构建单元,被配置为建立经验概率测度的自由能函数;
156、候选框优化单元,被配置为基于经验概率测度的自由能函数并采用离散粒子形式在候选框概率测度空间中优化候选框分布;
157、模型训练单元,被配置为依据优化后的候选框分布,结合弱标签变分后验推断模型并采用em机制交替优化算法优化检测模型参数;
158、检测单元,被配置为利用优化后的检测模型对配电网巡检图像进行检测,得到最终结果。
159、本发明的有益效果:
160、本发明提供了一种基于弱标签引导候选框优化的配电网小目标检测方法,相比全监督检测方法,无需对每个目标进行精确框标注,降低了人工成本,也减少了标注噪声的引入,同时,本发明也提高了小目标召回率,增强了弱标签训练的稳定性,使得候选框定位更加完整,降低了误检率,同时也使得工程部署适配性得到了提升。
161、另外,本发明的输出包括设备结构一致性得分、设备结构一致性得分、候选框对应的结构解释信息等,检测模型的输出增强了结构解释性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com