一种基于两阶段多模型融合投票的变电设备缺陷识别方法及系统与流程

摘要: 本发明属于计算机视觉,尤其涉及一种基于两阶段多模型融合投票的变电设备缺陷识别方法及系统。背景技术:1、随着电网规模的扩大以及变电设备数量的增加,基于图像识别技术...
一种基于两阶段多模型融合投票的变电设备缺陷识别方法及系统与流程

本发明属于计算机视觉,尤其涉及一种基于两阶段多模型融合投票的变电设备缺陷识别方法及系统。

背景技术:

1、随着电网规模的扩大以及变电设备数量的增加,基于图像识别技术对变电设备进行缺陷检测逐渐应用于变电站巡检场景。通过巡检机器人、固定摄像头等设备获取变电设备图像,并利用深度学习模型对所述变电设备图像进行分析,可以实现对设备缺陷的自动识别。

2、目前,变电设备缺陷检测通常采用单一的深度学习目标检测模型,由目标检测模型直接对输入图像中的设备缺陷进行定位和识别。但是,在光照变化、设备遮挡、背景干扰以及相似设备混淆等复杂场景下,单一目标检测模型容易将正常设备或背景区域误判为设备缺陷,从而产生误检并增加后续复核工作量。

3、同时,不同模型架构对图像特征的提取和表征能力存在差异,对于不同类型的设备缺陷,其识别性能也可能存在差异,因此,仅采用单一模型进行缺陷识别时,难以兼顾不同缺陷类型以及不同场景下的识别需求,识别结果的泛化能力和稳定性仍有进一步提高的空间。

4、此外,现有缺陷检测方法通常由目标检测模型直接输出缺陷判定结果,缺少针对目标检测结果的进一步验证过程。当目标检测模型产生误检时,该误检结果可能直接作为最终缺陷识别结果输出,难以对检测阶段产生的误检进行进一步筛除。

5、因此,如何降低变电设备缺陷识别过程中的误报,并提高不同缺陷类型及复杂场景下缺陷识别的稳定性和泛化能力,是变电设备缺陷识别过程中需要解决的问题。

技术实现思路

1、为解决现有技术存在的问题,本发明提出一种基于两阶段多模型融合投票的变电设备缺陷识别方法及系统。

2、本发明的技术方案如下:

3、一种基于两阶段多模型融合投票的变电设备缺陷识别方法,包括以下步骤:

4、获取变电设备图像数据集,对所述变电设备图像中的设备缺陷进行目标检测标注,并从所述变电设备图像数据集中划分得到训练集和验证集;

5、构建多组两阶段模型组合,每组两阶段模型组合均包括第一阶段目标检测器和第二阶段分类器,所述第一阶段目标检测器用于从输入图像中定位候选缺陷区域,所述第二阶段分类器用于对所述候选缺陷区域进行缺陷判别,所述多组两阶段模型组合中,至少两组两阶段模型组合的第一阶段目标检测器和第二阶段分类器中的至少一者采用不同的模型架构;

6、利用所述训练集分别训练各组两阶段模型组合,使所述第一阶段目标检测器输出候选缺陷区域,并由所述第二阶段分类器对所述候选缺陷区域进行二次缺陷判别;

7、利用所述验证集分别评估各组两阶段模型组合的识别性能,根据各组两阶段模型组合对应的评估指标确定对应的加权投票权重;

8、将待检测图像分别输入各组两阶段模型组合,获得各组两阶段模型组合输出的缺陷判别结果,根据各组两阶段模型组合对应的加权投票权重对所述缺陷判别结果进行加权投票融合,得到加权投票得分,并根据所述加权投票得分确定最终缺陷识别结果。

9、进一步地,所述多组两阶段模型组合包括模型组合a、模型组合b和模型组合c,所述模型组合a的第一阶段目标检测器采用yolo目标检测器、第二阶段分类器采用yolo分类器,所述模型组合b的第一阶段目标检测器采用rf-detr目标检测器、第二阶段分类器采用yolo分类器,所述模型组合c的第一阶段目标检测器采用rf-detr目标检测器、第二阶段分类器采用dino分类器。

10、进一步地,在训练所述第二阶段分类器时,将所述第一阶段目标检测器输出的候选缺陷区域对应的图像裁剪后作为所述第二阶段分类器的输入,并以所述候选缺陷区域是否为真实缺陷作为分类标签训练所述第二阶段分类器,使所述第二阶段分类器输出所述候选缺陷区域属于缺陷或正常的概率值,并在所述候选缺陷区域属于缺陷的概率值达到或超过分类阈值时,将所述候选缺陷区域判定为缺陷。

11、进一步地,所述评估指标包括精确率、召回率、f1-score和误报率中的至少一种;当以f1-score作为权重基准时,第组两阶段模型组合的加权投票权重按照下式确定:;其中,表示第组两阶段模型组合在所述验证集上的f1-score,表示两阶段模型组合的总数,表示第组两阶段模型组合的加权投票权重。

12、进一步地,当以降低误报率作为权重确定依据时,第组两阶段模型组合的加权投票权重按照下式确定:;其中,和表示第组和第组两阶段模型组合在验证集上的误报率,表示两阶段模型组合的总数,表示第组两阶段模型组合的加权投票权重;表示大于0的误差平滑系数。

13、进一步地,在根据所述评估指标确定各组两阶段模型组合的加权投票权重后,通过网格搜索或贝叶斯优化方法在所述验证集上对各组两阶段模型组合的加权投票权重进行优化,以最大化整体识别f1-score或最小化误报率作为优化目标。

14、进一步地,对于参与融合判定的候选缺陷区域,第组两阶段模型组合输出缺陷判别结果,当所述候选缺陷区域被判定为缺陷时,当所述候选缺陷区域被判定为正常时,并按照下式获得所述候选缺陷区域的加权投票得分:;其中,表示候选缺陷区域的加权投票得分,表示第组两阶段模型组合对应的加权投票权重,,表示两阶段模型组合的总数,各组两阶段模型组合对应的加权投票权重之和为1;当所述加权投票得分达到或超过预设决策阈值时,将所述候选缺陷区域确定为缺陷。

15、进一步地,所述预设决策阈值的取值范围为(0,1],并根据变电设备缺陷识别过程中对误报率和漏报率的要求调整所述预设决策阈值。

16、一种基于两阶段多模型融合投票的变电设备缺陷识别系统,包括:

17、图像采集模块,用于获取变电设备图像;

18、模型训练模块,用于构建并训练多组两阶段模型组合,每组两阶段模型组合均包括第一阶段目标检测器和第二阶段分类器,所述第一阶段目标检测器用于从输入图像中定位候选缺陷区域,所述第二阶段分类器用于对所述候选缺陷区域进行二次缺陷判别,所述多组两阶段模型组合中,至少两组两阶段模型组合的第一阶段目标检测器和第二阶段分类器中的至少一者采用不同的模型架构;

19、权重计算模块,用于利用验证集分别评估各组两阶段模型组合的识别性能,并根据各组两阶段模型组合对应的评估指标确定对应的加权投票权重;

20、融合推理模块,用于将待检测图像分别输入各组两阶段模型组合,获得各组两阶段模型组合输出的缺陷判别结果,根据各组两阶段模型组合对应的加权投票权重对所述缺陷判别结果进行加权投票融合,得到加权投票得分,并根据所述加权投票得分确定最终缺陷识别结果。

21、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述的基于两阶段多模型融合投票的变电设备缺陷识别方法。

22、相比于现有技术,本发明具有如下有益效果:

23、本发明通过在每组两阶段模型组合中设置第一阶段目标检测器和第二阶段分类器,利用第一阶段目标检测器定位候选缺陷区域,并利用第二阶段分类器对所述候选缺陷区域进行二次缺陷判别,使第一阶段目标检测器产生的候选缺陷区域在输出前得到进一步验证,从而能够筛除部分由目标检测过程产生的误检,降低变电设备缺陷识别过程中的误报。

24、本发明通过构建多组两阶段模型组合,并使不同两阶段模型组合采用不同架构的目标检测器和/或分类器,使不同模型架构对图像局部特征、全局特征以及不同类型缺陷的识别能力能够相互补充,从而减少单一模型架构对缺陷识别结果的限制,提高不同缺陷类型以及光照变化、遮挡和背景干扰等复杂场景下缺陷识别的稳定性和泛化能力。

25、本发明通过在验证集上分别评估各组两阶段模型组合的识别性能,并根据各组两阶段模型组合对应的评估指标确定加权投票权重,使识别性能不同的两阶段模型组合在融合判定过程中具有与其识别性能相对应的作用程度;进一步通过加权投票融合各组两阶段模型组合的缺陷判别结果,能够降低单一模型组合误判对最终识别结果的影响,提高多模型融合判定结果的可靠性。

26、本发明还可以根据f1-score或者误报率确定各组两阶段模型组合的加权投票权重,并通过网格搜索或贝叶斯优化方法对所述加权投票权重进行优化,使模型融合权重能够根据各组两阶段模型组合在验证集上的实际识别性能进行确定,而非采用固定的等权重融合方式,从而有利于在兼顾识别性能的同时降低误报,提高多模型融合策略与实际缺陷识别性能之间的适配程度。

27、本发明通过设置用于判断加权投票得分的预设决策阈值,并根据变电设备缺陷识别过程中对误报率和漏报率的要求调整所述预设决策阈值,使缺陷判定条件能够根据不同应用场景进行调整,从而在误报控制与缺陷检出之间进行适应性调节,提高所述缺陷识别方法对不同运维需求的适用性。