一种变电设备缺陷识别方法、系统及存储介质与流程

1.本发明涉及缺陷识别技术领域，尤其涉及一种变电设备缺陷识别方法、系统及存储介质。


背景技术：

2.随着电力技术的快速发展，变电设备的应用越来越广泛，由于变电设备的稳定性对于设备内部机器的正常运行起到至关重要的作用，因此，在变电设备发生缺陷时，需要及时通过对变电设备进行监测和巡检来尽早发现缺陷，并尽快将缺陷解决。目前，在对变电设备进行缺陷巡检时，常采用机器人巡检的方式对变电设备进行巡检，在采用机器人巡检时，受变电设备种类和场景的影响，容易发送设备周围背景和场景图像对变电设备的正确缺陷识别造成干扰的情况。可见，现有的变电设备缺陷识别方法存在识别精度较低的问题。


技术实现要素：

3.本发明提供了一种变电设备缺陷识别方法、系统及存储介质，以解决现有的变电设备缺陷识别方法存在识别精度较低的问题。
4.为了实现上述目的，本发明通过如下的技术方案来实现：
5.第一方面，本发明提供一种变电设备缺陷识别方法，包括：
6.获取待识别图像，并提取所述待识别图像中的特征信息生成特征图像；
7.获取含有设备缺陷的原始图像进行数据标注，得到含有设备缺陷的对比图像，并基于对比图像构建区域生成网络模型；
8.通过所述区域生成网络模型将所述特征图像划分为目标候选区和背景候选区；
9.对所述目标候选区进行特征提高得到目标候选图，并对所述背景候选区进行特征降低得到背景候选图；
10.通过目标候选图和背景候选图构建缺陷识别模型，并将待识别图像输入所述缺陷识别模型中得到一系列缺陷预选框，确定符合条件的缺陷预选框；
11.对符合条件的缺陷预选框进行缺陷值计算，当待识别图像中存在缺陷值大于预设阈值的缺陷预选框时，判定待识别图像存在缺陷，当待识别图像中不存在缺陷值小于预设阈值的缺陷预选框时，判定待识别图像不存在缺陷。
12.可选的，所述基于对比图像构建区域生成网络模型包括：
13.将所述对比图像输入区域生成网络中构建区域生成网络模型。
14.可选的，所述通过所述区域生成网络模型将所述特征图像划分为目标候选区和背景候选区，包括：
15.通过所述区域生成网络模型对所述特征图像进行划分，得到预选候选区；
16.将所述预选候选区与对比图像重叠，得到重叠面积，并将所述预选候选区的面积与对比图像的面积进行相加，得到判定面积；
17.将所述重叠面积与所述判定面积相比，得到判定比值，并将所述判定比值与预设
判定阈值进行比较；
18.当所述判定比值的大小大于或等于预设判定阈值的大小，则所述预选候选区为标定目标候选区；
19.当所述判定比值的大小小于预设判定阈值的大小，则所述预选候选区为背景候选区。
20.可选的，所述通过所述区域生成网络模型将所述特征图像划分为目标候选区和背景候选区，还包括：
21.根据所述原始图像建立坐标系，并得到对比图像的位置坐标；
22.根据所述待识别图像建立坐标系，并得到所有标定目标候选区的位置坐标；
23.将所有标定目标候选区的位置坐标与对比图像的位置坐标进行差值计算，得到所有标定目标候选区的标定差值；
24.将所有标定差值进行比较得到数据最小的标定差值，并将数据最小的标定差值对应的标定目标候选区作为目标候选区，其余标定目标候选区作为背景候选区。
25.可选的，所述对所述目标候选区进行特征提高得到目标候选图，包括：
26.获取所述目标候选区中的每个通道，并分别对每个通道进行计算得到每个通道的最大元素值，计算方法如下所示：
27.x
max_pooling
＝max x
i,j
(i∈w,j∈h)；
28.其中w表示目标候选区的宽度，h表示目标候选区的长度，x
i,j
表示目标候选区中每个通道坐标(i,j)的元素值，x
max_pooling
表示目标候选区中获取的最大元素值；
29.将计算得到的全部最大元素值进行均值处理，得到所有通道最大元素值的均值，均值处理方法如下所示：
[0030][0031]
其中c表示目标候选区的通道数，x
max_pooling,i
表示目标候选区在通道i上得到的最大元素值，表示目标候选区所有通道最大元素值的均值结果；
[0032]
根据所有通道最大元素值的均值生成目标候选图。
[0033]
可选的，所述对所述背景候选区进行特征降低得到背景候选图，包括：
[0034]
获取所述背景候选区中的每个通道，并分别对每个通道进行计算得到每个通道的平均元素值，计算方法如下所示：
[0035][0036]
其中w表示背景候选区的宽度，h表示背景候选区的长度，x
i,j
表示背景候选区中每个通道坐标(i,j)的元素值，x
avg_pooling
表示背景候选区中获取的平均元素值；
[0037]
将计算得到的全部平均元素值进行均值处理，得到所有通道平均元素值的均值，均值处理方式如下所示；
[0038][0039]
其中c表示背景候选区的通道数，x
avg_pooling,i
表示背景候选区在通道i上得到的平均元素值，表示背景候选区所有通道平均元素值的均值结果；
[0040]
根据所有通道平均元素值的均值生成背景候选图。
[0041]
可选的，所述方法还包括：
[0042]
剔除所述背景候选图，并保留所述目标候选图作为与所述对比图像进行对比的目标。
[0043]
可选的，所述确定符合条件的缺陷预选框，包括：
[0044]
将缺陷预选框分别与目标候选图和背景候选图进行对比；
[0045]
当缺陷预选框与目标候选图的相似度大于缺陷预选框与背景候选图的相似度时，判断该缺陷预选框为符合条件的缺陷预选框；
[0046]
当缺陷预选框与目标候选图的相似度小于缺陷预选框与背景候选图的相似度时，判断该缺陷预选框不为符合条件的缺陷预选框。
[0047]
第二方面，本技术实施例提供一种变电设备缺陷识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一所述方法的步骤。
[0048]
第三方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法步骤。
[0049]
有益效果：
[0050]
本发明提供的变电设备缺陷识别方法，通过区域生成网络模型对待识别图像进行划分，得到目标候选区和背景候选区，并分别对目标候选区和背景候选区进行特征提高和特征降低，得到目标候选图和背景候选图，便可利用目标候选图和背景候选图构建缺陷识别模型，通过缺陷识别模型来判断待识别图像是否包含有设备缺陷，通过特征提高的目标候选图和特征降低的背景候选图来构建和训练缺陷识别模型能够使训练好的缺陷识别模型专注于目标候选图中的重点信息，并同时忽略背景候选图中的非重点信息，排除了非重点信息对缺陷识别的干扰，使得设备缺陷识别更加准确。
附图说明
[0051]
图1为本发明优选实施例的变电设备缺陷识别方法流程图之一；
[0052]
图2为本发明优选实施例的变电站设备缺陷识别方法流程图之二。
具体实施方式
[0053]
下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
[0055]
请参见图1-2，本技术实施例提供一种变电设备缺陷识别方法，包括：
[0056]
获取待识别图像，并提取所述待识别图像中的特征信息生成特征图像；
[0057]
获取含有设备缺陷的原始图像进行数据标注，得到含有设备缺陷的对比图像，并基于对比图像构建区域生成网络模型；
[0058]
通过所述区域生成网络模型将所述特征图像划分为目标候选区和背景候选区；
[0059]
对所述目标候选区进行特征提高得到目标候选图，并对所述背景候选区进行特征降低得到背景候选图；
[0060]
通过目标候选图和背景候选图构建缺陷识别模型，并将待识别图像输入所述缺陷识别模型中得到一系列缺陷预选框，确定符合条件的缺陷预选框；
[0061]
对符合条件的缺陷预选框进行缺陷值计算，当待识别图像中存在缺陷值大于预设阈值的缺陷预选框时，判定待识别图像存在缺陷，当待识别图像中不存在缺陷值小于预设阈值的缺陷预选框时，判定待识别图像不存在缺陷。
[0062]
在上述实施例中，通过区域生成网络模型对待识别图像进行划分，得到目标候选区和背景候选区，并分别对目标候选区和背景候选区进行特征提高和特征降低，得到目标候选图和背景候选图，便可利用目标候选图和背景候选图构建缺陷识别模型，通过缺陷识别模型来判断待识别图像是否包含有设备缺陷，通过特征提高的目标候选图和特征降低的背景候选图来构建和训练缺陷识别模型能够使训练好的缺陷识别模型专注于目标候选图中的重点信息，并同时忽略背景候选图中的非重点信息，排除了非重点信息对缺陷识别的干扰，使得设备缺陷识别更加准确。
[0063]
缺陷识别模型的判断流程如下所示：
[0064]
1)输入wxhxc的新待识别图像，经过conv layers卷积层，提取图像特征：
[0065]
feature(x)＝kernelk·
x
(i,j,c)
(k∈k,i∈w,j∈h,c∈c)
[0066]
其中，w表示输入图像的宽，h表示输入图像的高，c表示输入图像的通道数，kernel表示卷积核，k表示卷积核的个数，feature(x)表示提取的图像特征。
[0067]
2)把提取的图像特征输入已经训练好的缺陷识别模型，得到一系列预选框：
[0068]
bbox＝rpn(feature(x)i)(i∈k)
[0069]
其中，feature(x)i表示提取出的第i个特征图，k表示特征图总数，bbox表示提取的一系列预选框。
[0070]
3)对提取的一系列预选框进行分类和计算，得到检测结果：
[0071]
labeli＝classifier(bboxi)(i∈n)
[0072]
boxi＝bboxpredict(bboxi)(i∈n)
[0073]
其中，classifier表示训练完成的分类分支，bboxpredict表示已经训练完成的目标框分支，bboxi表示预选框，n表示预选框总数，labeli表示第i个预选框的类别得分，boxi表示第i个预选框的坐标位置。
[0074]
根据给定的类别得分阈值，判定当前一系列预选框的类别得分是否满足阈值，如果大于或等于当前给定阈值，则判定该预选框存在缺陷，如果小于当前给定阈值，则判定该预选框不存在缺陷。
[0075]
可选的，所述基于对比图像构建区域生成网络模型包括：
[0076]
将所述对比图像输入区域生成网络中构建区域生成网络模型。
[0077]
在上述实施例中，通过原始图像中含有设备缺陷的对比图像对区域生成网络模型
进行训练，使得在利用区域生成网络模型对待识别图像进行图像划分时，能够较为准确的识别待识别图像中含有设备信息的重点区域。
[0078]
可选的，所述通过所述区域生成网络模型将所述特征图像划分为目标候选区和背景候选区，包括：
[0079]
通过所述区域生成网络模型对所述特征图像进行划分，得到预选候选区；
[0080]
将所述预选候选区与对比图像重叠，得到重叠面积，并将所述预选候选区的面积与对比图像的面积进行相加，得到判定面积；
[0081]
将所述重叠面积与所述判定面积相比，得到判定比值，并将所述判定比值与预设判定阈值进行比较；
[0082]
当所述判定比值的大小大于或等于预设判定阈值的大小，则所述预选候选区为标定目标候选区；
[0083]
当所述判定比值的大小小于预设判定阈值的大小，则所述预选候选区为背景候选区。
[0084]
在上述实施例中，在对图像进行划分时，会依据划分规则得到许多已经划分好的区域，并将划分好的区域作为预选候选区进行筛选，通过将划分后的预选候选区与对比图像进行图像重叠得到重叠面积，将预选候选区的面积与对比图像的面积相加得到判定面积，并将重叠面积与判定面积相比，得到判定比值，便可根据数据标注时所标注的对比图像大小确定预设判定阈值，当判定比值小于预设判定阈值的预选候选区便可作为背景候选区筛选出去，当判定比值大于或等于预设判定阈值的预选候选区便可作为标定目标候选区进行下一步目标候选区的判定。
[0085]
通过上述初步筛选，能够减少计算次数，更直观准确的得到目标候选区。
[0086]
可选的，所述通过所述区域生成网络模型将所述特征图像划分为目标候选区和背景候选区，还包括：
[0087]
根据所述原始图像建立坐标系，并得到对比图像的位置坐标；
[0088]
根据所述待识别图像建立坐标系，并得到所有标定目标候选区的位置坐标；
[0089]
将所有标定目标候选区的位置坐标与对比图像的位置坐标进行差值计算，得到所有标定目标候选区的标定差值；
[0090]
将所有标定差值进行比较得到数据最小的标定差值，并将数据最小的标定差值对应的标定目标候选区作为目标候选区，其余标定目标候选区作为背景候选区。
[0091]
在上述实施例中，通过建立坐标系的方式，将经过初步筛选后得到的标定目标候选区进行坐标转换，得到标定目标候选区的坐标值，并将标定目标候选区的坐标值与对比图像的坐标值进行差值计算得到标定差值，标定差值越小，说明标定目标候选区越接近对比图像，因此，将标定差值进行对比后得到最小的标定差值，便可说明最小标定差值对应的标定目标候选区为符合条件的目标候选区，排出了该符合条件的标定目标候选区的其余标定目标候选区便可作为背景候选区。
[0092]
根据原始图像建立坐标系的方法与根据待识别图像建立坐标系的方法相同，均为将图像的左侧边设为第一边，图像的底边设为第二边，并以第一边和第二边的交点作为坐标轴的原点，即，坐标轴的原点为第一边的底点以及第二边的左侧第一个点，将第一边作为坐标轴的纵向轴，即，y轴，将第二边作为坐标轴的横向轴，即，x轴，便构成一个以第一边为y
轴、第二边为x轴、第一边和第二边交点为原点的坐标系。
[0093]
可选的，所述对所述目标候选区进行特征提高得到目标候选图，包括：
[0094]
获取所述目标候选区中的每个通道，并分别对每个通道进行计算得到每个通道的最大元素值，计算方法如下所示：
[0095]
x
max_pooling
＝max x
i,j
(i∈w,j∈h)；
[0096]
其中w表示目标候选区的宽度，h表示目标候选区的长度，x
i,j
表示目标候选区中每个通道坐标(i,j)的元素值，x
max_pooling
表示目标候选区中获取的最大元素值；
[0097]
将计算得到的全部最大元素值进行均值处理，得到所有通道最大元素值的均值，均值处理方法如下所示：
[0098][0099]
其中c表示目标候选区的通道数，x
max_pooling,i
表示目标候选区在通道i上得到的最大元素值，表示目标候选区所有通道最大元素值的均值结果；
[0100]
根据所有通道最大元素值的均值生成目标候选图。
[0101]
在上述实施例中，为了得到特征提高后的图像，通过通道最大元素值计算和通道最大元素值均值计算后，还需要将通道最大元素值均值通过函数归一化处理，得到函数归一化数据，函数归一化处理如下所示：
[0102][0103]
其中表示目标候选区所有通道最大元素值的均值结果，sigmoid
max_pooling
(x)表示得到的通道最大元素值均值的归一化结果。
[0104]
并将归一化数据与目标候选框相乘，便可得到目标候选图，归一化数据与目标候选框相乘如下所示：
[0105][0106]
其中w表示目标候选区的宽度，h表示目标候选区的长度，c表示目标候选区的通道数，x
i,j,c
表示目标候选区中通道坐标(i,j,c)的元素值，表示目标候选区中归一化数据与目标候选区域内元素值相乘的结果值。
[0107]
可选的，所述对所述背景候选区进行特征降低得到背景候选图，包括：
[0108]
获取所述背景候选区中的每个通道，并分别对每个通道进行计算得到每个通道的平均元素值，计算方法如下所示：
[0109][0110]
其中w表示背景候选区的宽度，h表示背景候选区的长度，x
i,j
表示背景候选区中每个通道坐标(i,j)的元素值，x
avg_pooling
表示背景候选区中获取的平均元素值；
[0111]
将计算得到的全部平均元素值进行均值处理，得到所有通道平均元素值的均值，均值处理方式如下所示；
[0112][0113]
其中c表示背景候选区的通道数，x
avg_pooling,i
表示背景候选区在通道i上得到的平
均元素值，表示背景候选区所有通道平均元素值的均值结果；
[0114]
根据所有通道平均元素值的均值生成背景候选图。
[0115]
在上述实施例中，为了得到特征降低后的图像，通过通道平均元素值计算和通道平均元素值均值计算后，还需要将通道平均元素值均值通过函数归一化处理，得到函数归一化数据，函数归一化处理如下所示：
[0116][0117]
其中表示背景候选区所有通道平均元素值的均值结果，sigmoid
avg_pooling
(x)表示得到的通道平均元素值均值的归一化结果；
[0118]
并将归一化数据与背景候选框相乘，便可得到背景候选图，归一化数据与背景候选框相乘如下所示：
[0119][0120]
其中w表示背景候选区的宽度，h表示背景候选区的长度，c表示背景候选区的通道数，x
i,j,c
表示背景候选区中通道坐标(i,j,c)的元素值，表示背景候选区中归一化数据与背景候选区域内元素值相乘的结果值。
[0121]
可选的，所述方法还包括：
[0122]
剔除所述背景候选图，并保留所述目标候选图作为与所述对比图像进行对比的目标。
[0123]
在上述实施例中，通过剔除不包含重点信息的背景候选图，能够使识别方法的注意力集中在包含重点信息的目标候选图中，从而排除背景候选图对缺陷识别的影响，提高设备缺陷识别的准确性。
[0124]
可选的，所述确定符合条件的缺陷预选框，包括：
[0125]
将缺陷预选框分别与目标候选图和背景候选图进行对比；
[0126]
当缺陷预选框与目标候选图的相似度大于缺陷预选框与背景候选图的相似度时，判断该缺陷预选框为符合条件的缺陷预选框；
[0127]
当缺陷预选框与目标候选图的相似度小于缺陷预选框与背景候选图的相似度时，判断该缺陷预选框不为符合条件的缺陷预选框。
[0128]
在上述实施例中，通过将待识别图像分割成缺陷预选框来缩小需要进行判断的图像的大小，同时，利用缺陷预选框与目标候选图和背景候选图进行对比，将与背景候选图特征相近的缺陷预选框筛除，从而减少需要进行判断的数据图像数量，以提高计算判断的效率和准确度。
[0129]
本技术实施例还提供一种变电设备缺陷识别系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一所述方法的步骤。
[0130]
上述的变电设备缺陷识别系统，可以实现上述的变电设备缺陷识别方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
[0131]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法步骤。
[0132]
可以实现上述的变电设备缺陷识别方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
[0133]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。