一种基于红外图像的配电设备缺陷识别方法与流程

1.本发明涉及配电设备的技术领域，尤其涉及一种基于红外图像的配电设备缺陷识别方法。


背景技术：

2.随着国家经济发展，居民和企业用电需求快速增长，部分地区电力供应出现紧张，给电力系统带来了新的挑战。作为电网重要组成部分，变电站高压电气设备的正常运行与供电可靠性息息相关，因此，实时监测、定期巡检、及时排除故障以保证电力设备安全稳定运行变得即为关键，目前，不少变电站安装了远程监控系统，以实现监控现场设备、控制摄像机运动及录像等功能。除此以外，无人机、巡检机器人等自动巡检设备也被广泛投入使用，然而，在上述过程中获取的大量图片很难通过人工查看的方式满足实时性要求，且人为因素会极大影响监测效果，当肉眼无法快速识别设备异常时，往往会出现误报、漏报等情况，因此，如何实现变电站设备缺陷检测自动化成为了当前的研究重点。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述现有存在的问题，提出了本发明。
5.因此，本发明解决的技术问题是：现有技术中，获取的大量图片很难通过人工查看的方式满足实时性要求，且人为因素会极大影响监测效果，当肉眼无法快速识别设备异常时，往往会出现误报、漏报等情况。
6.为解决上述技术问题，本发明提供如下技术方案：实时采集配电设备的红外图像，预处理所述红外图像；利用深度神经网络对预处理后的红外图像进行特征提取，根据提取的特征得到所述配电设备的种类及位置；利用最大灰度梯度获得疑似缺陷设备；根据配电设备的种类和位置选取同类正常设备，计算所述疑似缺陷设备与所述同类正常设备之间的时空相似度，判断所述配电设备是否存在缺陷。
7.作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：所述深度神经网络包括基础网络、区域候选网络、分类分支以及掩膜分支。
8.作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：利用所述最大灰度梯度获得疑似缺陷设备包括，单通道红外图像和灰度图像的转化方程如下：
[0009][0010]
其中，g(m,n),q(m,n)分别表示像素点位置(m,n)处的灰度值和红外图像像素值，q
max
表示整幅红外图像中的最大像素值；
[0011]
根据灰度计算出图像的灰度梯度值：
[0012]
m(m,n)＝|gx(m,n)| |gy(m,n)|
[0013]
gx(m,n)＝g(m 1,n)-g(m,n)
[0014]
gy(m,n)＝g(m,n 1)-g(m,n)
[0015]
其中，m(m,n),gx(m,n),gy(m,n)分别表示像素点位置(m,n)处的整体、x方向、y方向的灰度梯度值；
[0016]
根据整幅图中最大m(m,n)是否超过阈值可以判断是否存在可能的缺陷点。
[0017]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：当所采集的图像为多张红外图像时，获取所述疑似缺陷设备过程包括，定义拍摄n张图片i1,i2,
…
,in，根据拍摄时间以及环境温度对n张图片进行分类，分为c1,c2,
…
,c
p
；利用图像分割算法获得初步分割结果，计算每张照片中疑似缺陷区域和正常区域的相似度，判断是否存在缺陷，其中正常区域包含同一照片中的周围区域以及同类照片中的相同区域，即：
[0018][0019]
其中，s
l
表示第l张图片中疑似缺陷区域与正常区域的相似度，包含两部分，权重系数γ用于平衡两种相似度，s表示两个区域间的相似度计算公式，表示第l张图片中疑似缺陷区域，表示第l张图片中的其余区域，表示第l张图片中疑似缺陷区域的周围区域集合，表示该集合的大小，表示第j张图片中的同一区域，c
p\l
表示第l张图片所属类别中正常设备图片集合，|c
p\l
|表示该集合的大小。
[0020]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：所述和的确定方式包括，对于第l张图片，存在疑似缺陷区域，所述区域属于某个设备，所述设备所在像素位置由目标辨识网络给出，则为所述设备内部的其余所有区域；对于与第l张图片同属类别的第j张图片，利用目标辨识网络找到同一设备，然后在设备内部寻找与相似度最高的区域，即为
[0021]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：所述时空相似度计算过程包括，颜色相似度的计算：采用直方图统计向量计算，设区域通道数为c，每个通道直方图组数则颜色相似度sc计算公式可表示为：
[0022][0023]
其中，ri和rj分别表示区域i和j，为区域i的颜色特征向量，为颜色特征向量维度。
[0024]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：还包括，纹理相似度的计算：对单个像素点沿其相邻像素点连线方向求梯度，并利用组直方图进行统计，则纹理相似度s
t
计算公式可表示为：
[0025][0026]
其中，为区域i的纹理特征向量，为纹理特征向量维度。
[0027]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：还包括，大小相似度的计算公式：
[0028][0029]
其中，size(im)表示整幅图片的像素数。
[0030]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：还包括，形状相似度的计算：
[0031][0032]
作为本发明所述的基于红外图像的配电设备缺陷识别方法的一种优选方案，其中：所述相似度计算包括，
[0033]
s(ri,rj)＝α1sc α2s
t
α3ss α4sf[0034]
其中，α＝(α1,α2,α3,α4)为权重向量。
[0035]
本发明的有益效果：本发明相比于同类模型，同时考虑了时间、空间上的多因素相似度，大大提高了识别准确率和可靠性。
附图说明
[0036]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0037]
图1为本发明一个实施例提供的一种基于红外图像的配电设备缺陷识别方法的设备缺陷辨识模型示意图；
[0038]
图2为本发明一个实施例提供的一种基于红外图像的配电设备缺陷识别方法的变电站设备红外图像数据集示意图。
具体实施方式
[0039]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0040]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0041]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方
式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0042]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0043]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0044]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0045]
实施例1
[0046]
参照图1，为本发明的一个实施例，提供了一种基于红外图像的配电设备缺陷识别方法，包括：
[0047]
s1：实时采集配电设备的红外图像，预处理红外图像。
[0048]
需要说明的是，预处理红外图像为对图像进行灰度化处理。
[0049]
s2：利用深度神经网络对预处理后的红外图像进行特征提取，根据提取的特征得到配电设备的种类及位置。
[0050]
需要说明的是，深度神经网络包括基础网络、区域候选网络、分类分支以及掩膜分支。
[0051]
具体的，基础网络用于从原始图像中提取特征，往往采用resnet网络。为了减少这部分网络对数据的依赖性，通常在大型数据集上进行预训练，对于预训练好的网络模型，固定前几层网络权重，在目标数据集上对最后几层网络进行训练即可。区域候选网络用于生成一系列候选区域并提取区域特征，该网络基于基础网络提取出的特征预测候选区域，池化层根据候选区域位置提取相应特征，作为后续对目标物体分类和精细定位的基础。
[0052]
之后利用分类分支和掩模分支对目标物体进行分类、精细定位以及像素点位置确定，两个分支独立运行，对不同目标物体进行并行处理。其中分类分支根据目标区域特征判断目标类别，并进一步调整边界框；掩膜分支则根据目标区域特征判断物体所在像素点位置，即掩膜。
[0053]
s3：利用最大灰度梯度获得疑似缺陷设备。
[0054]
需要说明的是，对于红外图像，灰度与设备温度相对应，如果某一部件出现缺陷，该区域温度异常，与周围区域存在较大温差，即灰度梯度急剧增大，因此通过计算设备所在像素点区域的灰度梯度，可以寻找出可能的温度异常区域。
[0055]
具体的，单通道红外图像和灰度图像的转化方程如下：
[0056]
[0057]
其中，g(m,n),q(m,n)分别表示像素点位置(m,n)处的灰度值和红外图像像素值，q
max
表示整幅红外图像中的最大像素值；
[0058]
根据灰度计算出图像的灰度梯度值：
[0059]
m(m,n)＝|gx(m,n)| |gy(m,n)|
[0060]
gx(m,n)＝g(m 1,n)-g(m,n)
[0061]
gy(m,n)＝g(m,n 1)-g(m,n)
[0062]
其中，m(m,n),gx(m,n),gy(m,n)分别表示像素点位置(m,n)处的整体、x方向、y方向的灰度梯度值；
[0063]
根据整幅图中最大m(m,n)是否超过阈值可以判断是否存在可能的缺陷点。
[0064]
进一步的，对于同一巡检设备往往在一段时间内会多次巡检，假设共计拍摄n张图片，对于每张图片计算灰度梯度，发现其中l张图片可能存在缺陷，下面介绍如何利用n张图片判断l张图片中设备是否存在缺陷。
[0065]
其中，设备的发热情况和工况、环境温度均存在相关性，工况往往和运行时刻有关，因此，首先根据拍摄时间以及环境温度对n张图片进行分类，分类标准为同类别图片中设备整体温度相近，不同类别图片中设备整体温度相差较大，设备整体温度可根据目标辨识结果确定设备所在像素点位置，从而计算平均温度获得。
[0066]
如图1所示为设备缺陷辨识模型示意图，假设对于已拍摄的n张图片i1,i2,
…
,in，利用上述标准划分为p类c1,c2,
…
,c
p
，对于l张可能存在缺陷的图片，首先利用基于图的图像分割算法获得初步分割结果，再计算每张照片中疑似缺陷区域和正常区域的相似度，判断是否存在缺陷，其中正常区域包含同一照片中的周围区域以及同类照片中的相同区域，即：
[0067][0068]
其中，s
l
表示第l张图片中疑似缺陷区域与正常区域的相似度，包含两部分，权重系数γ用于平衡两种相似度，s表示两个区域间的相似度计算公式，表示第l张图片中疑似缺陷区域，表示第l张图片中的其余区域，表示第l张图片中疑似缺陷区域的周围区域集合，表示该集合的大小，表示第j张图片中的同一区域，c
p\l
表示第l张图片所属类别中正常设备图片集合，|c
p\l
|表示该集合的大小。
[0069]
更进一步的，和的确定方式包括：
[0070]
对于第l张图片，存在疑似缺陷区域，区域属于某个设备，设备所在像素位置由目标辨识网络给出，则为设备内部的其余所有区域；
[0071]
对于与第l张图片同属类别的第j张图片，利用目标辨识网络找到同一设备，然后在设备内部寻找与相似度最高的区域，即为
[0072]
s4：根据配电设备的种类和位置选取同类正常设备，计算疑似缺陷设备与同类正常设备之间的时空相似度，判断配电设备是否存在缺陷。
[0073]
需要说明的是，时空相似度计算过程包括：
[0074]
(1)颜色相似度的计算：采用直方图统计向量计算，设区域通道数为c，每个通道直
方图组数则颜色相似度sc计算公式可表示为：
[0075][0076]
其中，ri和rj分别表示区域i和j，为区域i的颜色特征向量，为颜色特征向量维度。
[0077]
(2)纹理相似度的计算：对单个像素点沿其相邻像素点连线方向求梯度，并利用组直方图进行统计，则纹理相似度s
t
计算公式可表示为：
[0078][0079]
其中，为区域i的纹理特征向量，为纹理特征向量维度。
[0080]
(3)大小相似度的计算公式：
[0081][0082]
其中，size(im)表示整幅图片的像素数。
[0083]
(4)形状相似度的计算：
[0084][0085]
最终，相似度计算表示为：
[0086]
s(ri,rj)＝α1sc α2s
t
α3ss α4sf[0087]
其中，α＝(α1,α2,α3,α4)为权重向量。
[0088]
实施例2
[0089]
参照图2为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种基于红外图像的配电设备缺陷识别方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
[0090]
本实施例采用的数据集包含384张现场拍摄的变电站设备红外图像，其中76张包含设备缺陷，电力设备种类包含变压器、开关设备、套管、互感器、避雷器，数据集中的典型场景如图2所示，采用本方法模型和另外两种单阶段目标辨识模型——yolo网络和ssd网络进行对比测试，其对比结果如下表所示。
[0091]
表1：不同目标辨识模型对应平均准确率。
[0092]
模型mapap
50
ap
75
mask rcnn0.8220.8510.814yolo0.7580.8050.748ssd0.7700.8270.761
[0093]
表2：不同缺陷识别模型对应准确率。
[0094]
模型正常设备缺陷设备综合
stsc0.9520.9120.924watershed0.8640.7840.808dbscan0.9010.8300.851
[0095]
从表1可以看出，本发明方法的准确率明显高于其余两种网络，表2给出了不同缺陷识别模型对应的平均准确率，可以看到，基于时空相似度计算的缺陷辨识方法对应的准确率明显高于其余两种方法，因此，本发明具有更好的鲁棒性。
[0096]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。