基于无监督学习的配电房设备异常监测方法与系统与流程

1.本发明涉及图像处理与模式识别技术领域，尤其涉及基于无监督学习的配电房设备异常监测方法与系统。


背景技术：

2.随着电网智能化的不断深入，人工智能技术的不断发展，越来越多的配电房都配备了视频监控系统及各种报警系统。配电房各种电力设备种类众多，如各种开关柜、控制柜、变压器等，对配电房设备进行智能监控，从监测图像中快速准确地检测到设备异常及非法闯入，以便于预警故障隐患，对电力系统安全运维有着重要的实际应用价值。
3.专利申请号为202110476129.x，名为《一种多图像融合的变电站设备异常识别定位方法》的中国专利，首先，利用巡检机器人采集不同角度的变电站设备的红外图像、可见光图像、纹影图像和x光线图像；其次，对红外图像、可见光图像、纹影图像和x光线图像进行二值化处理，获取变电站设备的故障特征向量；最后使用卷积神经网络对故障特征向量进行训练，得到变电站设备的故障识别模型，将不同采集设备的识别结果输入故障判别函数，获得最终的判别结果。该专利通过获取变电站设备正常状态与异常状态下的图像特征，并使用有监督学习方法获取设备异常模型，但在实际场景中，设备的异常情况无法一一穷举，只能获取有限的异常图像，使得模型无法识别未参与训练的异常情况，模型的鲁棒性不够。
4.专利申请号为201910770280.7，名为《一种变电站环境异常检测系统、方法及装置》的中国专利，采用基于生成式对抗学习的无监督异常检测算法，对设备周围环境异常进行快速检测，首先，利用深度卷积对抗生成网络dcgan对正常的变电站环境进行训练，生成该场景下的模型；其次，通过生成的模型处理视频的每一帧图像，从而生成每一帧图像的对比图和差异值，设定阈值以输出可能的异常图片。相比于传统异常目标检测算法具有更好的鲁棒性和适应性，但生成式对抗学习网络模型训练复杂且计算量较大，对于配电设备局部的、很小的异常图像模型很难捕获，导致设备异常检测失败。
5.专利申请号为202010324733.6，名为《一种牵引变电所户外绝缘子异常检测方法》的中国专利，首先，使用faster r-cnn检测模型构建绝缘子定位网络；其次，基于gan网络结构搭建绝缘子图像生成网络，通过训练使其获得对绝缘子图像重建能力；最后根据绝缘子图像生成网络的判别器输出绝缘子图片是否异常。该专利有效地解决判断牵引变电所户外绝缘子的工作状态是否正常的技术问题，但该专利只针对绝缘子这一特定场景，配电房配电设备众多，如果每一种设备异常判别均构建一个判别模型，将导致计算量大大增加，另外，设备的异常情况也无法一一穷举，通过图像生成网络的判别器进行设备异常判别的鲁棒性也不够。
6.通过上述分析发现，对配电房环境进行视频异常监测，特别是各种配电设备的运行状态情况，避免电力系统崩溃，现有技术还存在：
7.(1)由于设备异常情况无法穷举，现有的基于有监督学习的方法鲁棒性不够，未参与模型训练的设备异常情况很可能无法识别；
8.(2)现有的技术方案通常是针对某一种特定的设备场景，配电房设备众多，对每一个配电设备均设计一套异常监测解决方案不太现实；
9.(3)现有的基于对抗学习的无监督异常检测模型计算量较大，在端侧部署有较大困难。


技术实现要素：

10.本发明针对现有技术的不足，提供了基于无监督学习的配电房设备异常监测方法与系统。
11.本发明通过以下技术手段实现解决上述技术问题的：基于无监督学习的配电房设备异常监测系统，包括：
12.样本收集模块：收集不同roi区域内正常设备的不同时刻图像样本；
13.深度特征提取模块：对所述图像样本，使用训练模型训练的卷积神经网络结构提取深度特征向量，对不同所述roi区域图像的深度特征向量进行裁剪；
14.混合高斯建模模块：根据裁剪后roi区域图像的深度特征向量对每个像素位置的深度特征向量使用k个高斯分布进行混合高斯建模，获取深度特征的统计特性；使用深度特征域对相应的设备进行混合高斯建模；
15.图像异常判别模块：根据不同roi区域的深度特征向量，选用与其对应设备的混合高斯模型，并相应的计算后验概率矩阵，输出异常热力图，根据预设的像素异常判别阈值ε
p
，计算异常像素总数，并计算异常像素百分比r，根据预设的图像异常判别阈值εr，判别当前roi区域图像是否异常。
16.进一步的，所述训练模型为轻量级预训练模型，所述轻量级预训练模型为mobilenetv2、resnet18或xception。
17.进一步的，所述深度特征向量包括提取卷积神经网络中间三层不同感受野尺寸的深度特征，并对三层输出特征进行级联，所述深度特征表示；记正常设备图像样本ii输出通道特征表示为γ
i,j
是一个三维的张量，c
*
、h
*
、w
*
分别表示输出通道特征的深度、高度及宽度，三层不同感受野的输出可表示为：
[0018][0019]
对三通道特征按深度维度进行级联，记样本ii的级联特征：
[0020]
γi＝f(γ
i,1
,γ
i,2
,γ
i,3
)
[0021]
级联操作算子f首先对γ
i,2
,γ
i,3
分别进行上采样，使得γ
i,2
,γ
i,3
的空间维度与γ
i,1
保持一致；其次对上采样后的γ
i,2
,γ
i,3
及γ
i,1
按照深度维度进行合并，得到维度为(c1 c2 c3)
×
h1×
w1的深度特征；并对深度特征进行上采样。
[0022]
进一步的，所述深度特征向量记为x1,x2,
…
,xn，每个特征向量的维度d为(c1 c2 c3)，深度特征向量的混合高斯分布建模表示为
[0023]
[0024][0025]
其中m表示混合高斯的个数，πk表示不同混合高斯的权重系数，pk(x)是均值为αk，协方差矩阵为sk的d维高斯分布的概率密度函数；给定参数m及样本深度特征向量xi,i＝1,2,
…
,n，根据期望最大化算法可以计算出参数αk，sk与πk；
[0026]
所述像素位置(i,j)对应的混合高斯模型记为所述像素位置(i,j)对应的混合高斯模型记为则混合高斯参数矩阵即
[0027][0028]
进一步的，对每个所述像素位置的深度特征向量，计算其属于第k个分模型的后验概率，深度特征向量为y，则对应分模型的后验概率表示为
[0029][0030]
0≤p(y|k)≤1，取m个分模型中的最大值作为最终的后验概率，即
[0031][0032]
每个像素位置均对应一个后验概率值，空间分辨率为h
×
w的待测试图像的后验概率矩阵记为p，后验概率矩阵p即代表像素级的异常热力图，若某个像素位置对应的后验概率小于设定的像素异常判别阈值ε
p
，则判别当前像素为异常，异常像素百分比r记为
[0033][0034]
其中t表示异常的像素个数，若异常像素百分比超过图像异常判别阈值εr，则判别当前设备图像异常。
[0035]
基于无监督学习的配电房设备异常监测方法，包括如下步骤，
[0036]
s1、收集不同roi区域内正常设备的不同时刻图像样本；
[0037]
s2、对所述图像样本，使用训练模型训练的卷积神经网络结构提取深度特征向量，对不同所述roi区域图像的深度特征向量进行裁剪；
[0038]
s3、根据裁剪后roi区域图像的深度特征向量对每个像素位置的深度特征向量使用k个高斯分布进行混合高斯建模，获取深度特征的统计特性，使用深度特征域对相应的设备进行混合高斯建模；
[0039]
s4、根据不同roi区域的深度特征向量，选用与其对应设备的混合高斯模型，并相应的计算后验概率矩阵，输出异常热力图，根据预设的像素异常判别阈值ε
p
，计算异常像素总数，并计算异常像素百分比r，根据预设的图像异常判别阈值εr，判别当前roi区域图像是否异常。
εp
[0040]
进一步的，所述训练模型为轻量级预训练模型，所述轻量级预训练模型为
mobilenetv2、resnet18或xception。
[0041]
进一步的，所述深度特征向量包括提取卷积神经网络中间三层不同感受野尺寸的深度特征，并对三层输出特征进行级联，所述深度特征表示；记正常设备图像样本ii输出通道特征表示为γ
i,j
是一个三维的张量，c
*
、h
*
、w
*
分别表示输出通道特征的深度、高度及宽度，三层不同感受野的输出可表示为：
[0042][0043]
对三通道特征按深度维度进行级联，记样本ii的级联特征：
[0044]
γi＝f(γ
i,1
,γ
i,2
,γ
i,3
)
[0045]
级联操作算子f首先对γ
i,2
,γ
i,3
分别进行上采样，使得γ
i,2
,γ
i,3
的空间维度与γ
i,1
保持一致；其次对上采样后的γ
i,2
,γ
i,3
及γ
i,1
按照深度维度进行合并，得到维度为(c1 c2 c3)
×
h1×
w1的深度特征；并对深度特征进行上采样。
[0046]
进一步的，所述深度特征向量记为x1,x2,
…
,xn，每个特征向量的维度d为(c1 c2 c3)，深度特征向量的混合高斯分布建模表示为
[0047][0048][0049]
其中m表示混合高斯的个数，πk表示不同混合高斯的权重系数，pk(x)是均值为αk，协方差矩阵为sk的d维高斯分布的概率密度函数；给定参数m及样本深度特征向量xi,i＝1,2,
…
,n，根据期望最大化算法可以计算出参数αk，sk与πk；
[0050]
所述像素位置(i,j)对应的混合高斯模型记为1≤j≤w，则混合高斯参数矩阵即
[0051][0052]
进一步的，对每个所述像素位置的深度特征向量，计算其属于第k个分模型的后验概率，深度特征向量为y，则对应分模型的后验概率表示为
[0053][0054]
0≤p(y|k)≤1，取m个分模型中的最大值作为最终的后验概率，即
[0055][0056]
每个像素位置均对应一个后验概率值，空间分辨率为h
×
w的待测试图像的后验概率矩阵记为p，后验概率矩阵p即代表像素级的异常热力图，若某个像素位置对应的后验概
率小于设定的像素异常判别阈值ε
p
，则判别当前像素为异常，异常像素百分比r记为
[0057][0058]
其中t表示异常的像素个数，若异常像素百分比超过图像异常判别阈值εr，则判别当前设备图像异常。
[0059]
本发明的有益效果：
[0060]
(1)基于无监督学习的配电房设备异常监测方法及系统，是一种全新的、鲁棒性高、普适性广、计算量小的设备异常实时摄像头监测方法，可以从监测图像中快速准确地检测到设备异常及非法闯入，以便于预警故障隐患，实现配电房各种电力设备全天候运行状态监测，对电力系统安全运维有着重要的实际应用价值。与现有技术相比，该方法具有以下特点：
①
使用卷积神级网络的深度语义特征进行异常检测，克服了空间域噪声干扰；
②
仅仅根据正常设备图像即可进行设备异常判别，无需收集大量异常设备图像进行训练；
③
对所有设备图像均适用，避免了算法的重复设计；
④
采用了轻量级的卷积神经网络结果，可以在端侧平台进行部署。
[0061]
(2)基于无监督学习的配电房设备异常监测系统，一方面，可以作为配电房设备异常监测的独立软件产品；另一方面，也可以作为一个模块集成到现有的视频监控系统及各种报警系统中，实现配电房各种电力设备全天候运行状态监测。
附图说明
[0062]
图1是本发明基于无监督学习的配电房设备异常监测方法流程图；
[0063]
图2是本发明基于无监督学习的配电房设备异常监测系统框架图；
[0064]
图3是本发明基于无监督学习的配电房设备异常监测方法示意图。
具体实施方式
[0065]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0066]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0067]
下面结合附图对本发明做进一步详细描述：
[0068]
图1是本发明实施例所述基于无监督学习的配电房设备异常监测方法流程图，以实际某配电房场景为例。
[0069]
本发明的基于无监督学习的配电房设备异常监测方法包括学习模式和判别模式两种情况，学习模式即获取个正常设备样本图像的混合高斯模型参数矩阵，判别模型即根据学习到的混合高斯模型参数矩阵判别图像是否异常，通过以下几个模块实现；
[0070]
样本收集模块：收集不同roi区域内正常设备的不同时刻图像样本，确保图像空间分辨率一致，本实施例中选择配电房中的某型号控制柜作为异常监测对象，选择n＝100张不同时间段的正常图像作为训练样本，控制柜的空间分辨率为h＝480，w＝480；
[0071]
其中收集方式根据应用场景的不同，可以是网络摄像头实时采集到的配电房信息视频流，也可以是存储设备中的视频文件。
[0072]
深度特征提取模块：对所述图像样本，使用训练模型训练的卷积神经网络结构提取深度特征向量，对不同roi区域图像的深度特征向量进行裁剪；其中，使用imagenet、coco等大数据的预训练模型进行特征提取，为了使得模型可以在终端部署，本发明使用轻量级预训练模型如mobilenetv2、resnet18、xception等；本实施例中使用在imagenet大数据上训练的mobilenetv2预训练模型进行深度特征提取。
[0073]
混合高斯建模模块：通常情况下，正常运转的电力设备在不同时刻视觉变化较小，通过卷积神经网络提取到的深度特征理论上也没有太大变化，从概率统计学的角度考虑，正常设备图像同一个像素位置对应的深度特征向量应满足正态高斯分布，由于一天不同时刻光线不断变化，单一高斯分布的建模能力有限，根据裁剪后roi区域图像的深度特征向量对每个像素位置的深度特征向量使用k个高斯分布进行混合高斯建模，获取深度特征的统计特性；使用深度特征域对相应的设备进行混合高斯建模，可以充分利用卷积神经网络的语义特征提取能力，避免空间域噪声干扰，减少误判。
[0074]
图像异常判别模块：根据不同roi区域的深度特征向量，选用与其对应设备的混合高斯模型，并相应的计算后验概率矩阵，输出异常热力图，根据预设的像素异常判别阈值ε
p
，计算异常像素总数，并计算异常像素百分比r，根据预设的图像异常判别阈值εr，判别当前roi区域图像是否异常。
[0075]
在深度特征提取模块中，为了增强深度特征的表示能力，提取卷积神经网络中间三层不同感受野尺寸的深度特征，三层输出特征的下采样率分别为8、16、32，对三层输出特征进行级联，得到最终的深度特征表示。记正常设备图像样本ii输出通道特征表示为γ
i,j
是一个三维的张量，c
*
、h
*
、w
*
分别表示输出通道特征的深度、高度及宽度，三层不同感受野的输出可表示为
[0076][0077]
以控制柜为例，本实施例中三层不同感受野参数分别为c1×
h1×
w1＝32
×
60
×
60，c2×
h2×
w2＝96
×
30
×
30，c3×
h3×
w3＝160
×
15
×
15，对三通道特征按深度维度进行级联，记样本ii的级联特征
[0078]
γi＝f(γ
i,1
,γ
i,2
,γ
i,3
)
[0079]
级联操作算子f首先对γ
i,2
,γ
i,3
分别进行上采样，使得γ
i,2
,γ
i,3
的空间维度与γ
i,1
保持一致；其次对上采样后的γ
i,2
,γ
i,3
及γ
i,1
按照深度维度进行合并，得到维度为(c1 c2 c3)
×
h1×
w1＝288
×
60
×
60的深度特征；最后对深度特征进行上采样，使得空间维度与输入图片保存一致，即每一个像素均可以用一个长度为288的特征向量来表示，γi的最
终维度为288
×
480
×
480。假定n＝100个正常设备的图像样本经过无监督深度特征提取后得到的特征集合为
[0080]
ω＝{γ1,γ2,
…
,γn}
[0081]
混合高斯建模模块中，深度特征向量记为x1,x2,
…
,xn，每个特征向量的维度d为288，深度特征向量的混合高斯分布建模表示为
[0082][0083][0084]
其中m表示混合高斯的个数，πk表示不同混合高斯的权重系数，pk(x)是均值为αk，协方差矩阵为sk的d维高斯分布的概率密度函数。本实施例中，给定参数m＝3及样本深度特征向量xi,i＝1,2,
…
,n，根据期望最大化算法(expectation-maximum，em)可以计算出参数αk，sk与πk；
[0085]
n＝100个空间分辨率为480
×
480的正常设备样本图像，像素位置(i,j)对应的混合高斯参数记为则混合高斯参数矩阵即
[0086][0087]
对得到的m＝3个不同像素位置的混合高斯参数矩阵进行模型磁盘存储，用于待测试设备图像异常判别，至此完成学习模式。
[0088]
在深度特征提取模块中，对每个像素位置的深度特征向量，根据贝叶斯定理，计算其属于第k个分模型的后验概率，假定深度特征向量为y，则对应分模型的后验概率表示为
[0089][0090]
0≤p(y|k)≤1，值越大表示属于该分模型的可能性越大，取m＝3个分模型中的最大值作为最终的后验概率，即
[0091][0092]
每个像素位置均对应一个后验概率值，空间分辨率为h
×
w＝480
×
480的待测试图像的后验概率矩阵记为p，后验概率矩阵p即代表像素级的异常热力图，若某像素位置对应的后验概率小于设定的像素异常判别阈值ε
p
，则可判别当前像素为异常，异常像素百分比r记为
[0093][0094]
其中t表示异常的像素个数，若异常像素百分比超过一定图像异常判别阈值εr，则可判别当前设备图像异常。
[0095]
请参阅图2所示，以实际某配电房场景为例：首先模型加载及系统初始化，从磁盘加载预先训练好的不同设备图像的混合高斯模型参数，即混合高斯参数矩阵；设置不同设备的roi区域，本实施例中roi区域个数为2，即两个控制柜区域；设置像素异常判别阈值ε
p
＝0.5，图像异常判别阈值εr＝0.5；分配必须的变量和内存空间。
[0096]
其次视频流输入：根据应用场景的不同，可以是网络摄像头实时采集到的配电房信息视频流，也可以是存储设备中的视频文件。
[0097]
然后无监督特征提取：对整个输入图像，使用训练的卷积神经网络结构提取深度特征向量，对不同roi区域图像的深度特征向量进行裁剪。
[0098]
最后图像异常判别：对每个roi区域的深度特征向量，使用其对应设备的混合高斯模型参数，计算后验概率矩阵p，输出异常热力图，根据预设的像素异常判别阈值ε
p
，计算异常像素总数，同时计算异常像素百分比r，根据预设的图像异常判别εr阈值，判别当前roi区域图像是否异常，输出异常判别结果ok或者ng，不同roi区域图像并行处理。
[0099]
本发明提出的一种基于无监督学习的配电房设备异常监测系统，可以作为配电房设备异常监测的独立软件产品，也可以作为一个模块集成到现有的视频监控系统及各种报警系统中，实现配电房各种电力设备全天候运行状态监测。
[0100]
请参阅图3所示，本发明基于无监督学习的配电房设备异常监测方法包括以下步骤：
[0101]
s1、收集不同roi区域内正常设备的不同时刻图像样本；
[0102]
s2、对所述图像样本，使用训练模型训练的卷积神经网络结构提取深度特征向量，对不同roi区域图像的深度特征向量进行裁剪；
[0103]
s3、根据裁剪后roi区域图像的深度特征向量对每个像素位置的深度特征向量使用k个高斯分布进行混合高斯建模，获取深度特征的统计特性；使用深度特征域对相应的设备进行混合高斯建模；
[0104]
s4、根据不同roi区域的深度特征向量，选用与其对应设备的混合高斯模型，并相应的计算后验概率矩阵，输出异常热力图，根据预设的像素异常判别阈值ε
p
，计算异常像素总数，并计算异常像素百分比r，根据预设的图像异常判别阈值εr，判别当前roi区域图像是否异常。
[0105]
其中素异常判别阈值ε
p
与图像异常判别阈值εr，由本领域技术人员根据实际情况进行设置，在此不做限定。
[0106]
所述训练模型为轻量级预训练模型，所述轻量级预训练模型为mobilenetv2、resnet18或xception。
[0107]
所述深度特征向量包括提取卷积神经网络中间三层不同感受野尺寸的深度特征，并对三层输出特征进行级联，得到最终的深度特征表示；记正常设备图像样本ii输出通道特征表示为γ
i,j
是一个三维的张量，c
*
、h
*
、w
*
分别表示输出通道特征的深度、高度及宽度，三层不同感受野的输出可表示为：
[0108][0109]
对三通道特征按深度维度进行级联，记样本ii的级联特征：
[0110]
γi＝f(γ
i,1
,γ
i,2
,γ
i,3
)
[0111]
级联操作算子f首先对γ
i,2
,γ
i,3
分别进行上采样，使得γ
i,2
,γ
i,3
的空间维度与γ
i,1
保持一致；其次对上采样后的γ
i,2
,γ
i,3
及γ
i,1
按照深度维度进行合并，得到维度为(c1 c2 c3)
×
h1×
w1的深度特征；并对深度特征进行上采样。
[0112]
所述深度特征向量记为x1,x2,
…
,xn，每个特征向量的维度d为(c1 c2 c3)，深度特征向量的混合高斯分布建模表示为
[0113][0114][0115]
其中m表示混合高斯的个数，πk表示不同混合高斯的权重系数，pk(x)是均值为αk，协方差矩阵为sk的d维高斯分布的概率密度函数；给定参数m及样本深度特征向量xi,i＝1,2,
…
,n，根据期望最大化算法可以计算出参数αk，sk与πk；
[0116]
所述像素位置(i,j)对应的混合高斯模型记为所述像素位置(i,j)对应的混合高斯模型记为则混合高斯参数矩阵即
[0117][0118]
对每个所述像素位置的深度特征向量，计算其属于第k个分模型的后验概率，深度特征向量为y，则对应分模型的后验概率表示为
[0119][0120]
0≤p(y|k)≤1，取m个分模型中的最大值作为最终的后验概率，即
[0121][0122]
每个像素位置均对应一个后验概率值，空间分辨率为h
×
w的待测试图像的后验概率矩阵记为p，后验概率矩阵p即代表像素级的异常热力图，若某个像素位置对应的后验概率小于设定的像素异常判别阈值ε
p
，则判别当前像素为异常，异常像素百分比r记为
[0123][0124]
其中t表示异常的像素个数，若异常像素百分比超过图像异常判别阈值εr，则判别当前设备图像异常。
[0125]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。