一种风电机舱电气设备热故障识别方法

1.本发明属于人工智能图像识别技术领域，具体涉及一种风电机舱电气设备热故障识别方法。


背景技术：

2.据统计，风电机组发生事故中，第一位是叶片事故，第二位是火灾事故。这两类事故突出的特点就是现有巡检手段存在盲区，且人员巡检又无法满足高频次现场巡检要求，所以运用智能化的技术提高巡检质量，降低运维成本，是未来风电场运维的主流思路。
3.随着人工智能和机器视觉技术的发展，风电机舱内部电气设备热故障识别将迎来新思路和新方法。
4.为了提高检测效率，许多学者对红外热图像处理展开了研究，主要归为：一类是直接基于红外热图像，对红外热图像目标区域检测，根据检测出来的不同对象利用不同标准进行判断；另一类是基于可见光图像处理，在高分辨率的可见光图像中检测目标区域，再利用配准算法将可见光图像中的目标区域配准到红外热图像中，从而检测出目标区域。然而，这些检测方法还存在两方面的问题：(1)红外热图像用rgb值映射温度，红外热图像没有明显的边缘和纹理，因此，当电气设备处于复杂的环境下，直接基于红外图像分割目标区域，容易导致目标分割不准确，从而造成故障漏检；(2)红外热图像的分辨率比较低，对应细小部件其过热区域在图像中呈现区域非常小，导致过热区域漏检。
5.近年来，风电场运维人员在风电机舱内部安置巡检机器人，可将视频及时传递至监控中心或布置在机舱内部的边缘计算平台，亟需一种新方法利用图像融合技术结合可见光与红外图像的信息，同时利用深度学习网络识别检测目标对象。


技术实现要素：

6.针对现有技术中存在的不足，本发明提供了一种基于图像融合与深度学习的风电机舱电气设备热故障识别方法，用以解决风机内部电气设备热缺陷的智能化远程巡检问题。
7.本发明通过以下技术手段实现上述技术目的。
8.一种风电机舱电气设备热故障识别方法，包括以下步骤：
9.s1、获取风电机舱电气设备的可见光图像、与可见光图像对应的红外温度矩阵；
10.s2、把红外温度矩阵可视化为红外图像，并使用双线性插值对其进行超分处理，得到高分辨率红外图像；
11.s3、使用生成对抗网络(generative adversarial network，gan)对可见光图像进行超分处理，得到高分辨率可见光图像；
12.s4、使用自适应阈值的曲率尺度空间(curvature scale space，css)角点检测与随机抽样一致性(random sample consensus，ransac)算法对可见光与红外图像进行角点匹配与配准；
13.s5、利用图像融合卷积神经网络(image fusion framework based on convolutional neural network，ifcnn)将对应两种图像融合，同时根据光敏传感器将光照条件分为正常光照与低光照两种情况；正常光照时，以可见光100％ 红外0％的比例融合；低光照时，以夜视可见光(黑白)100％ 红外0％的比例融合，得到融合图像；
14.s6、使用labelimg软件对融合图像中的线缆接口进行标注，生成xml文件，制作标注数据集；
15.s7、设置深度学习网络yolov4训练参数，采用标注数据集对网络进行训练，得到目标电气设备网络模型，并以此检测出目标区域的瞄点框；
16.s8、采用mask rcnn深度网络对含有目标区域的瞄点框进行目标分割，得到目标轮廓区域。
17.进一步的，s1中，所述获取电气设备的可见光图像、与可见光图像对应的红外温度矩阵，具体包括：将配有可夜视可见光相机和红外阵列传感器安装在巡检机器人上，将红外阵列传感器对准目标电气设备，同时拍摄对应可见光图像。
18.进一步的，s2中，红外温度矩阵为256*192规格，采用opencv中的applycolormap函数将温度区间映射在colormap_jet色域中，最终输出红外伪彩图，完成温度可视化；双线性插值实现过程：首个像素之前插入2个点，最后一个像素之后插入1个点，但在下次插值时，应首个之前插值1个点，末个像素之后插值2个点，以达到图像平衡。
19.进一步的，s3中，选取esrgan生成对抗网络的预训练模型对可见光进行超分处理。
20.进一步的，s4中，css角点检测与ransac匹配算法对可见光与红外图像进行角点匹配与配准过程如下：
21.s4.1、提取边缘图中所有的连续轮廓并存为元胞数组；
22.s4.2、向另一个方向提取边缘；
23.s4.3、将轮廓元胞数组中的起始点存起来并判定是否为闭合轮廓；
24.s4.4、还原边缘图像；
25.s4.5、计算曲率；
26.s4.6、寻找曲率局部最大值作为角的候选者；
27.s4.7、在极值中，奇数点是最小值，偶数点是最大值；
28.s4.8、对不同长度的轮廓使用不同比例的曲率，设置自适应局部阈值，并对长轮廓线的绝对曲率函数进行平滑处理，与自适应局部阈值比较，去除假角；
29.s4.9、ransac算法删除误匹配点；
30.s4.10、得到结果。
31.进一步的，s6中，使用labelimg软件人工对图像中目标电气设备进行标注时，应将图像中所有清晰目标区域标注，如果图像失焦模糊，则将图片删除。
32.进一步的，s7中，利用yolo v4检测目标时，置信度设为0.9。
33.本发明的有益效果：
34.(1)本发明中基于多模态的可见光红外图像配准算法，并利用图像融合技术增强图像质量，解决了原始边缘细节保留不充分的问题；
35.(2)本发明中基于光敏传感器的自适应调节摄像模组，可以克服目标识别中由于夜晚造成的光照条件不足的弊端；
36.(3)本发明中基于红外阵列传感器的红外模组，通过温度可视化转化为红外图像，解决了红外设备低成本化的问题；
37.(4)本发明基于深度学习的目标检测，从融合图像中分割出电气设备，并对其进行轮廓提取，上述方法不仅能够替代人工巡检，并且相比于传统的对红外图像识别方法，更加稳定可靠，以及能够在jetson nano等边缘计算平台上部署，因此整体所需的硬件成本较为低廉；
38.(5)本发明方法对风机机舱内部电气设备热故障规律得可靠性研究具有重要意义，对风机组运维管理优化有积极帮助。
附图说明
39.图1为本发明方法流程图。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.实施例
42.参照图1，本发明实施例提供一种风电机舱电气设备热故障识别方法，包括以下步骤：
43.步骤一、获取风电机舱电气设备的可见光图像、与可见光图像对应的红外温度矩阵；
44.所述获取电气设备的可见光图像、与可见光图像对应的红外温度矩阵，具体包括：将配有可夜视可见光相机和红外阵列传感器安装在巡检机器人上，将红外阵列传感器对准目标电气设备，同时拍摄对应可见光图像。
45.步骤二、把红外温度矩阵可视化为红外图像，并使用双线性插值对其进行超分处理，得到高分辨率红外图像；
46.红外温度矩阵为256*192规格，采用opencv中的applycolormap函数将温度区间映射在colormap_jet色域中，最终输出红外伪彩图，完成温度可视化；
47.双线性插值实现过程为：首个像素之前插入2个点，最后一个像素之后插入1个点，但在下次插值时，首个之前插值1个点，末个像素之后插值2个点，以达到图像平衡。
48.步骤三、使用esrgan生成对抗网络的预训练模型对可见光图像进行超分处理，得到高分辨率可见光图像。
49.步骤四、使用自适应阈值的曲率尺度空间(curvature scale space，css)角点检测与随机抽样一致性(random sample consensus，ransac)算法对可见光与红外图像进行角点匹配与配准，得到配准后的对应图像；其中，css角点检测与ransac匹配算法过程如下：
50.(1)提取边缘图中所有的连续轮廓并存为元胞数组；
51.(2)向另一个方向提取边缘；
52.(3)将轮廓元胞数组中的起始点存起来并判定是否为闭合轮廓；
53.(4)还原边缘图像；
54.(5)计算曲率；
55.(6)寻找曲率局部最大值作为角的候选者；
56.(7)在极值中，奇数点是最小值，偶数点是最大值；
57.(8)对不同长度的轮廓使用不同比例的曲率，设置自适应局部阈值，并对长轮廓线的绝对曲率函数进行平滑处理，与自适应局部阈值比较，去除假角；
58.(9)ransac算法删除误匹配点；
59.(10)得到结果。
60.步骤五、利用图像融合卷积神经网络(image fusion framework based on convolutional neural network，ifcnn)将对应两种图像融合，同时根据光敏传感器将光照条件分为正常光照与低光照两种情况；正常光照时，以可见光100％ 红外0％的比例融合；低光照时，以夜视可见光(黑白)100％ 红外0％的比例融合，得到融合图像；
61.步骤六、使用labelimg软件对融合图像中的线缆接口进行标注，生成xml文件，制作标注数据集；使用labelimg软件人工对图像中目标电气设备进行标注时，应将图像中所有清晰目标区域标注，如果图像失焦模糊，则将图片删除。
62.步骤七、设置深度学习网络yolov4训练参数，采用标注数据集对网络进行训练，得到目标电气设备网络模型，利用yolo v4检测目标时，置信度设为0.9，以此检测出目标区域的瞄点框；深度学习网络yolov4训练参数如下：
63.(1)max_batches最大迭代次数＝2000；
64.(2)eaning_rate初始学习率＝0.001；
65.(3)batch_size批处理量＝64；
66.(4)img_size输入图片大小＝416*416。
67.步骤八、采用mask rcnn深度网络对含有目标区域的瞄点框进行目标分割，得到目标轮廓区域。
68.以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。