一种基于共轴光路成像的设备故障诊断系统的制作方法

1.本发明涉及电站运维装置领域，尤其涉及一种基于共轴光路成像的设备故障诊断系统。


背景技术：

2.水电站水力发电系统是一个非常复杂的系统，涉及的设备运行原理及结构复杂且数量庞大，对水电站运行维护人员的专业知识和能力要求非常高，故不能贸然进行故障诊断与维修。
3.电力设备主要包括发电设备和供电设备两大类，电力系统中电力设备大多采用的计划检修体制存在着严重缺陷，如临时性维修频繁、维修不足或维修过剩、盲目维修等，这使世界各国每年在设备维修方面耗资巨大。怎样合理安排电力设备的检修，节省检修费用、降低检修成本，同时保证系统有较高的可靠性，对系统运行人员来说是一个重要课题。
4.为此，申请号为：cn201910930055.5的发明申请提出一种红外故障检测识别算法，该算法包括以下步骤：首先在红外图像的频域上做butterworth自适应高通滤波抑制背景，然后根据指定的占图像总像素的比例计算阈值来分割图像；下一步对分割后的图像计算直方图提取特征数据判断图像是否存在故障；最后在红外图像的时域上采用与频域相同的方法对图像分块进行阈值分割；通过迭代膨胀和分割来识别故障并计算尺寸和定位坐标。本发明应用于基于红外图像的电力故障识别中通过设计频域判断，时域识别的方法来提高无人机巡检下的识别正确率，降低因干扰带来的误检率，使红外故障识别技术能应用于野外复杂的情况。
5.但是，该申请未就如何采集更有特征价值的红外图像进行探究。红外热像仪作为非接触式的测温工具，越来越多的应用到发电设备的带电检修中。然而，因为红外热像仪仅获得目标的温度数据，设备细节难以呈现，现在的应用基本都是依靠有经验的工人进行人工巡检来发现问题，通过红外热像仪对温度进行报警，然后还是需要人工观察实际设备以及红外热像仪进行对比来确认故障。目前也有一些双光谱的工业电视摄像头，可以获得可见光数据和红外热像数据，然后进行叠加融合在红外热像图上展示一些细节，以帮助工作人员快速定位故障问题和位置，然而融合因为是通过两个完全独立的光路获得图像数据，因此在后期的图像处理上可见光图像和红外图像的位置会有偏差，不能精确进行融合，从而导致故障位置显示不准确。
6.因此，有必要提供新的一种基于共轴光路成像的设备故障诊断系统来解决上述技术问题。


技术实现要素：

7.为解决上述之一技术问题，本发明提供的一种基于共轴光路成像的设备故障诊断系统，通过采集故障设备的可见光图像数据、红外光图像数据并进行融合，得到红外可见光融合数据，通过红外可见光融合数据对故障设备进行设备故障诊断；其中，所述可见光图像
数据、红外光图像数据通过共轴光路成像设备对故障设备进行共轴图像采集，叠加融合得到。
8.具体的，所述共轴光路成像设备包括摄像镜头、二向色镜、复眼透镜、汇聚透镜、可见光图像传感器、红外光图像传感器和图像融合处理单元；所述摄像镜头用于采集成像区域内的混合波段光，所述混合波段光包括可见光波段和红外光波段，所述可见光波段和红外光波段呈共轴状态；所述二向色镜用于对混合波段光进行分光处理，包括透光面与反光面，所述可见光波段通过透光面透出，进入可见光支路；所述红外光波段通过反光面反射射出，进入红外光支路；所述可见光支路处设置有复眼透镜，并透过复眼透镜射在可见光图像传感器上；所述红外光支路依次设置有复眼透镜、汇聚透镜，并透过复眼透镜、汇聚透镜射在红外光图像传感器；所述可见光图像传感器、红外光图像传感器分别与图像融合处理单元电性连接，所述图像融合处理单元输出红外可见光融合数据。
9.作为更进一步的解决方案，所述可见光图像传感器通过如下步骤得到可见光图像数据：
10.s1混合波段光通过摄像镜头进入共轴光路成像设备；
11.s2通过二向色镜将对混合波段光进行分光处理，可见光波段通过透光面透出，进入可见光支路；
12.s3通过复眼透镜对可见光支路的可见光波段进行均光整形；
13.s4通过可见光图像传感器采集可见光图像数据，所述可见光图像传感器包括若干感光点，每个感光点采集对应位置的像素信息，所述可见光图像数据以f(x，y)；x＜m，y＜n进行表示，其中,x，y分别表示可见光图像的像素点坐标，f(x,y)表示对应像素点坐标的像素信息，所述可见光图像数据的分辨率为m*n。
14.作为更进一步的解决方案，所述红外光图像传感器通过如下步骤得到红外光图像数据：
15.d1混合波段光通过摄像镜头进入共轴光路成像设备；
16.d2通过二向色镜将对混合波段光进行分光处理，红外光波段通过反光面反射射出，进入红外光支路；
17.d3通过复眼透镜对红外光支路的红外光波段进行均光整形；
18.d4通过汇聚透镜对对红外光支路的红外光波段进行汇聚增强；
19.d4通过红外光图像传感器采集红外光图像数据，所述红外光图像传感器包括若干红外感光点，每个红外感光点采集对应位置的红外像素信息，所述红外光图像数据以g(a，b)；a＜p，b＜q进行表示，其中,a，b分别表示红外光图像的像素点坐标，g(a,b)表示对应像素点坐标的像素信息，所述红外光图像数据的分辨率为p*q。
20.作为更进一步的解决方案，所述图像融合处理单元通过如下步骤得到红外可见光融合数据:
21.g1分别采集可见光图像数据、红外光图像数据；
22.g2比较可见光图像数据、红外光图像数据的分辨率，并计算行差值(m-p)与列差值(n-q)；
23.g3通过超分辨率算法对红外光图像数据进行插值，并按照差值(m-p)与列差值(n-q)将红外光图像数据分辨率提高为m*n，其中，g(x，y)；x＜m，y＜n；可见光图像数据、红外光
图像数据目标范围和分辨率相同，像素坐标一一对应；
24.g4根据预置的红外测温算法c(x，y)，对红外光图像数据g(x，y)进行红外-温度转换，将红外光图像数据g(x，y)的原始灰度数据转换为温度值数据p(x，y)＝c(x，y)
×
g(x，y)；
25.g5构建红外可见光融合数据，所述红外可见光融合数据通过三维数据d(x,y,z)进行表示，其中，所述三维数据d(x,y,z)的x轴数据、y轴数据分别使用可见光图像数据f(x，y)进行对应填充；z轴数据使用对应x,y坐标的温度值数据p(x，y)进行填充。
26.作为更进一步的解决方案，还对红外可见光融合数据进行进一步处理，得到故障设备数据，所述故障设备数据通过如下步骤得到：
27.h1通过共轴光路成像设备采集若干正常设备的红外可见光融合数据，并进行人工/机器分析，得到正常设备温度函数t(x,y),其中，x,y表示正常设备图像的位置坐标，t(x,y)表示x,y位置坐标对应的正常温度值；
28.h2通过共轴光路成像设备采集故障设备的红外可见光融合数据，得到故障设备的温度值数据p(x，y)；
29.h3通过正常设备温度函数t(x,y)与故障设备的温度值数据p(x，y)进行点对点作差；得到温差数据δt(x,y)，其中，δt(x,y)为绝对值数据；
30.h4通过人工设置有正常温度波动值t0；
31.h5通过正常温度波动值t0与温差数据δt(x,y)进行逐点比较，得到故障设备数据e(x,y)；其中，若任一坐标x＝j,y＝k对应的温差数据δt(j，k)大于正常温度波动值t0，则将温差数据δt(j，k)对应坐标记录于故障设备数据e(j,k)中；若任一坐标x＝j,y＝k对应的温差数据δt(j，k)不大于正常温度波动值t0，则将故障设备数据e(j,k)填充为0；逐点填充，得到故障设备数据e(x,y)。
32.作为更进一步的解决方案，还设置有智能诊断模块，所述设备故障诊断通过人工和/或智能诊断模块进行；若设备故障诊断通过人工进行，则将故障设备数据e(x,y)筛除异常数据点后以图像形式进行输出；若设备故障诊断通过诊断模块进行，则将故障设备数据e(x,y)输入智能诊断模块，所述智能诊断模块根据故障设备数据e(x,y)对故障进行分类识别。
33.作为更进一步的解决方案，所述智能诊断模块通过如下步骤进行构建：
34.g1采集大量故障设备数据e(x,y)，并对故障类型进行人工标注，得到标注数据集；
35.g2对标注数据集进行数据扩增，包括通过复制、旋转、填充、形变的扩增方式，得到训练数据集；
36.g3将训练数据集分为训练集与测试集；
37.g4将训练集输入分类神经网络模型进行训练，得到训练输出模型；
38.g5通过测试集对训练输出模型进行测试验证，得到分类准确率；
39.g6若分类准确率满足设置阈值，则将训练输出模型输出为智能诊断模块；
40.g7若分类准确率不满足设置阈值，则重复g4、g5步骤，直至得到满足设置阈值的训练输出模型或人工结束训练。
41.作为更进一步的解决方案，通过共轴光路成像设备和智能诊断模块能对设备进行实时故障监测，当进行实时故障监测时，共轴光路成像设备采集被监控设备的实时图像，并
得到实时的红外可见光融合数据；通过对红外可见光融合数据进行处理，得到实时的故障设备数据e(x,y)；将故障设备数据e(x,y)进行抽帧，并将抽帧后的故障设备数据e(x,y)输入智能诊断模块进行故障分类匹配；若故障匹配成功，则发出设备故障报警；若未匹配成功，则继续执行实时故障监测直至监测结束。
42.与相关技术相比较，本发明提供的一种基于共轴光路成像的设备故障诊断系统具有如下有益效果：
43.1、本发明通过共轴光路成像设备采集共轴对应的红外可见光融合数据，融合了红外光特征与可见光特征的红外可见光融合数据更具代表性，通过红外可见光融合数据进行故障诊断其准确度也更高；
44.2、本发明通过摄像镜头采集混合波段光，通过二向色镜进行分光处理，所述二向色镜又称常用于激光技术中其特点是对一定波长的光几乎完全透过，而对另一些波长的光几乎完全反射，通过设置二向色镜能仅通过一个镜头就能采集共轴的可见光和红外光，并分别用可见光图像传感器、红外光图像传感器进行成像；但是通常情况下，可见光图像传感器、红外光图像传感器的分辨率不同，可见光图像传感器的分辨率大于红外光图像传感器的分辨率，故融合时需要进行分辨率调整，此外，红外光相较于可见光在进行均光处理后还需要通过汇聚透镜进行增强处理，已得到更清晰的红外光图像；
45.3、本发明通过超分辨率算法、红外测温算法进行图像融合处理，得到rgb_t图像，通过严格位置对应的rgb_t图像能更加详尽地反应设备的红外特征，有助于设备的故障分析判断；
46.4、本发明通过共轴光路成像设备和智能诊断模块能对设备进行实时24小时的不间断故障监测，在故障发生时进行报警，通知相应人员，相较于现阶段纯人工的方式，能以很低的人力成本实现实时监测。
附图说明
47.图1为本发明实施例提供的一种基于共轴光路成像的设备故障诊断系统的较佳的系统示意图。
具体实施方式
48.下面结合附图和实施方式对本发明作进一步说明。
49.如图1所示，本实施例提供的一种基于共轴光路成像的设备故障诊断系统，通过采集故障设备的可见光图像数据、红外光图像数据并进行融合，得到红外可见光融合数据，通过红外可见光融合数据对故障设备进行设备故障诊断；其中，所述可见光图像数据、红外光图像数据通过共轴光路成像设备对故障设备进行共轴图像采集，叠加融合得到。
50.需要说明的是：电力设备结构复杂，贸然维修会存在巨大的财产安全风险和人员安全风险；在这样的背景下，红外热像仪作为非接触式的测温工具，越来越多的应用到发电设备的带电检修中。当电力设备发生故障时，其外部表现往往是局部温度异常，或高或低，这是我们就能通过红外成像设备对设备进行红外成像，进而得知可能存在故障的位置，初步确定故障原因，从而有计划的进行故障维修，增加设备维修的安全性，准确性。此外，随着图像识别分类技术的发展，基于机器学习的分类模型还能根据所采集到的故障图像进行故
障诊断，准确度也较高。
51.但是，图像识别和故障诊断的基础是在能得到具备代表性的图像数据基础上展开的，现有一些双光谱的工业电视摄像头，可以获得可见光数据和红外热像数据，然后进行叠加融合在红外热像图上展示一些细节，以帮助工作人员快速定位故障问题和位置，然而融合因为是通过两个完全独立的光路获得图像数据，因此在后期的图像处理上可见光图像和红外图像的位置会有偏差，不能精确进行融合，从而导致故障位置显示不准确。通过不准确的图像进行故障诊断定会影响最终故障诊断的准确度，为此，本实施例提出一种共轴光路成像设备用于得到准确度更高，更具代表性的图像。
52.具体的，所述共轴光路成像设备包括摄像镜头、二向色镜、复眼透镜、汇聚透镜、可见光图像传感器、红外光图像传感器和图像融合处理单元；所述摄像镜头用于采集成像区域内的混合波段光，所述混合波段光包括可见光波段和红外光波段，所述可见光波段和红外光波段呈共轴状态；所述二向色镜用于对混合波段光进行分光处理，包括透光面与反光面，所述可见光波段通过透光面透出，进入可见光支路；所述红外光波段通过反光面反射射出，进入红外光支路；所述可见光支路处设置有复眼透镜，并透过复眼透镜射在可见光图像传感器上；所述红外光支路依次设置有复眼透镜、汇聚透镜，并透过复眼透镜、汇聚透镜射在红外光图像传感器；所述可见光图像传感器、红外光图像传感器分别与图像融合处理单元电性连接，所述图像融合处理单元输出红外可见光融合数据。
53.需要说明的是：本实施例是通过摄像镜头采集混合波段光，通过二向色镜进行分光处理，所述二向色镜又称常用于激光技术中其特点是对一定波长的光几乎完全透过，而对另一些波长的光几乎完全反射，通过设置二向色镜能仅通过一个镜头就能采集共轴的可见光和红外光，并分别用可见光图像传感器、红外光图像传感器进行成像；但是通常情况下，可见光图像传感器、红外光图像传感器的分辨率不同，可见光图像传感器的分辨率大于红外光图像传感器的分辨率，故融合时需要进行分辨率调整，此外，红外光相较于可见光在进行均光处理后还需要通过汇聚透镜进行增强处理，已得到更清晰的红外光图像。
54.作为更进一步的解决方案，所述可见光图像传感器通过如下步骤得到可见光图像数据：
55.s1混合波段光通过摄像镜头进入共轴光路成像设备；
56.s2通过二向色镜将对混合波段光进行分光处理，可见光波段通过透光面透出，进入可见光支路；
57.s3通过复眼透镜对可见光支路的可见光波段进行均光整形；
58.s4通过可见光图像传感器采集可见光图像数据，所述可见光图像传感器包括若干感光点，每个感光点采集对应位置的像素信息，所述可见光图像数据以f(x，y)；x＜m，y＜n进行表示，其中,x，y分别表示可见光图像的像素点坐标，f(x,y)表示对应像素点坐标的像素信息，所述可见光图像数据的分辨率为m*n。
59.作为更进一步的解决方案，所述红外光图像传感器通过如下步骤得到红外光图像数据：
60.d1混合波段光通过摄像镜头进入共轴光路成像设备；
61.d2通过二向色镜将对混合波段光进行分光处理，红外光波段通过反光面反射射出，进入红外光支路；
62.d3通过复眼透镜对红外光支路的红外光波段进行均光整形；
63.d4通过汇聚透镜对对红外光支路的红外光波段进行汇聚增强；
64.d4通过红外光图像传感器采集红外光图像数据，所述红外光图像传感器包括若干红外感光点，每个红外感光点采集对应位置的红外像素信息，所述红外光图像数据以g(a，b)；a＜p，b＜q进行表示，其中,a，b分别表示红外光图像的像素点坐标，g(a,b)表示对应像素点坐标的像素信息，所述红外光图像数据的分辨率为p*q。
65.作为更进一步的解决方案，所述图像融合处理单元通过如下步骤得到红外可见光融合数据:
66.g1分别采集可见光图像数据、红外光图像数据；
67.g2比较可见光图像数据、红外光图像数据的分辨率，并计算行差值(m-p)与列差值(n-q)；
68.g3通过超分辨率算法对红外光图像数据进行插值，并按照差值(m-p)与列差值(n-q)将红外光图像数据分辨率提高为m*n，其中，g(x，y)；x＜m，y＜n；可见光图像数据、红外光图像数据目标范围和分辨率相同，像素坐标一一对应；
69.g4根据预置的红外测温算法c(x，y)，对红外光图像数据g(x，y)进行红外-温度转换，将红外光图像数据g(x，y)的原始灰度数据转换为温度值数据p(x，y)＝c(x，y)
×
g(x，y)；
70.g5构建红外可见光融合数据，所述红外可见光融合数据通过三维数据d(x,y,z)进行表示，其中，所述三维数据d(x,y,z)的x轴数据、y轴数据分别使用可见光图像数据f(x，y)进行对应填充；z轴数据使用对应x,y坐标的温度值数据p(x，y)进行填充。
71.需要说明的是：所述超分辨率算法对红外光图像数据进行插值、红外测温算法均为现有成熟技术，故不做赘述，其目的是通过图像融合处理能得到rgb_t图像，其中，t代表对应位置的温度值，通过严格位置对应的rgb_t图像能更加详尽地反应设备的红外特征，有助于设备的故障分析判断。
72.作为更进一步的解决方案，还对红外可见光融合数据进行进一步处理，得到故障设备数据，所述故障设备数据通过如下步骤得到：
73.h1通过共轴光路成像设备采集若干正常设备的红外可见光融合数据，并进行人工/机器分析，得到正常设备温度函数t(x,y),其中，x,y表示正常设备图像的位置坐标，t(x,y)表示x,y位置坐标对应的正常温度值；
74.h2通过共轴光路成像设备采集故障设备的红外可见光融合数据，得到故障设备的温度值数据p(x，y)；
75.h3通过正常设备温度函数t(x,y)与故障设备的温度值数据p(x，y)进行点对点作差；得到温差数据δt(x,y)，其中，δt(x,y)为绝对值数据；
76.h4通过人工设置有正常温度波动值t0；
77.h5通过正常温度波动值t0与温差数据δt(x,y)进行逐点比较，得到故障设备数据e(x,y)；其中，若任一坐标x＝j,y＝k对应的温差数据δt(j，k)大于正常温度波动值t0，则将温差数据δt(j，k)对应坐标记录于故障设备数据e(j,k)中；若任一坐标x＝j,y＝k对应的温差数据δt(j，k)不大于正常温度波动值t0，则将故障设备数据e(j,k)填充为0；逐点填充，得到故障设备数据e(x,y)。
78.需要说明的是：温度数据不足以清晰的反应故障问题，故需要和正常设备温度进行逐点比较，温度异常的图像数据才是我们想要的，故本实施例通过正常设备温度函数t(x,y)与故障设备的温度值数据p(x，y)进行对比得到温差数据δt(x,y)；此外，温差数据δt(x,y)还存在很多正常温度波动的数据，故还通过正常温度波动值t0对这些点进行剔除，得到最终的故障设备数据e(x,y)。
79.作为更进一步的解决方案，还设置有智能诊断模块，所述设备故障诊断通过人工和/或智能诊断模块进行；若设备故障诊断通过人工进行，则将故障设备数据e(x,y)筛除异常数据点后以图像形式进行输出；若设备故障诊断通过诊断模块进行，则将故障设备数据e(x,y)输入智能诊断模块，所述智能诊断模块根据故障设备数据e(x,y)对故障进行分类识别。
80.需要说明的是：故障设备数据e(x,y)能通过人工进行判断，但是具备故障诊断能力的技术人员相对有限，且人工判断需要较长的时间，在这样的情况下，可以通过智能诊断模块对故障进行初步判断，并进行快速响应，从而增加诊断的及时性和便捷性。
81.作为更进一步的解决方案，所述智能诊断模块通过如下步骤进行构建：
82.g1采集大量故障设备数据e(x,y)，并对故障类型进行人工标注，得到标注数据集；
83.g2对标注数据集进行数据扩增，包括通过复制、旋转、填充、形变的扩增方式，得到训练数据集；
84.g3将训练数据集分为训练集与测试集；
85.g4将训练集输入分类神经网络模型进行训练，得到训练输出模型；
86.g5通过测试集对训练输出模型进行测试验证，得到分类准确率；
87.g6若分类准确率满足设置阈值，则将训练输出模型输出为智能诊断模块；
88.g7若分类准确率不满足设置阈值，则重复g4、g5步骤，直至得到满足设置阈值的训练输出模型或人工结束训练。
89.需要说明的是：通过训练分类神经网络模型能进行自动识别分类，摆脱工人诊断的限制。
90.作为更进一步的解决方案，通过共轴光路成像设备和智能诊断模块能对设备进行实时故障监测，当进行实时故障监测时，共轴光路成像设备采集被监控设备的实时图像，并得到实时的红外可见光融合数据；通过对红外可见光融合数据进行处理，得到实时的故障设备数据e(x,y)；将故障设备数据e(x,y)进行抽帧，并将抽帧后的故障设备数据e(x,y)输入智能诊断模块进行故障分类匹配；若故障匹配成功，则发出设备故障报警；若未匹配成功，则继续执行实时故障监测直至监测结束。
91.需要说明的是：通过共轴光路成像设备和智能诊断模块能对设备进行实时24小时的不间断故障监测，在故障发生时进行报警，通知相应人员，相较于现阶段纯人工的方式，能以很低的人力成本实现实时监测。
92.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。