一种多模态融合的变电站设备缺陷智能识别方法与流程

本发明涉及，更具体地说，涉及一种多模态融合的变电站设备缺陷智能识别方法。

背景技术：

1、变电站设备的安全稳定运行是保障电力系统可靠供电的关键。随着智能电网建设的不断推进以及变电站设备数量与类型的持续增长，传统依赖人工巡检的运维方式已难以满足实时性、准确性与安全性的要求。自动化智能巡检与缺陷识别技术已成为电力设备运维领域的重要发展方向。

2、目前，深度学习与多模态融合技术在变电站设备缺陷检测中得到了广泛关注与应用。现有技术中，已有方案通过深度神经网络提取变电站场景下的红外图像和可见光图像特征，建立基于红外与可见光图像融合的目标检测网络，利用交叉注意力结构实现多模态深层融合下的特征双向重组。此外，也有方案采用红外与可见光图像联合采集，通过多源特征与设备结构先验的配准算法实现多模态图像的时空对齐，并利用动态加权融合策略生成融合特征。还有研究通过跨模态注意力机制融合红外图像、油色谱数据及音频信号进行变电站故障预警。上述方法在一定程度上提升了设备缺陷检测的自动化水平与识别精度。

3、然而，现有技术仍存在以下不足：其一，现有融合方法多聚焦于红外与可见光两种图像模态的融合，对局部放电超声信号、振动信号、油色谱数据等能够反映设备内部运行状态的重要模态数据利用不充分，未能充分发挥多源模态在信息上的互补感知优势。其二，现有特征融合方法的语义区分度较弱，在融合过程中易造成特征缺失或冗余，且可见光图像中的场景结构信息容易被红外温度信息过度掩盖，导致融合图像质量下降。其三，现有深度学习方法多为纯数据驱动，缺乏对设备物理特性的约束与校验机制，导致在复杂工况下的鲁棒性不足，检测结果的可解释性较差。其四，不同传感器采集的多模态数据在时空维度上存在偏差，现有配准方法在多源特征与设备结构先验的结合方面尚不完善。

4、针对上述问题，需要提出一种能够充分融合多种模态数据、具备物理约束机制且具有良好鲁棒性与可解释性的变电站设备缺陷智能识别方法。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种多模态融合的变电站设备缺陷智能识别方法。

2、本发明解决其技术问题所采用的技术方案是：

3、一方面

4、一种多模态融合的变电站设备缺陷智能识别方法，包括以下步骤：

5、s1、同步采集目标变电站设备的可见光图像数据、红外热成像数据、局部放电超声信号、设备振动信号和油色谱数据，并对采集到的各类数据进行预处理；

6、s2、对预处理后的多模态数据进行时空对齐与配准，包括基于多源特征与设备结构先验的空间配准和基于统一时间戳的时间对齐；

7、s3、分别提取各模态数据的特征，其中采用双分支特征提取网络并引入多维交叉连接机制提取可见光图像和红外热成像图像的多尺度特征，对所述超声信号、所述振动信号和所述油色谱数据分别提取相应的时频特征和组分特征；

8、s4、通过跨模态注意力模块实现可见光特征与红外特征的双向信息增强，并采用动态加权融合策略将增强后的图像特征与非图像模态特征进行自适应融合，生成多模态综合特征向量；

9、s5、将所述多模态综合特征向量输入融合物理先验的深度神经网络进行缺陷识别与分类，所述物理先验包括热力学一致性约束、结构一致性约束和多模态一致性约束；

10、s6、基于多模态交叉验证计算缺陷识别结果的综合置信度，并输出缺陷类型、缺陷位置、缺陷等级及综合置信度。

11、优选的，所述s1中同步采集具体包括：通过高清可见光相机采集所述可见光图像数据，通过红外热成像传感器采集所述红外热成像数据，通过超声传感器采集所述局部放电超声信号，通过振动传感器采集所述设备振动信号，通过油色谱在线监测装置采集所述油色谱数据；各传感器以统一的时间戳进行同步触发采集；

12、所述s1中预处理包括：对所述可见光图像和所述红外热成像图像进行去噪、增强和尺寸归一化处理；对所述局部放电超声信号进行滤波降噪处理，滤除环境电磁干扰；对所述振动信号进行去趋势和滤波处理；对所述油色谱数据进行异常值检测与缺失值填补。

13、优选的，所述s2中空间配准具体包括：通过标定获取各传感器之间的空间变换参数，所述空间变换参数包括旋转矩阵和平移向量；基于设备的cad结构模型或三维点云数据构建设备结构先验图谱；利用所述设备结构先验图谱引导特征点匹配，将红外图像像素坐标映射至可见光图像坐标系，实现亚像素级的空间对齐；

14、所述s2中时间对齐具体包括：基于所述统一时间戳，对各类传感数据进行时间维度的同步，对于采样频率不同的传感器，采用插值方法将数据重采样至统一的时间基准。

15、优选的，所述s3中采用双分支特征提取网络并引入多维交叉连接机制提取可见光图像和红外热成像图像的多尺度特征，具体包括：

16、可见光分支利用深度卷积神经网络提取所述可见光图像的纹理特征、结构特征和场景语义特征，生成多尺度可见光特征图；

17、红外分支利用深度卷积神经网络提取所述红外热成像图像的温度分布特征和热异常特征，生成多尺度红外特征图；

18、在特征提取过程中引入多维交叉连接机制，加强浅层特征与深层特征之间的信息传递。

19、优选的，所述s3中对所述超声信号、所述振动信号和所述油色谱数据分别提取相应的时频特征和组分特征，具体包括：

20、对所述局部放电超声信号进行时频分析，提取时域统计特征和频域特征，构建超声特征向量，所述时域统计特征包括峰值、均方根和峰峰值，所述频域特征包括功率谱密度、中心频率和带宽；

21、对所述振动信号进行经验模态分解，提取本征模态函数的能量特征和频谱特征，构建振动特征向量；

22、对所述油色谱数据中油中溶解气体的浓度数据进行归一化处理，构建油色谱特征向量，所述油中溶解气体包括h2、ch4、c2h2、c2h4、c2h6、co和co2。

23、优选的，s4中通过跨模态注意力模块实现可见光特征与红外特征的双向信息增强，具体包括：

24、将所述可见光特征与所述红外特征输入所述跨模态注意力模块，以所述可见光特征作为查询、所述红外特征作为键和值，计算跨模态注意力权重，生成红外增强的可见光特征；以所述红外特征作为查询、所述可见光特征作为键和值，计算跨模态注意力权重，生成可见光增强的红外特征；

25、通过双向的跨模态注意力机制，实现红外图像与可见光图像在语义空间的对齐；

26、所述s4中采用动态加权融合策略将增强后的图像特征与非图像模态特征进行自适应融合，具体包括：

27、将跨模态注意力增强后的可见光特征与红外特征进行级联，通过自适应权重学习网络计算各特征通道的融合权重，生成融合图像特征；

28、将所述融合图像特征与超声特征向量、振动特征向量、油色谱特征向量进行拼接，形成多模态综合特征向量；

29、融合权重的计算依据各模态特征在当前输入下的置信度动态调整。

30、优选的，s5中融合物理先验的深度神经网络包括全连接层、批归一化层、激活层、dropout层和输出层；

31、所述热力学一致性约束为红外温度异常区域与设备发热物理模型保持一致；

32、所述结构一致性约束为缺陷位置位于设备的结构合理区域；

33、所述多模态一致性约束为不同模态对同一缺陷的判断结果相互印证；

34、所述融合物理先验的深度神经网络通过包含物理约束先验的联合损失函数进行训练，所述联合损失函数为：

35、

36、其中，为分类损失，为所述热力学一致性损失，为所述结构一致性损失，为所述多模态一致性损失，为对应的权重系数；

37、所述s5中的缺陷类型包括设备过热、局部放电、绝缘劣化、机械振动异常和油中溶解气体异常；所述缺陷等级根据缺陷的严重程度划分为正常、注意、异常和严重四个等级。

38、优选的，s6中基于多模态交叉验证计算缺陷识别结果的综合置信度，具体包括：

39、分别计算各单模态对同一缺陷识别置信度；

40、通过多模态交叉验证机制计算综合置信度c_total：当多个模态的识别结果一致时，所述综合置信度升高；当模态间存在冲突时，所述综合置信度降低并触发人工复核机制；

41、所述s6中的缺陷位置在可见光图像和红外图像中同步标注。

42、另一方面

43、一种多模态融合的变电站设备缺陷智能识别系统，包括：

44、多模态数据采集模块，用于同步采集目标变电站设备的可见光图像数据、红外热成像数据、局部放电超声信号、设备振动信号和油色谱数据；所述多模态数据采集模块部署于智能巡检机器人或固定式多传感终端；

45、数据预处理模块，用于对采集到的各类数据进行预处理；

46、时空对齐与配准模块，用于对预处理后的多模态数据进行基于多源特征与设备结构先验的空间配准和基于统一时间戳的时间对齐；

47、多模态特征提取模块，用于分别提取各模态数据的特征，其中采用双分支特征提取网络并引入多维交叉连接机制提取可见光图像和红外热成像图像的多尺度特征，对所述超声信号、所述振动信号和所述油色谱数据分别提取相应的时频特征和组分特征；

48、跨模态注意力融合模块，用于通过跨模态注意力机制实现可见光特征与红外特征的双向信息增强，并采用动态加权融合策略将增强后的图像特征与非图像模态特征进行自适应融合，生成多模态综合特征向量；

49、物理约束缺陷识别模块，用于将所述多模态综合特征向量输入融合物理先验的深度神经网络进行缺陷识别与分类；

50、置信度评估与输出模块，用于基于多模态交叉验证计算缺陷识别结果的综合置信度，并输出缺陷类型、缺陷位置、缺陷等级及综合置信度。

51、本发明的有益效果在于：

52、1.本发明突破传统单一模态检测的局限，同步采集可见光图像、红外热成像、局部放电超声信号、设备振动信号及油色谱数据，实现了对变电站设备外观形态、热力学状态、绝缘放电、机械振动及内部化学组分的全方位立体感知。通过覆盖电气、机械、热学和化学多个物理维度的同步监测，该方法能够在设备故障萌初期（如局部放电初期或轻微过热）即捕捉到异常信号，而非仅依赖单一物理量的明显突变，从而大幅提升对潜伏性、复杂性和交叉性缺陷的早期预警能力，为电力设备的状态检修提供了极为丰富且完备的数据基础。

53、2.针对多传感器数据在空间坐标和时间尺度上难以对齐的技术痛点，创新性地引入设备的cad结构模型或三维点云数据作为先验知识图谱来引导特征点匹配，实现了红外图像像素坐标至可见光图像坐标系的高精度空间映射，达到亚像素级的空间对齐精度。同时，基于统一时间戳驱动的时间对齐策略，通过插值重采样将不同采样频率的传感数据统一至相同时间基准。空间亚像素对齐与时间同步基准的双重保障，彻底解决了多源数据错误或时空错位导致融合失真问题，确保了后续特征提取和融合环节所输入数据的准确性与可靠性。

54、3.针对可见光与红外图像设计了双分支特征提取网络并引入多维交叉连接机制，可见光分支专注于高分辨率的纹理细节、结构轮廓与场景语义，红外分支则精准捕捉温度梯度分布与热异常区域。通过浅层与深层特征的多维交叉传递，该网络既能保留细微裂纹、污渍等局部细节特征，又能兼顾全局温度场分布信息，显著增强了对设备缺陷的多尺度表达能力。与此同时，对超声信号、振动信号进行精细化的时频分析（如功率谱密度、本征模态函数能量），并对油色谱七组分气体进行归一化编码，使图像外观特征与非图像物理特征形成了深度互补，解决了单一特征在复杂工况下描述能力不足的问题。

55、4.通过构建双向跨模态注意力模块，使可见光特征与红外特征在语义空间内相互查询、相互增强，红外热异常可以引导可见光关注潜在发热区域，而可见光的清晰轮廓可修正红外图像的边缘模糊。更进一步，采用动态加权融合策略，根据各模态特征在当前输入下的置信度自适应地分配融合权重，当某一模态受环境干扰（如光照变化、电磁噪声）导致置信度降低时，系统自动降低其贡献度并增强其他可靠模态的权重。互增强与自适应机制，使得模型在恶劣天气、传感器劣化等非理想工况下依然保持极高的识别稳定性与泛化能力。

56、5.将深度学习的强大拟合能力与电力设备的物理机理进行深度耦合，在神经网络训练过程中显式引入了热力学一致性约束、结构一致性约束和多模态一致性约束。热力学约束确保识别的热点区域遵循传热学规律，降低了像素级统计偏差导致的非物理发热判断；结构约束确保缺陷定位位于设备结构的合理区域内，排除了背景干扰导致的误报；多模态约束要求不同物理量对同一缺陷的判断结果相互印证。配合联合损失函数的多目标优化，该方法产出的识别结果不仅准确，更具有严格的物理逻辑支撑。

57、6.在最终决策输出阶段，不仅输出缺陷类别、具体位置和严重等级，还独创性地通过多模态交叉验证机制计算综合置信度。当可见光、红外、超声、振动、油色谱等各单模态的识别结论高度一致时，综合置信度相应提升，增强运维人员对诊断结果的信任；当模态间存在显著冲突或投票分散时，系统自动降低置信度并触发人工复核或二次深度检测预警。既避免了单一模态误判导致的无效报警，也为运维决策提供了科学可靠的概率依据，极大提升了现场应用的容错性与安全性。

58、7.将整个识别流程高度集成化，可便捷地部署于智能巡检机器人或固定式多传感终端，在变电站实际场景中实现全自动、非接触、不停电的在线实时监测。通过全流程的自动化数据处理与智能诊断，大幅减少了人工携带多种仪器逐一检测的繁琐操作，显著降低了运维人员的劳动强度与高压触电安全风险。同时，标准化的数据流与决策输出流程，确保了不同站点、不同设备之间诊断结果的一致性和可比性，为电力系统数字化转型和智慧变电站的全面建设提供了可大规模推广应用的核心技术支撑。