多模态融合的配电网缺陷检测方法、系统、设备和介质与流程

本发明涉及配电网缺陷检测，特别是涉及一种多模态融合的配电网缺陷检测方法、系统、设备和介质。

背景技术：

1、配电网作为电力输送的末端环节，通过巡检方式保障其稳定运行。目前的巡检包括人工巡检和无人机巡检，其中，传统人工巡检方式存在效率低下、作业风险高、易受环境影响等弊端。无人机巡检技术结合多模态传感器的应用，虽然提升了巡检效率和数据获取能力，但仍存在一定的局限性。传统多模态模型参数量庞大且计算复杂，将其直接部署到无人机边缘计算平台时，受限于平台的计算能力、存储空间和功耗预算，导致模型推理速度慢、能耗高，难以满足实时或准实时检测需求。

2、现有轻量化方法多集中于单一模态模型的压缩或通用模型剪枝、量化，未能充分考虑多模态数据融合的复杂性、边缘硬件的异构性以及配电网缺陷检测的特殊性；同时，现有多模态融合多为通用场景设计，未结合配电网巡检的设备特征、飞行场景进行定制化优化，导致在实际应用中往往难以兼顾检测精度与边缘部署效率，且对配电网小尺度、隐蔽性缺陷的检测效果不佳。

3、因此，亟需一种适配于配电网场景的轻量化缺陷检测解决方案，以解决现有技术中通用模型适配性差、缺陷检测针对性不足、小样本缺陷识别精度低等问题。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种多模态融合的配电网缺陷检测方法、系统、设备和介质，以能够实现高精度轻量化的配电网缺陷检测。

2、第一方面，本发明提供了一种多模态融合的配电网缺陷检测方法，所述方法包括：

3、对目标配电网进行无人机巡检，得到电力设备的多模态数据和巡检数据，所述多模态数据包括图像数据和声纹数据，所述巡检数据包括设备类型、环境数据和飞行参数；

4、通过特征提取器对所述多模态数据进行特征提取，得到多模态特征，所述特征提取器中的图像特征提取器基于多分支并行异形卷积核组结构的卷积神经网络构建得到，声纹特征提取器基于全局通道剪枝和空间坐标关联的残差网络构建得到；

5、将所述多模态特征与所述巡检数据进行拼接，并输入门控网络进行过滤，得到有效模态特征；

6、根据所述设备类型对所述有效模态特征进行特征增强，并将增强的有效模态特征与所述环境数据进行融合，得到融合特征；

7、将所述融合特征输入分层级联检测头，得到配电网缺陷检测结果，所述分层级联检测头基于语义分割的目标检测模型构建得到。

8、进一步地，所述图像特征提取器包括红外特征提取器和可见光特征提取器；

9、所述红外特征提取器和所述可见光特征提取器均采用mobilenetv3构建，并在mobilenetv3的每个倒残差块中设置多分支并行异形卷积核组，所述多分支并行异形卷积核组包括标准方形卷积核、弧形卷积核、长条形卷积核和高灵敏度卷积核；

10、所述红外特征提取器用于对图像数据中的红外图像进行特征提取，并输出红外特征；

11、所述可见光特征提取器用于对图像数据中的可见光图像进行特征提取，并输出可见光特征。

12、进一步地，所述声纹特征提取器由级联的残差卷积层和空间关联层组成，所述残差卷积层基于resnet1d构建，并对resnet1d中的每个卷积块的深度可分离卷积层进行全局通道剪枝；

13、所述残差卷积层用于对输入的声纹数据进行特征提取，并输出初始声纹特征；

14、所述空间关联层由基于多层感知机构建的空间编码层和拼接层组成；

15、所述空间关联层用于接收预先计算得到的电力设备坐标，并进行空间编码后与所述初始声纹特征进行拼接，输出声纹特征。

16、进一步地，所述将所述多模态特征与所述巡检数据进行拼接，并输入门控网络进行过滤，得到有效模态特征的步骤包括：

17、对所述多模态特征进行维度变换，对所述巡检数据进行编码，并将维度变换后的多模态特征与编码后的巡检数据进行拼接，得到拼接特征；

18、将所述拼接特征输入基于多层感知机构建的门控网络，得到各个模态的基础权重，并根据所述基础权重对各个模态进行阈值过滤，得到有效模态特征。

19、进一步地，所述根据所述设备类型对所述有效模态特征进行特征增强的步骤包括：

20、对所述有效模态特征中的图像模态特征进行全局平均池化后，与所述设备类型进行拼接，得到第一拼接特征；

21、根据所述第一拼接特征计算通道注意力权重，并根据所述通道注意力权重对所述图像模态特征进行通道加权，得到增强的图像模态特征；

22、对所述有效模态特征中的声纹模态特征进行时间维度平均后，与所述设备类型进行拼接，得到第二拼接特征；

23、根据所述第二拼接特征计算频带注意力权重，并根据所述频带注意力权重对所述声纹模态特征进行频带加权，得到增强的声纹模态特征。

24、进一步地，所述分层级联检测头包括语义分割模块、缺陷预筛选模块、缺陷检测模块和缺陷评估模块；

25、所述语义分割模块基于深度可分离卷积层构建，用于对所述融合特征进行语义分割，并输出设备区域掩码图；

26、所述缺陷预筛选模块用于生成所述融合特征的候选框，并根据所述设备区域掩码图对所述候选框进行空间稀疏约束，输出潜在缺陷区域候选框；

27、所述缺陷检测模块基于yolo模型构建，用于通过感兴趣区域对齐操作对所述潜在缺陷区域候选框进行特征提取，得到区域特征，对所述区域特征进行缺陷检测，并输出缺陷检测结果；

28、所述缺陷评估模块基于多层感知机构建，用于对所述区域特征进行缺陷程度评估，得到缺陷等级。

29、进一步地，所述缺陷检测模块在特征对齐时设置有专属锚框，所述专属锚框的尺寸通过对配电网缺陷尺寸聚类得到；

30、所述缺陷检测模块采用多标签分类头，分类损失采用二元交叉熵损失。

31、第二方面，本发明提供了一种多模态融合的配电网缺陷检测系统，所述系统包括：

32、数据采集模块，用于对目标配电网进行无人机巡检，得到电力设备的多模态数据和巡检数据，所述多模态数据包括图像数据和声纹数据，所述巡检数据包括设备类型、环境数据和飞行参数；

33、特征提取模块，用于通过特征提取器对所述多模态数据进行特征提取，得到多模态特征，所述特征提取器中的图像特征提取器基于多分支并行异形卷积核组结构的卷积神经网络构建得到，声纹特征提取器基于全局通道剪枝和空间坐标关联的残差网络构建得到；

34、特征融合模块，用于将所述多模态特征与所述巡检数据进行拼接，并输入门控网络进行过滤，得到有效模态特征；

35、根据所述设备类型对所述有效模态特征进行特征增强，并将增强的有效模态特征与所述环境数据进行融合，得到融合特征；

36、缺陷检测模块，用于将所述融合特征输入分层级联检测头，得到配电网缺陷检测结果，所述分层级联检测头基于语义分割的目标检测模型构建得到。

37、第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

38、第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

39、本发明提供了一种多模态融合的配电网缺陷检测方法、系统、设备和介质，本发明通过配电网场景定制化的多模态数据融合、特征提取和检测头设计，结合环境、设备和飞行状态的自适应策略，能够提升配电网缺陷检测的精度和鲁棒性；通过轻量化的模型设计，适配边缘硬件，能够提高能效比；通过边缘计算的缺陷检测的一体化评估，能够实现缺陷的及时发现和预警，从而提升配电网巡检效率和安全性。