一种基于复合视觉的高压线缆带电检测方法

本发明属于电力系统高压输电线路带电检测，尤其涉及一种基于复合视觉的高压线缆带电检测方法。

背景技术：

1、高压架空输电线路是电力系统的关键组成部分，其安全稳定运行直接关系到电网的可靠供电和社会经济的正常运转。线缆在长期运行过程中，由于电热老化、机械疲劳、外力破坏、雷击闪络等因素，可能产生外部破损、内部断股、压接管松动、裂纹、接触不良发热、绝缘劣化放电等多种类型的隐蔽性缺陷。这些缺陷若不能及时发现和处理，可能逐步恶化并最终引发断线、短路等严重事故，造成大面积停电和重大经济损失。

2、目前，高压线缆的带电检测主要采用以下几种技术手段：

3、（一）红外热成像检测。通过检测线缆表面的温度分布来识别发热缺陷，能够发现接触不良、过载等热缺陷。然而，红外检测无法穿透线缆外层获取内部机械性损伤信息，且检测结果受环境温度、太阳辐射、风速等因素影响较大，难以实现定量化评估。

4、（二）紫外成像检测。用于检测线缆表面的电晕放电现象，能够识别绝缘劣化、表面污秽等导致的放电缺陷。但紫外检测同样无法穿透线缆获取内部结构信息，且检测效果受天气条件（如湿度、降雨）影响显著，只能在晴朗天气下有效工作。

5、（三）可见光图像检测。能够获取线缆及周围环境的高分辨率彩色图像，用于识别外部破损、断股、异物附着、锈蚀等可见缺陷。然而，可见光检测仅限于线缆表面，无法获取任何内部信息，且在光线不足或强逆光条件下检测效果不佳。

6、综上所述，单一视觉手段存在明显的物理局限性和信息不完整性，无法全面、准确地评估线缆的健康状态。近年来，部分研究人员开始探索将两种或多种检测手段进行联合应用。例如，已有文献报道了将红外热成像与可见光图像进行融合的尝试，也有研究将无人机搭载x射线设备进行线路检测的方案。然而，现有技术仍存在以下重大不足：

7、（1）多源数据融合深度不足。现有方法多停留在数据采集层面的简单堆叠或后处理层面的结果叠加，未能实现x射线投影数据与三维点云在物理模型层面的深度耦合。

8、（2）缺乏三维空间交叉验证机制。单一模态的检测结果缺乏独立有效的验证手段，误报率较高。

9、（3）缺乏从外部到内部的信息关联链路。外部检测和内部检测通常分次独立进行，检测结果无法在统一的时空框架下进行关联分析。

10、（4）三维空间定位能力严重不足。x射线检测到的缺陷由于缺乏深度信息，无法精确映射到三维空间坐标。

11、（5）检测系统缺乏持续学习进化能力。现有检测系统多为开环设计，系统性能无法随着运行时间的增长而持续提升。

12、针对上述问题，本发明提出了一种基于复合视觉的高压线缆带电检测方法，通过五个层次的视觉信息深度融合，构建了“数据层配准融合→物理层重建融合→决策层检测融合”的三级融合架构。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于复合视觉的高压线缆带电检测方法，以解决现有高压线缆带电检测技术中单一视觉手段信息不完整、多源数据融合深度不足、检测结果缺乏三维空间交叉验证、系统缺乏持续学习能力等技术问题。

2、基于上述目的，本说明书一个或多个实施例提供了一种基于复合视觉的高压线缆带电检测方法，用于架空输电线路的带电巡检作业，所述方法包括数据层配准融合、物理层重建融合和决策层检测融合三个阶段，具体包括以下步骤：

3、步骤s1：通过复合视觉传感器阵列同步采集高压线缆的多源视觉数据，所述多源视觉数据至少包括x射线投影数据、三维点云数据以及至少一种二维图像数据；

4、步骤s2：以所述三维点云为空间基准，建立各二维图像数据与三维点云之间的双向投影映射关系，并以所述三维点云为中间桥梁建立各二维图像之间的像素级映射关系，实现x射线投影数据与三维点云、各二维图像数据与三维点云、各二维图像相互之间的空间精确对齐；

5、步骤s3：基于x射线在物质中的衰减物理规律，利用所述x射线投影数据进行三维衰减系数场重建，在重建过程中引入所述三维点云所包含的线缆几何先验信息作为物理正则化约束，同时引入全变分正则化促进重建结果的分段平滑，使重建结果在物理上同时满足x射线衰减一致性约束与线缆几何形态一致性约束，得到融合了点云空间几何信息与x射线内部透视信息的三维数字模型；

6、步骤s4：将三维点云的特征、至少一种二维图像的特征以及所述三维数字模型的特征进行特征空间对齐后，进行多模态特征融合，对融合后的特征进行高压线缆外部破损、发热缺陷、放电缺陷和内部结构缺陷的分类检测，输出缺陷检测结果；

7、步骤s5：当任一模态检测到疑似缺陷时，通过所述双向投影映射关系回溯至三维空间坐标，在三维空间中将不同模态的检测结果进行交叉比对验证；

8、步骤s6：根据所述三维点云在疑似缺陷区域的几何形态特征进行物理一致性验证，综合所述交叉比对验证的结果和所述物理一致性验证的结果，确认或排除缺陷；

9、步骤s7：将步骤s5和步骤s6的验证结果反馈至步骤s2的配准参数优化和步骤s4的检测模型更新，实现跨模态信息的相互增强与闭环迭代；

10、步骤s8：输出同时包含外部形态检测结果与内部结构检测结果的复合视觉检测结论。

11、进一步地，步骤s2中所述以三维点云为空间基准建立各二维图像数据与三维点云之间的双向投影映射关系，包括：

12、对于任一二维图像，通过标定该图像传感器与激光雷达之间的外参矩阵，建立以下映射：

13、；

14、；

15、其中，对于x射线投影数据与三维点云的配准，根据检测区段的特征采用以下方式之一或其组合：

16、（a）当检测区段内存在可识别的线缆附件时，从x射线投影图像中提取线夹、防振锤、间隔棒的二维特征点，从三维点云中提取同名的三维特征点，建立2d-3d对应关系，通过求解投影矩阵建立该角度下的空间映射关系；

17、（b）当检测区段内无可识别的线缆附件时，采用基于标定件的离线标定方案配合rtk-gps/imu位姿信息推算投影矩阵；

18、当采用多个角度时，对各角度的投影矩阵进行束调整联合优化。

19、进一步地，步骤s3中所述三维衰减系数场重建采用迭代重建算法求解以下线性方程组：

20、；

21、其中为投影矩阵，为待求的衰减系数向量，为测量的x射线投影数据；

22、所述线缆几何先验信息作为正则化约束加入目标函数：

23、；

24、其中为几何正则化权重，为几何一致性惩罚项；为全变分正则化项。

25、进一步地，所述几何一致性惩罚项表示为：

26、；

27、其中为由三维点云推断的第个体素的先验衰减系数，为置信度权重，按以下方式计算：

28、；

29、其中为第个体素中心到最近的点云表面的距离，为尺度参数；

30、所述线缆几何先验信息至少包括：线缆直径、线缆截面形状和线缆空间位置分布。

31、进一步地，步骤s4中所述将三维点云的特征、至少一种二维图像的特征以及所述三维数字模型的特征进行特征空间对齐后融合，包括：

32、分别提取三维点云的多层局部特征、三维数字模型的多层三维特征体以及各二维图像的特征图；

33、对于三维数字模型特征，将3d卷积神经网络提取的多层三维特征体沿深度方向进行最大池化或平均池化，生成二维特征图；

34、对于三维点云特征，将pointnet++网络提取的多层局部区域特征通过可微投影映射到二维特征图空间，与图像特征图在空间维度上对齐后进行融合：

35、

36、其中为可学习的逐元素权重矩阵，⊙表示逐元素乘法，融合后的特征保持二维特征图结构，用于输入基于transformer的目标检测架构。

37、进一步地，步骤s5中所述在三维空间中将不同模态的检测结果进行交叉比对验证，包括：

38、对于任一模态图像中检测到的缺陷边界框，通过所述双向投影映射关系计算该缺陷在三维空间中的对应区域；

39、遍历其他模态，检查该三维区域在其他模态图像中是否存在对应的异常响应；

40、若同一三维区域在两个以上模态中均被标记为异常，则缺陷交叉验证置信度升高；若仅单一模态标记为异常而其他模态均无异常响应，则缺陷交叉验证置信度降低。

41、进一步地，步骤s6中所述根据三维点云在疑似缺陷区域的几何形态特征进行物理一致性验证，包括：

42、对于缺陷区域内的点云，计算局部邻域协方差矩阵的特征值≥≥，并据此计算几何特征量：

43、；

44、以该缺陷所在线缆区段中远离缺陷位置5~10米、与缺陷线缆类型和直径相同的正常区段点云的曲率和线性度均值为基准，以基准值±2倍标准差作为参考范围；当无法获取上述正常区段时，以该线缆出厂设计参数或同塔其他回路相同位置的测量值为基准；将所述曲率和线性度与所述参考范围进行比较，若偏离所述参考范围则判定为几何异常，增强缺陷置信度；若处于所述参考范围内则判定为几何正常，降低缺陷置信度。

45、进一步地，步骤s6中所述综合交叉比对验证结果和物理一致性验证结果确认或排除缺陷，包括：

46、计算综合验证分数：

47、

48、其中为多模态交叉验证分数，为几何一致性验证分数，为尺寸合理性验证分数，,,为对应的权重系数；

49、若大于预设阈值，则确认为真实缺陷并输出包含缺陷类型、三维空间坐标和严重等级的检测结果；否则标记为疑似误报并记录供复核。

50、进一步地，步骤s7中所述闭环迭代包括：

51、每次检测任务完成后，将步骤s5和步骤s6的验证结果及对应的检测结果作为标注样本存入数据库；

52、利用数据库中新积累的标注样本对缺陷检测模型进行增量训练，增量训练的目标函数为：

53、

54、其中为已有模型参数，为新积累的标注样本，为在新样本上的损失函数，为正则化强度系数；

55、所述配准参数优化采用束调整方法，以最小化重投影误差为目标，对配准偏差超过阈值的样本进行外参矩阵和投影矩阵的联合优化。

56、作为另一个技术方案，提供了一种基于复合视觉的高压线缆带电检测系统，与上述的一种基于复合视觉的高压线缆带电检测方法配合使用，包括：

57、数据采集模块，包括搭载于无人机或带电作业机器人上的传感器阵列，所述传感器阵列至少包括激光雷达扫描仪、x射线数字成像设备以及至少一种二维图像传感器；

58、数据预处理模块，用于对各模态采集数据进行预处理；

59、时空配准模块，用于以三维点云为空间基准建立各二维图像数据与三维点云之间的双向投影映射关系，并以三维点云为桥梁建立各二维图像之间的像素级映射关系；

60、物理重建模块，用于利用x射线投影数据和三维点云几何先验信息重建融合了空间几何信息与内部透视信息的三维数字模型；

61、多模态融合检测模块，用于对三维点云特征、各二维图像特征以及三维数字模型特征进行特征空间对齐、融合并检测缺陷；

62、交叉验证模块，用于在三维空间中对各模态检测结果进行交叉比对验证和几何一致性验证；

63、闭环迭代模块，用于构建数据闭环并根据新积累的标注数据对检测模型进行增量学习，以及优化配准参数；

64、输出模块，用于输出同时包含外部形态检测结果与内部结构检测结果的复合视觉检测结论。

65、从上面所述可以看出，本发明有益效果如下：

66、（1）实现了x射线与三维点云的深度物理融合。通过几何先验约束将lidar点云的三维空间信息引入x射线的三维重建过程，使重建结果同时满足x射线投影数据的物理一致性约束和三维点云的几何一致性约束，将重建精度提升了约30%。

67、（2）构建了“数据层→物理层→决策层”三级融合架构。数据层以三维点云为空间基准实现五种模态数据的精确对齐；物理层通过几何先验约束实现x射线投影数据与点云在物理模型层面的深度融合；决策层通过多模态特征融合与三维空间交叉验证实现高可靠性缺陷检测。

68、（3）建立了“多模态+几何”双重三维空间交叉验证机制。将单一模态的误报率从约15%降低至约4.5%，显著提高了检测结论的可靠性。

69、（4）建立了从外部到内部的完整信息关联链路。 三维点云为统一的空间基准，将可见光、红外、紫外、x射线四种图像信息在三维空间中进行精确关联，实现了从“孤立检测”到“综合诊断”的跨越。

70、（5）实现了从采集到决策的完整数据闭环与持续进化。通过数据闭环构建和增量学习，系统运行6个月后检测召回率从92.5%提升至96.3%。