一种双通道融合成像方法、系统及巡检设备

摘要: 本技术涉及目标检测,尤其是涉及一种双通道融合成像方法、系统及巡检设备。背景技术:1、输电线路是电力系统的关键基础设施,其安全运行直接关系到电网稳定和社会供电保障...
一种双通道融合成像方法、系统及巡检设备

本技术涉及目标检测,尤其是涉及一种双通道融合成像方法、系统及巡检设备。

背景技术:

1、输电线路是电力系统的关键基础设施,其安全运行直接关系到电网稳定和社会供电保障。我国输电线路分布广泛、跨度大、环境复杂,为提高巡检效率与安全性,基于无人机平台搭载视觉传感器的智能巡检方式得到广泛应用。巡检时主要采用可见光(vis,波长0.4–0.7μm)成像,分辨率高、纹理细节丰富,是当前电力巡检的主流手段。然而,可见光对光照条件和天气状况高度敏感。在雾、霾、烟尘等低能见度条件下,大气散射导致目标对比度急剧下降,大量巡检图像不可用。

2、电力巡检中另一主要手段为红外热成像(lwir,长波红外8-14μm),其基于目标自身热辐射,不依赖环境光照,可夜间工作,但其主要功能是测温,以检测设备的异常发热。但是,针对表面积污、轻微破损、绝缘子裂纹等不伴随显著温升的早期缺陷,热红外图像对比度低,难以有效识别。此外,热红外图像空间分辨率较低,细节纹理模糊。

3、针对上述中的相关技术,发明人发现现有电力巡检方案存在巡检图像成像质量低和识别准确率低的问题。

技术实现思路

1、为了改善巡检图像的成像质量和提高识别准确率,本技术提供了一种双通道融合成像方法、系统及巡检设备。

2、第一方面,本技术提供一种双通道融合成像方法。

3、本技术是通过以下技术方案得以实现的:

4、一种双通道融合成像方法,包括以下步骤,

5、获取同步采集的目标对象的可见光图像和短波红外图像;

6、基于所述可见光图像和所述短波红外图像,采用预设的双分支特征提取网络,分别提取带有彩色纹理特征的第一模态特征和带有灰度纹理特征的第二模态特征;

7、通过预设的跨模态特征融合模块,分别对所述第一模态特征和所述第二模态特征进行各分支通道内部的长程空间依赖关系建模,以及模态特征之间的互补关联,并通过通道权重自适应学习机制,根据当前场景为所述第一模态特征和所述第二模态特征动态分配融合权重,得到具备空间语义和跨模态互补信息的融合特征;

8、将所述融合特征输入预设的检测网络中,输出目标检测结果。

9、本技术在一较佳示例中可以进一步配置为:所述跨模态特征融合模块包括,

10、模态内自注意力层,用于分别对所述第一模态特征和所述第二模态特征进行多头自注意力处理,得到第一增强特征和第二增强特征;

11、模态间交叉注意力层,用于以所述第一增强特征作为查询向量,以所述第二增强特征作为键向量和值向量,进行双向交叉注意力计算,并通过残差连接所述第一增强特征,生成第一互补增强特征,以及以所述第二增强特征作为查询向量,以所述第一增强特征作为键向量和值向量,进行双向交叉注意力计算,并通过残差连接所述第二增强特征,生成第二互补增强特征;

12、融合输出层,用于将所述第一互补增强特征和所述第二互补增强特征,经卷积和残差连接后输出,得到所述融合特征。

13、本技术在一较佳示例中可以进一步配置为:所述跨模态特征融合模块还包括,

14、通道权重自适应学习层,用于对所述第一增强特征和所述第二增强特征分别进行全局平均池化,得到第一全局质量描述向量和第二全局质量描述向量并拼接,再通过全连接网络和激活函数,输出双通道融合权重;

15、所述融合输出层根据所述双通道融合权重,先对所述第一互补增强特征和所述第二互补增强特征进行加权融合,再经卷积和残差连接后输出所述融合特征。

16、本技术在一较佳示例中可以进一步配置为:所述获取同步采集的可见光图像和短波红外图像之后,还包括以下步骤,

17、基于预设的相机标定参数和同步触发时序信息,对所述可见光图像和所述短波红外图像进行亚像素级空间对齐。

18、本技术在一较佳示例中可以进一步配置为:所述通过双分支特征提取网络分别提取第一模态特征和第二模态特征时,还包括以下步骤,

19、在提取所述第二模态特征的过程中,基于mie散射理论,对不同天气条件下的图像退化,采用补偿系数进行自适应校正,所述补偿系数根据实时气象参数动态更新。

20、本技术在一较佳示例中可以进一步配置为:获取所述短波红外图像时,还包括以下步骤,

21、采用短波红外探测器获取所述短波红外图像,并配置发射光谱范围与所述短波红外探测器的量子效率曲线相匹配的宽谱光源进行主动照明。

22、本技术在一较佳示例中可以进一步配置为:获取所述短波红外图像时,还包括以下步骤,

23、当能见度低于预设阈值时,光源切换为中心波长位于所述短波红外探测器响应波段内的窄带光源,并在所述短波红外探测器前加装与所述窄带光源波长匹配的窄带滤光片,以单波长穿透方式进行成像。

24、本技术在一较佳示例中可以进一步配置为:所述将所述融合特征输入预设的检测网络中,输出目标检测结果的步骤包括:

25、采用一阶段检测网络,输入所述融合特征,输出目标对象的目标类别、置信度和空间定位信息。

26、第二方面,本技术提供一种双通道融合成像系统。

27、本技术是通过以下技术方案得以实现的:

28、一种双通道融合成像系统,包括,

29、第一图像采集模块,用于采集目标对象的可见光图像;

30、第二图像采集模块,包含短波红外探测器,用于采集目标对象的短波红外图像;

31、照明光源,用于提供发射光谱范围与所述短波红外探测器的量子效率曲线相匹配的宽谱光源,或,提供光源中心波长位于所述短波红外探测器响应波段的窄带光源;

32、同步控制模块,用于保证所述第一图像采集模块与所述第二图像采集模块的采集时间同步;

33、处理模块,用于执行上述任意一种双通道融合成像方法的步骤。

34、第三方面,本技术提供一种巡检设备。

35、本技术是通过以下技术方案得以实现的:

36、一种巡检设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述任意一种双通道融合成像方法的步骤。

37、综上所述,与现有技术相比,本技术提供的技术方案带来的有益效果至少包括:

38、获取同步采集的目标对象的可见光图像和短波红外图像,通过短波红外利用更长波长散射截面更小的物理特性,实现恶劣天气穿透成像,同时保留可见光彩色纹理细节和短波红外在恶劣天气下的目标轮廓细节,以确保在低能见度天气下能够保留目标对象更多的纹理信息;基于所述可见光图像和所述短波红外图像,采用预设的双分支特征提取网络,分别提取带有彩色纹理特征的第一模态特征和带有灰度纹理特征的第二模态特征;通过预设的跨模态特征融合模块,分别对所述第一模态特征和所述第二模态特征进行各分支通道内部的长程空间依赖关系建模,以及模态特征之间的互补关联,以增强可见光通道特征和短波红外通道特征的语义表达,实现跨模态特征的信息交互与增强;通过通道权重自适应学习机制,根据当前场景为所述第一模态特征和所述第二模态特征动态分配融合权重,得到具备空间语义和跨模态互补信息的融合特征,实现不同天气条件下的双通道特征自适应补偿;最后将所述融合特征输入预设的检测网络中,输出目标检测结果;实现了巡检图像的高质量获取,改善了巡检图像成像的质量,并通过跨模态交叉注意力融合机制,实现双通道特征的模态内自注意力增强和跨模态信息交互,以及根据当前场景的特征质量动态分配融合权重,使得模型的输出精度更高,解决双通道图像质量随环境动态波动导致的融合失衡问题,提高了识别准确度,适用于低能见度下的输电线路巡检。