面向光热电站的跨模态图像融合与目标检测方法及系统与流程

本发明涉及计算机视觉与智能巡检，具体而言，涉及一种面向光热电站复杂作业环境的跨模态图像融合与目标检测方法及系统。

背景技术：

1、随着光热发电技术的规模化应用，电站作业现场的安全监控与智能巡检需求日益迫切。基于计算机视觉的目标检测技术是实现作业人员入侵预警、运输车辆调度及关键设备状态监测的关键手段。然而，光热电站特有的复杂户外工况给传统的单模态视觉检测带来了巨大挑战。

2、目前，行业内常采用可见光成像与红外热成像相结合的方案。可见光相机能提供丰富的纹理与颜色信息，但在低照度、逆光及沙尘烟尘干扰环境下，成像质量会急剧下降，导致目标特征丢失。相比之下，红外相机虽能穿透烟尘并反映热辐射分布，不受光照影响，但其图像分辨率较低，缺乏纹理细节，且易受高温背景热交叉干扰。传统的图像融合方法多采用固定权重或简单的金字塔变换，无法根据环境变化自适应调整融合策略，往往导致融合结果在恶劣环境下出现伪影或细节模糊。

3、此外，现有的融合算法多以像素级视觉指标（如信息熵、梯度）为优化目标，缺乏对高层语义任务的针对性。这种重视觉、轻认知的优化范式，导致融合图像虽然看起来清晰，却未必有利于后续的目标检测网络提取判别性特征，限制了检测精度在复杂场景下的进一步提升。

4、因此，亟需一种能够感知环境变化、具备语义引导能力的跨模态融合与检测技术，以满足光热电站全天候、高可靠性的安防需求。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种面向光热电站的跨模态图像融合与目标检测方法及系统，通过场景自适应的频域融合与语义一致性约束，提升复杂光照条件下的融合质量与目标检测精度。

2、第一方面，本申请实施例提供一种面向光热电站的跨模态图像融合与目标检测方法，所述方法包括：

3、采集光热电站作业现场经空间配准的红外辐射图像和可见光反射图像；

4、以所述可见光反射图像为输入，经场景判别网络辨识成像条件，输出场景类别置信向量；

5、以所述红外辐射图像和可见光反射图像为输入，采用可学习方向敏感小波基实施多方向频域分解，分离出低频和多个方向高频分量群，分别卷积映射后经小波域逆变换重构双模态特征张量；

6、将所述场景类别置信向量与所述双模态特征张量共同馈入跨域协同调制单元，基于场景自适应权重矩阵对红外与可见光特征的低频及高频分量执行空间加权整合，输出增强双路特征图；

7、将所述增强双路特征图经逐级上采样与残差补偿重建为初步融合图像；

8、构建复合损失函数优化融合网络，依据场景类别置信向量设定不同频段的动态损失权重，并以初步融合图像经语义解析网络所得像素级类别概率分布与真值的差异为约束，反向传播更新融合网络参数；

9、将参数优化后融合网络输出的最终融合图像输入至目标检测网络，对光热电站作业现场中的作业人员、运输车辆及站内关键设备进行类别判定与空间定位，输出类别标签和边界框坐标。

10、第二方面，本申请实施例提供一种面向光热电站的跨模态图像融合与目标检测系统，应用于如第一方面所述的方法，所述系统包括：

11、图像采集与配准模块，用于采集光热电站作业现场经空间配准的红外辐射图像和可见光反射图像；

12、场景判别模块，用于以所述可见光反射图像为输入，经场景判别网络辨识成像条件，输出场景类别置信向量；

13、小波域特征提取模块，用于以所述红外辐射图像和可见光反射图像为输入，采用可学习方向敏感小波基实施多方向频域分解，分离出低频和多个方向高频分量群，分别卷积映射后经小波域逆变换重构双模态特征张量；

14、跨域协同调制模块，用于将所述场景类别置信向量与所述双模态特征张量共同馈入跨域协同调制单元，基于场景自适应权重矩阵对红外与可见光特征的低频及高频分量执行空间加权整合，输出增强双路特征图；

15、图像重建模块，用于将所述增强双路特征图经逐级上采样与残差补偿重建为初步融合图像；

16、网络优化模块，用于构建复合损失函数优化融合网络，依据场景类别置信向量设定不同频段的动态损失权重，并以初步融合图像经语义解析网络所得像素级类别概率分布与真值的差异为约束，反向传播更新融合网络参数；

17、目标检测模块，用于将参数优化后融合网络输出的最终融合图像输入至目标检测网络，对光热电站作业现场中的作业人员、运输车辆及站内关键设备进行类别判定与空间定位，输出类别标签和边界框坐标。

18、第三方面，本申请实施例提供一种电子设备，包括：

19、处理器；

20、用于存储处理器可执行指令的存储器；

21、其中，所述处理器被配置为执行所述指令时实现如第一方面所述的面向光热电站的跨模态图像融合与目标检测方法。

22、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序指示设备执行如第一方面所述的面向光热电站的跨模态图像融合与目标检测方法。

23、与现有技术相比，本发明具有以下显著有益效果：通过引入场景判别网络输出置信向量，实现了从固定融合到场景驱动融合的转变，有效解决了背景技术中所述传统融合方法无法根据环境变化自适应调整融合策略的技术缺陷，能够针对正常照度、低照度及烟尘干扰等不同工况自动优化融合策略，显著提升了系统在复杂环境下的鲁棒性。采用可学习方向敏感小波基进行频域分解与重构，不仅扩大了网络感受野，还实现了对光热电站特有结构（如定日镜阵列、吸热器边缘）的方向敏感特征提取，克服了传统小波变换采用固定基函数、难以适配特定工业场景几何结构的局限性，同时结合场景置信对频带进行增益调制，有效保留了热辐射轮廓与纹理细节。构建了场景-频段联合感知损失函数与语义一致性损失函数，将融合网络的优化目标从单纯的像素保真转向服务于高层目标检测任务，解决了背景技术中所述‘重视觉、轻认知’的优化范式所导致的融合图像不利于后续目标检测网络提取判别性特征的问题，从而在根本上提升了目标检测的准确率与定位精度。

1.一种面向光热电站的跨模态图像融合与目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述以所述可见光反射图像为输入，经场景判别网络辨识成像条件，输出场景类别置信向量，包括：

3.根据权利要求1所述的方法，其特征在于，所述方向敏感小波基被配置为在训练过程中动态调整其方向敏感参数与尺度参数，以自适应拟合光热电站内吸热器边缘与定日镜阵列的几何结构特征；所述多方向频域分解所分离出的高频分量群至少包含表征水平、垂直及斜向边缘信息的子带，用于对红外热辐射分布与可见光纹理细节进行解耦表征。

4.根据权利要求1所述的方法，其特征在于，所述分别卷积映射后经小波域逆变换重构双模态特征张量，包括：

5.根据权利要求2所述的方法，其特征在于，所述将所述场景类别置信向量与所述双模态特征张量共同馈入跨域协同调制单元，基于场景自适应权重矩阵对红外与可见光特征的低频及高频分量执行空间加权整合，包括：

6.根据权利要求5所述的方法，其特征在于，所述利用所述场景类别置信向量对所述低频分量空间权重图与高频分量空间权重图进行置信度校准，包括：

7.根据权利要求1所述的方法，其特征在于，所述将所述增强双路特征图经逐级上采样与残差补偿重建为初步融合图像，包括：

8.根据权利要求1所述的方法，其特征在于，所述依据场景类别置信向量设定不同频段的动态损失权重，包括：

9.根据权利要求8所述的方法，其特征在于，所述以初步融合图像经语义解析网络所得像素级类别概率分布与真值的差异为约束，包括：

10.一种面向光热电站的跨模态图像融合与目标检测系统，应用于如权利要求1至9任一项所述的方法，其特征在于，所述系统包括：