一种低照度场景的红外与可见光视频融合方法及系统

本发明涉及计算机视觉，特别涉及一种低照度场景的红外与可见光视频融合方法及系统。

背景技术：

1、红外与低照度可见光融合旨在利用两种成像模态之间的互补信息，将红外模态中稳定的目标热响应与可见光模态中丰富的纹理细节进行融合，以获得具有较强场景感知能力的融合结果。在低照度条件下，可见光图像容易受到照明退化和噪声干扰，导致图像中的结构及纹理信息损失；红外图像能够提供较为稳定的热响应信息，但受成像机理影响，通常缺少丰富的纹理细节和细粒度结构表示。因此，如何有效融合红外热响应与低照度可见光图像中的可靠结构信息，是红外与可见光融合面临的重要问题。

2、随着深度学习技术的发展，基于卷积神经网络、transformer、生成对抗网络、状态空间模型和扩散模型的红外与可见光融合方法取得了一定进展。然而，现有部分方法通常采用统一的特征建模方式提取红外特征和可见光特征，未充分考虑两种模态在成像机理和信息表达方面的差异。红外模态主要表征目标热辐射信息，而低照度可见光模态主要包含受到光照退化影响的结构和纹理信息，采用相同的特征提取策略，难以分别突出红外目标的热响应和低照度可见光图像中的可靠结构，容易造成模态特定信息利用不足。

3、为提高融合特征的表示能力，现有技术开始利用先验信息引导红外与可见光特征提取。根据所采用的先验类型，相关方法主要包括基于低层视觉先验的方法和基于高层语义先验的方法。低层视觉先验通常利用源图像中的纹理、内容、梯度或显著性信息，引导网络保持结构和细节；高层语义先验则利用文本描述、场景语义或预训练模型提取的语义信息，引导融合网络关注具有任务价值的区域。上述方法表明，先验信息能够在一定程度上改善融合结果，但现有先验通常侧重通用视觉信息或场景语义信息，缺少针对不同成像机理的模态特定建模，难以同时描述低照度可见光图像中的亮度退化、有效结构和局部纹理，以及红外图像中的热响应、目标边界和显著区域。

4、除模态特定特征提取外，红外与可见光信息在空间域和频率域中的互补性也是影响融合质量的重要因素。现有部分方法将频率域信息引入融合过程，通过离散小波变换、傅里叶变换或其他频率分析方式增强显著目标和纹理细节。还有部分方法进一步建立空间域特征与频率域特征之间的交互关系，使频率信息能够参与空间特征融合。然而，现有方法通常将频率域特征作为独立分支进行处理，空间域与频率域之间的交互仍然有限；部分跨域融合方法依赖预先设定的固定融合策略，难以适应不同场景内容和成像条件。由于红外与可见光模态在同一空间区域中的信息可靠性可能不同，固定的拼接、相加或加权方式难以根据区域内容动态选择更有效的模态特征。

5、此外，现有红外与可见光融合方法大多面向静态图像。现实中的多模态传感器通常连续采集动态视频，视频融合不仅需要利用不同模态之间的互补信息，还需要保持连续帧之间的时空一致性。若将单帧图像融合方法直接应用于视频序列，容易忽略相邻帧之间的运动对应关系和时序依赖，导致融合视频出现帧间闪烁和结构不稳定。现有视频融合方法虽然通过多帧特征学习或时序上下文聚合改善了帧间稳定性，但仍难以兼顾当前帧的目标显著性、纹理细节与相邻帧之间的连续变化。

6、因此，现有红外与低照度可见光视频融合方法仍难以根据两种模态的成像差异分别提取可靠的热响应信息和低照度结构信息，空间域与频率域之间的协同交互以及不同区域中的模态动态选择能力也有待提高，同时还需要进一步抑制连续融合结果中的帧间闪烁和结构变化不一致。如何在保留红外显著目标与可见光纹理细节的基础上，实现模态特定特征增强、空间域-频率域协同融合及相邻帧时序信息的有效利用，是红外与低照度可见光视频融合领域需要解决的技术问题。

技术实现思路

1、鉴于上述状况，本发明的主要目的是为了提出一种低照度场景的红外与可见光视频融合方法及系统，以解决上述技术问题。

2、本发明提出一种低照度场景的红外与可见光视频融合方法，所述方法包括如下步骤：

3、步骤1、对获取的红外视频序列和可见光视频序列进行预处理，以得到红外视频输入数据和可见光视频输入数据；

4、步骤2、将红外视频输入数据和可见光视频输入数据输入至编码网络进行多尺度编码，以生成得到多尺度编码的增强模态特征；

5、步骤3、通过对多尺度编码的增强模态特征进行离散小波变换生成低频子带和高频子带；基于低频子带和高频子带，通过模态之间的相互融合以得到频率域融合特征；对频率域融合特征进行空间调制并通过混合专家机制处理，以得到空间域-频率域协同融合特征；

6、步骤4、基于空间域-频率域协同融合特征，在解码过程中利用时序一致性进行相邻帧时序建模，同时逐级进行上采样以融合多尺度特征，生成融合视频。

7、本发明还提出一种低照度场景的红外与可见光视频融合系统，所述系统包括：

8、视频序列预处理模块，用于：

9、对获取的红外视频序列和可见光视频序列进行预处理，以得到红外视频输入数据和可见光视频输入数据；

10、多尺度特征编码模块，用于：

11、将红外视频输入数据和可见光视频输入数据输入至编码网络进行多尺度编码，以生成得到多尺度编码的增强模态特征；

12、跨模态特征融合模块，用于：

13、通过对多尺度编码的增强模态特征进行离散小波变换生成低频子带和高频子带；基于低频子带和高频子带，通过模态之间的相互融合以得到频率域融合特征；对频率域融合特征进行空间调制并通过混合专家机制处理，以得到空间域-频率域协同融合特征；

14、时序建模与视频重建模块，用于：

15、基于空间域-频率域协同融合特征，在解码过程中利用时序一致性进行相邻帧时序建模，同时逐级进行上采样以融合多尺度特征，生成融合视频。

16、与现有技术相比，本发明有益效果如下：

17、1、本发明针对红外模态与低照度可见光模态不同的成像特性，分别构建热感知先验和低光感知先验，并通过感知先验引导transformer实现感知先验与对应模态特征的动态交互，能够增强红外热目标表征，并提高低照度条件下可见光纹理和结构信息的保留能力。

18、2、本发明通过空间域-频率域协同融合，对红外与可见光特征进行频率分解，并分别融合两种模态的低频结构信息和高频纹理及目标边界信息；进一步利用频率融合结果引导空间特征调制，并结合混合专家机制动态选择和聚合空间特征，从而实现区域级自适应跨模态融合，提高红外与可见光互补信息的利用能力。

19、3、本发明在视频解码过程中引入相邻帧时序信息，以提高融合结果的时序一致性，并有助于减轻融合视频中的帧间闪烁和结构不一致。

1.一种低照度场景的红外与可见光视频融合方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的低照度场景的红外与可见光视频融合方法，其特征在于，在所述步骤1中，对获取的红外视频序列和可见光视频序列进行预处理，以得到红外视频输入数据和可见光视频输入数据，具体步骤如下：

3.根据权利要求2所述的低照度场景的红外与可见光视频融合方法，其特征在于，在所述步骤2中，将红外视频输入数据和可见光视频输入数据输入至编码网络进行多尺度编码，以得到多尺度编码的增强模态特征，具体步骤如下：

4.根据权利要求3所述的低照度场景的红外与可见光视频融合方法，其特征在于，对可见光视频输入数据中的可见光特征进行多尺度亮度建模，以得到局部亮度特征和扩展亮度特征，对应过程存在如下关系式：

5.根据权利要求4所述的低照度场景的红外与可见光视频融合方法，其特征在于，利用sobel算子对红外视频输入数据中的红外特征进行梯度提取，以得到红外梯度特征，对应过程存在如下关系式：

6.根据权利要求5所述的低照度场景的红外与可见光视频融合方法，其特征在于，对可见光特征或红外特征依次进行层归一化、通道自注意力和残差连接处理，以得到通道增强特征，对应过程存在如下关系式：

7.根据权利要求6所述的低照度场景的红外与可见光视频融合方法，其特征在于，在所述步骤3中，通过对多尺度编码的增强模态特征进行离散小波变换生成低频子带和高频子带；基于低频子带和高频子带，通过模态之间的相互融合以得到频率域融合特征；对频率域融合特征进行空间调制并通过混合专家机制处理，以得到空间域-频率域协同融合特征，具体步骤如下：

8.根据权利要求7所述的低照度场景的红外与可见光视频融合方法，其特征在于，利用频率引导向量对多尺度编码的增强模态特征进行调制，以得到频率引导红外空间特征和频率引导可见光空间特征，对应过程存在如下关系式：

9.根据权利要求8所述的低照度场景的红外与可见光视频融合方法，其特征在于，在所述步骤4中，基于空间域-频率域协同融合特征，在解码过程中利用时序一致性进行相邻帧时序建模，同时逐级进行上采样以融合多尺度特征，生成融合视频，具体步骤如下：

10.一种低照度场景的红外与可见光视频融合系统，其特征在于，所述系统应用权利要求1至9任意一项所述的低照度场景的红外与可见光视频融合方法，所述系统包括：