一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法

本发明属于计算机视觉与低光图像处理，具体涉及一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法。

背景技术：

1、夜间低光图像增强是计算机视觉领域的基础研究任务，旨在恢复光照不足条件下图像的亮度、对比度与结构细节，在智能监控、自动驾驶、夜间安防等领域具有重要应用价值。现有低光增强技术主要分为三类：基于传统图像处理的方法、基于单模态深度学习的方法，以及基于多模态融合的方法。

2、传统方法以直方图均衡化、retinex理论为代表，通过显式调节像素分布或分解光照与反射分量实现增强，但在极低光照场景下，易出现噪声放大、光晕伪影、色彩失真等问题，难以应对复杂夜间环境。

3、基于深度学习的单模态方法通过卷积网络或transformer模型从数据中学习退化映射，显著提升了增强效果，但在夜间极暗条件下，可见光图像本身存在严重的结构退化、纹理缺失与信噪比下降，单一模态的信息不足以支撑精准的结构恢复，易出现局部过增强、纹理模糊与伪影扩散等问题。

4、为解决上述问题，现有研究开始引入红外图像作为辅助信息，通过跨模态融合提升低光增强性能。红外图像依赖目标热辐射成像，不受环境光照影响，可提供稳定的结构轮廓信息。然而现有多模态融合方法仍存在明显缺陷：其一，大多采用直接特征拼接、静态加权或统一注意力机制进行融合，默认双模态结构表达一致，忽略了实际场景中红外与可见光存在的响应差异、强度反转与结构错位问题，易引入融合伪影与错误传播；其二，融合策略缺乏区域自适应性，无法根据不同区域的退化程度与模态可靠性动态调整融合比例，导致暗区结构恢复不足与亮区细节丢失并存；其三，增强阶段多采用统一的增强策略，难以兼顾大范围低响应区域与局部高亮区域的差异化恢复需求，增强稳定性不足。

5、综上，现有夜间低光增强技术在极暗场景下仍存在结构恢复能力不足、模态融合易产生伪影、增强策略自适应性差等问题，无法满足复杂夜间环境下的高质量视觉恢复需求。

技术实现思路

1、本发明的目的在于提供一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，旨在解决夜间极低照度场景下可见光图像结构退化严重、跨模态融合易出现结构错配与伪影、增强策略自适应性差的技术问题，实现极暗环境下鲁棒、高质量的图像增强。

2、为实现上述目的，本发明提供如下技术方案：一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，包括以下步骤：

3、s1、输入配对的夜间低光可见光图像与红外图像，构建引入红外梯度域结构约束的retinex增强框架，将低光增强建模为带红外结构先验的约束优化问题；

4、s2、通过光照特征提取模块分别对可见光图像与红外图像进行光照解耦处理，输出逐像素的光照图与高维光照特征；其中可见光分支将输入低光图像与对应光照图逐元素相乘，得到初步增强图像；

5、s3、采用特征引导的多头自注意力机制，对双模态光照特征进行跨模态空间对齐，建立红外与可见光特征的结构对应关系，缓解模态间结构不一致与强度反转问题；

6、s4、通过自适应光照融合模块，基于门控机制生成空间自适应的融合权重，对对齐后的双模态光照特征进行动态加权融合，得到融合光照特征；

7、s5、构建融合特征引导的u型transformer增强网络，以所述初步增强图像为输入，以所述融合光照特征为全局引导信息，通过编码器－解码器结构完成多尺度特征建模与门控跳连融合，最终输出增强后的可见光图像；

8、s6、构建包含重建损失、光照平滑损失与梯度域结构一致性损失的复合损失函数，对整个增强网络进行端到端的监督训练。

9、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s1中红外梯度域结构约束具体为：在梯度域建立可见光图像反射分量与红外图像的结构一致性关系，表达式为：

10、;

11、其中，为可见光反射分量的梯度，为红外图像的梯度，为空间自适应权重，用于表征不同区域红外结构信息的可靠性；

12、对应的约束优化问题表达式为：

13、;

14、其中，为观测低光可见光图像，为反射分量，为照明分量，为逐元素乘法，为光照平滑约束项，为红外引导的结构一致性约束项，、为平衡权重系数。

15、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s2中光照特征提取模块的处理过程具体为：

16、s21、通过三层轻量卷积网络预测输入图像的逐像素光照调节曲线参数；

17、s22、基于光照调节曲线参数，通过迭代非线性光照映射得到光照调整后的光照图，迭代公式为：

18、;

19、其中，为迭代轮次，初始状态为输入图像；

20、s23、通过1×1卷积对光照调节曲线参数进行通道维度映射，得到高维光照特征，该光照特征仅表征空间光照分布信息，不含纹理与噪声干扰。

21、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s3中特征引导的多头自注意力机制包含两种工作模式：

22、跨模态对齐模式：分别以一个模态的光照特征生成查询、键、值向量，以另一模态的光照特征作为引导信息对值向量进行逐元素调制，通过跨模态查询－键相似性计算注意力权重，实现双模态特征的空间对齐；

23、特征增强模式：查询、键、值向量均来源于图像特征，以融合光照特征作为引导信息调制值向量，通过自注意力建模全局上下文依赖，实现特征的选择性增强。

24、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s4中自适应光照融合模块的处理过程具体为：

25、将对齐后的可见光光照特征与红外光照特征在通道维度拼接，通过1×1卷积与sigmoid激活函数生成空间门控图；

26、基于门控图对双模态特征进行加权融合，融合特征表达式为：

27、;

28、其中，为红外光照特征，为可见光光照特征，门控图的取值范围为[0,1]，用于动态调节不同空间位置的模态贡献占比。

29、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s5u型transformer增强网络的编码器部分由多级编码单元堆叠而成，每级编码单元依次包含特征增强校准模块与特征引导注意力块，末尾连接下采样操作；

30、其中特征引导注意力块内部集成特征引导的多头自注意力机制，以融合光照特征为引导，对图像特征进行自适应重加权，突出光照退化显著区域的特征响应。

31、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述特征增强校准模块包含残差特征分支、边缘增强分支与多尺度通道注意力单元：

32、残差特征分支通过两层卷积学习输入特征的残差信息；

33、边缘增强分支采用拉普拉斯核初始化的卷积层提取二阶梯度信息，强化高频结构特征；

34、多尺度通道注意力单元对输出特征进行多尺度自适应平均池化，通过两层1×1卷积生成通道权重，对特征进行逐通道重标定。

35、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s5中u型transformer增强网络的解码器部分与编码器对称设置，每级解码单元先进行上采样与通道调整，再与对应编码器层级的特征通过门控融合模块进行融合；

36、所述门控融合模块以上采样特征作为查询向量，生成空间注意力系数，对下采样的编码器特征进行加权选择，抑制背景区域噪声响应，聚焦关键结构区域的恢复。

37、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，优选的，所述s6中复合损失函数的表达式为：

38、;

39、其中，为重建损失，采用增强图像与真值图像的梯度域l1距离，结合空间权重进行计算；

40、为光照平滑损失，约束照明分量梯度与输入图像梯度的相对关系，保证光照估计的空间平滑性；

41、为梯度域结构一致性损失，计算增强图像梯度与红外图像梯度的l1距离，约束结构对齐。

42、作为本发明一种梯度域红外结构约束与动态门控融合的夜间暗光图像增强网络实现方法，是优选的，该方法应用于夜间智能监控、自动驾驶、机器人导航场景的低光图像增强，增强后的图像可直接输入目标检测、语义分割下游视觉任务网络。

43、与现有技术相比，本发明的有益效果是：

44、本发明通过构建了梯度域红外结构约束的retinex增强框架，从理论层面将红外结构信息作为反射分量的先验约束引入retinex分解，在梯度域建立跨模态结构一致性关系，规避了像素域直接融合带来的强度反转与伪影问题，有效压缩了解空间，提升了极暗条件下结构恢复的稳定性与准确性。

45、本发明通过设计了“跨模态特征对齐-自适应门控融合”的两级融合机制：先通过特征引导自注意力建立双模态空间对应关系，缓解结构错位；再通过空间门控权重实现区域级动态加权，根据结构可靠性自动调节模态贡献比例。该机制可有效抑制结构错配、噪声传播与融合伪影，实现精细化的跨模态信息互补。

46、本发明通过构建了融合特征引导的u型transformer增强网络，将融合后的光照先验作为全局引导信息注入增强过程，结合多尺度通道注意力与门控跳连机制，实现不同退化区域的差异化增强，在提升全局亮度的同时有效保留局部细粒度结构，兼顾了增强效果与细节保真度。

47、本发明通过整体网络结构轻量，参数量仅1.81m，单图推理速度达52.26ms，在实现sota级增强性能的同时兼顾了计算效率，能够适配边缘设备与实时应用场景；且增强后的图像可直接支撑下游目标检测、语义分割等任务，具备较高的工程应用价值。