一种基于RC-Diff模型的地下铁道低照度图像增强方法

摘要: 本发明涉及一种基于rc-diff模型的地下铁道低照度图像增强方法。背景技术:1、在城市地下铁道场景中,空间相对封闭、人工光照分布不均且列车运行易产生气流扬尘、隧...
一种基于RC-Diff模型的地下铁道低照度图像增强方法

本发明涉及一种基于rc-diff模型的地下铁道低照度图像增强方法。

背景技术:

1、在城市地下铁道场景中,空间相对封闭、人工光照分布不均且列车运行易产生气流扬尘、隧道壁面存在污渍反光,通过监控摄像头、车载记录仪及移动拍摄设备获取的图像,普遍存在光照不均、对比度失衡、细节模糊与能见度不足等问题,不仅影响人工巡检、安防监控的可视化效果,也极大制约了图像分割、轨道异物检测、设备故障识别、行人目标监测等各类高层视觉下游任务的精度与稳定性。

2、低照度图像增强技术旨在通过算法手段提升图像亮度与对比度、恢复细节纹理并抑制噪声。基于retinex理论的低照度图像增强方法近年来受到广泛关注,该类方法将图像分解为光照图与反射图,通过分别处理光照分量与反射分量以实现增强。随着深度学习的发展,基于卷积神经网络(convolutional neural network, cnn)的端到端增强方法以及基于去噪扩散概率模型(denoising diffusion probabilistic models, ddpm)的生成式增强方法逐渐成为研究热点。部分现有技术将retinex的颜色恒常性理论与扩散模型的精细生成能力结合,通过分解-增强-重构的流程实现低光照图像增强。

3、然而,上述现有技术至少存在以下技术缺陷:

4、第一,现有基于retinex理论的分解方法通常采用常规卷积网络进行光照图与反射图的分解估计,特征提取性能不足,分解精度欠佳。在训练与推理过程中,网络易对图像过度平滑,导致反射图纹理缺失、画面模糊,同时放大粉尘与成像噪声。在地下铁道低照度、高粉尘的复杂工况下,上述缺陷被进一步加剧,难以支撑后续视觉检测任务的稳定运行。

5、第二,现有基于retinex与扩散模型的低光照图像增强方法通常仅将原始退化的低光图像作为扩散生成过程的条件输入,缺乏对生成过程的多层级有效引导。由于条件信息单一,生成结果的可控性不足,易出现细节模糊、色彩偏差等问题,限制了整体增强性能的提升。

6、第三,现有技术普遍仅依赖空域卷积操作进行特征提取与优化,感受野受限,难以有效捕获全局低频光照信息。同时,空域卷积将高低频特征深度耦合于同一特征图中,二者难以分离优化,在卷积优化过程中相互干扰。在全局提亮时,不仅有效高频细节被放大,图像中原本存在的噪声也被同步增强,严重影响增强效果。

技术实现思路

1、本发明是为了解决上述现有技术存在的问题而提供一种基于rc-diff模型的地下铁道低照度图像增强方法。

2、本发明所采用的技术方案有:

3、一种基于rc-diff模型的地下铁道低照度图像增强方法,包括以下步骤:

4、s1:获取待增强的地下铁道低照度图像;

5、s2:将低照度图像输入已完成预训练的fam-decompose分解网络,分解得到反射图与光照图;

6、s3:将反射图输入cen内容编码网络,提取多级内容特征;

7、s4:将光照图输入已完成预训练的uba亮度调节网络,得到初步增强光照图;

8、s5:将初步增强光照图输入ben亮度编码网络,提取多级光照特征;

9、s6:将对应尺度的多级内容特征与多级光照特征成对输入fce特征交叉嵌入模块进行特征融合,得到多级融合特征;

10、s7:将多级融合特征作为条件输入至条件扩散生成模块,进行低照度图像增强,得到增强后的图像。

11、进一步地,s2中,所述fam-decompose分解网络采用卷积层与fcam多特征融合残差模块交替堆叠的结构;

12、低照度图像依次经过多组3×3卷积层与fcam多特征融合残差模块处理后,输出对应的反射图与光照图。

13、进一步地,所述fcam多特征融合残差模块的处理过程包括:

14、(1)输入特征分为主特征分支与残差分支,残差分支经1×1卷积提取基础特征;

15、(2)主特征分支经多级3×3卷积逐步下采样,提取不同尺度的特征图;

16、(3)深层特征图经转置卷积上采样后,执行尺寸不变双线性插值以消除伪影与像素偏移;

17、(4)上采样后的特征图经ca坐标注意力机制加权后,与对应尺度的浅层特征图逐像素相加,再与同尺度插值后的特征图拼接;

18、(5)多级融合后的特征经1×1卷积调整通道后,与残差分支的基础特征逐像素相加,输出最终特征。

19、进一步地,s4中,uba亮度调节网络由9个se-sffe空间频域特征提取模块构成u型网络架构;网络中相同尺度的特征通过跳跃连接执行像素级相加,实现浅层细节特征与深层语义特征的融合。

20、进一步地,se-sffe空间频域特征提取模块采用三分支处理结构,处理过程包括:

21、(1)空域分支通过两组3×3卷积提取输入特征的局部空间细节特征;

22、(2)频域分支通过快速傅里叶变换将输入特征分解为幅度分量与相位分量;对幅度分量经1×1卷积与se通道注意力机制筛选有效频带,对相位分量经1×1卷积调节纹理信息;处理后的幅度分量与相位分量经逆快速傅里叶变换转换回空间域;

23、(3)将空域分支输出的空间特征与频域分支输出的特征拼接,经1×1卷积调整通道后,与残差分支的输入特征融合,输出调节后的特征。

24、进一步地,s3中,所述cen内容编码网络由4个串行连接的swintransformer模块组成,提取得到四级不同尺度的多级内容特征;

25、s5中,所述ben亮度编码网络由4个带下采样的3×3卷积层串联组成,提取得到四级不同尺度的多级光照特征。

26、进一步地,s6中,特征融合具体为:将对应尺度的内容特征与光照特征按照retinex成像关系进行逐元素相乘,生成对应尺度的多级融合特征。

27、进一步地,s7中,条件扩散生成模块以卷积u-net为骨干网络;

28、多级融合特征按尺度对应逐一拼接至卷积u-net各下采样卷积块的输出特征处,拼接后的特征经cbam注意力机制加权后,通过残差连接与拼接前的特征融合,最终输入扩散模型完成低照度图像增强。

29、进一步地,所述方法还包括模型预训练阶段,模型预训练阶段包括以下步骤:

30、s01:构建包含成对正常光照图像与低光照图像的图像分解训练数据集,以分解损失与去噪损失为训练损失,单独预训练fam-decompose分解网络,至损失收敛后得到预训练的fam-decompose分解网络;

31、s02:构建包含成对正常光照图像与低光照图像的亮度调节训练数据集,以平滑损失、亮度一致性损失与频域损失加权求和为总损失,单独预训练uba亮度调节网络,至损失收敛后得到预训练的uba亮度调节网络。

32、进一步地,所述方法还包括模型训练阶段:冻结预训练完成的fam-decompose分解网络与uba亮度调节网络的参数,将cen内容编码网络、ben亮度编码网络、fce特征交叉嵌入模块与条件扩散生成模块联合训练,以扩散损失与内容损失加权求和为总训练损失,至损失收敛后得到最终的rc-diff模型。

33、本发明具有如下有益效果:

34、(1)本发明采用fam-decompose分解网络,并在该网络中引入fcam多特征融合残差模块。fcam多特征融合残差模块通过多尺度卷积提取不同尺寸的空间特征,利用转置卷积与双线性插值实现特征尺寸放大与棋盘格伪影消除,并借助坐标注意力机制(coordinateattention, ca)筛选关键有效特征、抑制无用背景噪声,从而提升光照图与反射图的分解精度,有效保留反射图纹理细节并抑制粉尘与成像噪声,适应地下铁道低照度、高粉尘的复杂工况。

35、(2)本发明将增强过程建模为在特定条件下进行的条件生成模型。通过cen内容编码网络提取反射图的多级内容特征,通过uba(亮度调节模块)亮度调节网络对光照图进行初步增强,再通过ben亮度编码网络提取多级光照特征,最后利用fce特征交叉嵌入模块将内容特征与光照特征成对融合,生成多级融合特征作为条件引导。该多层级条件引导机制为扩散生成过程提供了丰富的内容结构与亮度先验信息,提升了生成结果的可控性,有效抑制细节模糊与色彩偏差。

36、(3)本发明在uba亮度调节网络中设计se-sffe空间频域特征提取模块,采用空域分支与频域分支协同处理结构。空域分支通过卷积提取局部空间细节,频域分支通过快速傅里叶变换(fast fourier transform, fft)将特征分解为幅度分量与相位分量并分别调节,再经逆快速傅里叶变换(inverse fast fourier transform, ifft)回空间域融合。该结构以频域全局建模替代冗余卷积堆叠,有效捕获全局低频光照信息,实现空域细节与频域全局信息的分离优化,避免高低频特征混叠干扰,在提升图像亮度的同时抑制噪声同步增强。

37、(4)此外,本发明采用分阶段训练策略:先单独预训练fam-decompose分解网络与uba亮度调节网络,再冻结上述预训练参数并联合训练cen内容编码网络、ben亮度编码网络、fce特征交叉嵌入模块与条件扩散生成模块。该策略使各子网络在预训练阶段充分学习分解与亮度调节的基础能力,在联合训练阶段专注于多特征融合与条件生成的协同优化,提升了模型训练的稳定性与收敛效率,使增强后的图像在地下铁道极暗区域仍能保持细节清晰与色彩准确。