信噪比引导双分支动态融合的低照度图像增强方法及系统与流程

本发明涉及图像处理领域，具体涉及信噪比引导双分支动态融合的低照度图像增强方法及系统。

背景技术：

1、在弱光环境下，由于光照条件受限或者分布不均，所获取图像通常存在亮度不足、对比度下降、噪声增强以及细节信息退化等问题，导致图像视觉质量明显下降，难以满足后续视觉感知与图像分析任务的应用需求。为改善低照度图像的成像质量，现有技术通常通过亮度提升、噪声抑制以及颜色校正等方式对低照度图像进行增强处理，以期恢复具有较好视觉自然性和可辨识度的图像结果。

2、目前，低照度图像增强方法大多基于深度神经网络构建端到端增强模型。在颜色空间处理方面，部分现有方法直接在rgb（red green blue，红绿蓝）颜色空间中学习低照度图像到正常光照图像的映射关系。然而，rgb颜色空间中各颜色通道之间具有较强耦合性，在增强过程中，某一通道的调节往往会对其他通道产生联动影响，进而容易引起颜色失真、局部过饱和以及纹理细节与色彩信息相互干扰等问题。为减弱rgb通道耦合带来的影响，也有部分方法将图像转换至hsv（hue saturation value，色调、饱和度、明度）等颜色空间，对其中的亮度相关分量进行单独增强。尽管该类方法在一定程度上实现了亮度与色彩信息的分离处理，但由于hsv颜色空间中的色调分量存在环形不连续性，且不同颜色空间之间的转换过程通常伴随非线性误差，因此在极低照度或者复杂光照条件下，仍容易出现颜色偏移、黑色伪影以及视觉效果不自然等问题。由此可见，现有技术在颜色空间处理层面仍难以同时兼顾亮度增强、颜色自然性以及结构信息保持。

3、除颜色空间处理问题外，现有低照度图像增强方法在特征建模能力与计算复杂度之间亦存在较难协调的矛盾。现有一类方法主要基于卷积神经网络cnn（convolutionalneural network，卷积神经网络）进行特征提取与增强处理。该类方法具有较强的局部感受野建模能力，在纹理细节恢复方面具有一定优势，但其对长距离依赖关系、全局光照分布以及跨区域上下文信息的建模能力相对有限，因此在处理亮暗分布复杂或者噪声较强的低照度图像时，容易出现局部区域增强不均衡、噪声放大以及整体亮度一致性不足等问题。另一类方法通过引入transformer等全局建模机制提升特征表征能力，虽然能够在一定程度上改善全局依赖关系建模效果，但通常存在参数量较大、计算复杂度较高以及部署成本较高的问题，从而难以兼顾增强性能与实际应用中的效率需求。

4、进一步地，现有低照度图像增强方法在增强过程中，通常缺少对图像不同空间位置成像可靠性以及噪声强弱的显式表征，多采用统一的特征提取方式或者统一的增强策略对整幅图像进行处理。然而，低照度图像中不同区域的信号质量往往存在明显差异：对于成像质量较好、细节信息相对可靠的区域，若采用过强的平滑或过度依赖全局建模，容易造成纹理细节损失；对于噪声较强、信号较弱的区域，若仍然侧重局部细节增强，则又容易引起噪声放大或者伪细节生成。因此，如何针对不同空间区域的成像质量差异，建立有效的自适应调控机制，以协调细节恢复、噪声抑制以及整体光照一致性之间的关系，仍是现有技术亟需解决的重要问题。

5、此外，在涉及亮度信息与颜色结构信息协同增强的现有方案中，不同分支之间的信息交互方式也存在进一步优化空间。若分支之间缺少有效的信息互补机制，则难以同时兼顾亮度恢复与结构保持；而若在网络浅层、中间层或多层结构中频繁执行复杂交互，又容易引入额外的参数冗余和计算负担，不利于模型结构简化及工程部署。因此，如何在保证亮度信息与颜色结构信息有效互补的同时，兼顾网络复杂度控制，也是现有技术中需要进一步改进的方面。

6、基于此，现有技术至少存在以下不足：其一，现有颜色空间增强方法难以同时兼顾亮度增强过程中的颜色自然性、结构稳定性以及视觉一致性；其二，现有增强方法普遍缺乏对不同空间区域噪声水平及成像可靠性的显式感知与自适应调节机制，因而难以有效平衡细节恢复与噪声抑制；其三，现有网络结构设计中，局部特征建模与全局特征建模难以兼顾，且亮度分支与颜色结构分支之间的信息交互效果与计算复杂度之间也难以取得较优平衡，从而限制了低照度图像增强方法在复杂真实场景下的增强效果与部署可行性。

技术实现思路

1、1、本发明要解决的技术问题

2、针对现有技术中提到的问题，本发明提出信噪比引导双分支动态融合的低照度图像增强方法及系统，以信噪比特征图生成、在u-net除最深层外各层中基于信噪比引导的局部特征与全局特征动态融合、以及仅在u-net最深层进行一次hv分支与i分支的双分支交叉注意力特征交互为核心技术手段，用于解决现有方案难以同时兼顾细节恢复、噪声抑制、整体光照一致性和计算复杂度控制的问题；其中，hvi颜色空间转换与带可训练参数density-k的hvi逆变换分别作为输入预处理与输出恢复步骤。

3、2、技术方案

4、为了实现上述目的，本发明采用如下技术方案：

5、第一方面，本发明提出一种信噪比引导双分支动态融合的低照度图像增强方法，包括以下步骤：

6、获取原始rgb图像，对原始rgb图像进行hvi颜色空间转换，得到强度图和水平垂直颜色图；

7、基于所述原始rgb图像生成信噪比特征图，其中，所述信噪比特征图由输入低照度图像对应的灰度图、均值滤波得到的无噪声图像以及由二者差分形成的噪声图计算得到；

8、对强度图以及由强度图与水平垂直颜色图构成的hvi图进行卷积特征提取，得到维度相同的强度图特征和hvi图特征，并将所述强度图特征和hvi图特征输入至预先构建好的双分支u-net网络，在u-net除最深层外的各层中，通过卷积神经网络提取局部特征、通过mamba提取全局特征，并在信噪比特征图引导下对局部特征和全局特征进行动态融合；

9、在u-net最深层中，仅对i分支和hv分支进行一次双分支交叉注意力特征交互，以使hv分支向i分支提供经噪声抑制后的结构信息、i分支向hv分支提供光照分布先验信息，得到增强特征图；

10、对增强特征图进行基于带可训练参数density-k的hvi逆变换处理，得到增强后的图像。

11、作为本发明进一步改进，所述信噪比特征图的生成过程，包括：

12、将输入低照度图像转换为灰度图，并采用均值滤波进行去噪，得到无噪声图像；

13、将输入低照度图像对应的灰度图与无噪声图像进行绝对值相减，得到噪声图；

14、将无噪声图像与噪声图相除，得到信噪比特征图；

15、其中，所述信噪比特征图用于表征不同区域的噪声强弱和成像可靠性。

16、作为本发明进一步改进，对强度图以及由强度图与水平垂直颜色图构成的hvi图进行特征提取，得到维度相同的强度图特征和hvi图特征，包括：

17、基于卷积层分别对强度图和hvi图进行特征提取，所述卷积层中的卷积核尺寸为3×3，步长为1，通过卷积层对输入进行零填充，得到维度一致的强度图特征和hvi图特征。

18、作为本发明进一步改进，所述双分支u-net网络的i分支和hv分支均包括全局特征与局部特征动态融合模块；

19、所述i分支对强度图特征增强处理过程如下：

20、所述i分支对强度图特征进行至少一次下采样，得到多尺度亮度特征；

21、基于卷积神经网络对多尺度亮度特征进行局部特征提取，得到亮度局部特征；

22、基于mamba对多尺度亮度特征进行全局特征建模，得到亮度全局特征；

23、根据信噪比特征图对亮度局部特征和亮度全局特征进行动态融合，得到亮度融合特征图；

24、在u-net除最深层外的各层中重复执行所述局部特征提取、全局特征建模和动态融合过程；

25、对融合后的亮度特征进行至少一次上采样，得到i分支特征图；

26、所述hv分支对hvi图特征增强处理过程如下：

27、所述hv分支对hvi图特征进行至少一次下采样，得到多尺度颜色结构特征；

28、基于卷积神经网络对多尺度颜色结构特征进行局部特征提取，得到颜色结构局部特征；

29、基于mamba对多尺度颜色结构特征进行全局特征建模，得到颜色结构全局特征；

30、根据信噪比特征图对颜色结构局部特征和颜色结构全局特征进行动态融合，得到颜色结构融合特征图；

31、在u-net除最深层外的各层中重复执行所述局部特征提取、全局特征建模和动态融合过程；

32、对融合后的颜色结构特征进行至少一次上采样，得到hv分支特征图。

33、作为本发明进一步改进，所述根据信噪比特征图对局部特征和全局特征进行动态融合的过程，包括：

34、对信噪比特征图进行归一化处理得到空间权重图，并利用所述空间权重图对卷积神经网络提取的局部特征和mamba提取的全局特征进行加权求和，得到融合特征图；

35、在信噪比较高的区域提高局部特征权重，在信噪比较低的区域提高全局特征权重，以实现对细节恢复、噪声抑制和整体光照一致性的协同优化。

36、作为本发明进一步改进，所述在u-net最深层进行的一次双分支交叉注意力特征交互过程，包括：

37、将i分支的深层亮度融合特征作为第一查询向量，hv分支的深层颜色结构融合特征作为第一键向量和第一值向量，以使i分支获得经噪声抑制后的结构信息；

38、将hv分支的深层颜色结构融合特征作为第二查询向量，i分支的深层亮度融合特征作为第二键向量和第二值向量，以使hv分支获得光照分布先验信息。

39、作为本发明进一步改进，所述双分支交叉注意力特征交互仅设置于u-net最深层，以在上下文信息最充分的位置完成结构信息与光照先验信息的互补，并避免在浅层和中间层重复交互造成的参数冗余与计算开销；

40、对完成所述双分支交叉注意力特征交互后的i分支特征图与hv分支特征图进行级联，得到增强特征图；

41、对增强特征图进行基于带可训练参数density-k的hvi逆变换处理，得到增强后的图像。

42、第二方面，本发明提出一种信噪比引导双分支动态融合的低照度图像增强系统，包括：

43、预处理模块，用于获取原始rgb图像，并对原始rgb图像进行hvi颜色空间转换，得到强度图和水平垂直颜色图；

44、信噪比特征图生成模块，用于基于原始rgb图像生成信噪比特征图；

45、特征提取及动态融合模块，用于对强度图以及由强度图与水平垂直颜色图构成的hvi图进行特征提取，得到维度相同的强度图特征和hvi图特征，并将所述强度图特征和hvi图特征输入至预先构建好的双分支u-net网络，在u-net除最深层外的各层中，通过卷积神经网络和mamba并行提取局部特征和全局特征，并在信噪比特征图引导下进行动态融合；

46、最深层单次双分支交叉注意力交互模块，用于在u-net最深层仅对i分支和hv分支进行一次双分支交叉注意力特征交互，以实现结构信息与光照先验信息的互补，得到增强特征图；

47、输出模块，用于对增强特征图进行基于带可训练参数density-k的hvi逆变换处理，得到增强后的图像。

48、第三方面，本发明提出一种信噪比特征图引导局部全局融合及最深层单次双分支交互的低照度图像增强设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如上述的信噪比特征图引导局部全局融合及最深层单次双分支交互的低照度图像增强方法。

49、第四方面，本发明提出一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如上述的信噪比特征图引导局部全局融合及最深层单次双分支交互的低照度图像增强方法。

50、与现有技术相比，本发明提供的一种信噪比引导双分支动态融合的低照度图像增强系统及方法，具备以下有益效果：

51、与现有技术相比，本发明提供的信噪比引导双分支动态融合的低照度图像增强方法及系统，具有如下有益效果：

52、其一，本发明采用hvi颜色空间转换，将原始rgb图像解耦为强度图i和水平垂直颜色图hv，并通过带可训练参数density-k的hvi逆变换实现增强结果重建。通过上述技术特征，能够降低rgb颜色空间通道强耦合带来的颜色串扰问题，并避免hsv颜色空间处理中易出现的颜色偏移和黑色伪影。因此，相较于现有rgb增强方案或hsv增强方案，本发明能够在提升亮度的同时更好地保持颜色自然性和结构稳定性。

53、其二，本发明通过灰度图、均值滤波无噪声图像及差分噪声图构建信噪比特征图，对不同空间位置的成像可靠性和噪声强弱进行显式建模，并将该信噪比特征图作为后续特征融合的控制依据。通过上述技术特征，能够针对高信噪比区域和低信噪比区域采取差异化增强策略。因此，相较于采用统一增强方式的现有方案，本发明能够更有效地抑制噪声放大，同时保留有效细节信息。

54、其三，本发明在双分支u-net网络中，于除最深层外的各层通过卷积神经网络提取局部特征、通过mamba提取全局特征，并根据信噪比特征图进行动态融合。通过上述技术特征，使高信噪比区域侧重细节恢复，低信噪比区域侧重噪声抑制和整体光照一致性。因此，相较于仅依赖cnn的现有方案或仅依赖transformer类机制的现有方案，本发明能够在计算复杂度相对可控的前提下，更好兼顾局部细节与全局增强效果。

55、其四，本发明仅在u-net最深层设置一次i分支与hv分支的双分支交叉注意力特征交互，使结构信息与光照先验信息在上下文信息最充分的位置实现互补。通过上述技术特征，既提高了分支间的信息协同能力，又避免了多层重复交互带来的参数冗余和计算负担。因此，相较于多层交互方案或简单级联方案，本发明在保证信息互补效果的同时，具有更低的模型复杂度。

56、其五，本发明通过hvi颜色空间解耦、信噪比特征图引导、局部与全局特征动态融合以及最深层单次双分支交叉注意力特征交互的协同配合，使增强结果在细节恢复、噪声抑制、颜色自然性和整体视觉一致性之间取得更优平衡，因此更适用于复杂真实低照度场景下的图像增强应用。