一种基于几何感知深度–频率解耦网络的低照度图像增强方法

摘要: 本发明涉及图像处理与计算机视觉,具体涉及一种基于几何感知深度–频率解耦网络的低照度图像增强方法,通过联合利用深度几何先验和频率子带信息,对低照度图像中的光照衰减...
一种基于几何感知深度–频率解耦网络的低照度图像增强方法

本发明涉及图像处理与计算机视觉,具体涉及一种基于几何感知深度–频率解耦网络的低照度图像增强方法,通过联合利用深度几何先验和频率子带信息,对低照度图像中的光照衰减、结构弱化、纹理损失和噪声干扰进行解耦建模,适用于图像质量提升、场景深度估计与低光重建、计算机视觉感知系统及边缘计算场景中的低照度成像质量提升。

背景技术:

1、低照度图像增强是计算机视觉和图像处理领域的重要基础任务,其目标是恢复在光照不足条件下采集图像的亮度、对比度、色彩以及结构和纹理信息。在低照度环境中,由于曝光不足、传感器信噪比下降以及成像设备动态范围受限,获取的图像通常存在亮度降低、对比度不足、颜色失真、纹理退化和噪声增强等问题。这些退化不仅影响图像的主观视觉质量,还会削弱物体边界、局部纹理和场景结构等视觉信息,进而影响目标检测、语义分割、深度估计等后续视觉任务。

2、传统低照度图像增强方法主要包括直方图均衡化、gamma校正以及基于retinex理论的方法。这类方法能够在一定程度上改善图像亮度和对比度,但通常依赖人工先验或固定参数,在非均匀光照、复杂噪声以及局部强光与暗区并存的场景中适应能力有限,容易出现过增强、颜色失真、纹理丢失或噪声放大等现象。

3、近年来,基于卷积神经网络、生成模型及transformer等深度学习结构的低照度增强方法通过学习低照度图像与正常光照图像之间的非线性映射,显著提高了图像恢复性能。然而,现有多数方法主要在空间域或一般特征域中对低光退化进行整体建模,使光照恢复、纹理重建和噪声抑制在同一特征空间中相互耦合。当纹理细节与噪声具有相近局部响应时,网络难以准确区分有效高频信息和不可靠噪声,从而可能产生纹理平滑、伪纹理生成以及噪声放大等问题。

4、为实现不同类型退化的差异化建模,已有部分方法将傅里叶变换、离散小波变换或离散余弦变换引入低照度图像增强。频率域表示能够将大尺度光照变化、方向性结构以及细粒度纹理映射到不同频率成分,为低照度退化建模提供新的表征空间。然而,现有频域增强方法通常主要依赖图像自身的频率响应,缺少对真实场景结构和空间关系的显式约束。当结构边界与噪声在高频空间中呈现相似响应时,单纯依据频率特征仍难以可靠地区分真实纹理与噪声。

5、深度信息能够反映场景布局、物体边界和空间连续关系,可作为二维图像外观信息的几何补充。已有方法尝试将深度信息用于低照度图像增强,但深度信息通常在空间域通过特征拼接、加权或注意力机制参与图像恢复,尚未充分建立深度几何结构与不同频率子带退化之间的对应关系。

技术实现思路

1、针对现有低照度图像增强方法中光照恢复、纹理重建与噪声抑制相互耦合,以及现有频域方法缺乏显式场景几何约束、容易产生结构失真和高频噪声放大的问题,本发明提出一种基于几何感知深度–频率解耦网络的低照度图像增强方法。

2、本发明将低照度图像的恢复过程划分为基础光照恢复和几何–频率引导细化两个相互协同的阶段。首先利用光照恢复网络irn获得具有稳定亮度和初步结构信息的粗增强图像,降低严重低照度退化对后续频率特征建模的干扰;随后利用几何–频率分解网络gfdn联合处理原始低照度图像、粗增强图像以及深度几何先验,从多个空间尺度提取几何–频率引导特征,并利用所述引导特征对粗增强结果进行进一步重建。

3、为实现深度几何信息与频率退化信息之间的显式交互,本发明构建频率–深度引导模块fdgm。该模块首先将图像特征和深度特征分别通过离散小波变换dwt(j=1)映射至离散小波子带空间,使低频光照与整体结构、方向性边缘以及高频纹理分别获得独立的表示。在此基础上,利用深度特征的低频子带ll、水平方向子带lh和垂直方向子带hl对对应图像特征的低频子带ll、水平方向子带lh和垂直方向子带hl进行弱残差仿射调制wram,使深度先验以受限残差形式参与频率特征恢复,从而在提供几何结构约束的同时,降低深度估计误差对图像特征造成的干扰。

4、针对低照度环境下高频纹理与噪声难以区分的问题,本发明进一步构建子带特定细化模块bsrb。该模块利用局部梯度和局部方差估计各频率子带的响应可靠性,并设置纹理增强分支获得增强特征和噪声抑制分支获得抑制特征。当子带响应可靠性较高时,加强真实结构和纹理响应;当可靠性较低时,提高对噪声类响应的抑制程度,从而实现频率子带级的自适应增强与抑制。

5、对于同时包含细粒度纹理和较多噪声响应的高频子带hh,本发明不直接利用深度特征的高频子带hh对图像特征的高频子带hh进行强制调制,而是根据高频图像响应以及经深度引导后的低频结构响应建立高频门控机制即hh gate,对不可靠高频信息实施保守抑制,降低深度误差与图像噪声共同造成高频伪纹理放大的风险。

6、此外,本发明在几何–频率分解网络gfdn的解码阶段设置细节细化模块drm,根据方向梯度、局部方差和纹理信息构建进行细节调制,以残差方式对局部边缘和纹理区域进行适度增强,进一步补充频率–深度引导后的局部结构信息。

7、为了实现上述目的,本发明采用的技术方案如下:

8、s10、获取待处理的低照度图像;

9、s20、将所述低照度图像输入光照恢复网络irn,执行基础亮度恢复与结构重建,获得粗增强图像;

10、s30、构建频率–深度引导模块fdgm,对粗增强图像和深度几何先验分别进行特征映射并执行离散小波变换dwt获得分解后的频率子带,通过子带特定细化模块对图像子带进行可靠性感知细化,对低频子带ll、水平方向子带lh和垂直方向子带hl进行弱残差仿射调制wram,对高频子带hh进行高频门控抑制,并经逆离散小波变换idwt获得重建后的空间特征;

11、s40、构建细节细化模块drm,对粗增强图像进行浅层特征提取,根据方向梯度、局部方差和纹理信息进行细节调制,并通过残差连接获得细化后的局部特征;

12、s50、构建几何–频率分解网络gfdn,将步骤s30获得的频率–深度引导特征引入编码端,并将步骤s40获得的细节细化特征引入解码端,通过多尺度特征提取和融合生成多尺度几何–频率引导特征;

13、s60、将步骤s20获得的粗增强图像再次输入光照恢复网络irn,并将步骤s50生成的多尺度几何–频率引导特征注入光照恢复网络irn的解码重建阶段,对粗增强图像进行精细恢复,获得最终增强图像;

14、s70、采用两阶段训练方式对网络进行训练,第一阶段训练基础光照恢复能力,第二阶段在稳定粗增强结果的基础上学习几何–频率引导和精细图像重建。

15、具体地,所述步骤s20中,构建光照恢复网络irn,用于对输入低照度图像进行基础光照恢复。所述光照恢复网络irn采用编码器–解码器结构,由编码模块、瓶颈模块和解码模块构成,其中编码模块用于逐级提取低照度图像的多尺度特征,瓶颈模块用于在低分辨率特征空间内聚合上下文信息,解码模块用于逐级恢复图像的空间分辨率并完成图像重建。将低照度图像输入光照恢复网络irn,得到粗增强图像,其过程表示为:

16、

17、其中,表示光照恢复网络对应的映射函数,表示用于基础光照恢复并生成粗增强图像的光照恢复网络参数组,表示经过基础光照恢复后获得的粗增强图像。所述粗增强图像已完成基本亮度恢复并包含初步结构信息,用于为后续几何–频率引导细化提供稳定的恢复基础。

18、进一步地,所述光照恢复网络irn的编码模块和解码模块均由卷积层、组归一化gn和relu非线性激活函数以及多个残差块构成,输入的信息首先经过卷积层3×3提取浅层信息,其次经过组归一化gn和relu非线性激活函数以及多个残差块来获取处理后的最终特征。

19、所述残差块主要由空间路径分支和频率路径分支构成,其中空间路径分支用于提取局部纹理和邻域结构信息,频率路径分支包括快速傅里叶变换fft和频率投影模块,用于提取和调整全局频率响应。输入的信息首先通过多个残差卷积进行信息获取,其次通过空间路径分支和频率路径分支所得到的特征经通道拼接concat后,依次经过卷积层1×1、组归一化和relu激活函数,卷积层1×1、组归一化和sigmoid激活函数,以及卷积层3×3、组归一化gn和relu激活函数获得最终的输出,使网络能够同时利用空间局部信息和全局频率信息进行基础图像恢复。

20、具体地,所述步骤s30中,构建频率–深度引导模块fdgm,作为后续几何–频率分解网络gfdn编码端的频率–几何引导单元。首先,对步骤s20获得的粗增强图像进行浅层特征映射,得到图像特征;同时将获得的粗增强图像经过冻结的单目估计深度模块得到深度特征,并将其进行特征映射获得深度特征。

21、随后,分别对图像特征和深度特征执行一级离散小波变换dwt(j=1),将其分别分解为低频子带ll、水平方向子带lh、垂直方向子带hl和高频子带hh。其中,低频子带ll主要表征整体光照和主体结构,水平方向子带lh和垂直方向子带hl主要表征不同方向上的边缘与纹理变化,高频子带hh包含细粒度纹理及高频噪声响应。

22、对图像特征中的低频子带ll、水平方向子带lh和垂直方向子带hl和高频子带hh子带特征、、和分别采用子带特定细化模块bsrb进行可靠性感知细化。

23、所述子带特定细化模块bsrb,对于输入子带特征首先通过恒等映射或卷积层1×1进行通道对齐,得到残差捷径特征;同时将输入子带特征分别送入增强分支和抑制分支。所述增强分支和抑制分支均由卷积层k×k、组归一化、relu激活函数、卷积层k×k和组归一化gn依次构成,分别得到增强特征和抑制特征。进一步地,子带特定细化模块bsrb设置了低光照统计信息提取单元,包括梯度估计单元和局部方差估计单元。所述梯度估计单元根据输入子带特征的水平差异、垂直差异和绝对相应获得梯度图;所述局部方差估计单元通过3×3平均池化和获得局部统计信息并计算局部方差图。将对应的子带特征、梯度图和局部方差图进行特征拼接concat,并依次经过卷积层1×1、relu激活函数、卷积层3×3和sigmoid激活函数,生成取值范围为0~1的可靠性图。所述的可靠性图用于协调增强分支和抑制分支的贡献,其中表示可学习增强强度,表示可学习抑制强度;增强特征按照可靠性图进行增强调制,而抑制特征则按照可靠性图的互补响应进行抑制调制,再通过逐元素相乘和逐元素相加与残差捷径特征进行融合,得到子带特定细化模块bsrb的输出特征。

24、对深度特征对应的低频子带ll、水平方向子带lh和垂直方向子带hl的特征、和使用卷积层conv1×1进行特征映射,获得处理后的不同子带的特征、和,对相应经过子带特定细化模块bsrb的图像子带特征、、执行弱残差仿射调制wram,使深度几何信息以受限残差修正方式参与图像频率特征恢复。

25、所述弱残差仿射调制wram将对应深度子带特征分别通过卷积层1×1和双曲正切函数tanh生成仿射缩放项和仿射偏移项,利用所述缩放项和偏移项对相应图像子带特征进行仿射修正,并将所得修正量乘以可学习调制强度后以残差方式与原图像子带特征融合,从而得到几何感知调制后的频率子带特征。

26、对于经子带特定细化模块bsrb处理后的高频子带hh,采用高频门控结构进行处理。具体地,将高频子带hh特征与经深度几何调制后的低频子带ll特征进行逐元素相加后共同作为hh门控的输入,依次经过卷积层3×3 conv、relu激活函数、卷积层1×1conv和sigmoid激活函数,生成高频门控;利用所述高频门控图对高频子带hh中的不可靠高频响应进行高频门控抑制,从而得到处理后的高频子带hh特征。

27、最后,将处理后的低频子带ll、水平方向子带lh、垂直方向子带hl和高频子带hh特征、、和通过一级离散小波变换idwt(j=1)恢复为空间域特征,获得频率–深度引导模块fdgm的输出特征,为步骤s50中的多尺度几何–频率引导特征构建提供频率和几何结构信息。

28、具体地,所述步骤s40中,构建细节细化模块drm,作为后续几何–频率分解网络gfdn解码阶段的局部细节增强单元。

29、所述细节细化模块drm中,输入特征首先依次通过卷积层3×3、组归一化、激活函数relu、卷积层3×3、组归一化和relu激活函数进行浅层特征提取。随后,根据浅层特征分别计算水平方向梯度、垂直方向梯度和局部方差,将所述方向梯度和局部方差通过特征拼接concat进行融合,并输入门控单元gate生成细节调制图。同时,输入特征通过卷积层1×1和双曲正切函数tanh生成纹理信息图。将细节调制图与纹理信息图进行逐元素相乘,获得局部细节补偿特征,再通过残差连接与原输入特征进行逐元素相加,最终得到细节细化模块drm的输出特征。所述输出特征用于几何–频率分解网络gfdn解码阶段的局部边缘和纹理补偿。

30、具体地,所述步骤s50中,构建几何–频率分解网络gfdn。所述几何–频率分解网络gfdn采用编码器–解码器结构,其编码阶段由多个不同空间尺度的编码单元构成,其解码阶段由对应的解码单元构成,并通过跳跃连接融合编码阶段与解码阶段对应尺度的特征。在几何–频率分解网络gfdn的编码前端,首先通过卷积层3×3对低照度图像进行浅层特征映射,再将所述浅层特征与步骤s30中频率–深度引导模块fdgm输出的频率–深度引导特征通过特征拼接concat进行融合,并依次输入编码单元e1(1×)、e2(2/1×)和e3(4/1×)完成多尺度特征编码;经瓶颈层进一步聚合上下文信息后,再依次通过解码单元d3(4/1×)、d2(2/1×)和d1(1×)恢复不同空间尺度的特征。解码过程中,将步骤s40中细节细化模块drm输出的细节细化特征引入对应的解码阶段,以补充局部边缘和纹理信息。通过编码、瓶颈处理、解码和跨尺度特征融合。几何–频率分解网络gfdn在不同空间尺度生成多尺度几何–频率引导特征,分别记为、和,并将其用于步骤s60中的精细图像重建。

31、具体地,所述步骤s60中,将步骤s20获得的粗增强图像再次输入光照恢复网络irn,所述光照恢复网络irn的编码阶段通过编码单元e1~e4逐级提取多尺度特征,并由解码单元d4~d1逐级恢复空间分辨率,并通过跳跃连接融合对应尺度的编码特征。将步骤s50中几何–频率分解网络gfdn生成的多尺度几何–频率引导特征、和分别注入光照恢复网络irn对应的解码重建阶段,使频率、几何结构和局部细节信息参与粗增强图像的精细重建,最终获得增强图像。最终增强过程可表示为:

32、

33、其中,则表示用于精细图像重建的光照恢复网络参数组。所述参数组对应的光照恢复网络irn与生成粗增强图像的光照恢复网络irn具有相同网络结构,并由第一阶段所得参数组进行初始化,在第二阶段与几何–频率分解网络gfdn协同优化。

34、通过上述方式,光照恢复网络irn第一次前向过程主要获得稳定的基础亮度和初步结构,第二次恢复过程则在多尺度几何–频率引导下进一步完成精细图像重建,从而形成由基础光照恢复到几何–频率引导精细恢复的粗到细低照度图像增强过程。

35、具体地,所述步骤s70中,采用两阶段训练策略对所述网络进行训练。

36、在第一阶段,仅训练光照恢复网络irn。将低照度图像作为输入,使光照恢复网络学习由低照度图像到正常光照图像的基础恢复映射,获得稳定的基础光照恢复能力并输出粗增强图像。对于配对训练样本,将与低照度图像对应的正常光照参考图像记为。

37、第一阶段采用包括charbonnier损失、多尺度结构相似性损失、感知损失和梯度损失的联合损失函数进行训练,总损失表示为:

38、

39、其中,charbonnier损失用于约束增强结果与正常光照参考图像之间的像素重建误差;多尺度结构相似性损失用于保持不同尺度下的结构一致性;感知损失用于约束增强图像与正常光照参考图像在深层特征空间中的感知差异;梯度损失用于约束边缘和局部纹理恢复。上述四项损失的权重、、和分别设置为1.5、1.2、0.02和0.10。

40、在第二阶段,采用第一阶段训练所得的光照恢复网络irn生成稳定的粗增强图像,并将所述粗增强图像与原始低照度图像输入几何–频率分解网络gfdn,以生成多尺度几何–频率引导特征。

41、其中,用于生成粗增强图像的参数组由第一阶段训练获得,并在第二阶段生成粗增强图像时保持固定;用于精细图像重建的参数组以进行初始化,并在第二阶段与几何–频率分解网络gfdn进行协同优化,使基础恢复特征与几何–频率引导特征能够相互适配。

42、第二阶段charbonnier损失、多尺度结构相似性损失、感知损失和梯度损失的基础上进一步引入一致性损失,联合损失函数表示为:

43、

44、其中,一致性损失用于限制最终增强图像在接受几何–频率引导后相对于粗增强结果产生过大的整体偏移,使精细恢复过程重点作用于结构、纹理和噪声等需要进一步优化的区域。第二阶段各项损失的权重、、、和分别设置为1.2、1.5、0.03、0.10和0.08。

45、采用上述两阶段训练方式,第一阶段首先建立稳定的基础光照恢复能力,降低严重低照度退化对频率和几何特征学习造成的干扰;第二阶段则在稳定粗增强结果的基础上进一步学习深度几何先验与不同频率子带之间的对应关系,使基础光照恢复、结构保持、纹理增强和噪声抑制能够实现协同优化。

46、与现有技术相比,本发明具有以下有益效果:

47、1. 实现基础光照恢复与几何–频率引导细化的解耦,提高低照度图像的结构保持与恢复稳定性:本发明构建由光照恢复网络和几何–频率分解网络协同组成的低照度图像增强框架,将图像增强过程划分为基础光照恢复和几何–频率引导细化两个阶段。首先获得具有稳定亮度和初步结构信息的粗增强图像,再结合原始低照度信息和深度几何先验进行精细重建,从而减小光照恢复、纹理重建与噪声抑制相互耦合造成的干扰,在提升图像亮度的同时提高场景结构和纹理恢复的稳定性。

48、2. 将深度几何先验引入频率子带空间,实现几何结构与不同频率成分的协同建模:本发明通过频率–深度引导模块将图像特征和深度特征分别分解至小波频率子带,并利用深度低频及方向性子带对相应图像子带进行几何感知调制,使场景空间布局、物体边界和方向性结构信息能够直接参与不同频率成分的恢复。相比仅在空间域利用深度信息的增强方式,本发明能够针对不同频率成分提供差异化的几何结构约束,有利于提高边缘、结构及纹理信息的保持能力。

49、3. 基于子带可靠性自适应协调纹理增强与噪声抑制,降低高频噪声放大和伪纹理产生:本发明构建子带特定细化模块,根据局部梯度和局部方差估计不同频率子带的响应可靠性,并通过增强分支与抑制分支自适应调节有效纹理和潜在噪声的响应强度;同时针对高频子带采用受限的门控抑制方式。由此能够在增强可靠边缘和纹理信息的同时抑制不稳定噪声响应,减少低照度图像增强过程中高频噪声误增强和伪纹理生成,提高最终增强图像的细节清晰度和视觉自然性。