一种基于图像质量评价的图像增强方法

摘要: 本发明涉及自动驾驶环境感知的,特别是一种基于图像质量评价的图像增强方法。背景技术:1、图像质量评价是一个涵盖多个维度的研究领域,主要包括客观保真度评价(衡量图像...
一种基于图像质量评价的图像增强方法

本发明涉及自动驾驶环境感知的,特别是一种基于图像质量评价的图像增强方法。

背景技术:

1、图像质量评价是一个涵盖多个维度的研究领域,主要包括客观保真度评价(衡量图像与原始参考图像的差异)和主观感知评价(衡量人类对图像质量或美感的感知)。近年来,随着人工智能和深度学习技术的发展,该领域取得了显著进展。

2、传统方法主要基于像素差异或结构信息,适用于有参考图像的场景。常用指标包括:

3、峰值信噪比:衡量图像噪声水平,计算简单但与人眼感知相关性较低。

4、结构相似性指标:考虑亮度、对比度和结构信息,能更好反映人眼感知。

5、视觉信息保真度:在结构相似性基础上进一步优化,提升对复杂失真的敏感性。

6、这些方法在标准图像压缩、传输等场景中应用广泛,但在处理全景图像、低光照图像或多模态融合图像时,表现受限。近年来,深度学习模型成为主流,图像质量评价正从传统数学模型向基于深度学习的智能感知模型演进,研究重点已从技术保真转向人眼感知,并逐步向特定场景深化,需要进一步智能化、自动化、多模态融合和评价标准化。

7、图像质量评价在无人驾驶中绝非简单的给图片打分,它更像是一个感知系统和决策系统的智能门神,为整个自动驾驶系统的安全、可靠运行保驾护航。评价结果会像一个智能开关,驱动后续一系列关键工作。视觉感知增强与优化是图像质量评价结果最直接应用领域。当评价系统判定当前图像质量下降,如夜间、暴雨、逆光导致图像模糊、噪声大、对比度低时,会自适应的动态调整图像的修复方案,目的在于让感知系统在不利条件下依然看得清、看得准。

8、利用图像质量评价结果指导生成对抗网络网络进行图像加强,实现图像从低质量到高质量的提升。传统的基于像素级损失或单一对抗损失的方法往往难以恢复感知上逼真的细节。

9、申请公开号为cn121810510a的中国发明专利申请公开了一种基于阶段质量感知的图像增强方法,将多个增强单元eus串联,每个增强单元基于u-net结构设计,能够对输入的特征图逐步进行质量提升处理;在图像增强流程开始前,设置有独立的质量感知模块qpm,用于对输入图像的压缩质量进行估算,并将所得到的质量表示值传输至后续各个增强单元;所述质量表示作为引导信号,引导各增强单元根据图像的退化程度执行自适应增强操作;每个增强单元内部由若干快速块fbs构成,并在其低分辨率路径中引入上下文模块cms,以增强对全局结构信息的建模能力。该方法的缺点是jpeg图像在面对压缩质量未知、多重压缩以及计算资源受限场景下,增强效果不稳定、处理能力不足、计算开销较大。

技术实现思路

1、为了解决上述的技术问题,本发明提出了一种基于图像质量评价的图像增强方法,基于质量感知的多尺度生成对抗网络对低质量图像进行增强和优化,将质量评价结果从单一的标量分数扩展为空间质量热图和质量特征向量,并设计多尺度对抗生成机制,实现生成器的纹理重建、结构优化和整体分布对齐,用于后续的视觉处理。

2、本发明提供一种基于图像质量评价的图像增强方法,包括获取训练集中的低质量图像ilq,ilq∈rh×w×3,还包括以下步骤:

3、步骤1:质量特征提取;

4、步骤2:计算空间误差引导的生成损失;

5、步骤3:计算基于质量特征的对抗损失;

6、步骤4:计算视觉特征一致性损失;

7、步骤5:进行模型训练;

8、步骤6:将需要增强的低质量图像输入模型进行图像增强;

9、其中,r为实数集合,h为低质量图像ilq的高度,w为低质量图像ilq的宽度。

10、优选的是,所述步骤1包括以下子步骤:

11、步骤11:通过编码器eq提取特征;

12、步骤12:提取编码器最后一层的特征向量记为质量特征向量v,用于表征图像的全局失真类型;

13、步骤13:不使用全连接层回归分数,保留特征图的空间维度,并通过一个1×1卷积层生成空间质量热图m∈rh×w×1。

14、在上述任一方案中优选的是,所述空间质量热图m的公式为

15、m=σ(c(eq(ilq)))

16、其中,c( )表示卷积操作,σ为sigmoid激活函数,m(i,j)∈[0,1]为像素(i,j)处的归一化质量得分。

17、在上述任一方案中优选的是,所述步骤2包括以下子步骤:

18、步骤21:计算生成图像与真实高质量图像ireal之间的逐像素误差图emap,公式为

19、;

20、步骤22:引入空间质量热图m对;

21、步骤22:引入空间质量热图m对误差进行反向加权,公式为

22、

23、其中,图像ireal (i,j)为真实高质量图像ireal的像素(i,j)的特征值,g(ilq)为低质量图像ilq的生成图像,g(ilq)(i,j)为图像g(ilq)的像素(i,j)的特征值,为防止除以零的小常数,m和n为正整数,1≤m≤h,1≤n≤w。

24、在上述任一方案中优选的是,所述步骤3包括将质量感知向量v融合进判别器构建条件判别器d。

25、在上述任一方案中优选的是,所述条件判别器d的输入为concat(image,upsample(v)),至少包含图像image和质量特征v,其中,concat( )为特征连接函数。

26、在上述任一方案中优选的是,所述步骤3还包括在对抗损失增加质量一致性约束,公式为:

27、

28、其中,为判别器对真实高质量图像的评分,ireal为真实高质量图像,vreal为从真实高质量图像中提取的质量特征,为判别器对低质量图像的评分,vlq是从低质量输入中提取的质量特征,λ为超参,lgp为梯度惩罚损失,pdata为真实数据分布,pinput为低质量数据分布。

29、在上述任一方案中优选的是,所述步骤4包括利用质量热图m指导特征的匹配,计算视觉特征加权损失lperc,公式为:

30、

31、其中,hl和wl为第l层特征图的尺寸,为将质量热图m下采样到第l层特征图尺寸的结果,表示网络对图像ireal的第l层提取的特征,为在像素(i,j)的特征值,)表示网络对图像的第l层提取的特征,为)在像素(i,j)的特征值。

32、在上述任一方案中优选的是,所述模型的总损失函数为

33、ltotal=λreclrec+λadvladv+λperclperc

34、其中,λrec、λadv、λperc为不同损失的权重。

35、在上述任一方案中优选的是,所述步骤5包括在模型训练阶段,使用真实数据通过对抗过程训练生成器和判别器,直到模型收敛,保存训练好的模型参数。

36、在上述任一方案中优选的是,所述步骤6包括加载保存的模型参数,对低质量的输入图像进行图像增强。

37、本发明提出了一种基于图像质量评价的图像增强方法,利用图像质量评价结果指导生成对抗网络进行图像增强,实现图像从低质量到高质量的提升。