一种用于自动驾驶的雾天图像生成与增强方法

摘要: 本发明涉及一种用于自动驾驶的雾天图像生成与增强方法,属于图像处理。背景技术:1、自动驾驶算法在雾天条件下性能会显著下降,需要在雾天场景下进行充分的训练和测试。但...
一种用于自动驾驶的雾天图像生成与增强方法

本发明涉及一种用于自动驾驶的雾天图像生成与增强方法,属于图像处理。

背景技术:

1、自动驾驶算法在雾天条件下性能会显著下降,需要在雾天场景下进行充分的训练和测试。但是真实雾天数据采集困难、成本高、且难以覆盖各种场景。因此,基于图像处理技术生成逼真的雾天图像,作为自动驾驶算法训练和测试的依据,已成为该领域的重要研究方向。

2、现有技术中,基于koschmieder大气散射模型的雾天图像合成方法应用广泛。koschmieder模型中,雾浓度参数β和大气光参数a无法实现"仅调节阳光亮度而不影响雾浓度或其他区域"。若通过减小β来提亮阳光,则雾浓度同时降低,违背了保持雾效不变的需求;若通过增大a来提亮阳光,则阴影区域同步被提亮,导致对比度失真。全局亮度调整会均匀作用于整幅图像,无法针对阳光区域和阴影区域进行差异化处理,导致阳光区域过亮、阴影区域过暗的缺陷仍然存在,且容易引入新的颜色失真和对比度损失。

3、因此,亟需一种能够解决雾浓度控制与场景亮度调节相互耦合问题的雾天图像生成方法,使雾浓度参数与场景亮度参数分别独立可控,并在雾天图像生成过程中对阳光区域和阴影区域进行差异化增强,以满足自动驾驶仿真测试对雾天图像物理真实性和视觉质量的要求;为此,提出一种用于自动驾驶的雾天图像生成与增强方法。

技术实现思路

1、有鉴于此,本发明提供一种用于自动驾驶的雾天图像生成与增强方法,以解决或缓解现有技术中雾浓度控制与场景亮度调节相互耦合问题的雾天图像生成,使雾浓度参数与场景亮度参数分别独立可控,并在雾天图像生成过程中对阳光区域和阴影区域进行差异化增强,以满足自动驾驶仿真测试对雾天图像物理真实性和视觉质量的要求的技术问题,至少提供一种有益的选择。

2、本发明的技术方案是这样实现的:一种用于自动驾驶的雾天图像生成与增强方法,包括以下步骤,

3、步骤一、获取晴天清晰图像,基于亮度因子α对所述晴天清晰图像进行整体亮度衰减,得到暗化图像,建立基础光照环境;

4、步骤二、将暗化图像输入深度估计网络,获取深度图d并进行归一化处理,根据koschmieder大气散射模型计算透射率t并估计大气光值a,根据暗化图像、透射率t和大气光值a计算生成基础雾图,并对基础雾图中远景区域进行高斯模糊处理;

5、步骤三、将基础雾图从rgb色彩空间转换到hsv色彩空间,提取亮度通道v和饱和度通道s,当图像像素的v值小于第一阈值且s值小于第二阈值时,判定为阴影区域,对阴影区域进行压暗处理;当图像像素的v值大于第三阈值且s值小于第四阈值时,判定为阳光区域,对图像的阳光区域进行提亮处理,并叠加高斯模糊模拟光晕效果;将分区增强后的雾天图像转换回rgb色彩空间,输出增强后的雾天图像。

6、进一步优选的,在步骤一中,所述亮度因子α的取值范围为0.55至0.75,所述暗化图像通过将晴天清晰图像的像素值乘以所述亮度因子α实现。

7、进一步优选的,在步骤二中,所述深度图d归一化至[0,1]区间,根据公式计算透射率t,其中为雾浓度控制参数,所述基础雾图按以下公式生成

8、,其中表示暗化图像,表示基础雾图。

9、进一步优选的,在步骤二中,所述大气光值a取所述暗化图像顶部20%区域作为天空候选区域,计算该区域的rgb均值,并限制在0.65至0.92范围内,得到大气光值a。

10、进一步优选的,在步骤二中,对基础雾图中远景区域进行高斯模糊处理,包括:按σ= σ0× d计算模糊参数,其中σ0的取值范围为1.0至2.5。

11、进一步优选的,在步骤三中,所述第一阈值根据koschmieder大气散射模型,动态推导阴影区域的阈值,采用公式thshadow=a×0.4×(1t),其中thshadow为第一阈值,所述第二阈值为0.4,对阴影区域进行压暗处理时采用公式

12、,其中为步骤二生成的基础雾图,为阴影压暗系数,取值范围0.4至0.7,为阴影区域的权重图。

13、进一步优选的,在步骤三中,所述第三阈值根据koschmieder大气散射模型,动态推导阳光区域的阈值,采用公式thlight=a×(0.6+0.2×t),其中thlight为第三阈值,所述第四阈值为0.5,对阳光区域进行提亮处理时采用公式

14、,其中为经阴影压暗处理的中间图像,其中为阳光提亮系数,取值范围0.2至0.8,为经过压暗和提亮后的最终图像。

15、进一步优选的,在步骤三中,在对阳光区域进行提亮后的图像叠加高斯模糊以模拟光晕效果。

16、进一步优选的,步骤一到步骤三分别由独立参数控制,步骤一由亮度因子α控制,步骤二由雾浓度参数β控制,步骤三由阴影压暗系数控制阴影区域压暗、由阳光提亮系数控制阳光区域提亮;各参数在对应阶段变化时互不影响,实现参数解耦。

17、进一步优选的,所述深度估计网络为midas、dpt或者depth anything模型。

18、本发明实施例由于采用以上技术方案,其具有以下优点:

19、本发明过通过亮度预降低建立低照度基准,使后续雾浓度参数的变化不再引发整体亮度被动偏移,在基于深度图计算透射率,实现远景雾浓、近景雾淡的物理真实分布,并通过远景高斯模糊增强景深感;在通过hsv空间阈值分割对阴影区域和阳光区域进行差异化压暗与提亮,保留暗部细节和光照质感;三阶段分别由亮度因子、雾浓度参数、阴影压暗系数和阳光提亮系数独立控制,进而实现了雾浓度与场景亮度的数学解耦,各参数均可根据雾天强度和自动驾驶场景自适应调整,从而提高了生成的雾天图像视觉真实度。

20、上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。

1.一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤一中,所述亮度因子α的取值范围为0.55至0.75,所述暗化图像通过将晴天清晰图像的像素值乘以所述亮度因子α实现。

3.根据权利要求1所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤二中,所述深度图d归一化至[0,1]区间,根据公式计算透射率t,其中为雾浓度控制参数,所述基础雾图按以下公式生成:

4.根据权利要求3所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤二中,所述大气光值a取所述暗化图像顶部20%区域作为天空候选区域,计算该区域的rgb均值,并限制在0.65至0.92范围内,得到大气光值a。

5.根据权利要求1所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤二中,对基础雾图中远景区域进行高斯模糊处理,包括:按σ = σ0× d计算模糊参数,其中σ0的取值范围为1.0至2.5。

6.根据权利要求1所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤三中,所述第一阈值根据koschmieder大气散射模型,动态推导阴影区域的阈值,采用公式thshadow=a×0.4×(1t),其中thshadow为第一阈值,所述第二阈值为0.4,对阴影区域进行压暗处理时采用公式,其中为步骤二生成的基础雾图,为阴影压暗系数,取值范围0.4至0.7,为阴影区域的权重图。

7.根据权利要求6所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤三中,所述第三阈值根据koschmieder大气散射模型,动态推导阳光区域的阈值,采用公式thlight=a×(0.6+0.2×t),其中thlight为第三阈值,所述第四阈值为0.5,对阳光区域进行提亮处理时采用公式,其中为经阴影压暗处理的中间图像,其中为阳光提亮系数,取值范围0.2至0.8,为经过压暗和提亮后的最终图像。

8.根据权利要求7所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,在步骤三中,在对阳光区域进行提亮后的图像叠加高斯模糊以模拟光晕效果。

9.根据权利要求1所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,步骤一到步骤三分别由独立参数控制,步骤一由亮度因子α控制,步骤二由雾浓度参数β控制,步骤三由阴影压暗系数控制阴影区域压暗、由阳光提亮系数控制阳光区域提亮;各参数在对应阶段变化时互不影响,实现参数解耦。

10.根据权利要求1所述的一种用于自动驾驶的雾天图像生成与增强方法,其特征在于,所述深度估计网络为midas、dpt或者depth anything模型。