低照度环境下交通图像增强方法和装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种低照度环境下交通图像增强方法和一种低照度环境下交通图像增强装置。


背景技术：

2.在夜间低照度环境下，道路交通图像质量很差，对比度很低，使用低照度图像来进行道路监控或者检测，由于图像包含的特征不明显，因此所得到的效果不显著。为了提高低照度图像信息的可见性，丰富图像的细节信息，需要对夜间低照度图像进行图像增强处理。
3.目前对低照度图像的研究，一方面主要是硬件上的研究，但是由于应用到夜间低照度图像的硬件设备价格昂贵，所以无法应用到日常生活中；另一方面是软件方面研究，如直方图均衡系列算法，通过将图像的像素点均衡分布在每一个灰度级上来改善图像质量；还有edwinland提出的retinex算法，通过模拟人类视觉系统来进行低照度图像的增强。虽然已经对夜间低照度图像进行了大量的研究，但是图像的实时性和效果很难一起兼顾。


技术实现要素：

4.本发明为解决上述技术问题，提供了一种低照度环境下交通图像增强方法，能够提高低照度交通环境的图像质量，并通过初始图像和处理后图像进行自适应的图像融合，使得图像特征更清晰，保留更多的图像细节。
5.本发明采用的技术方案如下：
6.一种低照度环境下交通图像增强方法，包括以下步骤：采集低照度环境下的交通图像；对所述交通图像进行增强处理；将所述交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。
7.根据本发明的一个实施例，对所述交通图像进行增强处理，包括：通过同态滤波对所述交通图像进行r，g，b三通道增强；对经过所述同态滤波处理后的交通图像进行反影处理；对所述反影处理后的交通图像进行去雾处理；将所述去雾处理后的交通图像的色彩空间从rgb转换到hsl；使用限制对比度自适应直方图均衡算法对l通道图像进行处理，并使用伽马变换进行校正；使用自适应非线性增强算法对s通道图像进行增强处理；将处理后的l通道图像、s通道图像和h通道图像合并，并转换为rgb色彩空间，以及对转换后的图像进行反影处理。
8.根据本发明的一个实施例，采用下述公式进行同态滤波处理：
[0009][0010]
其中，i(x,y)表示同态滤波后的图像，fft和fft-1
分别表示傅里叶变换及其逆变换，m表示频域滤波器，f(x,y)表示所述交通图像。
[0011]
根据本发明的一个实施例，采用下述公式进行反影处理：
[0012]
i＝255-i
in
[0013]
其中，i
in
表示输入的交通图像，i表示反影输出的交通图像。
[0014]
根据本发明的一个实施例，采用下述公式进行去雾处理：
[0015][0016][0017]
其中，t(x)表示大气透射率，ic(x)表示去雾处理前的图像，ac表示全球大气光成分，w表示修正因子，其取值范围为[0,1]，ω(x)表示以像素x为中心的一个窗口，j(x)表示去雾后的图像。
[0018]
根据本发明的一个实施例，采用下述公式进行色彩空间转换：
[0019][0020][0021][0022]
其中，b，g，r分别表示bgr色彩空间里蓝、绿、红的坐标，max表示b，g，r中的最大坐标，min表示b，g，r中的最小坐标，h，s，l分别表示hsl色彩空间里的色相、饱和度、亮度。
[0023]
根据本发明的一个实施例，通过下述公式对l通道进行伽马变换：
[0024]s′
＝cr
γ
[0025]
其中，s
′
表示经过伽马变换校正后的输出值，c表示缩放系数，r表示原灰度图的输入值，γ表示伽马因子系数，用来控制校正程度。
[0026]
根据本发明的一个实施例，通过下述公式对s通道进行自适应非线性增强处理：
[0027][0028]
其中，s
out
表示经过自适应非线性拉伸后处理后的饱和度分量，s
in
表示拉伸前的初始饱和度分量，mean(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的平均值，max(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的最大值，min(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的最小值。
[0029]
根据本发明的一个实施例，采用下述公式进行自适应融合：
[0030]
gray(i,j)＝0.299*r(i,j) 0.578*g(i,j) 0.144*b(i,j)
[0031][0032]
i(i,j)＝αi
in
(i,j) (1-α)i
out
(i,j)
[0033]
其中，r(i,j)，g(i,j)，b(i,j)分别表示各个像素点的红、绿、蓝三通道的值，gray(i,j)表示该像素点的加权平均灰度值，α表示交通图像与增强处理后的交通图像内各像素点的比值，gray(i,j)
in
表示交通图像内个像素点的值，gray(i,j)
out
表示增强处理后的交通图像内的各像素的值，i(i,j)表示融合后的各个像素点，i
in
(i,j)表示交通图像各个位置像素点的值，i
out
(i,j)表示增强处理后的各个位置像素点的值。
[0034]
本发明还提出了一种低照度环境下交通图像增强装置，包括：图像采集模块，用于采集低照度环境下的交通图像；增强处理模块，用于对所述交通图像进行增强处理；融合模块，用于将所述交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。
[0035]
本发明的有益效果：
[0036]
本发明首先采集低照度环境下的交通图像，并对交通图像进行增强处理，以及将交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。从而能够提高低照度交通环境的图像质量，并通过初始图像和处理后图像进行自适应的图像融合，使得图像特征更清晰，保留更多的图像细节。
附图说明
[0037]
图1为本发明实施例的低照度环境下交通图像增强方法的流程图；
[0038]
图2a和图2b为本发明一个实施例的低照度环境下交通图像增强前后的对比图；
[0039]
图3为本发明实施例的低照度环境下交通图像增强装置的方框示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
图1为本发明实施例的低照度环境下交通图像增强方法的流程图。
[0042]
如图1所示，本发明实施例的低照度环境下交通图像增强方法可包括以下步骤：
[0043]
s1，采集低照度环境下的交通图像。
[0044]
一般情况下，可通过设置在车辆上的摄像头或者激光雷达获取车辆当前环境下的交通图像。
[0045]
s2，对交通图像进行增强处理。
[0046]
根据本发明的一个实施例，对交通图像进行增强处理，包括：通过同态滤波对交通图像进行r，g，b三通道增强；对经过同态滤波处理后的交通图像进行反影处理；对反影处理后的交通图像进行去雾处理；将去雾处理后的交通图像的色彩空间从rgb转换到hsl；使用限制对比度自适应直方图均衡算法对l通道图像进行处理，并使用伽马变换进行校正；使用自适应非线性增强算法对s通道图像进行增强处理；将处理后的l通道图像、s通道图像和h
通道图像合并，并转换为rgb色彩空间，以及对转换后的图像进行反影处理。
[0047]
在本发明的一个实施例中，在通过同态滤波对交通图像进行r，g，b三通道增强时，可采用下述公式进行增强处理：
[0048][0049]
其中，i(x,y)表示同态滤波后的图像，fft和fft-1
分别表示傅里叶变换及其逆变换，m表示频域滤波器，f(x,y)表示交通图像。
[0050]
对交通图像通过同态滤波处理之后，还对处理后的交通图像进行反影操作，即将r，g，b通道的值进行取反操作，例如，可通过下述公式进行反影操作：
[0051]
i＝255-i
in
[0052]
其中，i
in
表示输入的交通图像，i表示反影输出的交通图像。
[0053]
在对交通图像进行反影处理后，由于存在雾、霾等天气，大气中悬浮的大量微小水滴、气溶胶的散射作用会导致捕获的图像严重降质，因此，需要进行去雾操作，首先需要获取当前环境下的大气透射率，然后根据大气透射率进行去雾处理，例如，可通过下述公式获取大气透射率，以及去雾处理：
[0054][0055][0056]
其中，t(x)表示大气透射率，ic(x)表示去雾处理前的图像，ac表示全球大气光成分，w表示修正因子，其取值范围为[0,1]，ω(x)表示以像素x为中心的一个窗口，j(x)表示去雾后的图像。需要说明的是，对图像进行去雾处理的方式可根据现有技术中记载的具体内容，这里不再详述。
[0057]
在对交通图像进行去雾处理之后，还进行色彩转换，即将rgb色彩空间转换到hsl色彩空间，例如，可通过下述公式获取hsl色彩空间下的色相h、饱和度l和亮度s：
[0058][0059]
[0060][0061]
其中，b，g，r分别表示bgr色彩空间里蓝、绿、红的坐标，max表示b，g，r中的最大坐标，min表示b，g，r中的最小坐标，h，s，l分别表示hsl色彩空间里的色相、饱和度、亮度。
[0062]
接着，使用限制对比度自适应直方图均衡算法对色彩转换后的l通道图像进行处理，使修剪后的直方图均衡图像时，图像对比度会更自然。然后对处理后的l通道图像进行伽马变换，以对图像进行校正，例如，可通过下述公式进行校正：
[0063]s′
＝cr
γ
[0064]
其中，s
′
表示经过伽马变换校正后的输出值，c表示缩放系数，r表示原灰度图的输入值，γ表示伽马因子系数，用来控制校正程度。
[0065]
接着，为了提高定位的精确度，还对s通道进行自适应非线性增强处理，例如，可通过下述公式进行增强处理：
[0066][0067]
其中，s
out
表示经过自适应非线性拉伸后处理后的饱和度分量，s
in
表示拉伸前的初始饱和度分量，mean(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的平均值，max(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的最大值，min(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的最小值。
[0068]
最后将三个通道合并，得到hsl色彩空间中的h，s，l的值，并再一次进行色彩空间转换，即将hsl色彩空间转换为bgr色彩空间，然后再进行反影处理，即可得到增强后的图像。
[0069]
s3，将交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。
[0070]
根据本发明的一个实施例，采用下述公式进行自适应融合：
[0071]
gray(i,j)＝0.299*r(i,j) 0.578*g(i,j) 0.144*b(i,j)
[0072][0073]
i(i,j)＝αi
in
(i,j) (1-α)i
out
(i,j)
[0074]
其中，r(i,j)，g(i,j)，b(i,j)分别表示各个像素点的红、绿、蓝三通道的值，gray(i,j)表示该像素点的加权平均灰度值，α表示交通图像与增强处理后的交通图像内各像素点的比值，gray(i,j)
in
表示交通图像内个像素点的值，gray(i,j)
out
表示增强处理后的交通图像内的各像素的值，i(i,j)表示融合后的各个像素点，i
in
(i,j)表示交通图像各个位置像素点的值，i
out
(i,j)表示增强处理后的各个位置像素点的值。
[0075]
也就是说，将原始获取的图像与增强处理后的图像进行自适应融合处理，即可得到最后输出的图像，如图2a和2b所示，可以看出，自适应融合后的图像与原始图像之间的差距，能够提高低照度交通环境的图像质量，使得图像特征更清晰，保留更多的图像细节。
[0076]
综上所述，本发明首先采集低照度环境下的交通图像，并对交通图像进行增强处理，以及将交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。从而能够
提高低照度交通环境的图像质量，并通过初始图像和处理后图像进行自适应的图像融合，使得图像特征更清晰，保留更多的图像细节。
[0077]
对应上述方法，本发明还提出了一种低照度环境下交通图像增强装置。
[0078]
图3为本发明实施例的低照度环境下交通图像增强装置的方框示意图。
[0079]
如图3所示，本发明的低照度环境下交通图像增强装置可包括：图像采集模块10、增强处理模块20和融合模块30。
[0080]
其中，图像采集模块10用于采集低照度环境下的交通图像。增强处理模块20用于对交通图像进行增强处理。融合模块30用于将交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。
[0081]
根据本发明的一个实施例，增强处理模块20对交通图像进行增强处理，具体用于，通过同态滤波对交通图像进行r，g，b三通道增强；对经过同态滤波处理后的交通图像进行反影处理；对反影处理后的交通图像进行去雾处理；将去雾处理后的交通图像的色彩空间从rgb转换到hsl；使用限制对比度自适应直方图均衡算法对l通道图像进行处理，并使用伽马变换进行校正；使用自适应非线性增强算法对s通道图像进行增强处理；将处理后的l通道图像、s通道图像和h通道图像合并，并转换为rgb色彩空间，以及对转换后的图像进行反影处理。
[0082]
根据本发明的一个实施例，采用下述公式进行同态滤波处理：
[0083][0084]
其中，i(x,y)表示同态滤波后的图像，fft和fft-1
分别表示傅里叶变换及其逆变换，m表示频域滤波器，f(x,y)表示交通图像。
[0085]
根据本发明的一个实施例，采用下述公式进行反影处理：
[0086]
i＝255-i
in
[0087]
其中，i
in
表示输入的交通图像，i表示反影输出的交通图像。
[0088]
根据本发明的一个实施例，采用下述公式进行去雾处理：
[0089][0090][0091]
其中，t(x)表示大气透射率，ic(x)表示去雾处理前的图像，ac表示全球大气光成分，w表示修正因子，其取值范围为[0,1]，ω(x)表示以像素x为中心的一个窗口，j(x)表示去雾后的图像。
[0092]
根据本发明的一个实施例，采用下述公式进行色彩空间转换：
[0093][0094][0095][0096]
其中，b，g，r分别表示bgr色彩空间里蓝、绿、红的坐标，max表示b，g，r中的最大坐标，min表示b，g，r中的最小坐标，h，l，s分别表示hsl色彩空间里的色相、饱和度、亮度。
[0097]
根据本发明的一个实施例，通过下述公式对l通道进行伽马变换：
[0098]s′
＝cr
γ
[0099]
其中，s
′
表示经过伽马变换校正后的输出值，c表示缩放系数，r表示原灰度图的输入值，γ表示伽马因子系数，用来控制校正程度。
[0100]
根据本发明的一个实施例，通过下述公式对s通道进行自适应非线性增强处理：
[0101][0102]
其中，s
out
表示经过自适应非线性拉伸后处理后的饱和度分量，s
in
表示拉伸前的初始饱和度分量，mean(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的平均值，max(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的最大值，min(r,g,b)表示原始图像上对应各个像素点的r，g，b分量的最小值。
[0103]
根据本发明的一个实施例，采用下述公式进行自适应融合：
[0104]
gray(i,j)＝0.299*r(i,j) 0.578*g(i,j) 0.144*b(i,j)
[0105][0106]
i(i,j)＝αi
in
(i,j) (1-α)i
out
(i,j)
[0107]
其中，r(i,j)，g(i,j)，b(i,j)分别表示各个像素点的红、绿、蓝三通道的值，gray(i,j)表示该像素点的加权平均灰度值，α表示交通图像与增强处理后的交通图像内各像素点的比值，gray(i,j)
in
表示交通图像内个像素点的值，gray(i,j)
out
表示增强处理后的交通图像内的各像素的值，i(i,j)表示融合后的各个像素点，i
in
(i,j)表示交通图像各个位置像素点的值，i
out
(i,j)表示增强处理后的各个位置像素点的值。
[0108]
需要说明的是，本发明实施例的低照度环境下交通图像增强装置中未披露的细
节，请参照本发明实施例的低照度环境下交通图像增强方法中所披露的细节，具体这里不再赘述。
[0109]
本发明的低照度环境下交通图像增强装置，首先通过图像采集模块采集低照度环境下的交通图像，并通过增强处理模块对交通图像进行增强处理，融合模块将交通图像数据与增强后的交通图像进行自适应融合，以获得输出图像。从而能够提高低照度交通环境的图像质量，并通过初始图像和处理后图像进行自适应的图像融合，使得图像特征更清晰，保留更多的图像细节。
[0110]
对应上述装置，本发明还提出了一种车辆。
[0111]
本发明的车辆包括上述的低照度环境下交通图像增强装置。
[0112]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0113]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0114]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0115]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0116]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0117]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。