基于直方图均衡化的夜间图像增强方法与流程

1.本发明涉及数据处理技术领域，具体涉及基于直方图均衡化的夜间图像增强方法。


背景技术：

2.随着科技的发展，自动驾驶车辆的出现为人们的生活提供了极大的便利，但是由于行车过程中环境变化较为复杂，摄像头所采集的图像存在过曝或者过暗等环境光线亮度不均匀的现象，使得基于视觉的自动驾驶技术对前方行进环境判断结果的可靠性较低。
3.传统的对图像增强的方法为直方图均衡化方法，但是这种方法是对整张图像进行均衡化的操作，对在图像中像素个数多的灰度级，即对画面起主要作用的灰度级进行展宽，提高该区域中的灰度差异以增加图像对比度；但是对于像素个数较少的灰度级，也就是对画面不起主要作用的灰度级进行归并，反而导致部分区域中的纹理信息出现丢失，即对整张图像的直方图均衡化处理并不适合图像中的所有区域，因此设计一种可以对图像中不同区域进行自适应的局部均衡化的方法是非常重要的。


技术实现要素：

4.本发明提供基于直方图均衡化的夜间图像增强方法，以解决现有的问题。
5.本发明的基于直方图均衡化的夜间图像增强方法采用如下技术方案：本发明一个实施例提供了基于直方图均衡化的夜间图像增强方法，该方法包括以下步骤：利用车载摄像头采集车辆行驶过程中的灰度图像；根据所述灰度图像的灰度直方图中各个灰度级出现频率之间差异情况以及相邻灰度级之间的间隔计算所述灰度直方图的灰度分布均匀性；根据灰度直方图的灰度分布均匀性以及灰度分布范围计算图像增强必要性；对灰度图像进行全局直方图均衡化，得到初始均衡化图像；分别对灰度图像以及初始均衡化图像进行连通域分析，得到第一连通区域图像和第二连通区域图像；根据第一连通区域图像中各个连通域所包含的各个像素点的坐标得到所述各个像素点在第二连通区域图像中所对应的连通域；根据第一连通区域图像中各个连通域的所有像素点在第二连通区域图像中所对应的连通域构成的序列作为所述第一连通区域图像中各个连通域的区域序列；根据第一连通区域图像中各个连通域的面积与所述各个连通域所对应的区域序列中的最大区域面积之间的差异得到疑似待修正区域；使用灰度共生矩阵分别计算各个疑似待修正区域在第一连通区域图像的第一纹理复杂度，以及在第二连通区域图像中的第二纹理复杂度；根据各个疑似待修正区域的第一纹理复杂度与第二纹理复杂度计算各个疑似待修正区域的纹理损失度；将所有疑似待修正区域的纹理损失度大于0的疑似待修正区域作为待修正区域；根据各个待修正区域中的纹理损失度以及第一纹理复杂度计算各个待修正区域在局部直方图均衡化时的灰度投影范围；根据灰度投影范围对待修正区域进行局部直方图
均衡化。
6.优选的，所述灰度直方图的灰度分布均匀性的方法为：计算灰度直方图中所有出现频率不为0的灰度级出现频率的平均值，获取每个灰度级出现的频率与所述平均值差值的差值，记为每个灰度级的均值偏离量；获取灰度直方图上出现频率不为0的所有灰度级，获取所有出现次数不为0的灰度等级中每个灰度级与相邻灰度等级的差值，记为所述每个灰度级的第一差值，所述每个灰度级与相邻灰度等级是指与所述每个灰度级最接近且大于所述每个灰度等级的灰度等级；计算最大灰度级与最小灰度级之间的差值，记为第二差值；计算1.0减去每个灰度级的第一差值与第二差值之间的比值，所得结果记为所述每个灰度级的分布均匀性；将每个灰度级的均值偏离量与分布均匀性的乘积记为每个灰度级的均匀指标，将所有灰度级均匀指标的和的均值作为灰度直方图的灰度分布均匀性。
7.优选的，所述根据灰度直方图的灰度分布均匀性以及灰度分布范围计算图像增强必要性的方法为：将灰度直方图中的出现频率不为0的最大灰度级以及最小灰度级，计算所述最大灰度级与最小灰度级之间的差值与255的比值，所得结果记为所述灰度直方图的灰度分布范围；计算1.0与灰度分布范围之间的差值，将所述差值与灰度直方图的灰度分布均匀性的乘积作为图像增强必要性。
8.优选的，所述疑似待修正区域的获取方法为：获取第一连通区域图像的各个连通域所对应的区域序列中的最大区域面积；计算最大区域面积与当前区域面积的比值判断所述第一连通区域图像中各个连通域属于疑似待修正区域，即：当比值小于1时，该区域为非待修正区域；当比值大于等于1时，该区域为一个疑似待修正区域。
9.优选的，所述各个疑似待修正区域的纹理损失度的获取方法为：计算各个疑似待修正区域的第一纹理复杂度与第二纹理复杂度之间的差值，将所述差值与第一纹理复杂度的比值作为所述各个疑似修正区域的纹理损失度。
10.优选的，所述各个待修正区域在局部直方图均衡化时的灰度投影范围的表达式为：其中，为第个待修正区域进行局部直方图均衡化的灰度投影范围；与分别为第个待修正区域的最大灰度级与最小灰度级；与为整个灰度图像中的最大灰度级与最小灰度级；为第个待修正区域的第一纹理复杂度；为反正切函数。
11.优选的，所述根据灰度投影范围对待修正区域进行局部直方图均衡化的表达式为：
其中，为第个待修正区域中的第个灰度级经过均衡化后的灰度值；为第个待修正区域所对应的灰度直方图中第个出现的频率不为0的灰度级。
12.本发明的有益效果是：本发明首先获取当前图像所对应的灰度直方图，根据灰度直方图中灰度的分布范围，灰度占比差异情况以及相邻灰度级之间的间隔大小，确定当前图像进行直方图均衡化的必要程度，根据必要程度判断当前图像是否需要进行图像增强，以减少不必要的计算量；然后根据全局直方图均衡化后，对各个区域之间的融合/拆分的变化情况以及纹理损失情况对不适合全局直方图均衡化的区域重新进行局部均衡化处理，避免全局直方图均衡化所造成的纹理细节丢失，从而在保证图像对比度增强的基础上进一步保留图像纹理。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明的基于直方图均衡化的夜间图像增强方法的步骤流程图。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于直方图均衡化的夜间图像增强方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
16.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.下面结合附图具体的说明本发明所提供的基于直方图均衡化的夜间图像增强方法的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的基于直方图均衡化的夜间图像增强方法的步骤流程图，该方法包括以下步骤：步骤s001：利用车载摄像头采集车辆行驶过程中的灰度图像；根据灰度图像的灰度直方图计算灰度直方图的灰度分布均匀性，进而得到图像增强必要性。
19.首先获取车辆在行驶过程中的图像数据，对图像进行灰度化处理，得到行驶过程中的灰度图像；统计灰度图像中各个灰度级及其出现的频率，得到灰度图像的灰度直方图，获取灰度直方图中所有出现频率不为0的灰度级，记所得出现频率不为0的灰度级的个数为，其中第个出现频率不为0的灰度级记为，该灰度级出现的频率为。
20.直方图均衡化是一种简单有效的图像增强技术，通过改变图像的直方图来改变图像中各像素的灰度，主要用于增强动态范围偏小的图像的对比度。原始图像由于其灰度分布可能集中在较窄的区间，造成图像不够清晰。例如，过曝光图像的灰度级集中在高亮度范围内，而曝光不足将使图像灰度级集中在低亮度范围内。采用直方图均衡化，可以把原始图像的直方图变换为均匀分布的形式，这样就增加了像素之间灰度值差别的动态范围，从而达到增强图像整体对比度的效果。
21.由于自动驾驶时并不完全是在夜间，因此在进行图像增强时首先需要判断图像是否需要增强。而直方图均衡化的本质是实现图像中各个灰度级的近似均匀分布，从而提高图像对比度，当图像的灰度在范围内的分布越趋于均匀，图像的对比度越高，即此时图像中并不存在过亮或过暗的区域，不需要对其进行增强。即需要结合灰度直方图中各个灰度级的分布情况判断图像是否需要增强，而图像不需要增强需要满足两个条件：灰度范围尽可能广，灰度级占比尽可能均匀。
22.理想情况下，各个灰度级出现的频率大小是相同的，但是实际上，即使进行了灰度直方图均衡化之后，各个灰度级出现的频率也只是近似均匀，只会拓宽相邻灰度级之间的间隔，故仅根据灰度占比是否均匀并不准确，而夜间图像增强的目的在于增加暗区域的图像对比度，图像对比度则取决于灰度直方图中相邻灰度级之间的间隔，因此本发明以相邻灰度级之间的间隔为权重，结合灰度直方图中各个灰度级出现的频率与平均频率的差异对灰度的均匀性进行判断，即：当一个灰度级出现的频率与平均频率之间的差异较大，即该灰度级的均值偏移量较大时，表示该灰度级在整张图像中的含量过高或过低，对应整张图像中各个灰度级之间的含量越不均匀，而对图像增强的目的在于使各个灰度级出现的频率近似均匀，因此当一个灰度级出现的频率与平均频率之间的差异较大时，对图像进行增强的必要性越大；当灰度级出现的频率与平均频率之间的差异较小，即该灰度级的均值偏移量越小时，表示该灰度级在整张图像中的含量较为均匀，此时该灰度级与相邻灰度级之间的间隔越小，说明该灰度级与其他灰度级之间的对比度越小，此时根据该灰度级得到的增强必要性越大，反之，则增强必要性越小。
23.本发明以各个灰度级与相邻灰度级之间的间隔表示各个灰度级与其他灰度级之间的对比度，即灰度级分布的均匀性，间隔越小，对比度越低，越需要对图像进行增强；以各个灰度级均值偏移量表征各个灰度级含量的均匀性。则根据灰度图像的灰度直方图中均值偏移量以及分布均匀性得到的灰度直方图的灰度分布均匀性可表示为：其中分别为灰度直方图中出现次数不为0的最大灰度级与最小灰度级；为灰度直方图中灰度所占比例值的平均值；为灰度直方图中出现次数不为0的第个灰度级，为灰度直方图中出现次数不为0的第个灰度级，用以表示第个灰度级的相邻灰度级；
表示第个灰度级出现的频率与平均频率之间的差异，该值越大，表示图像中不同灰度级的含量的均匀性越差，越需要对图像进行增强；表示第个灰度级与其相邻的灰度级之间的间隔，表示灰度直方图中出现次数不为0 的所有灰度级的分布范围，本发明中使用对第个灰度级与其相邻的灰度级之间的间隔进行归一化处理，该值越大，对应灰度分布均匀性越强，此时根据该第个灰度级得到的增强必要性越小，故表示根据第个灰度级得到的灰度分布均匀性。
24.然后，根据灰度直方图的灰度分布范围，灰度级出现的频率得差异情况以及相邻灰度级之间的间隔计算当前图像的增强必要性：：表示灰度直方图中所有灰度级相对于的分布范围，该值越大，表示灰度直方图中的灰度分布范围越窄，即当前图像中的光照越不均匀，此时图像增强的必要性越高；该值越小，表示灰度的分布越广，此时需要根据各个灰度级的出现的频率是否均匀进一步判断图像增强的必要性，即灰度分布均匀性越低，图像的增强必要性越高；设置阈值，当增强必要性时，认为图像质量较差，需要对其进行图像增强，否则不需要增强。
25.步骤s002：对灰度图像进行全局直方图均衡化，得到初始均衡化图像；分别对灰度图像以及初始均衡化图像进行连通域分析，得到第一连通区域图像和第二连通区域图像；获取第一连通区域图像中各个连通域所对应的区域序列。
26.直方图均衡化的基本原理是：对在图像中像素个数多的灰度值，即对画面起主要作用的灰度值进行展宽，而对像素个数少的灰度值，即对画面不起主要作用的灰度值进行归并，从而增大对比度，使图像清晰，达到增强的目的，在对整张图像进行直方图均衡化完成后，原本占比较大的灰度级所对应的区域中灰度差异增大，对比度增强；而对于原本占比较小的灰度级合并之后，其所对应的区域中灰度差异变小，导致该区域中的纹理信息丢失，也就是说对于全局的直方图均衡化可能并不适合所有区域，因此对于丢失了纹理信息的区域，即待修正区域进行局部均衡化。
27.考虑不排除图像均衡化之后纹理信息增加或减少的不明显，不会出现明显的区域拆分或合并，但是这些区域具有拆分或归并的趋势，因此可以根据各个区域均衡化前后的变化倾向性确定可能会丢失纹理，需要另外处理的待修正区域。
28.首先对原灰度图像进行直方图均衡化处理，得到初始均衡化图像；再使用seed-filling算法分别对原灰度图像与初始均衡化图像进行连通域分析，将原灰度图像进行连通域分析后得到的图像记为第一连通区域图像，将初始均衡化图像进行连通域分析后得到的图像记为第二连通区域图像，为便于描述，将第一连通区域图像记为图像a，将第二连通
区域图像记为图像b。
29.对于图像a中的一个连通域，根据该连通域中的各个像素点的坐标得到各个像素点在图像b中所对应的连通域；将该连通域中所有像素点在图像b中所对应的连通域组成的序列作为该连通域的区域序列，即图像a中的一个连通域对应图像b中的一个或多个区域，这些区域组成的序列即为图像a中的该连通域所对应的区域序列；至此，图像a中的每个连通域均对应一个区域序列，该区域序列包含图像b中的一个或多个区域。
30.由于对灰度图像进行直方图均衡化之后，灰度图像中一个区域与初始均衡化图像相同范围内所包含的区域个数之间对应关系包含三种情况：一对一，一对多，多对一。当灰度图像中部分区域本身纹理较为清晰，经过直方图均衡化处理之后，该区域在图像b中所对应的区域不会发生变化，即,“一对一”；当灰度图像中的部分区域较暗，使得在图像a中被划分为一个区域，但是进行均衡化之后，该区域中的纹理信息增加，此时再对其进行区域分析，使得该区域中在图像b中对应多个区域，即“一对多”；当图像中的部分区域占比较小，均衡化过程中这些灰度级被归并，导致各个区域中的纹理信息丢失，使得该区域在图像b中被划分为同一个区域，即“多对一”。
31.步骤s003：根据第一连通区域图像中各个连通域与其对应的区域序列得到疑似待修正区域；分别计算各个疑似待修正区域在第一连通区域图像的第一纹理复杂度，以及在第二连通区域图像中的第二纹理复杂度，得到各个疑似待修正区域的纹理损失度，进而得到待修正区域。
32.对于“一对一”的区域，如果经过均衡化后，其纹理信息含量减少，则认为该区域被融合的倾向性较大，且损失程度越大，表示当前区域在均衡化过程中归并现象越严重，即对整张图像进行全局均衡化并不适合此类区域，因此本发明期望此类区域不参与全局均衡化，而是针对单个区域分别进行的局部均衡化。故，需要首先确定需要对其进行局部均衡化的区域。以图像中的第个区域为例，根据该区域所对应的区域序列中各个区域的面积大小判断该区域是否属于待修正区域，判断结果记为，则：其中为图像a中的第个连通域的面积，为该连通域所对应的区域序列中第个区域的面积，为取区域序列中所有区域面积的最大值。
33.当时，表示均衡化后，该区域的面积减小，发生了拆分，图像对比度得到了增强，不属于待修正区域；当时，表示均衡化后，该区域的面积增大，发生了区域融合，使得该区域中的纹理信息丢失，则将该区域所对应的区域序列中所有区域的并集作为一个待修正区域；当时，该区域未发生变化，此时需要进一步判断区域内部是否发生了纹理变化，则该区域即为一个疑似待修正区域，此时需要根据纹理信息的变化趋势进行
进一步判断：分别获取该区域在图像与图像b中的归一化后的灰度共生矩阵，根据各个像素对出现的概率计算该区域的熵用以表示该区域的纹理复杂度，该区域在图像a中的纹理复杂度记为第一纹理复杂度，将该区域在图像b中的纹理复杂度记为第二纹理复杂度，则该区域的纹理丢失程度可表示为：其中，为图像a的第个连通域的纹理复杂度，即第一纹理复杂度；为图像a中第个连通域在图像b上的纹理复杂度，即第二纹理复杂度。
34.当时，认为该区域纹理未发生丢失，该区域不属于待修正区域；否则将该区域所对应的区域序列中所有区域的并集作为待修正区域。
35.步骤s004：根据各个待修正区域中的纹理损失度以及第一纹理复杂度计算各个待修正区域在局部直方图均衡化时的灰度投影范围；根据灰度投影范围对待修正区域进行局部直方图均衡化。
36.对于第k个待修正区域，统计该待修正区域的各个灰度级及其出现的频率，根据该区域的纹理损失度以及第一纹理复杂度计算各个待修正区域在局部直方图均衡化时的灰度投影范围，第k个待修正区域中的第r个灰度级经过局部均衡化后对应的灰度级为，则：，则：其中，与分别为第个待修正区域的最大灰度级与最小灰度级，为该区域中的第个灰度级，分别为原灰度图像所对应的灰度直方图的最大灰度值与最小灰度值；为第k个待修正区域的第一纹理复杂度，为反正切函数；由于待修正区域为纹理发生丢失的区域，当待修正区域的纹理复杂度越高，表示该区域中包含的细节信息越多，对应在对整个灰度图像进行直方图均衡化时发生归并的灰度级越多，因此需要更大的灰度范围来提高图像对比度；而当原图像中的纹理复杂度较低时，表示原图像中的细节信息越少，此时该区域中的灰度级虽然发生了归并，但归并的灰度级也较少，因此并不需要过大的灰度范围来提高对比度。因此本发明使用对第一纹理复杂度进行归一化所建立的正相关映射模型。
37.为第个待修正区域的最大灰度值与最小灰度值的均值在范围上对应的值，以该值为第个待修正区域进行局部直方图均衡化的投影中心，则该区域进行局部直方图均衡化后，整个灰度投影范围上最小值的灰度值即为。
38.为第个待修正区域内，第r个灰度级的累积概率，即从第1个灰度级到第r个灰度级的出现概率之和；表示第个待修正区域内第r个灰度级在灰度投影范围上的相对位置。
39.本发明首先对整张图像进行全局直方图均衡化，只保留非待修正区域的全局直方图均衡化的结果，对待修正区域使用本方法进行局部均衡化处理，由此得到最终的图像处理结果。
40.通过以上步骤，完成车辆行进过程中夜间图像的局部增强。
41.本发明首先获取当前图像所对应的灰度直方图，根据灰度直方图中灰度的分布范围，灰度级频率差异情况以及相邻灰度级之间的间隔大小，确定当前图像进行直方图均衡化的增强必要性，根据增强必要性判断当前图像是否需要进行图像增强，以减少不必要的计算量；然后根据全局直方图均衡化后，对各个区域之间的融合/拆分的变化情况以及纹理损失情况对不适合全局直方图均衡化的区域重新进行局部均衡化处理，避免全局直方图均衡化所造成的纹理细节丢失，从而在保证图像对比度增强的基础上进一步保留图像纹理。
42.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。