一种图像增强方法、图像增强装置和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像增强方法、图像增强装置和计算机可读存储介质。


背景技术：

2.在摄像机的实际使用过程中，面对高动态范围的场景，受限于常规的测光模式是平均测光，因此获取到的图像往往会出现暗的地方过暗的问题，导致看不清楚处于低亮度的路面或树木等，造成图像质量不佳。


技术实现要素：

3.本技术提供一种图像增强方法、图像增强装置和计算机可读存储介质，能够调整图像的动态范围，改善图像质量。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种图像增强方法，该方法包括：对第一待处理图像的亮度进行统计，得到亮度统计直方图；基于亮度统计直方图，确定亮度阈值；基于亮度阈值，对第一待处理图像的所有像素点进行筛选，得到第一像素点；基于第一像素点的亮度与亮度阈值，计算出调整系数；基于调整系数与第一待处理图像，得到调整图像，调整图像的动态范围小于第一待处理图像的动态范围。
5.为解决上述技术问题，本技术采用的另一技术方案是：提供一种图像增强装置，该图像增强装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像增强方法。
6.为解决上述技术问题，本技术采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像增强方法。
7.通过上述方案，本技术的有益效果是：先对第一待处理图像的亮度进行统计，生成亮度统计直方图；然后利用亮度统计直方图确定亮度阈值；再利用亮度阈值从第一待处理图像的所有像素点中筛选出第一像素点；然后利用第一像素点的亮度与亮度阈值，计算出该第一像素点的调整系数；然后利用调整系数对第一像素点的像素值进行调整，生成调整图像，该调整图像的动态范围小于第一待处理图像的动态范围；在经过像素值的调整后生成的图像的动态范围变小，使得图像中较暗区域的亮度得到提升，改善了图像的质量，方便用户观察到较暗区域的细节。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术提供的图像增强方法一实施例的流程示意图；
10.图2是本技术提供的第一待处理图像的像素的示意图；
11.图3是本技术提供的亮度统计直方图的示意图；
12.图4是本技术提供的图像增强方法另一实施例的流程示意图；
13.图5是本技术提供的第三待处理图像的像素的示意图；
14.图6是本技术提供的第二待处理图像的示意图；
15.图7是图6对应的亮度统计直方图的示意图；
16.图8是图6对应的调整图像的示意图；
17.图9是图8对应的亮度统计直方图的示意图；
18.图10是本技术提供的图像增强装置一实施例的结构示意图；
19.图11是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
20.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
21.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
22.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.在摄像机的实际工作中，面对高对比度的场景，调整动态范围方法如下所示：
24.1)通过调节对比度模块或者伽马(gamma)模块进行动态范围的调整。
25.该方法存在的问题是通过图像信号处理(image signal processing，isp)模块进行对比度的强行拉伸，要兼顾画面不能被拉偏或者暗部被拉出噪声，因此无法保证每次都能达到理想状态。
26.2)通过调整测光表，降低高亮区域权重，增加低亮区域权重，进行目标亮度的调整。
27.该方法存在的问题是由于增加了低亮区域的权重，导致整个画面的平均亮度很亮，使得高亮区域出现过曝的问题。
28.3)通过开启真实宽动态，进行动态范围的调整。
29.该方法存在的问题是由于真实宽动态的原理是对两帧或两帧以上的数据进行合成，因此整个画面的效果可能与线性下的画面效果有差异，不自然。
30.为了解决相关技术中所采用的动态范围的调整方法的弊端，本技术提供了一种用于调整摄像机的动态范围的实现方法，下面对本技术所提供的方案进行详细描述。
31.请参阅图1，图1是本技术提供的图像增强方法一实施例的流程示意图，该方法包括：
32.s11：对第一待处理图像的亮度进行统计，得到亮度统计直方图。
33.可从图像数据库中获取第一待处理图像，或者采用摄像机进行拍摄，以生成第一待处理图像，该第一待处理图像为需要处理的图像，第一待处理图像的颜色空间可以为hsv空间，hsv空间是一种常见的颜色空间，h代表的是色相(度)，s代表的是饱和度，v代表的是明(亮)度。
34.在获取到第一待处理图像之后，可对第一待处理图像中每个像素点的亮度进行统计，得到亮度统计直方图，该亮度统计直方图包括第一待处理图像中每个像素点的亮度以及与亮度对应的数量；例如，如图2～图3所示，假设第一待处理图像的大小为4
×
4，其像素点分别记作i11～i44，每个像素点包括三个数值：色度、亮度以及饱和度，对所有像素点的亮度进行统计，假设将该图像的亮度划分为4个亮度区间：a0～a1、a1～a2、a2～a3以及a3～a4，每个亮度区间对应的数量分别为：q1、q2、q3以及q4，得到图3所示的亮度统计直方图，纵坐标表示像素的数量，横坐标表示亮度，q1 q2 q3 q4＝16。
35.s12：基于亮度统计直方图，确定亮度阈值。
36.在获取到第一待处理图像的亮度统计直方图后，可对该亮度统计直方图进行分析，以获取亮度阈值，进而利用该亮度阈值从第一待处理图像中筛选出需要进行像素调整的像素点(即第一像素点)。具体地，可将亮度统计直方图中数量较多的亮度作为亮度阈值，比如：将亮度直方图中数量第三多的亮度作为亮度阈值；或者，将预先设定的一个值作为亮度阈值；或者，预先设定两个值，将这两个值的平均值作为亮度阈值。
37.s13：基于亮度阈值，对第一待处理图像的所有像素点进行筛选，得到第一像素点。
38.在获取到亮度阈值后，可利用亮度阈值对第一待处理图像进行处理，以便从第一待处理图像的所有像素点中筛选出第一像素点；具体地，可设置一个亮度阈值，判断第一待处理图像中每个像素点的亮度是否小于亮度阈值，若像素点的亮度小于亮度阈值，则表明该像素点的亮度较小，需要将其亮度调大；或者判断第一待处理图像中每个像素点的亮度是否大于亮度阈值，若像素点的亮度大于亮度阈值，则表明该像素点的亮度较大，需要将其亮度调小；或者还可设置两个亮度阈值：第一设定阈值与第二设定阈值，第一设定阈值小于第二设定阈值，判断第一待处理图像中每个像素点的亮度是否小于第一设定阈值或者大于第二设定阈值，从第一待处理图像的所有像素点中筛选出亮度小于第一设定阈值或亮度大于第二设定阈值的像素点，将其作为第一像素点。可以理解地，获取第一像素点的方式可跟据具体应用需求进行设置，本实施例不做限制。
39.s14：基于第一像素点的亮度与亮度阈值，计算出调整系数。
40.调整系数与第一像素点的亮度以及亮度阈值相关，在获取到亮度阈值以及第一像素点后，可将亮度阈值与第一像素点的亮度相除，得到调整系数。
41.s15：基于调整系数与第一待处理图像，得到调整图像。
42.在获取到第一像素点对应的调整系数之后，可将该调整系数与第一像素点对应的像素值相乘，得到调整后的像素值(即调整图像中相应像素点的像素值)，该调整图像的动态范围小于或等于第一待处理图像的动态范围，因此在经过上述的像素值调整后，图像的动态范围变小，使得经过调整后图像中较暗区域的亮度得到提升，改善了图像的质量，方便用户观察到较暗区域的细节；而且，本实施例所提供的方案能够应用于视频监控中，有助于提升显示质量。
43.请参阅图4，图4是本技术提供的图像增强方法另一实施例的流程示意图，该方法包括：
44.s401：获取第二待处理图像，并对第二待处理图像进行格式转换处理得到第一待处理图像。
45.第二待处理图像的颜色空间可以为rgb空间或yuv空间，例如，以第二待处理图像的颜色空间为rgb空间为例，将rgb空间的第二待处理图像转换为hsv空间的第一待处理图像，第一待处理图像与第二待处理图像的尺寸相同。
46.s402：对第一待处理图像的亮度进行统计，得到亮度统计直方图。
47.基于第一待处理图像的像素点的亮度获得亮度统计直方图的目的是获取当前画面的对比度分布情况；s402与上述实施例中s11相同，在此不再赘述。
48.s403：从亮度统计直方图中挑选出第一亮度与第二亮度，并计算第一亮度与第二亮度的差的绝对值得到亮度差值。
49.找到亮度统计直方图中像素数量最多的前两个直方图所对应的亮度，记为第一亮度和第二亮度，第一亮度小于第二亮度，即第一亮度为亮度统计直方图中的数量最大值对应的亮度，第二亮度为亮度统计直方图中除第一亮度对应的数量以外数量最大值对应的亮度。
50.在一具体的实施例中，第二待处理图像的数据位宽为8bit，本实施例中所有数据的上限都为255，可采用如下公式获取亮度差值：
51.δv＝|v1-v2|
ꢀꢀꢀ
(1)
52.其中，在公式(1)中，δv为亮度差值，v1为第一亮度，v2为第二亮度。
53.s404：判断亮度差值是否大于第一预设阈值。
54.判断亮度差值是否大于第一预设阈值，如果亮度差值大于第一预设阈值，则执行s405；如果亮度差值小于或等于第一预设阈值，则执行s406。
55.进一步地，判断亮度差值是否大于第一预设阈值的目的是：定性判断亮度统计直方图是否属于双峰类型的分布；第一预设阈值的具体数值可以根据实际需要进行调整，其和计算所用到的数据位宽有关，第一预设阈值小于2n，例如：第一预设阈值为(2n)的1/3或(2n)的1/2，n为数据位宽，比如，考虑到本实施例的数据位宽为8bit，可将第一预设阈值设置为100。
56.s405：若亮度差值大于第一预设阈值，则从亮度统计直方图中挑选出亮度阈值。
57.在亮度统计直方图中，找到比第一亮度所对应的像素数量再小一点的数量对应的亮度，将其作为亮度阈值，即亮度阈值为亮度统计直方图中除第一亮度对应的数量与第二亮度对应的数量以外数量最大值对应的亮度，此时亮度阈值为整个亮度统计直方图中像素数量排名第三的数量对应的亮度。
58.s406：若亮度差值小于或等于第一预设阈值，则基于亮度差值与第二预设阈值，确定亮度阈值。
59.判断第二亮度是否小于第二预设阈值；若第二亮度小于第二预设阈值，则亮度阈值为第二预设阈值；若第二亮度大于或等于第二预设阈值，则基于第一亮度与第三预设阈值，确定亮度阈值。具体地，判断第一亮度是否大于第三预设阈值；若第一亮度大于第三预设阈值，则表明无需对第二待处理图像进行处理，此时结束整个操作流程，可生成第二待处理图像符合要求的信息，并显示该信息；若第一亮度小于或等于第三预设阈值，则将第二预设阈值与第三预设阈值的平均值确定为亮度阈值，即采用如下公式计算亮度阈值：
60.a＝β (γ-β)/2
ꢀꢀꢀ
(2)
61.其中，在公式(2)中，a为亮度阈值，β为第二预设阈值，γ为第三预设阈值。
62.进一步地，判断第二亮度是否小于第二预设阈值以及判断第一亮度是否大于第三预设阈值的目的是：定性判断亮度统计直方图是集中在亮度区间的前半段还是后半段；第二预设阈值与第三预设阈值的具体数值可根据具体应用场景进行设置，比如：第二预设阈值为50，第三预设阈值为150。
63.执行上述s403～s406的目的是为了判断出亮度统计直方图的形态，同时根据不同情况得到下一步需要调整的像素点的亮度阈值。
64.s407：从第一待处理图像中挑选出满足预设筛选条件的像素点，得到第三像素点。
65.在计算出亮度阈值后，可提取hsv空间的第一待处理图像中每一个像素点的h分量值(即色度)，判断第一待处理图像的每个像素点的色度是否落在预设色度范围内；若该像素点的色度落在预设色度范围内，则确定像素点满足预设筛选条件，该像素点为第三像素点。
66.进一步地，预设色度范围包括三个色度范围：第一色度范围、第二色度范围以及第三色度范围，第一色度范围与红色对应，第二色度范围与绿色对应，第三色度范围与蓝色对应；例如，第一色度范围为0～10，第二色度范围为110～130，第三色度范围为230～250，分别提取出满足h分量值落在0～10、110～130、230～250的像素点，选取这三个数值范围的原因是：在hsv空间中，“h分量值为0”表示的是红色，“h分量值为120”表示的为绿色，“h分量值为240”表示的为蓝色，考虑到摄像机中红、绿、蓝为常见的三基色，因此本实施例选用这三个数值范围，并给予了一定的设计余量。
67.s408：判断第三像素点的亮度是否小于亮度阈值。
68.对提取到的满足预设筛选条件的像素点进行二次过滤，找到其中亮度小于亮度阈值的像素点，得到第一像素点。
69.s409：若第三像素点的亮度小于亮度阈值，则第三像素点为第一像素点，计算亮度阈值与第一像素点的亮度的比值，得到调整系数。
70.如果第三像素点的亮度小于亮度阈值，则表明该第三像素点为符合条件的像素点，确定其为第一像素点；然后每一个第一像素点以自身的亮度为基础，采用如下公式计算相应的调整系数：
71.θ＝a/v
ꢀꢀꢀ
(3)
72.其中，在公式(3)中，θ为调整系数，a为亮度阈值，v为第一像素点的亮度。
73.s410：基于调整系数，对第二待处理图像中的第二像素点的像素值进行调整，得到
调整图像。
74.利用调整系数对第二待处理图像中的第二像素点进行调整，以生成调整图像，该调整图像的动态范围小于或等于第二待处理图像的动态范围，第二像素点为与第一像素点对应的像素点，第二像素点与第一像素点在相应的图像中的坐标相同。
75.在一具体的实施例中，采用如下方法来生成调整图像：
76.1)将第二像素点的像素值与调整系数相乘，得到第三待处理图像。
77.第二像素点的像素值包括第一像素值(即r通道的值)、第二像素值(g通道的值)以及第三像素值(即b通道的值)，将第一像素值、第二像素值以及第三像素值分别与调整系数相乘，得到第三待处理图像中的第四像素点的像素值，第四像素点为与第二像素点对应的像素点；将第二待处理图像中除第二像素点以外的像素点的像素值赋值给第三待处理图像中的相应像素点。
78.2)对第三待处理图像进行平滑处理，得到调整图像。
79.对于经过相乘操作(即与调整系数相乘)的像素点来说，还需要做周边邻域平滑处理；具体地，可判断第三待处理图像中的每个像素点是否为第四像素点；若该像素点为第四像素点，则基于第四像素点，对第三待处理图像中的其他像素点进行平滑处理，得到调整图像。
80.进一步地，判断位于第四像素点周围的邻域像素点是否为另一第四像素点；若位于第四像素点周围的邻域像素点是另一第四像素点，则无需对该邻域像素点进行处理；若位于第四像素点周围的邻域像素点不是另一第四像素点，则将邻域像素点的像素值与调整系数相乘，得到调整图像中相应像素点的像素值。
81.在一具体的实施例中，可以使用八邻域法来实现周边邻域平滑，如图5所示，以滑动窗口w中的像素点为例，f33为第四像素点，在f33所在的八邻域中，f22、f24、f32、f34、f43以及f44为未与调整系数相乘的像素点(即它们不是第四像素点)，f23与f42为第四像素点，需要对f22、f24、f32、f34、f43以及f44进行平滑处理，平滑的方式为：将f22、f24、f32、f34、f43以及f44的像素值分别与f33的调整系数相乘；通过平滑处理能够使得图像中被乘的像素点和没有被乘的像素点有一个平滑过渡，避免产生边界突变的问题。
82.在一具体的实施例中，如图6～图9所示，图6为第二待处理图像，其大小为2560
×
1456，图7为图6对应的亮度统计直方图，图8为图6对应的调整图像，图9为图8对应的亮度统计直方图，对比图6与图8可以发现，经过像素值调整后树木所在的区域的细节较为清晰；对比图7与图9可以发现，亮度较低值对应的数量(比如：0～50范围内的像素数量)减少，因此通过本实施例提供的方案的处理提升了较暗区域的亮度，防止看不清较暗区域的图像细节。
83.在基于摄像机的实际工况中，可能出现因所监控场景存在高动态范围导致暗处太暗的现象，传统的处理算法可能引入噪声或造成局部过曝等；基于此，本实施例提出了一种用于调整摄像机动态范围的方法，计算画面颜色信息，以hsv空间为操作对象，统计出基于亮度的直方图，再评估对应的直方图分布，得到相应的亮度阈值，再根据h分量值的范围选取对应画面的像素点，对获取到的像素点使用亮度阈值做二次筛选，对最终得到的像素点将其像素值与调整系数相乘，能够自适应提升较暗区域的亮度，实现改善画面的动态范围。
84.请参阅图10，图10是本技术提供的图像增强装置一实施例的结构示意图，图像增
强装置100包括互相连接的存储器101和处理器102，存储器101用于存储计算机程序，计算机程序在被处理器102执行时，用于实现上述实施例中的图像增强方法。
85.本实施所采用的方案从色彩学的角度，针对色度和亮度两个角度处理，计算出对应的调整系数，最终叠加到rgb三通道上，通过改变满足条件的像素点的rgb通道的值，得到目标画面，可通过调整较暗区域的亮度来改善画面的质量。
86.请参阅图11，图11是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质110用于存储计算机程序111，计算机程序111在被处理器执行时，用于实现上述实施例中的图像增强方法。
87.计算机可读存储介质110可以是服务端、u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
89.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
90.另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
91.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。