图像增强方法、电子设备及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像增强方法、电子设备及计算机可读存储介质。


背景技术：

2.由于多种原因，各类图像探测器采集到的图像通常在目标和细节的显著程度上有所欠缺，由此给人眼的观察和分辨带来困难。细节增强方法通过对图像原始信号的处理，对目标细节等区域的像素值进行修改，从而使细节的显著程度加强，以更符合人类视觉特性。
3.现有技术中，在对图像中的细节增强后，图像在符合人类视觉特征上还有待进一步提升。


技术实现要素：

4.本技术提供一种图像增强方法、电子设备及计算机可读存储介质，能够使图像增强后更加符合人类视觉特性。
5.本技术实施例第一方面提供一种图像增强方法，所述方法包括：获取待处理图像；对所述待处理图像的图像信息进行第一高频分量提取，得到每个像素点的第一高频分量，其中，所述第一高频分量提取与所述像素点处局部特征的方向性无关；对所述图像信息进行第二高频分量提取，得到每个所述像素点的第二高频分量，其中，所述第二高频分量提取与所述像素点处局部特征的方向性相关；分别基于每个所述像素点的方向性，将所述像素点各自的所述第一高频分量以及所述第二高频分量进行融合处理，得到每个所述像素点的融合高频分量；分别在每个所述像素点在所述图像信息中的图像信息值上，叠加所述像素点各自的所述融合高频分量。
6.本技术实施例第二方面提供一种电子设备，所述电子设备包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
7.本技术实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。
8.有益效果是：本技术分别对待处理图像的图像信息进行第一高频分量提取、第二高频分量提取，其中，第一高频分量提取与像素点处局部特征的方向性无关，第二高频分量提取与像素点处局部特征的方向性相关，然后分别基于每个像素点的方向性，将像素点的第一高频分量和第二高频分量进行融合处理，使得在融合过程中能够针对不同特征的细节采取不同的处理，使最终增强后的图像更加符合人类视觉特征。
附图说明
9.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
10.图1是本技术图像增强方法一实施方式的流程示意图；
11.图2是图1中步骤s120的流程示意图；
12.图3是图1中步骤s130的流程示意图；
13.图4是图3中步骤s133的流程示意图；
14.图5是图1中步骤s140的流程示意图；
15.图6是图5中步骤s141的流程示意图；
16.图7是本技术图像增强方法一实施方式的流程示意图；
17.图8是本技术电子设备一实施方式的结构示意图；
18.图9是本技术电子设备另一实施方式的结构示意图；
19.图10是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.参阅图1，图1是本技术图像增强方法一实施方式的流程示意图，该方法包括：
22.s110：获取待处理图像。
23.s120：对待处理图像的图像信息进行第一高频分量提取，得到每个像素点的第一高频分量，其中，第一高频分量提取与像素点处局部特征的方向性无关。
24.在本实施方式中，待处理图像的图像信息为亮度信息，即将待处理图像的亮度通道作为步骤s120的输入。其中，若待处理图像的格式为没有独立亮度通道的格式，则将待处理图像的格式转换为具有独立亮度通道的格式，然后再将亮度通道作为步骤s120的输入。例如，若待处理图像的格式为rgb格式，则将待处理图像的格式转换为yuv格式。
25.也就是说，基于待处理图像的像素点的亮度值进行第一高频分量提取。
26.需要说明的是，在其他实施方式中，步骤s120中待处理图像的图像信息也可以是诸如色彩信息等其他信息，在此不做限制。
27.其中待处理图像的亮度信息可以理解为，是由待处理图像中所有像素点的亮度信息值构成的矩阵。
28.其中，像素点处局部特征的方向性与像素点的位置有关，具体而言，边缘位置处的像素点处局部特征的方向性强于纹理或者平坦区域处的像素点处局部特征的方向性。
29.其中，步骤s120进行第一高频分量提取的过程与像素点处局部特征的方向性的强弱无关，也就是说，第一高频分量提取的过程，不考虑像素点处局部特征的方向性因素。
30.参阅图2，本实施方式步骤s120得到每个像素点的第一高频分量的步骤，包括：
31.s121：采用各向同性滤波器对待处理图像的图像信息进行滤波处理，得到每个像素点的第一滤波值。
32.具体地，各向同性滤波区别于各向异性滤波，各向同性滤波指的是在滤波过程中，
对待处理图像的各个方向都一视同仁，不做区别，而各向异性滤波指的是在滤波过程中，各个方向不是一视同仁的，区别对待处理图像的各个方向。其中，步骤s121采用各向同性滤波可以同时考虑各个方向上像素点对应的权重，减弱噪声，使得后续得到的纹理区域或者平坦区域的高频分量更加自然。
33.其中，各向同性滤波器可以是例如高斯滤波器等任一种类型的各向同性滤波器。
34.s122：分别基于每个像素点的第一滤波值，确定像素点各自的第一高频分量。
35.在一应用场景中，当步骤s121中的各向同性滤波器为各向同性低通滤波器时，步骤s122具体包括：分别将每个像素点的图像信息值与像素点各自的第一滤波值作差，得到像素点各自的第一高频分量。
36.具体地，对于每个像素点而言，将其在图像信息中的图像信息值与对象的第一滤波值进行作差，得到的差值即为像素点的第一高频分量。
37.在另一应用场景中，当步骤s121中的各向同性滤波器为各向同性高通滤波器时，步骤s122具体包括：分别将每个像素点的第一滤波值，确定为像素点各自的第一高频分量。
38.与上述应用场景不同的是，此时无需进行作差运算，能够提高算法效率。
39.上述介绍了第一高频分量的提取过程。
40.s130：对图像信息进行第二高频分量提取，得到每个像素点的第二高频分量，其中，第二高频分量提取与像素点处局部特征的方向性相关。
41.与步骤s120不同的是，进行第二高频分量提取的过程与像素点处局部特征方向的强弱相关，即在提取过程中，会考虑像素点的方向性因素。
42.参阅图3，本实施方式步骤s130得到每个像素点的第二高频分量的步骤，包括：
43.s131：对图像信息分别在至少两个方向上进行滤波处理，得到每个像素点在每个方向上的第二滤波值。
44.步骤s120对待处理图像的原始特征进行的是各向同性滤波，而此时步骤s130对待处理图像的原始特征进行的是各向异性滤波。
45.其中，至少两个方向可以包括两个方向、三个方向、四个方向或者更多方向。且至少两个方向中的方向可以是各个方向，例如水平方向、竖直方向或者是偏离水平方向不同角度的各个方向。
46.其中为了便于说明，以下均以至少两个方向包括水平方向和竖直方向进行说明。
47.在一应用场景中，采用一维拉普拉斯滤波算子作为滤波器对待处理图像的原始特征在至少两个方向上进行滤波。例如，当在水平方向上进行滤波时，一维拉普拉斯滤波算子的形式为[-1,2,-1]，当在竖直方向上进行滤波时，一维拉普拉斯滤波算子的形式为[-1,2,-1]的转置。
[0048]
s132：分别基于每个像素点在每个方向上的第二滤波值，确定每个像素点在每个方向上的第一子高频分量。
[0049]
在一应用场景中，当步骤s131进行的是高通滤波时，将像素点在某个方向上的第二滤波值，直接确定为该像素点在该方向上的第一子高频分量。
[0050]
在另一应用场景中，当步骤s131进行的是低通滤波时，将像素点在图像信息中的图像信息值与像素点在某个方向上的第二滤波值进行作差，得到该像素点在该方向上的第一子高频分量。
[0051]
值得注意的是，本实施方式分方向滤波的原因是考虑到边缘特征具有明显的方向特征，对应的高频分量主要体现在特定方向，后续进行图像增强时可以更好地表征边缘特征。同时分方向滤波可以使提取的边缘特征在特定方向上更加纤薄、平滑。
[0052]
s133：分别将每个像素点对应的第一子高频分量进行融合处理，得到每个像素点的第二高频分量。
[0053]
具体地，对于每个像素点而言，将其对应的所有第一子高频分量进行融合处理，得到该像素点对应的第二高频分量。
[0054]
参阅图4，本实施方式步骤s133具体包括：
[0055]
s1331：分别确定每个像素点在每个方向上的梯度。
[0056]
具体地，此处的方向是上述步骤s131中的各个方向。
[0057]
例如，当至少两个方向包括水平方向和竖直方向时，此时分别确定每个像素点在水平方向上的梯度以及在竖直方向上的梯度。
[0058]
在一应用场景中采用sobel算子确定每个像素点在每个方向上的梯度。例如，设置水平梯度算子为：设置竖直梯度算子为：此时在计算像素点在某个方向上的梯度时，将该像素点的8邻域(即3*3的矩阵)与该方向上的梯度算子卷积，然后对卷积的结果取绝对值，即得到该像素点在该方向上的梯度。
[0059]
其中，关于确定像素点在某个方向上的梯度的过程属于现有技术，本技术不做具体介绍。
[0060]
s1332：分别根据每个像素点在每个方向上的梯度，调整每个像素点在每个方向上的第一子高频分量，得到每个像素点在每个方向上的第二子高频分量。
[0061]
根据像素点在某个方向上的梯度调整该像素点在该方向上的第一子高频分量，可以根据像素点在某个方向上展现的方向性强弱，确定增强高频分量的强度。
[0062]
在一应用场景中，步骤s1332具体包括：
[0063]
(a1)分别根据每个像素点在每个方向上的梯度所在的梯度区间，确定每个像素点在每个方向上的调整系数。
[0064]
例如，按照如下公式确定像素点在每个方向上的调整系数：
[0065]
其中，grad为像素点在任意方向上的梯度(例如在水平方向上的梯度，或者在竖直方向上的梯度)，a1和a2均为梯度阈值，g为像素点在对应方向上的调整系数。
[0066]
也就是说，如果像素点在方向上的梯度处于第一区间[0,a1)，则确定像素点在该方向上的调整系数为第一系数g1，如果像素点在方向上的梯度处于第二区间[a1,a2)，则确定像素点在该方向上的调整系数为第二系数g2，如果像素点在方向上的梯度处于第三区间[a2, ∞)，则确定像素点在该方向上的调整系数为第三系数g3。
[0067]
例如，设置第一系数g1、第二系数g2以及第三系数g3分别为0.6、1以及0.8。
[0068]
需要说明的是，上述采用了三段式调整方法，但是本技术并不限制于此，在其他实施方式中，还可以采用二段式、四段式甚至更多段式的调整方法。且也不限制各个梯度区间对应的调整系数的大小关系，例如，第一系数g1、第二系数g2、第三系数g3可以依次增大。
[0069]
同时本技术也不限制a1和a2的具体值，例如，a1、a2分别为5、20。
[0070]
可以理解的是，上述采用分段式设置调整系数的方法，可以灵活配置不同梯度区域对应的调整系数。
[0071]
在其他实施方式中，也可以不采用分段式的调整方法，而采用其他函数形式，例如线性函数，使得像素点各方向的调整系数与对应方向上的梯度相关。
[0072]
(b1)分别将每个像素点在每个方向上的调整系数与像素点各自在对应方向上的第一高频分量进行相乘，得到每个像素点在每个方向上的第二子高频分量。
[0073]
也就是说，如果像素点在某一方向上的第一子高频分量为hp，在该方向上的调整系数为g，则像素点在该方向上的第二子高频分量hp
′
等于g与hp的乘积。
[0074]
s1333：分别将每个像素点对应的第二子高频分量进行融合处理，得到每个像素点的第二高频分量。
[0075]
依旧以至少两个方向包括水平方向和垂直方向进行说明：假设像素点在水平方向上的第二子高频分量为hp1，在竖直方向上的第二子高频分量为hp2，则像素点对应的第二高频分量等于hp1与hp2的和。
[0076]
上述对确定像素点对应的第一高频分量、第二高频分量的过程进行了介绍，下面介绍将第一高频分量和第二高频分量的融合过程。
[0077]
s140：分别基于每个像素点的方向性，将像素点各自的第一高频分量以及第二高频分量进行融合处理，得到每个像素点的融合高频分量。
[0078]
基于像素点的方向性，可以确定像素点对应的细节特征。
[0079]
而基于像素点的方向性，将像素点的第一高频分量以及第二高频分量进行融合处理，可以实现对不同特征的细节采取不同处理，使最终增强后的图像更加符合人类视觉特征。
[0080]
参阅图5，在本实施方式中，步骤s140包括：
[0081]
s141：确定每个像素点的方向因子，其中，方向因子与像素点处局部特征的方向性相关。
[0082]
其中，像素点的方向因子的大小与像素点处局部特征的方向性的强弱相关，例如，像素点的方向因子越大，表明该像素点处局部特征的方向性越强。
[0083]
在一应用场景中，结合图6，步骤s141具体包括：
[0084]
s1411：分别确定每个像素点在至少两个方向上的梯度。
[0085]
其中，此处的至少两个方向与上述步骤s130中的至少两个方向可以相同，也可以不同，例如当步骤s130中的至少两个方向包括水平方向和竖直方向时，步骤s1411中的至少两个方向也包括水平方向和竖直方向，又例如，当步骤s130中的至少两个方向包括水平方向和竖直方向时，步骤s1411中的至少两个方向包括任意互相垂直的两个方向。
[0086]
s1412：分别基于每个像素点在各个方向上的梯度，确定每个像素点的方向因子。
[0087]
其中，可以是基于像素点在各个方向上的梯度的差值，直接或者间接计算像素点
的方向因子。
[0088]
例如，当至少两个方向包括两个方向时，将像素点在这两个方向上的梯度进行作差，然后对作差结果取绝对值，最后将绝对值作为像素点的方向因子。
[0089]
其中本技术对于如何确定像素点的方向因子的过程不做具体限制，只要像素点的方向因子因此能够表征像素点的方向特征即可。
[0090]
s142：分别基于每个像素点的方向因子，确定每个像素点对应的第一比例值和第二比例值，每个像素点对应的第一比例值和第二比例值的和值为一。
[0091]
s143：分别将每个像素点各自的第一高频分量与第一比例值的乘积、第二高频分量与第二比例值的乘积进行求和，得到每个像素点的融合高频分量。
[0092]
具体地，按照如下公式确定像素点的融合高频分量hp：
[0093]
hp＝r
×
hp1 (1-r)
×
hp2，其中，r为像素点对应的第一比例值，hp1为像素点的第一高频分量，hp2为像素点的第二高频分量。
[0094]
在一应用场景中，当像素点的方向因子与像素点处局部特征的方向性正相关时，按照如下公式确定像素点对应的第一比例值r：
[0095]
其中，d为像素点的方向因子，b1、b2分别为第一阈值、第二阈值，可以根据具体情况设定，在此不做限制。
[0096]
其中，当方向因子大于或者等于第一阈值且小于第二阈值时，第一比例值与方向因子负相关。
[0097]
需要说明的是，在其他实施方式中，也可以不采用分段式的方式确定第一比例值，例如直接根据公式确定第一比例值。
[0098]
或者在其他实施方式中，也可以采用二段式、四段式等方式确定第一比例值。总而言之，本技术对于第一比例值的确定过程不做具体限制。
[0099]
其中，根据像素点的方向因子，确定第一高频分量、第二高频分量的融合比例，相比于其他指标，能够更加准确地确定像素点的细节特征。
[0100]
上述介绍了将像素点的第一高频分量和第二高频分量进行融合的过程。
[0101]
在本实施方式中，在将像素点的第一高频分量与第二高频分量进行融合处理之前，还可以先分别对第一高频分量、第二高频分量进行增强处理(如图7所示)，然后基于增强处理后的第一高频分量、第二高频分量执行后续步骤，即将增强处理后的第一高频分量、增强处理后的第二高频分量进行融合处理，得到融合高频分量。
[0102]
其中，对第一高频分量进行增强处理的过程可以是：将第一高频分量与第一增益系数k1进行相乘；对第二高频分量进行增强处理的过程可以是：将第二高频分量与第二增益系数k2进行相乘，其中，第一增益系数k1、第二增益系数k2的取值可以根据具体情况设定，在此不做限制。
[0103]
其中可以对第一高频分量、第二高频分量都进行增强处理，也可以仅对第一高频
分量、第二高频分量中的一个进行增强处理。
[0104]
s150：分别在每个像素点在图像信息中的图像信息值上，叠加像素点各自的融合高频分量。
[0105]
其中，在得到每个像素点的融合高频分量后，可以在像素点的图像信息值上直接叠加该像素点的融合高频分量。
[0106]
也可以先对待处理图像的图像信息进行变换处理，得到变换特征，然后分别在每个像素点在变换特征中的图像信息值上，叠加像素点各自的融合高频分量。
[0107]
其中，变换处理可以是包括例如图像滤波在内的任意处理，本技术不做限制。
[0108]
其中在执行完步骤s150后，根据实际需求，将结果转换为所需格式，例如，当步骤s120中的图像信息为亮度信息时，若待处理图像为单通道亮度图像，则直接将步骤s150得到的结果输出，但是若待处理图像不是单通道亮度图像，而包括色彩通道，则将步骤s150得到的结果与色彩通道合并后，再转换为所需格式输出。
[0109]
其中为了更好地理解本技术的方案，下面结合实例对上述方案进行进一步的介绍：
[0110]
首先获取待处理图像，并基于待处理图像的亮度通道进行如下步骤，其中可以理解基于亮度矩阵i进行如下步骤，而亮度矩阵i由各个像素点的亮度值构成；
[0111]
步骤1：对亮度矩阵i进行低通滤波处理，得到矩阵i1，然后将矩阵i与矩阵i1进行作差，得到矩阵hp_text，其中矩阵hp_text由各个像素点的第一高频分量构成。
[0112]
步骤2：对各个像素点的第一高频分量进行增强处理，增强后的所有像素点的第一高频分量构成矩阵hp_text
′
，计算公式为hp_text
′
＝k1
×
hp_text，可以理解的是，此时利用同一个增益系数同时对所有像素点的第一高频分量进行增强，即第一高频分量的增强强度相同，但是在其他实例中，不同像素点的第一高频分量的增强强度也可以不同。
[0113]
步骤3：对亮度矩阵i进行分方向高通滤波，得到每个像素点在各个方向上的第一子高频分量，以两个方向为例，得到各个像素点在水平方向上的第一子高频分量构成的矩阵i2，以及各个像素点在竖直方向上的第一子高频分量构成的矩阵i3。
[0114]
步骤4：计算各个像素点在水平方向、竖直方向上的梯度。
[0115]
步骤5：对于每个像素点而言，分别将其对应的第一子高频分量基于对应方向上的梯度进行调整，得到对应的第二子高频分量，然后再将像素点对应的所有第二子高频分量进行合并，得到该像素点对应的第二高频分量，其中，所有像素点对应的第二高频分量构成矩阵hp_edge，矩阵hp_edge的计算公式为：
[0116]
hp_edge＝g1.*i2 g2.*i3，该公式表示分别将矩阵g1和矩阵i2点乘，矩阵g2和矩阵i3点乘，然后将两个点乘得到的矩阵相加；
[0117]
其中，g1由所有像素点在水平方向上的调整系数构成，g2由所有像素点在竖直方向上的调整系数构成，其中，g1、g2中元素g
ij
的计算公式为：
[0118]
其中，grad
ij
为待处理图像中第i行第j列的像素点在水平方向或者在竖直方向上的梯度。
[0119]
步骤6：对各个像素点的第二高频分量进行增强处理，增强后的所有像素点的第二高频分量构成矩阵hp_edge
′
，计算公式为hp_edge
′
＝k2
×
hp_edge。
[0120]
步骤7：计算各个像素点的方向因子：将像素点在水平方向上的梯度与竖直方向上的梯度相减后取绝对值，得到待处理图像中第i行第j列的像素点的方向因子d
ij
。
[0121]
步骤8：根据像素点的方向因子，确定混合比例r
ij
：
[0122][0123]
然后按照如下公式将像素点对应的第一高频分量和第二高频分量进行融合，得到像素点对应的融合高频分量hp
ij
：
[0124]
hp
ij
＝r
ij
×
hp_text
′
ij
(1-r
ij
)
×
hp_edge
′
ij
，其中，hp_text
′
ij
为待处理图像中第i行第j列的像素点在矩阵hp_text
′
中的值，hp_edge
′
ij
为待处理图像中第i行第j列的像素点在矩阵hp_edge
′
中的值。
[0125]
步骤9：在每个像素点的图像信息上，叠加融合高频分量：
[0126]i′
＝i hp，其中hp为所有像素点对应的融合高频分量hp
ij
构成的矩阵。
[0127]
其中，在叠加之前，还可以先对亮度矩阵i进行诸如滤波处理等变换。
[0128]
其中，如果待处理图像为单通道亮度图像，则将步骤9得到的结果输出，若待处理图像不是单通道亮度图像，而是包括色彩通道，则将步骤9的输出结果与色彩通道合并后，转换为所需格式输出。
[0129]
参阅图7，图7是本技术电子设备一实施方式的结构示意图。该电子设备200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。
[0130]
其中，电子设备200可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
[0131]
参阅图8，图8是本技术电子设备一实施方式的结构示意图。该电子设备300包括获取模块310、第一提取模块320、第二提取模块330、融合模块340以及叠加模块350。
[0132]
获取模块310用于获取待处理图像。
[0133]
第一提取模块320与获取模块310连接，用于对待处理图像的图像信息进行第一高频分量提取，得到每个像素点的第一高频分量，其中，第一高频分量提取与像素点处局部特征的方向性无关。
[0134]
第二提取模块330与获取模块310连接，用于对图像信息进行第二高频分量提取，得到每个像素点的第二高频分量，其中，第二高频分量提取与像素点处局部特征的方向性相关。
[0135]
融合模块340与第一提取模块320、第二提取模块330连接，用于分别基于每个像素点的方向性，将像素点各自的第一高频分量以及第二高频分量进行融合处理，得到每个像素点的融合高频分量。
[0136]
叠加模块350与融合模块340连接，用于分别在每个像素点在图像信息中的图像信息值上，叠加像素点各自的融合高频分量。
[0137]
其中，电子设备300可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
[0138]
且电子设备300在工作时执行上述任一项实施方式中的方法步骤，详细的方法步骤可参见上述实施方式，在此不再赘述。
[0139]
参阅图9，图9是本技术计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410，计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。
[0140]
其中，计算机可读存储介质400具体可以为u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等可以存储计算机程序410的装置，或者也可以为存储有该计算机程序410的服务器，该服务器可将存储的计算机程序410发送给其他设备运行，或者也可以自运行该存储的计算机程序410。
[0141]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。