一种基于人工智能的图像增强方法

1.本发明涉及图像处理领域，具体涉及一种基于人工智能的图像增强方法。


背景技术：

2.图像增强是一种重要的图像处理技术，在噪声滤除、指纹识别、目标识别、彩色图像处理中有着广泛的应用；例如，在进行图像分析时，原有图像的质量往往达不到较好的分析效果，因此，需要对原有图像进行增强操作；图像增强的目的是根据不同的应用目的增强图像中的有用信息。图像中通常包括特征区域和非特征区域。在很多情况下，由于图像特征区域和非特征区域之间的对比度较低，一些有用的图像特征或图像细节不能被有效识别。因此，图像增强的基本思路就是增大图像亮区域和暗区域之间的对比度。
3.现有的图像增强的方法有：直方图均衡化、对比度拉升、gamma校正、直方图规定化等。除此之外，也可以利用cnn达到图像增强的目的。但是，上述的图像增强方法都是对图像的各个区域进行统一程度的增强，即图像的特征区域和其他区域的增强效果一致并不能很好的体现出原有图像的特征区域，图像的增强效果较差。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的图像增强方法，所采用的技术方案具体如下：
5.对原始rgb图像进行尺度变换，得到不同尺度的模板图像，对模板图像进行高斯模糊操作，得到对应尺度空间下具有不同模糊程度的模糊图像；其中，所述模糊程度由高斯核函数的高斯核参数确定；
6.提取各模糊图像的局部特征和全局特征，并将所述局部特征和全局特征进行融合，得到各模糊图像对应的特征矩阵；
7.根据所述高斯核参数计算不同尺度空间下各模糊图像的权重；
8.根据所述权重对各特征矩阵进行融合，得到原始rgb图像的融合特征矩阵；
9.对所述原始rgb图像进行各关键点的提取，确定各关键点的邻域范围；
10.计算所述关键点的邻域范围内像素点的信息熵，将所述信息熵作为各关键点的关键点权重；
11.根据关键点权重和融合特征矩阵，得到关键点的增强图像，进而得到原始rgb图像对应的增强图像。
12.进一步地，关键点的增强图像为：
13.z
(x,y)
＝(α entropy
(x,y)
)
·a(x,y)
·i(x,y)
14.其中，z
(x,y)
为坐标为(x,y)处的关键点的增强图像，entropy
(x,y)
为坐标为(x,y)处的关键点的关键点权重；α为原始rgb图像中各像素点的初始权重，α＝1；a
(x,y)
为融合特征矩阵中坐标为(x,y)处的元素，i
(x,y)
为原始rgb图像中坐标为(x,y)的关键点的像素值。
15.进一步地，所述局部特征和全局特征的融合方法为：构建融合函数，利用所述融合
函数将所述局部特征和全局特征进行融合；
16.其中，所述融合函数为：
[0017][0018]
其中，c为通道的索引，b为标量偏差，w1和w2为标量权重，relu为线性修正单元激活函数，gc为全局特征中通道c的值，lc[x,y]为局部特征中坐标为(x,y)通道为c的值。
[0019]
进一步地，所述融合特征矩阵为：
[0020][0021]
其中，m为尺度空间的总个数，n为每个尺度空间下模糊图像的总个数，a
i,j
为第i个尺度空间中第j张模糊图像的特征矩阵；w
i,j
为第i个尺度空间中第j张模糊图像的权重。
[0022]
进一步地，所述权重为：
[0023][0024]
其中，w
i,j
为第i个尺度空间中第j张模糊图像的权重，s为原始rgb图像的长或宽，t为原始rgb图像的宽或长；2
j-1
为第i个尺度空间中第j张模糊图像对应的高斯核参数。
[0025]
进一步地，所述关键点权重为：
[0026][0027]
其中，entropy
x,y
为坐标(x,y)处的关键点的关键点权重，p(c)为像素点c在邻域范围o内出现的概率。
[0028]
进一步地，所述各关键点通过fast算法进行提取。
[0029]
本发明实施例至少具有如下有益效果：
[0030]
本发明通过得到不同尺度空间下具有不同模糊程度的模糊图像，计算不同尺度空间下各模糊图像的权重，分别提取每张模糊图像的局部特征和全局特征，并将局部特征和全局特征融合，得到各模糊图像对应的特征矩阵，通过权重和特征矩阵得到原始rgb图像对应的融合特征矩阵；提取原始rgb图像的各关键点，计算各关键点的关键点权重，根据关键点权重着重增强关键点的图像信息；进而得到原始rgb图像的增强图像。取不同尺度空间中不同模糊程度的模糊图像可以更好地模拟原始rgb图像在采集时因设备出现抖动而产生的模糊，能够提升图像数据质量，使得后续神经网络的鲁棒性更强，能够得到更好的增强效果。其中，根据关键点权重得到关键点的增强图像，本发明通过融合特征矩阵与关键点权重的结合，在图像增强过程中对不同的关键点做不同程度的加强；能够使得原始rgb图像的特征点和其他非特征区域有更强的对比，使增强效果更明显。
附图说明
[0031]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，
还可以根据这些附图获得其它附图。
[0032]
图1为本发明的一种基于人工智能的图像增强方法实施例的步骤流程图；
[0033]
图2为本发明的一种基于人工智能的图像增强方法实施例的方法框图；
[0034]
图3为特征图提取过程；
[0035]
图4为局部特征提取过程；
[0036]
图5为全局特征提取过程；
[0037]
图6为特征矩阵获取过程。
具体实施方式
[0038]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的图像增强方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0039]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0040]
请参阅图1和图2，本发明的一种基于人工智能的图像增强方法，该方法包括以下步骤：
[0041]
步骤1，对原始rgb图像进行尺度变换，得到不同尺度的模板图像，对模板图像进行高斯模糊操作，得到对应尺度空间下具有不同模糊程度的模糊图像；其中，所述模糊程度由高斯核函数的高斯核参数确定。
[0042]
具体地，对原始rgb图像利用隔点下采样方法得到不同尺度的模板图像，其中，隔点下采样为公知技术，不再赘述具体过程；本实施例中，模板图像为4个，对应4个不同的尺度空间，尺度空间为：space＝{s1,s2,s3,s4}，其中，space为尺度空间，s1为第1个尺度空间，s2为第2个尺度空间，s3为第3个尺度空间，s4为第4个尺度空间；实施者在操作过程中可根据实际需求适当调整尺度空间的个数。
[0043]
需要说明的是，每次隔点下采样之后，尺度空间的模板图像的尺寸就变成原始rgb图像尺寸的1/4，其中，第一个尺度空间的模板图像为原始rgb图像，第二个尺度空间的模板图像为原始rgb图像尺寸的1/4。
[0044]
具体地，第i个尺度空间下模糊图像的获取方法为：对第i个尺度空间对应的模板图像进行多次高斯模糊操作，每进行一次高斯模糊操作得到一张模糊图像，且每次高斯模糊操作选用的高斯核函数的高斯核参数不同，高斯核参数越大，模糊图像的模糊程度越高；其中，高斯核参数为：σ＝2
j-1
，式中，j为第i个尺度空间中的第j张模糊图像。
[0045]
本实施例中，对模板图像进行5次高斯模糊操作，即对应尺度空间包含5张不同模糊程度的模糊图像，对应尺度空间的模糊图像为：其中，si为第i个尺度空间，为第i个尺度空间中第1张模糊图像，为第i个尺度空间中第2张模糊图像，为第i个尺度空间中第3张模糊图像，为第i个尺度空间中第4张模糊图像，为第i个尺度空间中第5张模糊图像。
[0046]
需要说明的是，取不同尺度空间对应的不同模糊程度的模糊图像的原因是：能够更好的模拟原始rgb图像在采集时因为设备出现抖动而产生的模糊，提升图像数据质量；不同的模糊程度能够突出原始rgb图像不同的特征；模糊图像越模糊，原始rgb图像的局部特征丢失的越多，越能体现原始rgb图像的全局特征。
[0047]
步骤2，提取各模糊图像的局部特征和全局特征，并将局部特征和全局特征进行融合，得到各模糊图像对应的特征矩阵。
[0048]
具体地，模糊图像的特征矩阵的获取方法为：首先，获取模糊图像的特征图，然后根据特征图得到模糊图像的局部特征和全局特征。本实施例中的模糊图像尺寸为256*256。
[0049]
上述的特征图通过第一个神经网络模型获取；具体地，特征图的获取过程如图3。
[0050]
第一个神经网络模型的结构为：编码器-池化层；输入为：模糊图像，输出为：特征图；第一个神经网络模型的损失函数为交叉熵函数，激活函数为relu函数；其中，编码器包括四层卷积层，卷积层越多，获得的特征图越复杂越抽象，卷积核的步幅设置为2，第一个神经网络模型输出的特征图为16
×
16的64通道矩阵。
[0051]
局部特征的获取过程(图4)为：将特征图输入第二个神经网络模型中，输出为：局部特征。
[0052]
第二个神经网络模型的结构为：编码器-池化层；第二个神经网络模型的损失函数为交叉熵函数，激活函数为relu函数；其中，编码器包括两层卷积层，卷积核的步幅设置为1(由于目标是提取模糊图像的局部特征，所以卷积核的步幅设置为1)，第二个神经网络模型输出的局部特征为16
×
16的64通道矩阵。
[0053]
需要说明的是，获取局部特征能够使特征矩阵更好的表达特征的空间位置。
[0054]
全局特征的获取过程(图5)为：将特征图输入第三个神经网络模型中，输出为：全局特征。
[0055]
第三个神经网络模型的结构为：编码器-解码器-池化层；第三个神经网络模型的损失函数为交叉熵函数，激活函数为relu函数；其中，编码器包括两层卷积层，解码器包括三层全连接层，卷积核的步幅设置为2，第三个神经网络模型输出的全局特征为64通道的特征向量。
[0056]
需要说明的是，获取的特征向量总结了关于输入的全局信息，并作为对局部特征进行正则化的先验；提取全局特征的目的是对输入进行编码，避免神经网络做出错误的局部决策，从而导致增强后的图像出现伪阴影。
[0057]
具体地，局部特征和全局特征的融合方法为：构建融合函数，利用融合函数将所述局部特征和全局特征进行融合；
[0058]
其中，融合函数为：
[0059][0060]
其中，c为通道的索引，b为标量偏差，w1和w2为标量权重，relu为线性修正单元激活函数，gc为全局特征中通道c的值，lc[x,y]为局部特征中坐标为(x,y)通道为c的值。
[0061]
利用图像通道的索引与局部特征的像素坐标，对于每个通道的全局特征和局部特征进行加权求和，并加上偏差向量进行逐点线性变换，将线性变换的结果代入relu函数进
行运算，最终产生一个融合后的特征矩阵，特征矩阵为16
×
16的64通道矩阵。
[0062]
需要说明的是，获得特征矩阵是为了实现不同感受野的融合，增强图像的特征描述。
[0063]
进一步地，利用卷积核为1
×
1的卷积层对特征矩阵进行卷积，得到16
×
16的96通道的特征矩阵，其中，特征矩阵的通道数由卷积核的个数确定，卷积层有多少个卷积核，对应输出的特征矩阵就有多少个通道；16
×
16的96通道的特征矩阵的获取过程如图6。
[0064]
需要说明的是，16
×
16的96通道的特征矩阵是为了进行特征通道的升维，使特征通道从64通道升维至96通道，升维的目的是为了使得矩阵中的每个网格能够符合一定的尺寸约束(即能够组成8个3
×
4的颜色变换矩阵)。
[0065]
进一步地，为了使特征矩阵与颜色变换矩阵相对应，对特征矩阵进行重塑。
[0066]
具体地，将特征矩阵重塑为16
×
16
×8×3×
4的网格型矩阵，其中网格深度为8，每个网格都包含12个数值，对应一个3
×
4颜色变换矩阵中每个位置的数值。
[0067]
同样地，所有模糊图像都进行步骤2的操作，进而得到各模糊图像对应的特征矩阵。
[0068]
步骤3，根据高斯核参数计算不同尺度空间下各模糊图像的权重，根据权重对各特征矩阵进行融合，得到原始rgb图像的融合特征矩阵。
[0069]
本实施例中，权重为：
[0070]
其中，w
i,j
为第i个尺度空间中第j张模糊图像的权重，s为原始rgb图像的长或宽，t为原始rgb图像的宽或长；2
j-1
为第i个尺度空间中第j张模糊图像对应的高斯核参数。
[0071]
本实施例中，融合特征矩阵为：
[0072][0073]
其中，m为尺度空间的总个数，n为每个尺度空间下模糊图像的总个数，a
i,j
为第i个尺度空间下第j张模糊图像的特征矩阵；w
i,j
为第i个尺度空间下第j张模糊图像的权重。
[0074]
需要说明的是，本实施例中的m取4，n取5；实施者可根据实际需求适当调整m和n的取值。
[0075]
步骤4，对原始rgb图像进行各关键点的提取，确定各关键点的邻域范围。
[0076]
该步骤利用fast算法提取原始rgb图像的各关键点，其中，fast算法为公知技术，不在赘述具体过程。
[0077]
上述获取关键点的邻域范围的方法为：以关键点为中心，r为半径，提取这一圆形区域内的所有像素点作为此关键点的邻域范围。
[0078]
需要说明的是，每个关键点的邻域范围的半径是相同的(r保持一致)，为了控制后续信息熵计算的范围，确保计算的信息熵都是在同一个量级(邻域范围一致)下的，确保后续关键点权重计算的合理性。
[0079]
步骤5，计算关键点的邻域范围内像素点的信息熵，将信息熵作为关键点权重。
[0080]
本实施例中，关键点权重为：
[0081][0082]
其中，entropy
x,y
为坐标(x,y)处的关键点的关键点权重，p(c)为像素点c在邻域范围o内出现的概率；o为邻域范围。
[0083]
需要说明的是，本实施例的目的是图像增强，图像增强的思路是增强图像中的特征；对于图像来说，特征即是图像中颜色或灰度变化剧烈的部分，由于颜色或灰度复杂的部分，信息熵会升高，因此，信息熵越大的关键点，特征越明显(颜色波动越大)，则这一关键点应该被着重增强，因此这一关键点的权重较大。
[0084]
步骤6，根据关键点权重和融合特征矩阵，得到关键点的增强图像，进而得到原始rgb图像的增强图像。
[0085]
具体地，根据原始rgb图像建立图像坐标系，找出各关键点对应的坐标位置，进而得出各关键点的增强图像和非关键点的增强图像。
[0086]
本实施例中，关键点的增强图像为：
[0087]z(x,y)
＝(α entropy
(x,y)
)
·a(x,y)
·i(x,y)
[0088]
其中，z
(x,y)
为坐标为(x,y)处的关键点的增强图像，entropy
(x,y)
为坐标为(x,y)处的关键点的关键点权重；α为原始rgb图像中各像素点的初始权重，α＝1；a
(x,y)
为融合特征矩阵中坐标为(x,y)处的元素，i
(x,y)
为原始rgb图像中坐标为(x,y)的关键点的像素值。
[0089]
本实施例中，非关键点的增强图像为：
[0090]z(u,v)
＝α
·a(u,v)
·i(u,v)
[0091]
其中，z
(u,v)
为融合特征矩阵中坐标为(u,v)处的非关键点的增强图像；α为原始rgb图像中各像素点的初始权重，α＝1；a
(u,v)
为融合特征矩阵中坐标为(u,v)处的元素；i
(u,v)
为原始rgb图像中坐标为(u,v)的像素点的像素值。
[0092]
本实施例中，原始rgb图像的增强图像为各关键点的增强图像与各非关键点的增强图像之和。
[0093]
需要说明的是，本实施例根据关键点权重得到关键点的增强图像，通过融合特征矩阵与关键点权重的结合，在图像增强过程中对不同的关键点做不同程度的加强；能够使得原始rgb图像的关键点和其他非关键点区域有更强的对比，增强了图像的对比度，使原始rgb图像对应增强图像的增强效果更明显。
[0094]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0095]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0096]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。