图像预处理方法、系统及相应设备和存储介质与流程

1.本技术涉及图像预处理领域，尤其涉及一种图像预处理方法。本技术还涉及一种图像预处理系统及相应的计算机设备和计算机可读存储介质。


背景技术：

2.图像预处理是针对图像进行分析，强化图像的潜在特征，使得图像的特征更加容易被后续的特征提取方法提取，减少后续特征提取方法的误判。
3.目前，有多种不同的方法来预处理图像。模糊滤波在时域进行图像平滑处理，然而该方法对高频或重复性噪点无处理能力。图像转化为频域后的高频细节去除以及量化加强起到了减少关键点匹配错误的作用，但是仍然无法去除低频噪点。基于核函数的滤波函数处理，可有效去除低频能量，但也削弱了整体图像的对比度，对后续的特征提取造成了负面影响。
4.在机器视觉尤其是立体视觉特征点匹配领域，图像预处理技术对增加左右视图中可匹配的特征点数量起到重要作用。然而，在实时采集和处理图像领域，在不同地点、不同光线的条件下，获得的图像的质量相差甚大，导致特征匹配点的采集难度变化很大。现有的图像预处理技术，有些无法处理强光条件下或阴暗条件下的特征匹配点采集问题，例如模糊降噪、离散余弦、梯度加强等，有些则是在消除噪点时削弱了图像的特征，导致后续的特征提取中，提取的特征匹配点数量较少，例如模糊降噪、中值滤波等。
5.因而，需要提供一种能够高质量处理不同光线条件下的图像的全天候图像预处理技术。


技术实现要素：

6.本发明提供一种图像预处理方法和系统，其对于不同光线条件下采集的图像，无论光线强弱，均能提高采集到的匹配特征点的数量。
7.在本发明的第一方面，提供一种图像预处理方法，包括：
8.对单通道灰度图像按一处理组合进行处理，所述处理组合包括模糊降噪处理、基于频域加强的高频细节去除处理、特征增强处理和对比度加强处理；
9.其中，所述模糊降噪处理、所述高频细节去除处理、所述特征增强处理和所述对比度加强处理彼此之间的处理顺序为任意顺序。
10.在本发明的第二方面，提供一种图像预处理系统，包括：
11.组合处理模块，用于对单通道灰度图像按一处理组合进行处理，所述处理组合包括模糊降噪处理、基于频域加强的高频细节去除处理、特征增强处理和对比度加强处理；
12.其中，所述模糊降噪处理、所述高频细节去除处理、所述特征增强处理和所述对比度加强处理彼此之间的处理顺序为任意顺序。
13.在本发明的第三方面，提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实
现根据本发明的第一方面的方法的步骤或者实现根据本发明的第二方面的系统的功能。
14.根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据本发明的第一方面的方法的步骤或者实现根据本发明的第二方面的系统的功能。
15.按照本发明，通过按照模糊降噪处理、高频细节去除处理、特征增强处理和对比度加强处理的组合预处理图像，结合了各种图像处理方法的优势，同时限制它们的缺点，有效地加强了图像中的关键特征，减少了非关键特征，使得后续的特征提取方法能够获得更多的匹配特征点。无论光线条件如何(从早到晚不同时间不同地点)，后续不同特征提取方法采集到的匹配特征点的数量相较经单一图像处理方法预处理的图像均可增加50％以上，为后续特征提取和处理效果提供了保障。
16.结合附图阅读本发明实施方式的详细描述后，本发明的其它特点和优点将变得更加清楚。
附图说明
17.图1为根据本发明方法的一实施例的流程图；
18.图2为使用本发明图像预处理方法和现有技术图像预处理方法处理图像后采集到的匹配特征点数量对比图；
19.图3为根据本发明系统的一实施例的框图。
20.为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。
具体实施方式
21.下面参照附图对本发明的实施方式和实施例进行详细说明。
22.通过下面给出的详细描述，本发明的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。
23.在无人驾驶领域，由于时间和地点的不同，例如室外或室内或者从早到晚的不同时间或者不同地点，光线条件差异很大，导致后续特征提取方法提取到的关键匹配点的数量变化很大，现有技术均未很好解决确保不同光线条件下的匹配特征点数量的问题。
24.图1示出了根据本发明的图像预处理方法的一优选实施例的流程图。
25.在步骤s102，使用基于注意力机制的神经网络模型，识别并去除图像中的天空及云朵。在此例如可使用基于nvidia公司开源的hrnet(high-resolution net) ocr(object-contextual representations) multi-scale attention的神经网络模型(可称为“基于多尺度注意力机制和上下文表达的高精度网络”)，可利用已经标注好天空及云朵的cityscape数据集，来训练该神经网络模型。在训练之后，该神经网络模型用于对天空的识别，而非天空部分被归纳为背景，从而达到去除天空以及天空所包含的云朵的目的，进而可有效减少来自天空以及云朵的无效的匹配点。对于不包含天空的图像，可省略该步骤。
26.在步骤s104，将多通道彩色图像转化为单通道灰度图像，减少后续图像处理的工作量。可采用本领域已知的任何适当的方法进行多通道图像向单通道图像的转化，如加权平均法、最大最小平均法、平均法等。
27.例如，可采用加权平均法。设定一副图像为i，i(x,y)为图像的某一个像素，这个像素在图像中的坐标位置为横坐标x、纵坐标y。这个像素由3个通道值叠加而成，分别为红色通道值r(x,y)、绿色通道值g(x,y)和蓝色通道值b(x,y)，可以用以下公式将这个像素转化为灰度像素：
28.i(x,y)g＝0.2989*r(x,y) 0.5870*g(x,y) 0.1140*b(x,y)
29.其中，i(x,y)g为图像i在(x,y)点的灰度值。
30.在实施例中，如果采集到的图像本身即为灰度图像，则无需进行该步骤s104。
31.在步骤s106，对单通道灰度图像进行模糊降噪处理，减少对后续特征工程的干扰。
32.在实施例中，可采用整体均值降噪的方法，力求使用整体的图像信息，来去除噪点带来的图像扭曲，同时由光线明暗带来的图像整体噪点升高或者降低也会得到有效遏制。
33.具体公式如下：
34.i(i)
gg
＝∑w(i,j)i(i)g35.其中，i为某一个像素点，其坐标为(x,y)；j为另一个像素点；w(i,j)为这两个点的相似度权重；i(i)g为像素点i的灰度值，i(i)
gg
为像素点i经降噪处理后的灰度值。
36.衡量两个点的相似度，通常由两个点的像素值来比较得出，但是由于噪点的干扰，使得原本相似的两个点可能变得不同。因而采用每个点周围的所有相邻点的相似度之和来进行比较。这里，我们计算了两个像素点的相似度欧氏距离e：
37.e＝||n(i)-n(j)||238.其中，n(i)为像素点i的所有相邻点形成的向量，这个向量里有8个值，每个值是像素点i周围像素点的灰度值；n(j)为像素点j的所有相邻点形成的向量。
39.在高斯化欧氏距离e后，可得到w(i,j)＝gauss(e)，其中gauss为一维高斯函数。
40.根据上述公式，当两个像素点越相似，那么w的值越接近1，越不相似，则w的值越小，从而达到了加强大型特征的目的，同时微小的特征则会被削弱。
41.在这一步，灰度图像与高斯核函数进行卷积，达到了模糊微小细节、去除部分光线影响的目的，从而减少后续特征提取时，大量微小特征的提取。然而，这种方法在实际中的计算量极高。例如，一幅高清的图像含有1920
×
1080＝2073600个点。对于任意一个点i，在实际操作中，处于实时操作的要求，对点j所属的搜索区域很小，例如通常使用7x7或者21x21网格，按照从左到右从上到下的方式来移动网格，搜索整个图像，这带来的问题是，输出图像中，仍然有光线等噪点的影响，因此仍然需要后续步骤对光线影响的进一步削弱。
42.在步骤s108，对模糊降噪处理后的图像进行基于频域加强的高频细节去除处理，减少冗余特征提取。
43.在实施例中，可通过首先将模糊降噪处理后的空域图像转化为频域图像，然后采用量化矩阵对频域图像进行量化处理，去除频域图像中的高频数据，最后将量化处理过的频域图像重新转化为空域图像，实现图像高频细节的去除。
44.例如，通过离散余弦变换，将模糊降噪处理后的空间域图像转化为频域图像。
45.以一个8
×
8的矩阵为例，
[0046][0047][0048]
经过离散余弦变换之后，
[0049][0050]
经过离散余弦变换，低频数据也就是相邻像素值变化缓慢的数据在频域矩阵的左上方，高频数据也就是变化剧烈的地方在频域矩阵的右下方。
[0051]
这时，我们就可以采取不同的量化矩阵，达到去除部分高频细节的目的。
[0052]
c(x,y)＝round(d(x,y)/q(x,y))
[0053]
其中，q为量化矩阵，c为量化后的矩阵，矩阵d与矩阵q的对应元素相除然后四舍五入，得到矩阵c。
[0054]
例如，使用
[0055][0056]
得到矩阵c：
[0057][0058][0059]
这里可以看到右下角部分很多像素值在量化之后变为0，从而达到去除部分高频细节、减少冗余特征的目的。
[0060]
所使用的量化矩阵可根据想要达到的去除高频细节的效果进行选择或设计，例如，可从图像专家组建议的量化矩阵中进行选择。对于无人驾驶领域，优选去掉百分之一到百分之五的高频数据即可。
[0061]
在步骤s110，对高频细节去除处理后的图像进行特征增强处理，使得突出特征提取更加准确。
[0062]
在实施例中，可应用差分高斯方法来加强图像内部的特征。具体地，
[0063]
首先将高频细节去除处理后的图像通过两个不同的高斯滤波器，获得两个高斯滤波器的输出差值：
[0064]
diff＝gauss(i,σ1)-gauss(i,σ2)，其中i为高频细节去除处理后的图像，gauss为高斯滤波器，σ1和σ2为对应高斯滤波器的协方差，diff为两个滤波器的输出差值
[0065]
为了加强特征区域的检测效果，我们可设置一个阈值μ，来保证在任意一个检测到特征点的区域，有多个点被检测为特征点。
[0066]
当diff(x,y)》μ，则使diff(x,y)＝1，这里x,y是diff图中某个点的横坐标和纵坐标，diff大于阈值μ的像素点，均被认为是特征点。
[0067]
当diff(x,y)《＝μ，则使diff(x,y)＝1 tanh(α*(diff(x,y)-μ))，其中tanh是双曲正切函数；α为设置的比例系数，α可控制从特征区域到像素值为0的区域的过渡区域。当α变
大，过渡区域将变小，反之，过渡区域将变大。
[0068]
经过上述处理，输出图像中的特征得到了增强。
[0069]
一般均是在cpu计算扩展差分高斯。在实施例中，我们将所有扩展差分高斯的计算在gpu上运行，因为gpu上有多个计算核心。具体地，将计算扩展差分高斯的整个计算任务按照gpu计算核心的数量(例如2560)分割成多个分任务，然后分别在每一个计算核心并行计算各个分任务，然后再把所有分任务的计算结果连接起来，从而完成整体的扩展差分高斯的任务。把计算扩展差分高斯的任务转移到gpu上运行后，针对1042x2208尺寸的图像，整体的算法的运行时间由原来的20秒变为8秒，这里的时间包含了7次的图像读写时间，大幅提高了计算速度。
[0070]
在步骤s112，对特征增强处理后的图像进行对比度加强处理，突出图像的重要特征。
[0071]
在步骤s110通过核函数差分运算加强边缘特征后，可提升图像的整体对比度分布，也就是说，黑暗或者特别明亮的区域会得到相反的调节，保证后续的特征提取方法可以检测到原图中黑暗区域或特别明亮区域的特征。
[0072]
首先将图像分割成网格状。
[0073]
任何针对每一个网格，计算像素的直方图分布。
[0074]
可设置一个对比度门限，来保证整体图像亮度不会过于明亮而影响后续的特征点提取。
[0075]
在每一个网格对应的直方图分布中，根据对比度门限的要求，调整下面的累加概率密度函数所构成的映像函数，转化所有的点的亮度，以满足对比度门限要求。
[0076]
每一个网格都有一个直方图分布，假设在网格i直方图中存在10个纵向高度不等的区间，通过设置一个高度门限即对比度门限(在直方图中，每一个区间的纵向高度是这个区间的像素数量，所有区间的像素数目之和就是整个图片的像素数量，对比度门限就是人工设置的某个区间能够容纳的最大像素数量)，高于这个高度门限的所有像素将会被尝试均匀地分配到其它的区间，具体方式是改变对应像素的灰度值，以符合某个区间的要求，这样既保证所有区间小于直方图门限，又保证各个区间的累加概率密度值，尽量形成一条斜线。
[0077]inew
(x,y)＝round[{cdf(x,y)-cdf
min
}/{1-cdf
min
}*l]
[0078]
其中，i
new
为转化后坐标为(x,y)点的亮度；cdf为累加概率密度；cdf
min
为所有计算出的cdf中的最小值；l为直方图中灰度级个数。
[0079]
由于相邻网格的亮度范围在调整累加概率密度函数之后，变得不连续，我们采用双线性插值的方法，来保证相邻网格的亮度不会差异过大。例如，一个像素点，它的近邻网格可能最多有三个，加上它本身所在的网格，一共是四个网格，我们使用四个网格所属的映射函数，分别计算这个像素点的亮度，然后使用双线性插值的方法，给出这个像素的最终亮度。
[0080]
在步骤s114，对对比度加强处理后的图像进行像素值中值滤波处理，减少对高频细节的敏感。
[0081]
具体地，将每一个像素值变为它周围相邻值总和的平均值，从而达到模糊微小高频细节的目的。
[0082]
经过上述组合处理，结合了模糊滤波、核函数、均衡化、自适应等的优点，同时限制它们的缺陷，解决了不同光线条件下特征匹配点的数量问题，达到了不同光线条件下，无论光线强弱，均可提高后续特征提取方法提取的关键匹配点数量的效果。图2示出了使用本发明图像预处理方法和现有技术图像预处理方法处理图像后采集到的匹配特征点数量对比图。
[0083]
图2的对比图的基础图像为在6个不同地点获取的图像，针对每一个地点，从上午10点到下午18点，每隔2个小时拍摄一对左右视图。在图2中，横坐标是时间(反映光线条件)，纵坐标是在同一个时间，所有6个地点的匹配特征点数量之和。本发明方法处理后的结果是图中最上面的那条折线，中间的上下两条虚线分别是原图单独通过对比度加强之后以及原图可以检测到的匹配特征点数量，在14点时刻匹配特征点数量之和最低的那条折线是原图单独通过差分滤波检测到的匹配特征点数量。如图2中所示，无论在何种光线条件下，经本发明方法处理后的图像，后续特征提取方法可提取到的匹配特征点数量均远远高于不进行处理或采用单一处理方法如对比度加强或差分滤波处理后的图像。在不同光线条件下，可采集到的匹配特征点的数量基本上均可增加50％以上。
[0084]
在实施例中，对单通道灰度图像可依次按下述顺序进行组合预处理：基于频域加强的高频细节去除处理、模糊降噪处理、特征增强处理、对比度加强处理和像素值中值滤波处理，各种处理进行的具体处理可与结合图1所示实施例描述的类似，按照这种顺序组合预处理后的图像所能实现的关键匹配点数量提高效果与图1的实施例类似。
[0085]
在实施例中，对单通道灰度图像可依次按下述顺序进行组合预处理：特征增强处理、模糊降噪处理、基于频域加强的高频细节去除处理、对比度加强处理和像素值中值滤波处理，各种处理进行的具体处理可与结合图1所示实施例描述的类似，按照这种顺序组合预处理后的图像所能实现的关键匹配点数量提高效果同样与图1的实施例类似。
[0086]
在实施例中，对单通道灰度图像可依次按下述顺序进行组合预处理：特征增强处理、对比度加强处理、模糊降噪处理、基于频域加强的高频细节去除处理和像素值中值滤波处理，各种处理进行的具体处理可与结合图1所示实施例描述的类似，按照这种顺序组合预处理后的图像所能实现的关键匹配点数量提高效果同样与图1的实施例类似。
[0087]
在其它实施例中，也可采用其它顺序的组合处理，在此不再赘述。
[0088]
图3示出了根据本发明的图像预处理系统的一优选实施例的框图，该系统包括组合处理模块302，用于对单通道灰度图像按一处理组合进行处理，所述处理组合包括模糊降噪处理、基于频域加强的高频细节去除处理、特征增强处理和对比度加强处理；其中，所述模糊降噪处理、所述高频细节去除处理、所述特征增强处理和所述对比度加强处理彼此之间的处理顺序为任意顺序。
[0089]
在另一实施例中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现结合图1所示所述的方法实施例或其它相应方法实施例的步骤或者实现结合图3所示所述的系统实施例或其它相应系统实施例的功能，在此不再赘述。
[0090]
在另一实施例中，本发明提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现结合图1所示所述的方法实施例或其它相应方法实施例的步骤或者实现结合图3所示
所述的系统实施例或其它相应系统实施例的功能，在此不再赘述。
[0091]
在此所述的多个不同实施方式或者其特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。另外，在某些情形下，只要适当，流程图中和/或流水处理描述的步骤顺序可修改，并不必须精确按照所描述的顺序执行。另外，本发明的多个不同方面可使用软件、硬件、固件或者其组合和/或执行所述功能的其它计算机实施的模块或装置进行实施。本发明的软件实施可包括保存在计算机可读介质中并由一个或多个处理器执行的可执行代码。计算机可读介质可包括计算机硬盘驱动器、rom、ram、闪存、便携计算机存储介质如cd-rom、dvd-rom、闪盘驱动器和/或具有通用串行总线(usb)接口的其它装置，和/或任何其它适当的有形或非短暂计算机可读介质或可执行代码可保存于其上并由处理器执行的计算机存储器。本发明可结合任何适当的操作系统使用。
[0092]
除非明确指出，在此所用的单数形式“一”、“该”均包括复数含义(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、步骤、操作、元件、部件和/或其组合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。
[0093]
前面说明了本发明的一些优选实施例，但是应当强调的是，本发明不局限于这些实施例，而是可以本发明主题范围内的其它方式实现。本领域技术人员可以在本发明技术构思的启发和不脱离本发明内容的基础上对本发明做出各种变型和修改，这些变型或修改仍落入本发明的保护范围之内。