基于各向异性扩散操作的多尺度检测的图像特征匹配方法与流程

1.本发明涉及一种基于各向异性扩散方法构造非线性尺度空间从而对特征点检测来实现图像特征匹配的方法，特别是一种基于各向异性扩散操作的多尺度检测的图像特征匹配方法，属于计算机视觉图形图像处理技术领域。


背景技术：

2.图形图像处理技术是计算机图形学重要的研究内容之一，也是虚拟现实、增强现实、三维重建、目标识别、目标跟踪等许多计算机视觉应用的重要组成部分。图像特征匹配其目的是为了寻找图像之间的同质区域，进而根据同质区域的映射，建立起图像之间的对应关系。但是由于光照变化、视角变化、目标形态变化、图像噪声等等影响，待匹配图像可能发生不同程度的外观变化、从而影响匹配效果。因此,如何对图像内容的同质性进行有效地分析与度量，进而得到匹配精度高、具有鲁棒性的算法，是图像匹配任务的重点。目前，图像匹配主要可以分为基于灰度值的图像匹配、基于特征描述子的图像匹配算法两种。但由于基于灰度值的特征匹配自身很大的局限性，所以基于特征描述子的图像匹配算法便成为该领域的一个重要研究方向。基于特征描述子的图像匹配步骤：首先，对匹配图像中特征区域的位置与尺度等信息进行检测；然后，通过基于图像特征提取方法与图像描述子构建方法,对各个特征区域进行描述，产生相应的局部图像描述子；进而根据描述子的相似性度量得到匹配结果。各向异性扩散通过选择与图像梯度相关的非线性函数来进行扩散操作，各向异性扩散在平滑图像时保留图像边缘信息，克服了高斯模糊的缺陷，使得模糊局部自适应图像数据。


技术实现要素：

3.本发明的目的在于提供一种基于各向异性扩散操作的多尺度检测的图像特征匹配方法，极大程度的保留下匹配图像的边缘特征，有效的增加特征检测中的重复特征点数目，使得算法在不同程度的仿射变化下都显示出较好的健壮性。与此同时，引入的特征描述符也通过高识别率表现出自身独特的鲁棒性。
4.其通过构建非线性尺度空间来对特征点进行检测，然后对特征点定位主方向，并对筛选后的特征点赋予主方向以及建立相应的特征描述符进行特征匹配操作。首先，在特征检测阶段中利用各向异性扩散构建非线性尺度空间，并在扩散的过程中提出了新的传导函数，极大程度的保留下匹配图像的边缘特征。扩散过程中采用快速显式扩散方案(fed)嵌入在金字塔框架中以快速构建尺度空间。然后，将寻找到的主方向赋给对应特征点。并引入非线性量化加速稳健特征描述符(nonlinear gauge-speeded up robust features，nlg-surf)对特征点进行生成描述符操作，该描述符利用非线性尺度空间中的梯度信息，是基于二阶多尺度轨距、并同时具有尺度和旋转不变性的浮点数型描述符。最后，根据描述子的相似性度量进行图像特征匹配，得出匹配结果。
5.本发明的技术方案是这样实现的：基于各向异性扩散操作的多尺度检测的图像特
征匹配方法，其具体步骤如下：引入各向异性扩散对待处理图像进行滤波操作，接下来使用数学框架快速显式扩散方案，用于求解非线性扩散滤波方程，随即建立非线性尺度空间；待尺度空间成功建立后，进入到特征检测阶段，要通过hessian矩阵计算出图像中各个点的响应值，以此响应值来检测出图像中的局部极大值点视为特征点；并为特征点赋予主方向，使用特定算法进行生成描述符操作，进而利用描述符相似性度量进行图像特征匹配；
6.步骤1、非线性滤波，较典型的是perona和malik提出的非线性各向异性扩散方程(p-m 扩散方程)：
[0007][0008]
其中，div为散度算子，
▽
为梯度算子；c(x,y,t)为图像坐标为(x,y)且时间为t处的传导函数值，i(x,y,t)为迭代时刻为t时的图像，i(x,y,0)＝i0(x,y)表示初始图像，c(x,y,t)表达式为公式(2)：
[0009]
c(x,y,t)＝g(
▽
i(x,y,t))(2)
[0010]
其中，g(
▽
i(x,y,t))为扩散系数，公式(3)为本方法中使用的传导公式。扩散系数的选择是为了加强图像区域边界(图像灰度梯度值较大)的平滑，而加强图像区域内部(图像灰度值梯度小)的平滑，从而保证图像边界信息不会在图像平滑过程中丢失或移动。
[0011][0012]
式(3)中，
▽
为梯度算子，i(x,y,t)为迭代时刻为t时的图像，k为对比度因子，取
▽
i直方图70％时对应的值。
[0013]
步骤2、快速显示扩散方案，采用的快速显示扩散方案(fed)逼近微分方程，将上述偏微分方程离散化。主要思想是执行m次循环，每次循环有n步的显示扩散，每一步的步长是变化的，公式(4)是用来求出每一步的步长。
[0014][0015]
其中τ是指每一步的步长，τj是指每j步的步长，j的取值在[0,n-1]范围内。n为每次外循环中所包含的内循环次数，τ
max
是不违反显式方案稳定性条件的最大步长。一个fed 周期的相应停止时间θn由公式(5)获得：
[0016][0017]
但是由于fed和盒子滤波的相似性，我们最终在fed停止循环会得到稳定的方案。用非线性扩散方程的矩阵形式表示为公式(6)：
[0018][0019]
其中a(li)是图像传导函数的编码，τ是时间步长常数，使得τ＜τ
max
，以考虑稳定性条件。在显式方案中，解图像l
i 1
通过公式(7)以直接的方式计算从前面进化图像层li的解
和图像函数的编码矩阵。一个fed周期具有n个可变步长τj通过公式(8)获得:其中，li是对应循环i次的结果图像，i是单位矩阵τ是指每一步的步长，τj是指每j步的步长，j的取值在[0,n-1]范围内。
[0020]
l
i 1
＝(i τa(li))l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0021]
l
i 1,j 1
＝(i τja(li))l
i 1,j
,j＝0,...,n-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0022]
步骤3、构建尺度空间，将步骤2介绍的fed方案嵌入到由粗到细的金字塔框架中，通过金字塔战略和fed方案快速构造出尺度空间。并采取加层操作，保持尺度空间的组数不变，改动尺度空间的层数，由原来的四层，提升到五层。尺度级别按对数递增，一共o 组图像，每组图像有s个子层级。首先，我们需要定义一组演化时间，以此来构建非线性尺度空间。尺度空间被离散成一系列的组和层。组和层的集合由一个离散的组指数o和一个层指数s来标识。组指数和层指数通过以下公式映射到对应的尺度σ(像素):
[0023]
σi(o,s)＝2
o s/s
,o∈[0...o-1],s∈[0...s-1],i∈[0...m]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0024]
其中m是过滤后的图像总数。现在，需要将离散的尺度级以像素单位σ转换为时间单位，σi→
ti映射将像素单位转换为时间单位公式:
[0025][0026]
其中,t是衍化所需时间，σ为滤波的尺度参数。
[0027]
步骤4、特征检测，首先使用hessian矩阵来检测局部极值点，在二维图像中某点hessian 的矩阵描述了该点领域在各个方向上的灰度梯度变化：
[0028][0029]
式中是对应图像组中归一化尺度因子，值为l
xx
l
yy
分别为二阶水平导数和二阶垂直导数，l
xy
是二阶交叉导数。将每个经过hessian矩阵处理过的像素点与其同尺度的 8个领域像素点以及相邻两个尺度上的3
×
3窗口里像素点相比较，求得极大值。我们首先在 3
×
3的窗口内检查响应，以便快速丢弃非极值响应。由于通过极大值挑选出来的离散空间的特征点并不是真正的极值点。最后，要通过拟合三维二次函数来精确确定关键点的位置和尺度。
[0030]
步骤5、分配主方向，为了获得具有旋转不变性描述子，必须估计以关键点位置为中心的局部邻域的主导方向。在兴趣点周围半径为6σi的圆形区域中寻找主导方向。对于圆形区域中的每个样本，一阶导数l
x
和ly以兴趣点为中心的高斯函数加权。最后，对窗口内的水平响应和垂直响应进行总结。这两个响应的总和产生了一个新的向量。然后，选择最长向量作为主导方向。
[0031]
步骤6、特征描述，本发明使用了一种改进的非线性量化加速稳健特征描述符(nonlinear gauge-speeded up robust features，nlg-surf)描述符用于生成描述符算法，描述符不仅仅简单的使用了一阶导数l
x
和ly，而是用二阶规范导数l
ww
和l
vv
替换了这两个导数。对于计算多尺度规范导数，我们总是需要先确定每个像素的梯度方向。经过公式(12)和公式(13) 的计算，可以得到新的任意阶和尺度的不变规范导数。
[0032]
[0033][0034]
现在，我们将描述64维nlg-surf描述符的构建过程：对于尺度为s的检测特征，我们计算了20s
×
20s区域上的一阶和二阶非线性滤波响应l
x
,ly,l
xx
,l
yy
,l
xy
。我们将水平方向上的非线性滤波响应称为l
x
，将垂直方向上的非线性滤波响应称为ly。描述符窗口被划分为4
×
4 个规则子区域，没有任何重叠。在每个子区域内，计算25个规则分布的样本点的大小为2s 的l
x
和ly。一旦我们确定了每个像素的规范坐标帧，我们便要计算规范不变量|l
ww
|和|l
vv
|。每个子区域产生一个四维描述符向量dv＝(∑l
ww
,∑l
vv
,∑|l
ww
|,∑|l
vv
|)。最后，描述符向量的总长度是64。当然由于规范导数的旋转不变性，我们只需要旋转正方形网格。本发明也同时提供了垂直版本的nlg_surf不具有旋转不变性，用来特定的情况下使用，效果也有十分显著的提升。
[0035]
步骤7、特征匹配，进而根据描述子的相似性度量进行图像特征匹配，由于对特征区域建立了浮点型描述符，故将会使用公式(14)所示的欧氏距离相似性度量得出图像特征匹配结果。
[0036][0037]
其中，(x1,x2)、(y1,y2)分别为不同图像中的特征点的位置坐标。
[0038]
通过以上步骤可以实现极大程度的保留下匹配图像的边缘特征，有效的增加特征检测中的重复特征点数目，实现算法在不同程度仿射变化下都显示出较好的健壮性、鲁棒性，同时提高图像正确匹配点数。
[0039]
本发明的积极效果是在特征检测的研究中利用非线性尺度空间的好处，并在非线性扩散的过程中提出了新的传导函数，通过减缓梯度值大的区域非线性扩散速度，极大程度的保留下匹配图像的边缘特征。采取加层操作，有效的增加了特征检测中的重复特征点数目。使用非常适应非线性滤波过程的浮点类型描述符，并拥有着很高的识别率，表现出自身独特的鲁棒性。该方法应用在增强现实技术上，尤其是基于自然特征的跟踪注册技术中，对实时性和效果要求较高的环境下具有强大实际价值。
附图说明
[0040]
图1新旧传导函数在梯度范围[-150，150]内的函数对比图。
[0041]
图2原传导函数与新的传导函数的四组尺度空间最后一组的滤波图像。
[0042]
图3(a)bikes数据集中的第一幅图像(b)第一幅图像进行特征检测后的效果图。
[0043]
图4像素位置误差为2.5像素时的检测器重复性得分。(a)自行车(b)涂鸦(c)船。
[0044]
图5特征描述符识别率数据统计(a)树(b)墙(c)船(d)树叶。
[0045]
图6特征匹配算法的数据统计(a)自行车(b)ubc(c)leuven(d)bark(e)墙(f)特征检测算法(检测和描述)的时序评估。
具体实施方式
[0046]
下面结合附图对本发明做进一步的描述：基于各向异性扩散操作的多尺度检测的图像特征匹配方法，其特征在于引入各向异性扩散来代替高斯滤波，在图像梯度大的时候，
优先选择对图像边缘信息的保留来提取鲜明特征，以此弥补高斯模糊的缺陷。并在后续建立尺度空间时进行加层操作，为特征检测打下良好的基础。最后，引入非线性量化加速稳健特征描述符(nlg-surf)对筛选后的特征点进行生成描述符操作，进而根据描述符的相似性度量进行图像特征匹配。其过程可描述为：引入各向异性扩散对待处理图像进行滤波操作，接下来使用数学框架快速显式扩散方案，用于求解非线性扩散滤波方程，随即建立非线性尺度空间。待尺度空间成功建立后，进入到特征检测阶段，要通过hessian矩阵计算出图像中各个点的响应值，以此响应值来检测出图像中的局部极大值点视为特征点。并为特征点赋予主方向，使用特定算法进行生成描述符操作，进而利用相似性度量进行图像特征匹配。其具体的方法按以下步骤实现：
[0047]
步骤1、非线性滤波，较典型的是perona和malik提出的非线性各向异性扩散方程(p-m 扩散方程)：
[0048][0049]
其中，div为散度算子，
▽
为梯度算子；c(x,y,t)为图像坐标为(x,y)且时间为t处的传导函数值，i(x,y,t)为迭代时刻为t时的图像，i(x,y,0)＝i0(x,y)表示初始图像，其表达式为公式(2)：
[0050]
c(x,y,t)＝g(
▽
i(x,y,t))
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0051]
其中，g(
▽
i(x,y,t))为扩散系数，公式(3)为本方法中使用的传导公式。扩散系数的选择是为了加强图像区域边界(图像灰度梯度值较大)的平滑，而加强图像区域内部(图像灰度值梯度小)的平滑，从而保证图像边界信息不会在图像平滑过程中丢失或移动。
[0052][0053]
如图1所示新旧传导函数的函数对比图，我们将梯度定在[-150,150]之间，借此对比图像来可视化传导函数的差异。从图中依据我们对公式的理解不难看出我们的改进策略。
[0054]
(1)在图像梯度小的时候，提高图像平滑的速度。将更加有利于图像的平滑，特别是对于图像特征弱的区域效果更好。并且新创建传导函数滤波过程中收敛的更快，更加适合扩散。
[0055]
(2)在梯度大的时候，为了提取鲜明特征，我们优先选择对图像边缘信息的保留，稍微降低了非线性扩散的速度。
[0056]
由于新创建的传导函数，在梯度大的时候，为了提取鲜明特征，我们优先选择对图像边缘信息的保留，稍微降低了非线性扩散的速度，所以导致扩散时对边缘信息的保留能力很强，通过高斯滤波和非线性滤波之后，图像的尺度空间仍然对边缘信息有着很强的保留能力。
[0057]
步骤2、快速显示扩散方案，采用的快速显示扩散方案(fed)逼近微分方程，将上述偏微分方程离散化。该方案以结合显式和半隐式格式的优点，同时避免它们的缺点。主要思想是执行m次循环，每次循环有n步显示扩散，每一步的步长是变化的，初始步长起源于盒子
滤波的因式分解。公式(4)便是用来求出每一步的步长。
[0058][0059]
其中τ是指每一步的步长，τj是指每j步的步长，j的取值在[0,n-1]范围内。n为每次外循环中所包含的内循环次数，τ
max
是不违反显式方案稳定性条件的最大步长。一个fed 周期的相应停止时间θn由公式(5)获得：
[0060][0061]
但是由于fed和盒子滤波的相似性，我们最终在fed停止循环会得到稳定的方案。用非线性扩散方程的矩阵形式表示为公式(6)：
[0062][0063]
其中a(li)是图像传导函数的编码，τ是时间步长常数，使得τ＜τ
max
，以考虑稳定性条件。在显式方案中，解图像l
i 1
通过公式(7)以直接的方式计算从前面进化图像层li的解和图像函数的编码矩阵。一个fed周期具有n个可变步长τj通过公式(8)获得:其中，li是对应循环i次的结果图像，i是单位矩阵τ是指每一步的步长，τj是指每j步的步长，j的取值在[0,n-1]范围内。
[0064]
l
i 1
＝(i τa(li))l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0065]
l
i 1,j 1
＝(i τja(li))l
i 1,j
,j＝0,...,n-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0066]
步骤3、构建尺度空间，将步骤2介绍的fed方案嵌入到由粗到细的金字塔框架中，利用新的传导函数应用到非线性滤波，并通过金字塔战略和fed方案快速构造出尺度空间。针对数据集中图像通过原传导函数与新传导函数建立尺度空间，并在图2中展示出来两种传导函数建立出的四组尺度空间最后一组的滤波图像。经过对比图像可以很直观的了解到新的传导函数对边界信息依旧敏感，有着强大的保留能力。于是将采取加层操作，保持尺度空间的组数不变，改动尺度空间的层数，由原来的四层，提升到五层。尺度级别按对数递增，一共o组图像，每组图像有个s子层级。首先，我们需要定义一组演化时间，以此来构建非线性尺度空间。尺度空间被离散成一系列的组和层。组和层的集合由一个离散的组指数o和一个层指数s来标识。组指数和层指数通过以下公式映射到对应的尺度σ(像素):
[0067]
σi(o,s)＝2
o s/s
,o∈[0...o-1],s∈[0...s-1],i∈[0...m]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0068]
其中m是过滤后的图像总数。现在，需要将离散的尺度级以像素单位σ转换为时间单位，因为非线性扩散滤波是以时间单位操作的。公式(10)为使用c(x,y,t)＝g(
▽
i(x,y,t))中的σi→
ti映射将像素单位转换为时间单位公式:
[0069][0070]
步骤4、特征检测，首先使用hessian矩阵来检测局部极值点，在二维图像中某点hessian 的矩阵描述了该点领域在各个方向上的灰度梯度变化：
[0071]
[0072]
式中是对应图像组中归一化尺度因子，值为l
xx
l
yy
分别为二阶水平导数和二阶垂直导数，l
xy
是二阶交叉导数。将每个经过hessian矩阵处理过的像素点与其同尺度的8个领域像素点以及相邻两个尺度上的3
×
3窗口里像素点相比较，求得极大值。我们首先在3
×
3的窗口内检查响应，以便快速丢弃非极值响应。由于通过极大值挑选出来的离散空间的特征点并不是真正的极值点。最后，要通过拟合三维二次函数来精确确定关键点的位置和尺度。如图3所示，通过上述特征检测的操作，我们针对bikes数据集的首张图像进行相应的特征检测，并将原图与结果图显示出。其中，红色的点便是特征点的位置所在，而绿色的圆圈是特征点的感兴趣区域，接下来的操作我们会通过此区域的计算对特征点赋予主方向。在如图4中，我们展示了像素位置误差为2.5像素时，数据集的检测器重复性得分。对于数据集选取了加剧模糊变换下的bikes数据集(如图4(a)所示)、视角变换下的graf数据集(如图4(b)所示)、旋转加快速移动变换下的boat数据集(如图4(c)所示)并与kaze算法、ak aze算法形成对比实验，可以看出检测算法有效的增加了特征检测中的重复特征点数目，重复点数目对特征检测算法有着至关重要的影响，随着重复点数目的增大，特征检测的鲁棒性也会变强。除此之外，我们也对具有图像压缩仿射变换性质的ubc数据、具有光照仿射变换性质的leuven数据集和具有不断加强高斯模糊的iguazu数据集进行实验，最终也得到出色的结果。
[0073]
步骤5、分配主方向，为了获得具有旋转不变性描述子，必须估计以关键点位置为中心的局部邻域的主导方向。由于兴趣点周围半径为6σi的圆形区域中存在主导方向。对于圆形区域中的每个样本，一阶导数l
x
和ly以兴趣点为中心的高斯函数加权。
[0074]
一旦计算l
x
和ly的响应并以兴趣点为中心高斯加权，其中水平响应强度沿着横坐标，垂直响应强度沿纵坐标。对窗口内的水平响应和垂直响应进行总结。这两个响应的总和产生了一个新的向量。然后，选择最长向量作为主导方向。
[0075]
步骤6、特征描述，本发明提出了一种改进的非线性量化加速稳健特征描述符(nonlinear gauge-speeded up robust features，nlg-surf)描述符用于生成描述符算法，描述符利用非线性尺度空间的一阶梯度和二阶梯度信息。并不仅仅简单的使用了一阶导数l
x
和ly，而是用二阶规范导数l
ww
和l
vv
替换了这两个导数。对于计算多尺度规范导数，我们总是需要先确定每个像素的梯度方向。经过公式(12)、公式(13)的计算，可以得到关于新规范坐标系(w,v) 的任意阶和尺度的不变规范导数。
[0076][0077][0078]
现在，我们将描述64维nlg-surf描述符的构建过程：对于尺度为s的检测特征，我们计算了20s
×
20s区域上的一阶和二阶非线性滤波响应l
x
,ly,l
xx
,l
yy
,l
xy
。我们将水平方向上的非线性滤波响应称为l
x
，将垂直方向上的非线性滤波响应称为ly。描述符窗口被划分为4
×
4 个规则子区域，没有任何重叠。在每个子区域内，计算25个规则分布的样本点的大小为2s 的l
x
和ly。一旦我们确定了每个像素的规范坐标帧，我们便要计算规范不变量|l
ww
|和|l
vv
|。每个子区域产生一个四维描述符向量dv＝(∑l
ww
,∑l
vv
,∑|l
ww
|,∑|l
vv
|)。最后，描
述符向量的总长度是64。当然由于规范导数的旋转不变性，我们只需要旋转正方形网格。本发明也同时提供了垂直版本的nlg_surf不具有旋转不变性，用来特定的情况下使用，效果也有十分显著的提升。
[0079]
在图5中，我们在同属于加剧模糊的仿射变化我们选择了数据集trees(如图5(a)所示)，同属于视角变化的仿射变换选择了数据集wall(如图5(b)所示)，属于随机旋转加快速移动的仿射变换选择了数据集boat和bark的三次随机匹配来进行对比实验(如图5(c)(d)所示)，展示出上述特征描述符算法的识别率数据统计，描述符保持着很高的识别率，并且表现出自身独特的鲁棒性。除此之外，我们也对具有光照仿射变换性质的leuven数据集和具有不断加强高斯模糊的iguazu数据集来进行对比实验，我们的描述符依旧表现出很强的健壮性。
[0080]
步骤7、特征匹配，进而根据描述子的相似性度量进行图像特征匹配，由于对特征区域建立了浮点型描述符，故将会使用公式(14)所示的欧氏距离相似性度量得出图像特征匹配结果。如图6中，针对数据集bikes(如图6(a)所示)、数据集wall(如图6(b)所示)、数据集ubc(如图6(c)所示)、数据集leuven(如图6(d)所示)以及数据集bark(如图6(e)所示) 并与sift算法、kaze算法、akaze算法等形成对比实验，给出上述整体的特征匹配算法的正确点对匹配数据统计以及特征检测算法(检测和描述)的时序评估(如图6(f)所示)。其中在(e)图中的kaze算法在极端恶劣的变换下有着极差的检测效果，甚至无法进行正确点的特征匹配操作。足以说明本算法对各种变换环境的强鲁棒性，本算法在速度和性能方面有很好的折衷，在特征检测和描述方面将算法与之前优秀的特征检测方法在不同环境变化下进行对比实验，结果表现出很好的性能。
[0081][0082]
其中，(x1,x2)、(y1,y2)分别为不同图像中的特征点的位置坐标。