一种融合边缘特征的自适应图像匹配算法

1.本发明属于机器人视觉领域，特别是一种基于orb surf算法改进的融合边缘特征图像匹配方法。


背景技术：

2.随着科学技术的发展，计算机视觉技术已逐步运用于移动机器人v-slam、医疗和视频图像拼接等多个领域。在现阶段大量关于计算机视觉的问题都是围绕图像配准展开的，其中特征点的检测与匹配也是实现图像匹配、图像融合和三维成像等的基础。
3.基于特征点的图像配准算法，首先需提取出图像中的特征点，然后再建立图像之间的配准关系。moravec提出了特征点这个概念和角点检测算法，但该算法并不具备抗干扰性、尺度不变性、旋转不变性。随后，harris、lindeberg等通过计算包含图像信息的2
×
2矩阵的特征值来构建角点特征，并将图像和高斯核函数进行卷积构建图像尺度空间，从而使得图像具有尺度不变性。davidg.lowe提出了尺度不变特征变换(scale invariant feature transform,sift)算法，该算法具有高鲁棒性、抗干扰能力强和尺度不变性等优点，但因特征描述向量具有128维，存在数据复杂度高且算法运行时间长等缺点。bay在sift的基础上提出了特征向量为64维的surf算法，该算法虽降低了描述符维度且具有旋转和尺度不变性，但当纹理单一或目标较小时，将无法获得充足的特征点或正确匹配特征点对较少。宋佳乾等利用canny边缘检测方法对高斯差分(difference of gaussian，dog)特征提取算子进行改进，借助图像的梯度特征进行特征描述，由于该算法仅依靠欧式距离测量的方法完成特征匹配，使得匹配准确度下降。陈伟等以fast角点取代surf斑点提取特征点，然后使用surf描述子进行特征点描述，解决了传统surf算法计算时间长问题，但在尺度不变性方面匹配精度很低。
4.现有技术包括：一种具有尺度不变性的orb特征点匹配方法(专利申请号：201510193048.3，专利公开号：cn104850851a)。该方法采用surf算法提取特征点，需预设hessian阈值且具有无法准确预知特征点数的缺点，易受光照变化等环境的影响，过多的特征点会导致特征点检测计算量大、耗时严重等问题，较少的特征点则会导致匹配准确率较低；采用k近邻算法进行特征点对匹配，需要设定最近邻匹配距离/次近邻匹配距离》0.6的匹配点对进行剔除，该方法无法准确确定一合适阈值来剔除错误匹配点对，致使错误匹配点对较多，匹配时间较高，且该方法不具备自适应性。
5.本发明引入边缘检测的方法，去除了光照变化对特征点检测的影响，然后通过改进orb算法进行特征点提取，可以通过预设特征点数来确定特征检测后的特征点数目，缩短特征提取时间，提高匹配准确率；然后使用改进的自适应flann算法进行图像匹配，通过大量实验验证预设阈值在0-1区间内阈值与匹配正确率及点数的关系，确定在0-0.3区间内，特征点对为优秀特征点对并保留，0.3-0.8之间内特征点对为待匹配特征点对，再通过引入ransac算法将flann算法筛选出来的待匹配点对进行错误匹配点对的剔除，这样有效解决了匹配算法需预设阈值的缺点，实现算法的自适应性，并对较多的匹配点对进行了筛选，提
高匹配准确率，而且缩短了匹配时间。
6.经过检索，申请公开号cn104850851a，一种具有尺度不变性的orb特征点匹配方法，其特征在于包括以下步骤：步骤s1：输入待检测图像，对图像进行改进的surf特征点检测，并确定特征点坐标；步骤s2：对所述步骤s1中的图像建立图像金字塔；步骤s3：去除靠近图像边缘的特征点；步骤s4：计算剩余特征点的质心方向；步骤s5:计算orb特征点描述子；步骤s6：采用k近邻算法进行特征点匹配；步骤s7：筛选特征点匹配对并输出检测后的图像。本发明将具有尺度不变性的surf与orb结合，引入图像金字塔，对orb特征点匹配算法进行改进，使之具有尺度不变性，同时又保留了orb运算速度快的特点。
7.现有技术包括：一种航天器自主导航快速图像匹配方法(专利申请号：201710564153.2，专利公开号：cn107481273a)。该方法在原surf算法的基础上建立棋盘分割模型，并引入ransac算法对错误特征点对进行剔除，缺点在于仍需预设hessian阈值来提取特征点，在光照变化等影响下无法保证匹配准确率，且在匹配阶段使用提取描述向量的欧式距离小于某个特定阈值来代表匹配成功，该方法匹配准确率较低，且不具备自适应性。
8.本发明通过引入边缘检测的方法，去除了光照变化对特征点检测的影响，然后通过改进orb算法进行特征点提取，可以通过预设特征点数来确定特征检测后的特征点数目，缩短特征提取时间，提高匹配准确率；然后使用改进的自适应flann算法进行图像匹配，再通过引入ransac算法将flann算法筛选出来的待匹配点对进行错误匹配点对的剔除，经过双重筛选来进一步提高匹配准确率，通过改进的自适应flann算法实现算法了的自适应性，并对较多的匹配点对进行了筛选，提高匹配准确率的可靠性。


技术实现要素：

9.本发明旨在解决以上现有技术的问题。提出了一种融合边缘特征的自适应图像匹配算法。本发明的技术方案如下：
10.一种融合边缘特征的自适应图像匹配算法，其包括以下步骤：
11.进行边缘特征检测，将原始图像转换为边缘特征图；
12.利用改进orb算法进行图像边缘特征点提取，该算法可通过预设特征点数来确定最优的前n个特征点；通过引入图像金字塔方法，使特征点在特征描述后具有尺度不变性；
13.然后利用surf描述子进行特征点描述；
14.使用改进的自适应flann算法进行图像匹配，改进的自适应flann算法改进在于：通过大量实验验证预设阈值在0-1区间内阈值与匹配正确率及点数的关系，确定在0-0.3区间内，特征点对为优秀特征点对，0.3-0.8之间内特征点对为待匹配特征点对，再通过引入ransac算法将flann算法筛选出来的待匹配点对进行错误匹配点对的剔除；
15.最后将完成剔除后的匹配点对与经自适应flann算法保留的优秀匹配点对融合，完成匹配。
16.进一步的，所述进行边缘特征检测，将原始图像转换为边缘特征图，具体包括：
17.采用sobel算子对像素邻点的灰度加权差进行边缘检测，得到边缘特征图。
18.进一步的，所述orb算法包含加速段测试的特征(features from accelerated segment test，fast)快速特征提取特征点的检测方法与二进制鲁棒独立基本特征(binary robust independent elementary features，brief)特征描述子两部分，fast特征点的检
测方法具有计算速度快，实时性好的特点。在fast算法中特征点的定义为：如果一个像素与其周围一定范围内并且一定数量的像素不在同一区域，则该像素有可能是一个特征点。对于图像而言，如果像素的灰度值远大于或远小于周围一定范围内并且一定数量的像素灰度值，则该点可能成为特征点。
19.进一步的，所述使用改进orb算法进行图像边缘特征点提取，具体包括：
20.采用灰度质心法对fast提取出的角点添加方向信息，为后续的特征描述提供了旋转不变性；
21.采用建立图像金字塔的方法，在特征点判断时加入与相邻尺度的图像进行比较，使特征点具有尺度不变性。
22.进一步的，所述采用灰度质心法对fast提取出的角点添加方向信息，具体包括：s21，将待检测点p(x,y)的灰度值计为i
p
；以待检测点p为圆心，三个像素点距离为半径，呈现出一个离散化的圆，圆周上有十六个像素点；
23.s22指定一个阈值τ，将待检测点p与圆周上十六个特征点进行比较，如果有连续n个点的像素灰度值均比i
p
τ要大或者比i
p-τ要小的话则判定该点为特征点。
24.进一步的，所述对初始图像进行滤波，图像中任意一给定像素点i(x,y)在尺度为σ时的高斯卷积如下所示：
25.l(x,y,σ)＝g(x,yσ)*i(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
26.其中，l
xy
(x,y,σ)为高斯二阶偏导与图像上的点做卷积后的结果，其中高斯核函数为：
[0027][0028]
进一步的，所述在特征点判断时还加入与相邻尺度的图像进行比较，建立图像金字塔，具体包括：
[0029]
从最低端的图像开始，最后生成n个具有不同分辨率的图像，且向上排列的过程中图像像素依次降低，最终金字塔的最上层只有一个单独的像素点；在金字塔的每一层图像上提取特征点以实现图像在不同尺度或者不同分辨率上的匹配。
[0030]
进一步的，所述使用surf算法的描述子进行特征点描述，具体如下：
[0031]
s31，构建一个以特征点为中心的正方形邻域，正方形边长为20s，s指尺度；
[0032]
s32，为了实现旋转不变性，该20s方邻域需要校正为与特征点的方向一致。；
[0033]
s33，对20s方邻域进行采样间隔为s的等间隔采样，并把该邻域划分为4
×
4＝16个子区域；
[0034]
s34，对每个子区域内的所有25个采样像素，采用haar小波计算它们的x方向和y方向的梯度；
[0035]
s35，对于某个采样像素的d
x
和dy仍然需要根据该像素与中心特征点的距离进行高斯加权处理，高斯函数的方差为3.3s；
[0036]
s36，把所有4
×
4个子区域的4维特征矢量v组合在一起，就形成了一个64维特征矢量，最后对特征描述符进行归一化处理。
[0037]
进一步的，所述使用改进的自适应性flann算法进行匹配，具体流程如下：
[0038]
s41，首先计算特征点到待匹配点的最近邻距离与次近邻距离，欧式距离表达式为：
[0039][0040]
其中d(a,b)为a、b两点的欧式距离,a、b分别为参考图像和匹配图像点集的特征点，v
ai
、u
bi
表示特征点a和b的特征描述子的第i个维度的数值。
[0041]
再计算特征点到待匹配点的最近邻距离比上特征点到次近邻距离的比值τ，其表达式为：
[0042]
τ＝dm/dnꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0043]
s42，根据比值与匹配正确率的关系，保留所有比值小于0.3的优秀特征点对，去除比值小于0.8的特征点对，0.3-0.8之间的待匹配特征点对进入下一步。
[0044]
一种计算机可读存储介质，其该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的融合边缘特征的自适应图像匹配算法。
[0045]
本发明的优点及有益效果如下：
[0046]
本发明的创新主要是1、2、3、4、7和9权利要求的步骤。创新点主要在于s1，引入边缘检测的方法，采用sobel算子对像素邻点的灰度加权差进行边缘检测，该方法有效去除了光照变化对特征点检测的影响，为后续特征提取降低了图像噪声，缩短特征提取时间，提高匹配准确率；s2，通过改进orb算法进行特征点提取，可以通过预设特征点数来确定特征检测后的特征点数目，缩短特征提取时间，进一步提高匹配准确率；s3，使用改进的自适应flann算法进行图像匹配，通过大量实验验证预设阈值在0-1区间内阈值与匹配正确率及点数的关系，确定在0-0.3区间内，特征点对为优秀特征点对并保留，0.3-0.8之间内特征点对为待匹配特征点对，再通过引入ransac算法将flann算法筛选出来的待匹配点对进行错误匹配点对的剔除，这样有效的解决了匹配算法需预设阈值的缺点，实现算法的自适应性，对较多的匹配点对进行了筛选，并通过双重筛选大幅提高了匹配准确率。
[0047]
本发明有效的将边缘检测、orb算法和surf算法相融合，并引入flann算法和ransac算法进行匹配的双重筛选。在实现快速特征提取，提高匹配准确率上效果显著。
[0048]
基于光照、尺寸和旋转等不同场景下，本发明方法与sift算法和surf算法进行图像匹配对比，实验结果表明，较原surf算法匹配时间缩短20％-25％，且匹配准确率保持在99％以上。
附图说明
[0049]
图1是图像金字塔示意图。
[0050]
图2是haar小波示意图。
[0051]
图3是确定特征点方向角示意图。
[0052]
图4是特征点描述示意图。
[0053]
图5是改进的orb surf算法流程图。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0055]
本发明解决上述技术问题的技术方案是：
[0056]
本发明提出了一种融合边缘特征的自适应orb surf图像匹配方法。该算法从特征点的检测和自适应阈值匹配两个方面进行改进，首先进行边缘特征检测，利用改进orb算法进行图像边缘特征点提取，该算法可自主控制最优的前n个特征点，解决了原surf算法在预设hessian阈值下的特征点数不确定性，降低了匹配时间，同时避免光照等因素对匹配的影响。然后利用surf描述子进行特征点描述，使用改进的自适应flann算法进行图像匹配，通过引入ransac算法将flann算法筛选出来的待匹配点对进行错误匹配点对的剔除，最后将完成剔除后的匹配点对与经自适应flann算法保留的优秀匹配点对融合，完成匹配。
[0057]
如图1-5所示，包括以下步骤：
[0058]
s1将原始图像转换为边缘特征图：
[0059]
s11，分别采用sobel算子、canny算子和log算子进行边缘特征检测。sobel算子利用像素邻点的灰度加权差检测边缘，能较准确的提供边缘方向信息，在去噪以及边缘保留上取得了比较好的效果，边缘纹理清晰，效果优于其他方法。选用sobel算子边缘能完整的体现绝缘子的轮廓，有利于特征点的提取。
[0060]
s2，基于surf算法提取特征点耗时且需预设阈值的弊端，本文提出了融合orb算法提取特征点并进行优化。具体步骤如下所示：
[0061]
s21，将待检测点p(x,y)的灰度值计为i
p
；以待检测点p为圆心，三个像素点距离为半径，呈现出一个离散化的圆，圆周上有十六个像素点。
[0062]
s22指定一个阈值τ，将待检测点p与圆周上十六个特征点进行比较，如果有连续n个点的像素灰度值均比i
p
τ要大或者比i
p-τ要小的话则判定该点为特征点。
[0063]
s23为了使特征点具有尺度不变性，在特征点判断时还需要加入与相邻尺度的图像进行比较，建立图像金字塔。
[0064]
s24先对初始图像进行滤波，图像中任意一给定像素点i(x,y)在尺度为σ时的高斯卷积如下所示：
[0065]
l(x,y,σ)＝g(x,yσ)*i(x,y)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0066]
其中，l
xy
(x,y,σ)为高斯二阶偏导与图像上的点做卷积后的结果。其中高斯核函数为：
[0067][0068]
s25从最低端的图像开始，最后会生成n个具有不同分辨率的图像，且向上排列的过程中图像像素依次降低，最终金字塔的最上层只有一个单独的像素点。在金字塔的每一层图像上提取特征点以实现图像在不同尺度或者不同分辨率上的匹配。
[0069]
s3，使用surf算法的描述子进行特征点描述。具体流程如下：
[0070]
s31，构建一个以特征点为中心的正方形邻域，正方形边长为20s，s指尺度。
[0071]
s32，为了实现旋转不变性，该20s方邻域需要校正为与特征点的方向一致。
[0072]
s33，算法对20s方邻域进行采样间隔为s的等间隔采样，并把该邻域划分为4
×
4＝16个子区域。
[0073]
s34，对每个子区域内的所有25个采样像素，采用haar小波计算它们的x方向和y方向的梯度。
[0074]
s35，对于某个采样像素的d
x
和dy仍然需要根据该像素与中心特征点的距离进行高斯加权处理，高斯函数的方差为3.3s。
[0075]
s36，把所有4
×
4个子区域的4维特征矢量v组合在一起，就形成了一个64维特征矢量。最后对特征描述符进行归一化处理。其目的是为了在图像发生旋转变换、尺度变换等情况下具有很好的鲁棒性。
[0076]
s4，使用改进的自适应性flann算法进行匹配。具体流程如下：
[0077]
s41，首先计算特征点到待匹配点的最近邻距离比上特征点到次近邻距离的比值。
[0078]
s42，根据比值与匹配正确率的关系，保留所有比值小于0.3的优秀特征点对，去除比值小于0.8的特征点对，0.3-0.8之间的待匹配特征点对进入下一步。
[0079]
s5，引入ransac算法对比值在0.3-0.8之间的待匹配特征点对进行错误匹配点对剔除。最后将剔除后的特征匹配点对与s4的优秀匹配点对相融合，完成匹配。
[0080]
上述改进的自适应性flann算法具体为，对该匹配算法需提前设定阈值进行改进，利用特征点到最近邻距离比上特征点到次近邻距离的比值的匹配正确率结合ransac算法有效删除误匹配对来进一步优化匹配准确率和耗时。
[0081]
优选的，首先提出了一种融合边缘特征的自适应orb surf图像匹配方法，将边缘特征检测、orb特征提取、surf特征点描述、flann匹配和ransac误匹配点对剔除等算法相结合，在光照变换、尺度变换和旋转变换的不同场景下，新算法平均准确率可达99％以上，较原surf算法提升约6％，且平均匹配时间为1.1s，较原surf算法提升约20％-25％。
[0082]
针对传统的surf算法在尺度、旋转、光照等变化方面具有一定的稳定性，但在特征提取、特征匹配等方面存在计算量大、匹配正确率不高、耗时等问题，本文提出一种改进图像匹配算法，可实现不用预设阈值进行图像匹配。该算法融合边缘特征和改进orb算法提取图像特征点，该特征点具有旋转不变性与尺度不变性，并使用surf描述子进行特征点描述，再利用改进的flann算法进行自适应性特征匹配，然后将自适应性flann算法筛选后的待匹配点对使用ransac算法对错误匹配点对进行剔除，最后将自适应性flann算法保留的优秀匹配点对与ransac算法保留的优秀匹配点对相融合，完成匹配。
[0083]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0084]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。