一种基于局部极大值的高精度模板匹配方法与流程

1.本发明属于图像定位及机器视觉技术领域，具体为一种基于局部极大值的高精度模板匹配方法。


背景技术：

2.模板匹配方法广泛地应用于机器视觉领域，尤其在图像定位、目标识别等工程应用中，发挥着至关重要的作用。实际应用中，图像中的感兴趣目标由于不同的旋转角度、不同的缩放尺度以及局部遮挡、光线变化等因素而呈现不同的形态。针对这种情况，一般是生成包含一系列不同旋转角度、不同缩放尺度的模板集合，然后逐一与目标图像进行匹配。这种方法的弊端是显而易见的：若要进一步提高匹配的精度，需要增加模板集合的容量，必然导致匹配耗时的上升，同时也加重了存储的负担。
3.因此，本领域的技术人员迫切地需要研究一种模板匹配方法：在能够满足实时性要求的前提下，实现高精度的模板匹配，同时具备较强的鲁棒性、能够克服局部遮挡、光线变化等影响。针对这种需求，本领域的技术人员已经进行了各种各样的尝试、并且取得了很多有益的成果。但是，伴随着工业制造走向智能化，模板匹配方法得到了更加广泛的应用，也面临着新的挑战：更强的抗干扰性、更快的匹配速度、更精细的匹配结果，所以在前面已经取得有益成果的基础上，继续进行更加深入的尝试，仍然是很有必要的。


技术实现要素：

4.本发明的目的在于提供一种基于局部极大值的高精度模板匹配方法，以解决上述背景技术中提出的问题。
5.为了实现上述目的，本发明提供如下技术方案：一种基于局部极大值的高精度模板匹配方法，包括步骤：
6.s1、确定金字塔的层数，分别对模板图像和目标图像进行图像金字塔分层；
7.s2、对模板图像金字塔的每一层提取特征点集，即对每一层生成初始模板；
8.s3、对模板图像金字塔的每一层生成模板集合；
9.s4、对目标图像金字塔的每一层提取特征；
10.s5、计算初始的匹配结果；
11.s6、计算高精度的匹配结果。
12.优选地，步骤s2所述的对模板图像金字塔的每一层生成初始模板，包括如下步骤：
13.s2.1、图像预处理；
14.s2.2、对图像进行边缘检测、计算每个像素点的边缘强度；
15.s2.3、遍历所有的像素点，将满足如下条件的像素点及对应的单位方向向量放入特征点集；
16.s2.31、该点的边缘强度大于一定阈值；
17.s2.32、该点的边缘强度在以其为中心的邻域内是局部极大值。
18.优选地，步骤s3所述的对模板图像金字塔的每一层生成模板集合，包括如下步骤：
19.s3.1、设定角度范围、缩放范围以及旋转步长、缩放步长；
20.s3.2、以模板图像金字塔每一层的中心为原点，对步骤s2得到的初始模板进行旋转、缩放操作，生成对应各种角度及尺度的模板。
21.优选地，步骤s4所述的对目标图像金字塔的每一层提取特征，包括如下步骤：
22.s4.1、图像预处理；
23.s4.2、对图像进行边缘检测，对每个像素点计算单位方向向量。
24.优选地，步骤s5所述的计算初始的匹配结果是将所有的模板逐一与目标图像进行匹配、计算相似度，并利用图像金字塔搜索的方式，由粗到精地得到初始的旋转角度、缩放尺度以及像素级的匹配坐标，该像素级的匹配坐标(x
int
,y
int
)。
25.优选地，所述计算相似度的方法为计算模板中所有点的单位方向向量与目标图像中相应点处的单位方向向量的点积的平均值，取值范围为[-1,1]。
[0026]
优选地，步骤s6所述的计算高精度的匹配结果包括计算高精度的旋转角度、缩放尺度以及匹配坐标；
[0027]
s6.1、计算高精度的旋转角度θ
fine
和缩放尺度s
fine
；
[0028]
s6.2、计算高精度的匹配坐标(x
fine
,y
fine
)。
[0029]
进一步的，计算高精度的旋转角度θ
fine
和缩放尺度s
fine
，包括
[0030]
(1)对模板图像金字塔的最底层进行边缘检测，提取包围所有边缘点的最小外接矩形r1；
[0031]
(2)在目标图像金字塔的最底层，对初始的匹配结果得到的匹配区域进行边缘检测，提取包围所有边缘点的最小外接矩形r2；
[0032]
(3)根据外接矩形r1和r2的角度、宽度、高度可以得到高精度的旋转角度θ
fine
和缩放尺度s
fint
。
[0033]
优选地，所述高精度的旋转角度、缩放尺度分别对模板图像和目标图像的匹配区域进行边缘检测、然后提取包围所有边缘点的最小外接矩形，通过最小外接矩形的角度、宽度、高度得到高精度的旋转角度及缩放尺度。
[0034]
优选地，高精度的匹配坐标以初始的匹配坐标为中心的邻域内、分别计算相应的匹配误差，然后通过曲面拟合、求拟合曲面的极值点得到亚像素级的匹配坐标；
[0035]
计算高精度的匹配坐标(x
fine
,y
fine
)，是以初始的匹配坐标(x
int
,y
int
)为中心的3*3邻域内，分别计算匹配坐标位于(xj,yj)时的匹配误差ej，j＝1,2,3,
…
,9，然后进行曲面拟合、通过求拟合曲面的极值点可以得到亚像素级的匹配坐标(x
fine
,y
fine
)。
[0036]
本发明的有益效果如下：
[0037]
本发明通过计算初始的匹配结果时，仅利用了少量的边缘强度极大值点，因而降低了运算量，能够满足实时性的要求；
[0038]
利用了边缘强度局部极大值点显著可靠的特点，能够克服对比度低、光照变化、复杂背景等干扰，因而具有较强的鲁棒性；
[0039]
通过对目标图像的匹配区域进行边缘检测及距离变换，利用曲面拟合的方法可以得到更高精度的匹配结果，能够满足高精度定位的要求。
附图说明
[0040]
图1为本发明方法的流程图；
[0041]
图2为本发明局部极大值点示意图；
[0042]
图3为本发明曲面拟合示意图；
[0043]
图4为本发明边缘检测结果图；
[0044]
图5为本发明距离变换结果图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
根据本发明的一个实施例，提供了一种基于局部极大值的高精度模板匹配方法，该方法的流程图如图1所示，包括以下步骤：
[0047]
s1、根据图像的分辨率以及处理时间的要求，确定金字塔的层数，然后分别对模板图像和目标图像进行图像金字塔分层；一般情况下，对于分辨率为500万像素的图片，金字塔层数设置为3可以同时满足匹配精度和速度方面的要求。
[0048]
s2、对模板图像金字塔的每一层提取特征点集，即对每一层生成初始模板，包括以下步骤：
[0049]
s2.1、图像预处理；
[0050]
为了提高后续处理的抗干性，首先对图像进行预处理(包括但不限于高斯滤波、图像增强等)，以剔除噪声的干扰。
[0051]
s2.2、对图像进行边缘检测、计算每个像素点的边缘强度；
[0052]
s2.3、遍历所有的像素点，如果像素点的边缘强度大于一定阈值、且在以其为中心的n*n邻域内是局部极大值，则提取其边缘方向的单位向量，并将该点放入特征点集；否则，不予处理；
[0053]
其中，n＝3或者5或者7，图2为7*7图像区域的边缘强度，若n＝5、阈值取14400，则只有红色矩形框内的像素是局部极大值点，其余的像素点均不是(不考虑边界部分的像素)。
[0054]
经过步骤s2后，模板图像金字塔的每一层可以得到对应的初始模板model，即边缘强度极大值点集{pi(xi,yi)}及对应的单位方向向量{ti(ui,vi)}，其中i＝1,2,3,
…
,m，m为极大值点的数目。
[0055]
s3、对模板图像金字塔的每一层生成模板集合，包括以下步骤：
[0056]
s3.1、设定角度范围、缩放范围以及旋转步长、缩放步长；
[0057]
s3.2、以模板图像金字塔每一层的中心为原点，对步骤s2得到的初始模板进行旋转、缩放操作，生成对应各种角度及尺度的模板。举例来说，初始模板model(即边缘强度极大值点集{pi(xi,yi)}及对应的单位方向向量{ti(ui,vi)}，i＝1,2,3,
…
,m)，以(x0,y0)为原点、经过旋转、缩放(旋转角度为θ、缩放尺度为s)后，得到的模板model'(即点集{p'i(x'i,y'i)}及对应的单位方向向量{t'i(u'i,v'i)},i＝1,2,3,
…
,m)可以通过如下公式获得：
[0058][0059][0060]
经过步骤s3后，模板图像金字塔的每一层可以得到对应的模板集合，里面包含的各种角度及尺度的模板，是通过对初始模板进行旋转、缩放得到的。
[0061]
s4、对目标图像金字塔的每一层提取特征，包括以下步骤：
[0062]
s4.1、图像预处理；
[0063]
可以采用与步骤s2.1相同的方法。
[0064]
s4.2、对图像进行边缘检测，对每个像素点计算单位方向向量(ec,fr)，0≤c≤目标图像宽度-1，0≤r≤目标图像高度-1；
[0065]
若该点的边缘强度大于一定阈值，则单位方向向量为其边缘方向；否则，单位方向向量为0。
[0066]
s5、计算初始的匹配结果(包括匹配坐标(x
int
,y
int
)、旋转角度θ0、缩放尺度s0)；
[0067]
从目标图像金字塔的最顶层开始，将模板图像金字塔相应层的模板集合逐一与目标图像进行匹配，在整个图像范围内计算相似度，得到粗匹配信息，并将结果传递至下一层；然后在上一层匹配结果的基础上，在下一层中继续搜索最佳结果，以此类推，由粗到精地得到匹配结果，直至图像金字塔的最底层。
[0068]
进一步的，模板model(即边缘强度极大值点集{pi(xi,yi)}及对应的单位方向向量{ti(ui,vi)}，i＝1,2,3,
…
,m)在目标图像(u,v)处的相似度可以通过如下公式计算：
[0069][0070]
其中，e
u xi
和f
v yi
为目标图像在(u xi，v yi)的单位方向向量，-1≤s(u,v)≤1。
[0071]
经过步骤s5后，可以得到初始的匹配结果(包括匹配坐标(x
int
,y
int
)、旋转角度θ0、缩放尺度s0)，其中匹配坐标(x
int
,y
int
)为像素级，且旋转角度θ0和缩放尺度s0的精度受限于模板的旋转步长和缩放步长。
[0072]
s6、计算高精度的匹配结果(包括匹配坐标(x
fine
,y
fine
)、旋转角度θ
fine
、缩放尺度s
fine
)，包括以下步骤：
[0073]
s6.1、计算高精度的旋转角度θ
fine
和缩放尺度s
fine
；
[0074]
(1)对模板图像金字塔的最底层进行边缘检测，提取包围所有边缘点的最小外接矩形r1，得到外接矩形的旋转角度θ1、宽度w1、高度h1；
[0075]
(2)在目标图像金字塔的最底层，对步骤s5得到的匹配区域进行边缘检测，提取包围所有边缘点的最小外接矩形r2，得到外接矩形的旋转角度θ2、宽度w2、高度h2；
[0076]
(3)根据如下公式，得到旋转角度θ
fine
和缩放尺度s
fine
:
[0077]
θ
fine
＝θ
2-θ1；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(4)
[0078][0079]
s6.2计算高精度的匹配坐标(x
fine
,y
fine
)。
[0080]
步骤s5得到的匹配坐标为(x
int
,y
int
)，在以(x
int
,y
int
)为中心的3*3邻域内，分别计算匹配坐标位于(xj,yj)时的匹配误差ej，j＝1,2,3,
…
,9，如图3所示，然后进行曲面拟合、通过求拟合曲面的极值点可以得到亚像素级的匹配坐标(x
fine
,y
fine
)。
[0081]
计算匹配误差ej包括以下步骤：
[0082]
(1)以(xj,yj)为原点，对模板图像金字塔最底层对应的初始模板(即边缘强度极大值点集{pi(xi,yi)}及对应的单位方向向量{ti(ui,v)}，i＝1,2,3,
…
,m)进行旋转、缩放(旋转角度为θ
fine
、缩放尺度为s
fine
)，按照公式(1)，可以得到点集{p'i(x'i,y'i)},i＝1,2,3,
…
,m)；
[0083]
(2)在目标图像金字塔的最底层，进行边缘检测以及距离变换，图4为图像边缘检测的结果图，图5为图4中红色矩形区域的距离变换结果。根据距离变换的结果，可以得到点集{p'i(x'i,y'i)},i＝1,2,3,
…
,m)中每个点至距离其最近边缘的距离ei。
[0084]
(3)按照如下公式计算匹配误差：
[0085]ei
为第i个特征点至距离其最近边缘的距离。
[0086]
用ej(j＝1,2,3,
…
,9)进行曲面拟合，得到曲面方程的系数，然后对曲面方程求偏导可以得到亚像素级的匹配坐标(x
fine
,y
fine
)。
[0087]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0088]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。