一种图像特征点匹配的误匹配剔除方法及系统与流程

1.本发明涉及图像匹配技术领域，特别是涉及一种基于频谱域和空间域信息的图像特征点匹配的误匹配剔除方法及系统。


背景技术：

2.图像特征匹配在运动结构恢复(structure from motion，sfm)、同步定位与建图(simultaneous localization and mapping，slam)和图像拼接等复杂的计算机视觉任务中具有基础作用。但是，在视角、光照等条件不同时，特征点特征描述符的稳定性和独特性受限，只依靠特征描述符的匹配结果往往存在大量错误匹配，因而需要有效方法对错误匹配进行剔除。


技术实现要素：

3.本发明的目的是提供一种图像特征点匹配的误匹配剔除方法及系统，对特征点匹配中的误匹配进行有效剔除，提高图像特征匹配的正确率。
4.为实现上述目的，本发明提供了如下方案：
5.一种图像特征点匹配的误匹配剔除方法，所述误匹配剔除方法包括：
6.根据第一图像对应的第一特征点集和所述第一特征点集中每一第一特征点的空间域特征描述符，以及第二图像对应的第二特征点集和所述第二特征点集中每一第二特征点的空间域特征描述符，利用最近邻方法得到所述第一图像和所述第二图像匹配时的初始匹配集合；
7.根据所述第一特征点集、所有所述第一特征点的空间域特征描述符、所述第二特征点集和所有所述第二特征点的空间域特征描述符，计算每一所述第一特征点的频谱域特征描述符和每一所述第二特征点的频谱域特征描述符；
8.根据所有所述第一特征点的频谱域特征描述符和所有所述第二特征点的频谱域特征描述符，利用最近邻方法获取多个种子点；
9.根据所述初始匹配集合，在距离约束下确定每一所述种子点对应的种子点邻域；
10.对于每一所述种子点邻域，利用自适应局部仿射验证方法对所述种子点邻域内的匹配进行筛选，得到剔除后匹配集合。
11.一种图像特征点匹配的误匹配剔除系统，所述误匹配剔除系统包括：
12.初始匹配模块，用于根据第一图像对应的第一特征点集和所述第一特征点集中每一第一特征点的空间域特征描述符，以及第二图像对应的第二特征点集和所述第二特征点集中每一第二特征点的空间域特征描述符，利用最近邻方法得到所述第一图像和所述第二图像匹配时的初始匹配集合；
13.频谱域特征描述符计算模块，用于根据所述第一特征点集、所有所述第一特征点的空间域特征描述符、所述第二特征点集和所有所述第二特征点的空间域特征描述符，计算每一所述第一特征点的频谱域特征描述符和每一所述第二特征点的频谱域特征描述符；
14.种子点选取模块，用于根据所有所述第一特征点的频谱域特征描述符、所有所述第二特征点的频谱域特征描述符，利用最近邻方法获取多个种子点；
15.邻域确定模块，用于根据所述初始匹配集合，在距离约束下确定每一所述种子点对应的种子点邻域；
16.筛选模块，用于对于每一所述种子点邻域，利用自适应局部仿射验证方法对所述种子点邻域内的匹配进行筛选，得到剔除后匹配集合。
17.根据本发明提供的具体实施例，本发明公开了以下技术效果：
18.本发明用于提供一种图像特征点匹配的误匹配剔除方法及系统，根据第一图像对应的第一特征点集和第一特征点集中每一第一特征点的空间域特征描述符，以及第二图像对应的第二特征点集和第二特征点集中每一第二特征点的空间域特征描述符，利用最近邻方法得到第一图像和第二图像匹配时的初始匹配集合，并计算每一第一特征点的频谱域特征描述符和每一第二特征点的频谱域特征描述符，根据所有第一特征点的频谱域特征描述符和所有第二特征点的频谱域特征描述符，利用最近邻方法获取多个种子点。然后根据初始匹配集合，在距离约束下确定每一种子点对应的种子点邻域，最后对于每一种子点邻域，利用自适应局部仿射验证方法对种子点邻域内的匹配进行筛选，得到剔除后匹配集合，本发明同时使用频谱域和空间域信息选取种子点，增加了图像全局结构信息，简化了邻域选择，提高了剔除误匹配的精度。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例1所提供的误匹配剔除方法的方法流程图；
21.图2为本发明实施例1所提供的计算频谱域特征描述符的方法流程图；
22.图3为本发明实施例1所提供的自适应局部仿射验证方法的方法流程图；
23.图4为本发明实施例2所提供的误匹配剔除系统的系统框图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.本发明的目的是提供一种图像特征点匹配的误匹配剔除方法及系统，对特征点匹配中的误匹配进行有效剔除，实现正确的图像特征匹配。
26.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
27.实施例1：
28.根据是否需要数据驱动，目前的误匹配剔除方法可以分为学习的方法和非学习的
方法。前者需要大量的真实场景图像数据来驱动，但是不同图像之间的匹配关系较难确定，因而训练数据集不易制作。后者不需要数据驱动，具有简单、实用性强、普适性强等优点。
29.现有的非学习的方法包括：输入是2幅图像的sift特征点及其对应的特征描述符、方向和尺度信息，以及利用最近邻方法构造的初始匹配集合。输出是初始匹配集合的子集，目标是该子集接近全部是正确匹配的子集。其基本步骤为：1)选择种子点：根据最近邻匹配结果(即初始匹配集合)，计算次近邻描述符间距离与最近邻描述符间距离的比值作为置信度得分，在局部图像区域内实施非最大抑制，选择得分最高的匹配对作为种子点；2)选择邻域：在种子点附近，以方向和尺度的相似性为约束，选择与种子点相似的特征点作为邻域；3)自适应局部仿射验证：在种子点的邻域内，使用固定次数的随机抽样一致性检验(ransac)算法，结合自适应的阈值，选择符合局部仿射模型的匹配点对；4)输出图像中通过自适应局部仿射验证的匹配点对作为结果。
30.但是上述方法在图像空间域进行，没有利用频谱域的信息，一般需要大量的特征点(现有方法是8000)及其方向和尺度信息，剔除效率和剔除精度都比较低。
31.如图1所示，本实施例用于提供一种图像特征点匹配的误匹配剔除方法，将种子点选择方法改为在频谱域进行，从而增加了图像全局结构信息，提高了精度，也简化了邻域选择，并且不再需要特征点的方向和尺度信息。本实施例所提供的误匹配剔除方法包括：
32.s1：根据第一图像对应的第一特征点集和所述第一特征点集中每一第一特征点的空间域特征描述符，以及第二图像对应的第二特征点集和所述第二特征点集中每一第二特征点的空间域特征描述符，利用最近邻方法得到所述第一图像和所述第二图像匹配时的初始匹配集合；
33.设第一图像i1的第一特征点集为k1，第二图像i2的第二特征点集为k2，根据第一特征点集k1中每一第一特征点的空间域特征描述符和第二特征点集k2中每一第二特征点的空间域特征描述符，利用最近邻方法得到初始匹配集合m。特征描述的目的是在特征点计算后，用一组向量将这个特征点描述出来，用来作为目标匹配的依据，也可使特征点具有更多的不变特性，如光照变化、3d视点变化等。获取空间域特征描述符的方法可为现有中计算特征描述符的任意方法，本实施例对此不作任何限制，比如可对特征点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量作为特征描述符。在得到空间域特征描述符后，对于第一图像i1中的每一第一特征点，依次与第二图像i2的每一第二特征点进行基于空间域特征描述符的距离测试，选取距离最近的第二特征点与该第一特征点组成匹配，所有匹配构成初始匹配集合m。
34.本实施例在进行误匹配剔除时，仅需要待匹配的两幅图像分别对应的特征点集及特征点集中每一特征点的空间域特征描述符即可，不再需要每一特征点的方向和尺度信息，能够简化输入，进而简化误匹配剔除方法。
35.s2：根据所述第一特征点集、所有所述第一特征点的空间域特征描述符、所述第二特征点集和所有所述第二特征点的空间域特征描述符，计算每一所述第一特征点的频谱域特征描述符和每一所述第二特征点的频谱域特征描述符；
36.如图2所示，s2可以包括：
37.s21：根据所述第一特征点集、所有所述第一特征点的空间域特征描述符、所述第二特征点集和所有所述第二特征点的空间域特征描述符，建立权重矩阵；
38.对于第一图像i1，以第一特征点集k1中的全部第一特征点作为第一节点集v1，连接第一节点集v1中的两两节点作为第一边集e1，两两节点的空间域特征描述符之间的相似度构成第一权重矩阵w1，得到第一图像图(image graph)g1(v1，e1，w1)。同理，对于第二图像i2，以第二特征点集k2中的全部第二特征点作为第二节点集v2，连接第二节点集v2中的两两节点作为第二边集e2，两两节点的空间域特征描述符之间的相似度构成第二权重矩阵w2，得到第二图像图g2(v2，e2，w2)。根据第一图像图和第二图像图得到联合图像图，联合图像图表示为g(v，e，w)，其中，联合节点集v＝v1∪v2，联合边集e＝e1∪e2∪v1×
v2，集合v1×
v2表示连接节点集v1和v2的边集，其表示第一节点集v1中的任一节点与第二节点集v2中的任意节点之间的所有连接边，权重矩阵w表示为：
[0039][0040]
式1中，w为权重矩阵；w1为第一特征点集对应的第一权重矩阵；c为第一特征点集和第二特征点集间的联合权重矩阵；w2为第二特征点集对应的第二权重矩阵；
[0041][0042]
式2中，为w1中第x1行、第x2列的元素值；f(x1)为第x1个第一特征点的空间域特征描述符；f(x2)为第x2个第一特征点的空间域特征描述符；x1＝1，2，...，n1；x2＝1，2，...，n1；n1为第一特征点集中第一特征点的个数；利用式2计算得到w1。
[0043][0044]
式3中，为w2中第y1行、第y2列的元素值；f(y1)为第y1个第二特征点的空间域特征描述符；f(y2)为第y2个第二特征点的空间域特征描述符；y1＝1，2，...，n2；y2＝1，2，...，n2；n2为第二特征点集中第二特征点的个数；利用式3计算得到w2。
[0045][0046]
式4中，c
x,y
为c中第x行、第y列的元素值；f(x)为第x个第一特征点的空间域特征描述符；f(y)为第y个第二特征点的空间域特征描述符；x＝1，2，...，n1；y＝1，2，...，n2。c为n1×
n2矩阵，表征v1×
v2中边上的权重；利用式4计算得到c。
[0047]
需要说明的是，||
·
||代表距离度量，本实施例中具体选择为余弦距离。
[0048]
s22：根据所述权重矩阵计算拉普拉斯矩阵；
[0049][0050]
式5中，为拉普拉斯矩阵；i为单位矩阵；d为对角矩阵；w为权重矩阵；w为n
×
n矩阵；n＝n1 n2。
[0051][0052]
式6中，为d中第d1行第d1列的元素值；为w中第d1行第d2列的元素值；d1＝1，2，...，n；d2＝1，2，...，n。除外，d中其他元素值均为0。
[0053]
s23：对所述拉普拉斯矩阵进行特征谱分解，获得矩阵特征谱；
[0054]
对进行求解，得到中间矩阵其中，λ为拉普拉斯矩阵的特征值；
[0055]
根据中间矩阵利用计算矩阵特征谱u；矩阵特征谱u可以表示为：u＝(u1，u2，...，u
j
，...，u
n
)；u
j
为拉普拉斯矩阵的第j个特征值对应的特征向量，j＝1，2，...，n。
[0056]
s24：根据所述矩阵特征谱计算每一所述第一特征点的频谱域特征描述符和每一所述第二特征点的频谱域特征描述符。
[0057]
对所述拉普拉斯矩阵的非零特征值按照从小到大的顺序进行排序；
[0058]
在所述矩阵特征谱中，选取所述拉普拉斯矩阵的前n个非零特征值分别对应的特征向量；
[0059]
将每一所述特征向量的前n1个元素值按照所述第一特征点集中第一特征点的排列顺序分别赋予n1个第一特征点，将所述特征向量的其余n2个元素值按照所述第二特征点集中第二特征点的排列顺序分别赋予n2个第二特征点，得到每一所述第一特征点的n维频谱域特征描述符和每一所述第二特征点的n维频谱域特征描述符。即按照w矩阵中行的顺序将特征向量的元素值赋予n个特征点，从而获取每一特征点的n维频谱域特征描述符。
[0060]
s3：根据所有所述第一特征点的频谱域特征描述符和所有所述第二特征点的频谱域特征描述符，利用最近邻方法获取多个种子点；
[0061]
对于第一特征点集中的每一第一特征点，计算第一特征点的频谱域特征描述符与第二特征点集中所有第二特征点分别对应的频谱域特征描述符之间的距离，并进行最近邻匹配，得到n1对匹配。然后对n1对匹配对应的距离按照从小到大的顺序进行排序，选择前q对匹配作为种子点。
[0062]
利用s2和s3，本实施例能够在频谱域中选取种子点，在构建联合图像图后，使用拉普拉斯矩阵的n个最小非零特征值对应的特征向量构建每一特征点的n维频谱域特征描述符，在此特征空间内，进行相似性度量，选择相似性得分最高的q个点对作为种子点，为方法增加了图像全局结构信息，提高了精度，也会进一步简化后续的领域选择。
[0063]
s4：根据所述初始匹配集合，在距离约束下确定每一所述种子点对应的种子点邻域；
[0064]
第i个种子点由于s
i
和m分别在图像频谱域和空间域中产生，不一定成立。设s
i
邻域集n
i
为距离种子点一定范围内的点，满足
[0065][0066]
式7中，n
i
为第i个种子点对应的种子点邻域；x
′
为第一特征点集中的任一第一特征点；y
′
为第二特征点集中的任一第二特征点，且x
′
和y
′
组成的匹配属于初始匹配集合m；为第i个种子点中的第一特征点；为第i个种子点中的第二特征点；λ1为超参数，通过设置超参数λ1使得多个种子点对应的种子点邻域能够重叠，并且能够覆盖更大面积的图像；r1为第一图像的距离阈值，其与图像大小有关；r2为第二图像的距离阈值，其与图像大小有关。
[0067][0068]
式8中，w1为第一图像的宽度；h1为第一图像的高度；r
a
为超参数。
[0069][0070]
式9中，w2为第二图像的宽度；h2为第二图像的高度。
[0071]
s5：对于每一所述种子点邻域，利用自适应局部仿射验证方法对所述种子点邻域内的匹配进行筛选，得到剔除后匹配集合。
[0072]
同一场景的不同图像，在局部范围内近似符合仿射模型。因而，本实施例在图像空间域中，利用自适应局部仿射验证方法筛选种子点邻域中的匹配。设种子点邻域n
i
中匹配之间符合仿射变换模型。使用固定迭代次数的随机抽样一致性检验(ransac)对符合仿射变换模型的局内点进行筛选。
[0073]
如图3所示，s5可以包括：
[0074]
s51：在每一次迭代时，随机选取处于所述种子点邻域内的多对匹配，对所述多对匹配进行拟合得到初始仿射模型；
[0075]
s52：计算所述种子点邻域中每一对匹配的置信度得分，根据所有所述匹配的置信度得分确定所述初始仿射模型中的局内点个数；
[0076]
对于第a次迭代中的第k对匹配，将第k对匹配带入初始仿射模型a
i
中，计算第k对匹配的误差r
k
，然后根据误差r
k
计算第k对匹配的置信度分数c
k
。
[0077][0078]
式10中，r
k
为第k对匹配的误差；为第a次迭代中的初始仿射模型；x
k
为第k对匹配中的第一特征点；y
k
为第k对匹配中的第二特征点。
[0079][0080]
式11中，c
k
为第k对匹配的置信度分数；p为在采样范围内，假设第k对匹配为最差匹配时，局内点的个数，p＝|l:r
l
≤r
k
|，即p为采样范围内误差小于r
k
的匹配的个数；|r|为采样范围内全部匹配的个数；r2为第二图像的距离阈值，以r2为采样半径确定采样范围。
[0081]
如果假设局外点是均匀分布，则c
k
衡量了实际局内点与假设下局内点的数量的比值，比值越大，匹配k是局内点的可能性越大。因而，取固定阈值t
c
，当c
k
≥t
c
，则第k对匹配被标记为局内点，计算每一对匹配的置信度分数，并与固定阈值相比较，进而确定此次迭代初始仿射模型中局内点的个数。
[0082]
s53：判断当前迭代次数是否达到预设迭代次数，若是，则停止迭代，选取所有迭代中局内点个数最多的初始仿射模型作为仿射模型，利用所述仿射模型对所述种子点邻域内的匹配进行筛选，剔除所述种子点邻域中不满足所述仿射模型的匹配，得到剔除后匹配集
合；
[0083]
经过固定预设迭代次数的迭代，选择局内点个数最多的初始仿射模型作为种子点邻域n
i
的仿射模型，利用该仿射模型对种子点邻域n
i
内的匹配进行筛选，剔除所述种子点邻域n
i
中不满足仿射模型的匹配，得到剔除后匹配集合i
i
，即i
i
中只包括局内点对应的匹配；综合所有种子点邻域的剔除后匹配集合，得到剔除误匹配的最终匹配结果o。
[0084][0085]
式12中，n
s
为选取后种子点的总数量；t
n
为阈值；n
i
为第i个选取后种子点对应的局内点的个数；通过设置阈值t
n
，选取所有种子点所对应的种子点邻域内的局内点个数大于或等于t
n
的种子点作为选取后种子点，从而去除局内点数量极少的邻域。
[0086]
s54：若否，则返回“随机选取处于所述种子点邻域内的多对匹配”的步骤，继续迭代。
[0087]
下面，举一实例对本实施例的误匹配剔除方法进行进一步的描述：实验数据集为旅行照片数据集(photo tourism dataset)，在其13个场景中选择8个场景，在每个场景中随机抽样50对图像作为待匹配图像对。测试算法由python语言编写，基本框架为pytorch，算法可以在gpu上运行。
[0088]
测试时，在每幅图像中提取最多3000个sift特征点，并使用sift描述符，以最近邻方法构建初始匹配集合，作为算法输入。在频谱域中选择种子点，选择32维频谱特征描述符，选择描述符间距最近的50个匹配作为种子点。在空间域中选择种子点邻域，超参数r
a
＝100，λ1＝4。自适应局部仿射验证，阈值t
c
＝200，t
n
＝5。评价指标为允许5和10像素误差下的精度，即正确匹配数量与总匹配数量的比值。
[0089][0090]
式13中，tp表示真正例，fp表示假正例。
[0091]
实验结果如表1所示，与改进前的adalam进行比较，本实施例有较高精度。
[0092][0093]
本实施例在图像特征点匹配误匹配剔除方法中，同时使用频谱域和空间域信息，使用拉普拉斯矩阵n个最小非零特征值对应的特征向量的元素构成频谱域特征描述符，用于在频谱域中选择种子点，能够提高剔除精度，并且简化输入和邻域选择，提高了剔除的效率。
[0094]
实施例2：
[0095]
本实施例用于提供一种图像特征点匹配的误匹配剔除系统，如图4所示，所述误匹配剔除系统包括：
[0096]
初始匹配模块m1，用于根据第一图像对应的第一特征点集和所述第一特征点集中每一第一特征点的空间域特征描述符，以及第二图像对应的第二特征点集和所述第二特征点集中每一第二特征点的空间域特征描述符，利用最近邻方法得到所述第一图像和所述第二图像匹配时的初始匹配集合；
[0097]
频谱域特征描述符计算模块m2，用于根据所述第一特征点集、所有所述第一特征点的空间域特征描述符、所述第二特征点集和所有所述第二特征点的空间域特征描述符，计算每一所述第一特征点的频谱域特征描述符和每一所述第二特征点的频谱域特征描述符；
[0098]
种子点选取模块m3，用于根据所有所述第一特征点的频谱域特征描述符、所有所述第二特征点的频谱域特征描述符，利用最近邻方法获取多个种子点；
[0099]
邻域确定模块m4，用于根据所述初始匹配集合，在距离约束下确定每一所述种子点对应的种子点邻域；
[0100]
筛选模块m5，用于对于每一所述种子点邻域，利用自适应局部仿射验证方法对所述种子点邻域内的匹配进行筛选，得到剔除后匹配集合。
[0101]
进一步的，本实施例所述的频谱域特征描述符计算模块m2包括：
[0102]
权重矩阵计算单元，用于根据所述第一特征点集、所有所述第一特征点的空间域特征描述符、所述第二特征点集和所有所述第二特征点的空间域特征描述符，建立权重矩
阵；
[0103]
拉普拉斯矩阵计算单元，用于根据所述权重矩阵计算拉普拉斯矩阵；
[0104]
特征谱分解单元，用于对所述拉普拉斯矩阵进行特征谱分解，获得矩阵特征谱；
[0105]
计算单元，用于根据所述矩阵特征谱计算每一所述第一特征点的频谱域特征描述符和每一所述第二特征点的频谱域特征描述符。
[0106]
本实施例在图像特征点匹配误匹配剔除系统中，同时使用频谱域和空间域信息，使用拉普拉斯矩阵n个最小非零特征值对应的特征向量的元素构成频谱域特征描述符，用于在频谱域中选择种子点，能够提高剔除精度，并且简化输入和邻域选择，提高了剔除的效率。
[0107]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0108]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。