大尺度变化鲁棒的图像特征匹配方法及装置

1.本发明涉及计算机视觉技术领域，尤其涉及一种大尺度变化鲁棒的图像特征匹配方法及装置。


背景技术：

2.在两幅图像之间建立像素级的对应是三维重建、增强现实、视觉定位、同时定位和地图构建等任务中的关键步骤之一。建立像素级对应最经常采用的方法是提取和匹配图像局部特征点。所谓特征点，是图像里的一些特别的或显著的地方。特征点由关键点和描述子两部分组成。关键点是指特征点在图像里的位置，有些特征点还具有朝向、大小等信息。描述子通常是一个向量，按照某种人为设计的规则生成，描述该关键点邻域的信息。对于描述子的要求是，在视角变化和尺度变化的情况下，对应于同一空间三维点的不同图像中的关键点，它们的描述子应相似或互为描述子各维张成的向量空间中的最近邻。两幅图像的特征点匹配，就是认为描述子向量足够相似的两个特征点是一个空间三维点在两个二维图像平面上的投影。
3.尽管特征点提取和描述的方法层出不穷，但现有技术更多地关注特征点对于光照和视角变化的鲁棒性，对于特征点的尺度问题关注不多。然而，尺度变化在室外场景定位、城市级ar等应用中十分常见。现有的关键点检测算法和描述子对大尺度变化的鲁棒性不佳。在尺度剧烈变化的情况下，现有方法很难为下游任务建立足够的点对应，该问题称为图像局部特征的尺度问题。为了缓解该尺度问题，基于图像金字塔的多尺度特征提取方法被广泛应用。该方法虽然增强了图像局部特征对于尺度变化的鲁棒性，但是在大尺度变化下依然表现不佳。


技术实现要素：

4.本发明提供一种大尺度变化鲁棒的图像特征匹配方法及装置，用以解决现有技术中在图像尺度剧烈变化情况下图像局部特征的提取和匹配方法很难为下游任务建立足够对应点的缺陷，实现了图像特征匹配各方面的提升。
5.本发明提供一种大尺度变化鲁棒的图像特征匹配方法，包括：
6.获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
7.根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
8.对所述缩放图像对进行特征点提取和匹配，获得特征点对；
9.将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
10.根据本发明提供的一种大尺度变化鲁棒的图像特征匹配方法，所述尺度估计模型包括特征提取和融合层、匹配层和回归层；
11.所述特征提取和融合层用于提取原始图像对的多尺度特征并分别进行加权融合，
获得原始图像对的多尺度融合特征图对；
12.所述匹配层用于根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图；
13.所述回归层用于对所述经过共视注意力机制增强后的相关图进行降维，获得第一原始图像和第二原始图像的尺度比值。
14.根据本发明提供的一种大尺度变化鲁棒的图像特征匹配方法，所述根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图，包括：
15.根据原始图像对的多尺度融合特征图对获得所述原始图像对的相关图；
16.根据所述原始图像对的相关图提取原始图像对的共视区域概率图；
17.将所述原始图像对的共视区域概率图和所述原始图像对的相关图相乘，获得经过共视注意力机制增强后的相关图。
18.根据本发明提供的一种大尺度变化鲁棒的图像特征匹配方法，所述尺度估计模型是基于训练数据集训练得到的。
19.根据本发明提供的一种大尺度变化鲁棒的图像特征匹配方法，所述训练数据集包括模拟训练数据集和真实场景数据集，所述两种训练数据集均包含图像对尺度比值标签。
20.根据本发明提供的一种大尺度变化鲁棒的图像特征匹配方法，所述尺度估计模型训练时的损失函数是基于所述训练数据集中的样本图像对、所述样本图像对的对偶样本图像对以及尺度比例值标签建立的。
21.本发明还提供一种大尺度变化鲁棒的图像特征匹配装置，包括：
22.尺度比值计算模块，用于获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
23.缩放模块，用于根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
24.特征匹配模块，用于对所述缩放图像对进行特征点提取和匹配，获得特征点对；
25.恢复模块，用于将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
26.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大尺度变化鲁棒的图像特征匹配方法的步骤。
27.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大尺度变化鲁棒的图像特征匹配方法的步骤。
28.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述大尺度变化鲁棒的图像特征匹配方法的步骤。
29.本发明提供的大尺度变化鲁棒的图像特征匹配方法及装置，在特征匹配之前对图像对进行放缩，并基于共视注意力机制设计了尺度估计卷积神经网络模型获得更精确的尺度比值，该模型具有很高的精度和很强的泛化性。本发明对图像大尺度变化具有很强的鲁棒性。在图像匹配和相机位姿估计任务中，本发明的图像特征匹配方法能大幅提升多种典型的图像局部特征和当前最优的局部特征匹配方法的表现。
附图说明
30.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明实施例提供的大尺度变化鲁棒的图像特征匹配方法的流程示意图之一；
32.图2是本发明实施例提供的大尺度变化鲁棒的图像特征匹配方法的流程示意图之二；
33.图3是本发明实施例提供的尺度估计模型结构示意图；
34.图4是本发明实施例提供的特征提取和融合层结构示意图；
35.图5是本发明实施例提供的匹配层结构示意图；
36.图6是本发明实施例提供的回归层结构示意图；
37.图7是本发明实施例提供的模拟训练数据示意图；
38.图8是本发明实施例提供的对三种典型图像特征的增强效果定性结果图；
39.图9是本发明实施例提供的对两种当前一流的图像特征匹配方法的增强效果定性结果图；
40.图10是本发明实施例提供的大尺度变化鲁棒的图像特征匹配装置的结构示意图；
41.图11是本发明实施例提供的电子设备的结构示意图。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在三维重建、相机位姿估计和视觉定位等任务的理想情况下，当场景和相机视角发生改变时，需要将不同图像中的相同地方提取并识别出来。由此，可以归纳出如下四点对于特征点的要求：(1)可重复性：相同的“区域”可以在不同的图像中找到；(2)可区别性：不同的“区域”有不同的表达；(3)高效率：同一图像中，特征点的数量应远小于像素的数量；(4)本地性：特征仅与一小片图像区域有关。基于上述对特征点的要求，本发明提出了一种大尺度变化鲁棒的图像特征匹配方法。下面结合图1-图8进行描述，如图1所示，本发明实施例的方法包括如下步骤：
44.步骤101、获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
45.步骤102、根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
46.步骤103、对所述缩放图像对进行特征点提取和匹配，获得特征点对；
47.步骤104、将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
48.本发明实施例提供的大尺度变化鲁棒的图像特征匹配方法通过在传统的图像特
征匹配之前添加对图像对进行放缩的步骤，对图像大尺度变化具有很强的鲁棒性。同时本发明还设计了基于共视注意力机制的尺度估计模型，能够获得更精确的缩放尺度比值，该模型具有很高的精度和很强的泛化性。
49.在本发明的至少一个实施例中，如图2所示，本发明实施例的大尺度变化鲁棒的图像特征匹配方法还包括如下步骤：
50.步骤201、给定一对图像(i1,i2)，估计两张图像的尺度比值s；
51.步骤202、将图像i1缩放为其原始尺寸的s-0.5
倍，得到i
′1，将图像i2缩放为其原始尺寸的s
0.5
倍，得到i
′2；
52.步骤203、在i
′1和i
′2上进行图像特征点提取和匹配；
53.步骤204、将对应特征点对的坐标按缩放比例恢复至原始图像尺寸上。
54.需要说明的是，若i
′1上的点(x1,y1)与i
′2上的点(x2,y2)为特征点对，则得到i1上的(s
0.25
x1,s
0.25
y1)和i2上的(s-0.25
x2,s-0.25
y2)为特征点对。
55.本发明公开了一种大尺度变化鲁棒的图像特征匹配方法，给定两张图像，该方法首先估计两张图像之间的尺度差异，接着依据估计结果对两张图像进行缩小或放大。经过缩放之后的图像对的尺度差异远小于原始图像对的尺度差异。最后，在经过缩放之后的图像上提取和匹配图像特征点。为了准确估计两张图像之间的尺度差异，本发明还提出了新颖的共视注意力机制，并采用该机制设计了一个卷积神经网络。该卷积神经网络能着重利用图像共视区域的信息，并且抑制非共视区域的干扰。
56.在本发明的至少一个实施例中，如图3所示，所述尺度估计模型包括特征提取和融合层、匹配层和回归层；
57.本发明提出的尺度估计模型可应用于上述匹配方法中，准确估计两张图像之间的尺度比值。该模型先用一个多尺度图像特征提取和融合层提取两幅输入图像的多尺度特征图。然后将两幅图像的多尺度特征图输入共视注意力机制增强的匹配层。共视注意力机制增强的匹配层增强了两幅图像之间的共视区域信息，抑制了非共视区域的信息，得到共视性增强后的correlation map。最后，尺度比值回归层对共视性增强后的correlation map进行信息综合、降维和归纳，输出估计的图像对尺度比值。
58.所述特征提取和融合层用于提取原始图像对的多尺度特征并分别进行加权融合，获得原始图像对的多尺度融合特征图对；
59.需要说明的是，如图4所示，所述特征提取和融合层的工作流程如下：
60.步骤301、给定一幅输入图像i，先将i上采样一次，得到ih，将i下采样一次，得到i
l
；
61.步骤302、用编码器提取ih、i
l
和原始的i的稠密特征图，分别记为f
hr
、f
lr
和f
or
；
62.步骤303、将f
hr
下采样得到f
′
hr
，f
′
hr
与f
or
具有相同分辨率，将f
lr
上采样得到f
′
lr
，f
′
lr
与f
or
具有相同分辨率；
63.步骤304、将f
′
hr
、f
′
lr
和按f
or
一定权重加权求和，并进行二范数归一化，得到图像i的多尺度融合特征图。
64.该层的计算公式如式(1)所示：
65.f＝l2norm[ω1(ds(e(us(i)))) ω2(e(i)) ω3(us(e(ds(i))))]
ꢀꢀꢀ
(1)
[0066]
其中，ds(
·
)表示下采样，us(
·
)表示上采样，e(
·
)表示编码器，ω1、ω2和ω3表示权重，l2norm(
·
)表示二范数归一化。
[0067]
所述匹配层用于根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图；
[0068]
所述回归层用于对所述经过共视注意力机制增强后的相关图进行降维，获得第一原始图像和第二原始图像的尺度比值。
[0069]
需要说明的是，该层的结构图如图6所示。该层的输入为c
12,cr
，利用一系列的卷积和池化操作对c
12,cr
进行降维，最终估计出图像对的尺度比值。
[0070]
在本发明的至少一个实施例中，所述根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图，包括：
[0071]
根据原始图像对的多尺度融合特征图获得所述原始图像对的相关图对；
[0072]
根据所述原始图像对的相关图提取原始图像对的共视区域概率图；
[0073]
将所述原始图像对的共视区域概率图和所述原始图像对的相关图相乘，获得经过共视注意力机制增强后的相关图。
[0074]
需要说明的是，如图5所示，所述匹配层的工作流程如下所示：
[0075]
步骤401、给定图像i1的稠密特征图f1∈rh×w×c，图像i2的稠密特征图f2∈rh×w×c；
[0076]
需要说明的是，所述稠密特征图即是多尺度特征提取和融合层得到的多尺度特征图。
[0077]
步骤402、获得原始图像对的相关图(correlation map)，c
12
∈rh×w×
(h
×
w)
，如式(2)所示：
[0078]c12
(i,j,k)＝f1(i,j)
t
f2(ik,jk)
ꢀꢀꢀ
(2)
[0079]
其中，k＝h(i
k-1) jk，i∈[1,h]，ik∈[1,h]，j∈[1,w]，jk∈[1,w]。
[0080]
需要说明的是，c
12
的计算过程是比较两幅图片的各个部分之间的相似性的过程。因此c
12
中包含很多非共视区域的信息。但是，图像对的尺度比值只与共视区域有关，而与非公式区域无关。因此，需要分出两条支路挖掘c
12
中的共视信息。
[0081]
步骤403、获取共视注意力支路1和共视注意力支路2；
[0082]
在共视注意力支路1中，在通道维度上对c
12
进行最大池化，得到s1，然后用一个5
×
5的卷积和sigmoid函数处理s1，得到m1，m1为图像i1的共视区域概率图，由c
12
得到m1的计算过程如式(3)所示：
[0083]
m1＝σ(f5×5(maxpool
channel
(c
12
)))
ꢀꢀꢀ
(3)
[0084]
其中，σ表示sigmoid函数，f5×5表示卷积核尺寸为5
×
5的卷积运算。
[0085]
在共视注意力支路2中，对c
12
进行全局最大池化，得到s
2，vec
，然后依据式(4)将s
2，vec
变为s2。
[0086]
rsp1(
·
)：s2(ik，jk)
←s2，vec
(k)，k＝h(i
k-1) jkꢀꢀꢀ
(4)
[0087]
与共视注意力支路1相同，用一个5
×
5的卷积和sigmoid函数处理s2，得到m2，m2即为图像i2的共视区域概率图。再对m2作如下式(5)处理得到m
2，vec
：
[0088]
rsp2(
·
)：m
2，vec
(k)
←
m2(ik，jk)，k＝h(i
k-1) jkꢀꢀꢀ
(5)
[0089]m2，vec
中存储了c
12
各通道属于共视区域的概率，由c
12
得到m
2，vec
的计算过程如式(6)所示：
[0090]m2，vec
＝rsp2(σ(f5×5(rsp1(maxpool(c
12
)))))
ꢀꢀꢀ
(6)
[0091]
步骤404、根据m1和m
2，vec
增强c
12
中的共视信息，具体计算过程如式(7)所示：
[0092][0093]
其中，c
12，cr
为经过共视注意力机制增强后的相关图，表示逐元素相乘。
[0094]
需要说明的是，在相乘过程中，m1在通道维度上被扩张为与c
12
具有通道数的三维张量，m
2,vec
在空间维度上被扩张为与c
12
具有相同分辨率的三维张量。
[0095]
在本发明的至少一个实施例中，所述尺度估计模型是基于训练数据集训练得到的。
[0096]
在本发明的至少一个实施例中，所述训练数据集包括模拟训练数据集和真实场景数据集，所述两种训练数据集均包含图像对尺度比值标签。
[0097]
如图7所示，所述模拟训练数据的构建过程包括：
[0098]
首先，在[0,7]范围内按均匀分布选取一个实数m，得到一个尺度比值标签2m。给定一张图像i，将i缩小为原始尺寸的1/2m，得到i
′
。将i和i
′
分别贴入两张不同的背景图片中，就得到了一个训练图像对，其尺度比值标签是2m。本发明实施例还采用上采样的方式生成模拟数据：给定一张图像i，将其放大为原始尺寸的2m倍，然后截取被放大之后的i的中心区域得到i
′
。将i和i
′
分别贴入两张不同的背景图片中，就得到了一个训练图像对，其尺度比值标签是2-m
。
[0099]
所述真实场景数据集的构建过程包括：
[0100]
给定某个场景的一组图片，先用三维重建算法得到每张图片的相机位姿、相机内参数和半稠密深度图。接着，随机选择两张有共视区域的图像，i1和i2，依据它们各自的相机位姿、相机内参数和深度图，计算它们各自可见的在世界坐标系中的三维点云。假设这两张图像的三维点云是p1和p2，在p1中选择一个三维点p，计算p到p2中每一个点的欧式距离，取最小欧式距离作为p到p2的距离。若p到p2的距离小于阈值，则说明p在i2上可见。用这种方法计算p1中在i2上可见的三维点数，记为v1，计算p2中在i1上可见的三维点数，记为v2。那么i1和i2的尺度比值标签就是v1/v2。
[0101]
需要说明的是，本发明的尺度比值估计卷积神经网络的训练过程需要图像对尺度比值标签。目前并没有含有图像对尺度比值标签的数据集。因此，现有数据集无法训练本发明的卷积神经网络。不仅如此，在现有的数据集中，图像对的尺度差异不大。在图像尺度差异很大的情况下，用现有数据集训练得到的神经网络无法准确估计图像对尺度比值。不准确的尺度比值很可能恶化图像局部特征匹配方法的表现。
[0102]
而用本发明提出的方法构建的数据集，不仅具有图像对尺度比值真值，而且还含有大量大尺度差异的图像对。在图像尺度差异很大的情况下，用本发明的数据集训练的神经网络，能更加准确地估计图像对尺度比值。
[0103]
在本发明的至少一个实施例中，所述尺度估计模型训练时的损失函数是基于所述训练数据集中的样本图像对、所述样本图像对的对偶样本图像对以及尺度比例值标签建立的。
[0104]
本发明构建的loss函数如式(8)所示：
[0105]
[0106]
其中，表示训练数据集，图像对(i
i1
,i
i2
)的尺度比值标签是si，n是训练样本数。假设尺度估计模型估计(i
i1
,i
i2
)的尺度比值是训练样本(i
i1
,i
i2
,si)有一个对偶训练样本，假设所述尺度估计模型估计(i
i2
,i
i1
)的尺度比值是
[0107]
本发明的损失函数充分利用了对偶样本的信息，相当于将训练数据量扩大为原始训练集的两倍，这有助于提升尺度比值估计神经网络的估计精度。不仅如此，损失函数的第二项，采用了自监督的方式，要求模型对于原始训练样本和对偶样本的估计结果一致，从而使模型更加鲁棒，使模型估计结果更加合理。
[0108]
表1.对三种典型特征在相机位姿估计任务中的增强效果
[0109]
(评测指标：maa(10
°
))
[0110][0111]
表1展示的是本发明提出的图像特征匹配方法在相机位姿估计任务上对三种典型图像特征的增强效果。maa(10
°
)越大，表示相机位姿估计精度越高。从表1中可以看出，本发明提出的图像特征匹配方法大幅提升了三种典型特征在相机位姿估计任务中的精度。图8展示的是本发明对图像特征的增强效果的定性结果图。从图8中可以看到，在图像尺度剧烈变化的情况下，本发明大幅提升了三种典型特征建立的点对应数量。
[0112]
表2.两种一流图像特征匹配方法在相机位姿估计任务中的增强效果
[0113]
(评测指标：maa(10
°
))
[0114]
[0115]
表2展示的是本发明提出的图像特征匹配方法在相机位姿估计任务上对两种一流图像局部特征匹配方法的增强效果。从表2中可以看出，本发明大幅提升了两种特征匹配方法的精度。图9展示的是本发明对特征匹配方法的增强效果的定性结果图。从图9中可以看出，在图像尺度剧烈变化的情况下，本发明大幅提升了两种一流特征匹配方法建立的点对应数量。
[0116]
下面对本发明提供的大尺度变化鲁棒的图像特征匹配装置进行描述，下文描述的大尺度变化鲁棒的图像特征匹配装置与上文描述的大尺度变化鲁棒的图像特征匹配方法可相互对应参照。如图10所示所述装置包括：
[0117]
尺度比值计算模块501，用于获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
[0118]
缩放模块502，用于根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
[0119]
特征匹配模块503，用于对所述缩放图像对进行特征点提取和匹配，获得特征点对；
[0120]
恢复模块504，用于将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
[0121]
本发明实施例提供的大尺度变化鲁棒的图像特征匹配装置通过在传统的图像特征匹配之前添加对图像对进行放缩的步骤，对图像大尺度变化具有很强的鲁棒性。同时本发明还设计了基于共视注意力机制的尺度估计模型，能够获得更精确的缩放尺度比值，该模型具有很高的精度和很强的泛化性。
[0122]
在本发明的至少一个实施例中，所述尺度估计模型包括特征提取和融合层、匹配层和回归层；
[0123]
所述特征提取和融合层用于提取原始图像对的多尺度特征并分别进行加权融合，获得原始图像对的多尺度融合特征图对；
[0124]
所述匹配层用于根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图；
[0125]
所述回归层用于对所述经过共视注意力机制增强后的相关图进行降维，获得第一原始图像和第二原始图像的尺度比值。
[0126]
在本发明的至少一个实施例中，所述根据所述原始图像对的多尺度融合特征图对获得经过共视注意力机制增强后的相关图，包括：
[0127]
根据原始图像对的多尺度融合特征图对获得所述原始图像对的相关图；
[0128]
根据所述原始图像对的相关图提取原始图像对的共视区域概率图；
[0129]
将所述原始图像对的共视区域概率图和所述原始图像对的相关图相乘，获得经过共视注意力机制增强后的相关图。
[0130]
在本发明的至少一个实施例中，所述尺度估计模型是基于训练数据集训练得到的。
[0131]
在本发明的至少一个实施例中，所述训练数据集包括模拟训练数据集和真实场景数据集，所述两种训练数据集均包含图像对尺度比值标签。
[0132]
在本发明的至少一个实施例中，所述尺度估计模型训练时的损失函数是基于所述
训练数据集中的样本图像对、所述样本图像对的对偶样本图像对以及尺度比例值标签建立的。
[0133]
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行大尺度变化鲁棒的图像特征匹配方法，该方法包括：
[0134]
获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
[0135]
根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
[0136]
对所述缩放图像对进行特征点提取和匹配，获得特征点对；
[0137]
将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
[0138]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0139]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的大尺度变化鲁棒的图像特征匹配方法，该方法包括：
[0140]
获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
[0141]
根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
[0142]
对所述缩放图像对进行特征点提取和匹配，获得特征点对；
[0143]
将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获得包含特征点对的原始图像对。
[0144]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的大尺度变化鲁棒的图像特征匹配方法，该方法包括：
[0145]
获得原始图像对，将所述原始图像对输入尺度估计模型，获得所述原始图像对的尺度比值；
[0146]
根据所述尺度比值对所述原始图像对进行缩放，获得缩放图像对；
[0147]
对所述缩放图像对进行特征点提取和匹配，获得特征点对；
[0148]
将所述特征点对的坐标根据所述尺度比值进行恢复后与所述原始图像对结合，获
得包含特征点对的原始图像对。
[0149]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0150]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0151]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。