匹配对的筛选方法及其装置和三维重建方法与流程

1.本技术涉及图像处理技术领域，具体涉及一种匹配对的筛选方法及其装置和三 维重建方法。


背景技术：

2.目前的图像处理技术中，通常采用近似最近邻比例法计算初始匹配对，并通过 几何验证过滤不符合几何验证的匹配对，得到最终匹配对。然而，尤其在纹理丰富 的场景如农田或建筑物等中，不同关键帧图像的特征点的匹配成功率较高，导致最 终匹配对的数量仍然非常巨大，且最终匹配对的质量难以保障，这严重影响后续根 据最终匹配对进行三维重建的速度和精度。
3.举例来说，在通常的这种匹配对的筛选方法应用于无人机相机所拍摄的图像 时，随着无人机相机采集的图像越来越多，最终匹配对的数量也越来越多，重建图 像所需要处理的数据量随之也会越来越多，这对快速重建图像带来极大的挑战。因 此，如何减少最终匹配对的数量且保证最终匹配对的质量在图像处理技术中显得极 为重要。


技术实现要素：

4.有鉴于此，本技术提供了一种匹配对的筛选方法及其装置和三维重建方法，以 解决现有技术中最终匹配对的数量较大且质量难以保障的问题。
5.本技术的第一方面提供了一种匹配对的筛选方法。该匹配对的筛选方法包括： 获取k个匹配对，k个匹配对中包括第一图像中的k个第一特征点和第二图像中 与k个第一特征点匹配的k个第二特征点；当k大于期望匹配对数量m时，根据 k个匹配对中至少两个匹配对对应的第一特征点和第二特征点之间的响应值均值或 者响应值总和对k个匹配对进行筛选，以获得p个匹配对；根据p个匹配对确定最 终匹配对，其中，k》p，k、p和m为正整数。
6.在本技术一实施例中，上述根据p个匹配对确定最终匹配对，包括：当p》m 时，根据p个匹配对对应的匹配对距离的数值大小筛选出数值较小的前m个匹配 对距离对应的匹配对；将数值较小的前m个匹配对距离对应的匹配对确定为最终 匹配对。
7.在本技术一实施例中，在上述根据k个匹配对中至少两个匹配对对应的第一特 征点和第二特征点之间的响应值均值或者响应值总和对k个匹配对进行筛选，以获 得p个匹配对之前，还包括：将第一图像划分成r个网格，其中，r≥m，r为正 整数；其中，上述根据k个匹配对中至少两个匹配对对应的第一特征点和第二特征 点之间的响应值均值或者响应值总和对k个匹配对进行筛选，以获得p个匹配对， 包括：当r个网格中第一网格内包括a个第一特征点，且a为大于1的正整数时， 分别计算a个第一特征点以及a个第一特征点对应的a个第二特征点之间的响应 值均值或者响应值总和，以得到a个响应值均值或者a个响应值总和；根据a个 响应值均值或者a个响应值总和的数值大小筛选出数值较大的前l个响应值均值对 应的匹配对或者前l个响应值总和对应的匹配对，以获得p个匹配对，其中，l《a， l和a为正整数。
8.在本技术一实施例中，上述根据p个匹配对确定最终匹配对包括：当p≤m时， 将p个匹配对确定为最终匹配对。
9.在本技术一实施例中，上述根据k个匹配对中至少两个匹配对对应的第一特征 点和第二特征点之间的响应值均值或者响应值总和对k个匹配对进行筛选，以获得 p个匹配对，包括：计算k个匹配对中每个匹配对对应的第一特征点和第二特征点 之间的响应值均值或者响应值总和，以得到k个响应值均值或者k个响应值总和； 根据k个响应值均值或者k个响应值总和的数值大小筛选出数值较大的前p个响 应值均值对应的匹配对或者前p个响应值总和对应的匹配对，以获得p个匹配对。
10.在本技术一实施例中，在上述获取k个匹配对之后，该匹配对的筛选方法还包 括：当k≤m时，将k个匹配对确定为最终匹配对。
11.在本技术一实施例中，上述获取k个匹配对包括：从第一图像中提取s个第一 特征点；基于匹配对距离从第二图像中查找与s个第一特征点匹配的s个第二特征 点，以获得s个匹配对；通过几何验证过滤s个匹配对，以获取k个匹配对，其中， k≤s。
12.在本技术一实施例中，在上述从第一图像中提取s个第一特征点之后，该匹配 对的筛选方法还包括：当s大于期望特征点数量n时，对s个第一特征点进行均匀 化筛选，以筛选出c个第一特征点，其中，c《s，s和c为正整数；其中，上述基 于匹配对距离从第二图像中查找与s个第一特征点匹配的s个第二特征点，以获得 s个匹配对，包括：基于匹配对距离从第二图像中查找与c个第一特征点匹配的c 个第二特征点，以获得c个匹配对；其中，上述通过几何验证过滤s个匹配对，以 获取k个匹配对，包括：通过几何验证过滤c个匹配对，以获取k个匹配对，其 中，k≤c。
13.在本技术一实施例中，上述对s个第一特征点进行均匀化筛选，以筛选出c个 第一特征点，包括：将第一图像划分成d个网格，其中，d≥n，d为正整数；当 d个网格中第二网格内包括e个第一特征点，且e为大于1的正整数时，分别计算 e个第一特征点的响应值；根据e个第一特征点的响应值的数值大小筛选出数值较 大的前f个响应值对应的第一特征点，以筛选出c个第一特征点，其中，f《e，f 和e为正整数。
14.在本技术一实施例中，第一图像和第二图像是由拍摄装置针对待重建对象拍摄 得到的两个不同图像。
15.本技术的第二方面提供了一种三维重建方法。该三维重建方法包括：根据如本 申请的第一方面提供的任一种匹配对的筛选方法获得最终匹配对；根据最终匹配对 重建待重建对象的三维点云数据。
16.本技术的第三方面提供了一种匹配对的筛选装置。该匹配对的筛选装置包括： 获取模块，用于获取k个匹配对，k个匹配对中包括第一图像中的k个第一特征 点和第二图像中与k个第一特征点分别匹配的k个第二特征点；筛选模块，用于 当k大于期望匹配对数量m时，根据k个匹配对中至少两个匹配对对应的第一特 征点和第二特征点之间的响应值均值或者响应值总和对k个匹配对进行筛选，以获 得p个匹配对；确定模块，用于根据p个匹配对确定最终匹配对，其中，k》p，k、 p和m为正整数。
17.本技术的第四方面提供了一种无人设备。该无人设备包括存储器和处理器，存 储器上存储有计算机的可执行指令，处理器执行可执行指令时实现如本技术的第一 方面提供的任一种匹配对的筛选方法或者如本技术的第二方面提供的一种三维重 建方法。
18.本技术的第五方面提供了一种计算机可读存储介质。该计算机可读存储介质上 存储有计算机的可执行指令，可执行指令被处理器执行时实现如本技术的第一方面 提供的任一种匹配对的筛选方法或者如本技术的第二方面提供的一种三维重建方 法。
19.根据本技术实施例提供的技术方案，通过从k个匹配对中筛选出p个匹配对， 从而使得匹配对的数量减少，进而使得最终匹配对的数量减少。另外，由于响应值 越大，特征点的质量越高，本技术实施例中考虑到至少两个匹配对对应的第一特征 点和第二特征点之间的响应值均值或者响应值总和，从而在减少最终匹配对数量的 同时过滤质量不佳的匹配对，保证筛选后的匹配对中每个匹配对的第一特征点和第 二特征点的质量都是最高的，进而提高匹配结果的可靠性。
附图说明
20.图1所示为本技术一实施例提供的一种匹配对的筛选方法的流程示意图。
21.图2a所示为本技术另一实施例提供的一种匹配对的筛选方法的流程示意图。
22.图2b所示为一种最终匹配对的效果示意图。
23.图2c所示为根据本技术一实施例筛选出的最终匹配对的效果示意图。
24.图3a所示为本技术又一实施例提供的一种匹配对的筛选方法的流程示意图。
25.图3b所示为一种第一特征点的效果示意图。
26.图3c所示为根据本技术一实施例筛选出的第一特征点的效果示意图。
27.图4所示为本技术一实施例提供的一种筛选出第一特征点的方法的流程示意 图。
28.图5所示为本技术再一实施例提供的一种匹配对的筛选方法的流程示意图。
29.图6所示为本技术一实施例提供的一种三维重建方法的流程示意图。
30.图7所示为本技术一实施例提供的一种匹配对的筛选装置的结构示意图。
31.图8所示为本技术一实施例提供的一种无人设备的框图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施 例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所 获得的所有其他实施例，都属于本技术保护的范围。
33.图1所示为本技术一实施例提供的一种匹配对的筛选方法的流程示意图。该匹 配对的筛选方法的执行主体可以为控制器、服务器或处理器等，本技术对此不做具 体限定。以下以控制器为执行主体为例。如图1所示，该匹配对的筛选方法包括以 下步骤。
34.s110：获取k个匹配对。k个匹配对中包括第一图像中的k个第一特征点和 第二图像中分别与k个第一特征点匹配的k个第二特征点。
35.在一些实施例中，第一图像和第二图像可以为拍摄装置如手机、电脑、机器人、 无人机等在同一物理空间内拍摄得到的一段视频中的两个不同关键帧图像，举例来 说，第一图像和第二图像可以是两个连续的关键帧图像，也可以是间隔预设时间段 的两个不同关键帧图像。在另一些实施例中，第一图像可以为拍摄装置拍摄得到的 图像，第二图像可以为与第一图像不同或相同的设备拍摄的图像，例如卫星拍摄的 地图图像等，本技术对此不
做具体限定。
36.应当理解，获取k个匹配对的方式可以是基于光流追踪算法，也可以基于描述 子算法，本技术对此不做具体限定。
37.s120：当k大于期望匹配对数量m时，根据k个匹配对中至少两个匹配对对 应的第一特征点和第二特征点之间的响应值均值或者响应值总和对k个匹配对进 行筛选，以获得p个匹配对。
38.举例来说，至少两个匹配对包括匹配对1、匹配对2和匹配对3，匹配对1包 括第一特征点1和与第一特征点1相匹配的第二特征点1，匹配对2包括第一特征 点2和与第一特征点2相匹配的第二特征点2，匹配对3包括第一特征点3和与第 一特征点3相匹配的第二特征点3。在一些实施例中，控制器对第一特征点1的响 应值x
11
和第二特征点1的响应值x
12
求平均得到响应值均值控制器 对第一特征点2的响应值x
21
和第二特征点2的响应值x
22
求平均得到响应值均值 控制器对第一特征点3的响应值x
31
和第二特征点2的响应值x
32
求 平均得到响应值均值通过比较和的数值大小，筛选出响应 值均值的数值较大的一个或两个匹配对，从而实现对k个匹配对进行筛选，以获得 p个匹配对。在另一些实施例中，可以直接对每个匹配对的第一特征点的响应值和 第二特征点的响应值求总和，得到的匹配对1、匹配对2和匹配对3的响应值总和 分别为x
1总
＝x
11
x
12
、x
2总
＝x
21
x
22
和x
3总
＝x
31
x
32
，通过比较响应值总和的数值大 小x
1总
、x
2总
和x
3总
，筛选出响应值总和的数值较大的一个或两个匹配对，从而实 现对k个匹配对进行筛选，以获得p个匹配对。只要根据至少两个匹配对对应的响 应值均值或响应值总和对k个匹配对进行筛选，以获得p个匹配对，且使得p小于 k即可，本技术对此不做具体限定。
39.应当理解，至少两个匹配对可以是两个或更多个匹配对，例如，至少两个匹配 对可以为所有的k个匹配对，也可以为从k个匹配对中选取匹配对距离较小的y 个匹配对，y《k，还可以为对第一图像网格化，包含多于1个匹配对的网格中的匹 配对，本技术对此不做具体限定。
40.在一些实施例中，在步骤s120之前控制器可以执行判断k是否大于m的步骤， 当k大于m时，执行步骤s120。在另一些实施例中，也可以是用户判断k是否大 于m，当k大于m时，用户给控制器发送指令，控制器根据用户的指令执行步骤 s120，本技术对控制器是否执行判断的步骤不做具体限定。
41.s130：根据p个匹配对确定最终匹配对，其中，k》p，k、p和m为正整数。
42.应当理解，控制器可以直接将p个匹配对确定为最终匹配对，也可以对p个匹 配对做进一步的处理后将处理后的匹配对确定为最终匹配对，本技术对此不做具体 限定。
43.根据本技术实施例提供的技术方案，通过从k个匹配对中筛选出p个匹配对， 从而使得匹配对的数量减少，进而使得最终匹配对的数量减少。另外，由于响应值 越大，特征点的质量越高，本技术实施例中考虑到至少两个匹配对对应的第一特征 点和第二特征点之间的响应值均值或者响应值总和，从而在减少最终匹配对数量的 同时过滤掉部分质量不佳的匹配对，保证筛选后的匹配对中每个匹配对的第一特征 点和第二特征点的质量都是
最高的，进而提高匹配结果的可靠性。
44.在本技术一实施例中，第一图像和第二图像是由拍摄装置针对待重建对象拍摄 得到的两个不同图像。
45.待重建对象可以为某一特定对象如某建筑物或某座山等，也可以是某一空间区 域内的所有目标对象，如某个城市中的所有道路、河流和建筑物等或者某个景区的 所有景点和旅游人员等。
46.本技术实施例中，通过设置第一图像和第二图像是由拍摄装置针对待重建对象 拍摄得到的两个不同图像，从而有利于减少最终匹配对的数量且保证最终匹配对的 质量，进而有利于加快针对拍摄装置所拍摄的图像的处理速度，也会加快针对待重 建图像重建图像的速度。
47.图2a所示为本技术另一实施例提供的一种匹配对的筛选方法的流程示意图。 图2a所示实施例为图1所示实施例的一变型例。如图2a所示，与图1所示实施 例的不同之处在于，该匹配对的筛选方法中在步骤s120之前还包括s119，其中， 步骤s1201和s1202对应于图1所示实施例中的步骤s120。
48.s119：将第一图像划分成r个网格，其中，r≥m，r为正整数；
49.举例来说，为了避免过滤太多匹配对，首先将网格尺寸w设置得相对较小， 只要能够满足r≥m即可，本技术对网格尺寸w的大小不做具体限定。假设第一 图像的横向宽度为r，纵向长度为c，则每一行的网格数为rn＝r/w，每一列的网格 数为cn＝c/w，网格总数为r＝rn
×
cn。
50.在一些实施例中，执行完步骤s119之后，k个第一特征点可以直接被划分到 对应的网格中。在另一些实施例中，执行完步骤s119之后，也可以按照k个第一 特征点在第一图像中的坐标位置将k个第一特征点分别分配到对应的网格中。本申 请对此不做具体限定。
51.应当理解，r可以为大于等于m的任意数值，本技术对此不做具体限定。将第 一图像划分成r个网格可以是基于徳劳内三角化所形成的r个网格；阵面推进所形 成的r个网格；四叉树图像分割所形成的r个网格；八叉树图像分割所形成的r 个网格，本技术对此不做具体限定。r可以为用户直接自行设置的数值，也可以是 用户直接自行设置m的倍数，控制器根据该m的倍数所确定的数值，本技术对此 不做具体限定。
52.s1201：当r个网格中第一网格内包括a个第一特征点，且a为大于1的正整 数时，分别计算a个第一特征点以及a个第一特征点对应的a个第二特征点之间 的响应值均值或者响应值总和，以得到a个响应值均值或者a个响应值总和。
53.应当理解，第一网格可以为r个网格中第一特征点的数量大于1的任意一个网 格，本技术对此不做具体限定。不同的第一网格中a的数值可以相同或不同，本申 请对此不做具体限定。
54.s1202：根据a个响应值均值或者a个响应值总和的数值大小筛选出数值较大 的前l个响应值均值对应的匹配对或者前l个响应值总和对应的匹配对，以获得p 个匹配对，其中，l《a，l和a为正整数。
55.具体而言，控制器可以将a个响应值均值或者a个响应值总和的数值大小进 行排序，并选择数值较大的前l个响应值均值对应的匹配对或者前l个响应值总和 对应的匹配对确定为第一网格中筛选后的匹配对。对所有包括大于1个第一特征点 的第一网格可以采
用同样的方式筛选匹配对，将所有第一网格中筛选后的匹配对以 及未筛选的网格中的匹配对结合，从而获得p个匹配对。
56.应当理解，l可以为1，也可以为预设的任意数值，只要小于a即可，本技术 对此不做具体限定。当l＝1时，可以为筛选出响应值均值最大对应的匹配对，或者 筛选出响应值总和最大对应的匹配对，从而保证每个第一网格中筛选后的匹配对对 应的第一特征点和第二特征点的质量都是最高的。
57.图2b所示为一种最终匹配对的效果示意图。图2c所示为根据本技术一实施例 筛选出的最终匹配对的效果示意图。其中，图2b和图2c中的倾斜且相互平行的白 色线条代表筛选出的匹配对。
58.通过对比图2b和图2c可知，根据本技术实施例提供的技术方案，通过将第 一图像划分成r个网格，并且根据a个响应值均值或者a个响应值总和的数值大 小筛选出数值较大的前l个响应值均值对应的匹配对或者前l个响应值总和对应的 匹配对以获得p个匹配对，从而在明显减少最终匹配对的数量的同时，保证每个第 一网格中筛选后的匹配对对应的第一特征点和第二特征点的质量都是最高的，且保 证最终匹配对的分布均匀性明显增加，进而提高匹配结果的可靠性。
59.在本技术一实施例中，步骤s1301和s1302可以对应于图1所示实施例中的步 骤s130。
60.s1301：当p》m时，根据p个匹配对的匹配对距离的数值大小筛选出数值较小 的前m个匹配对距离对应的匹配对。
61.具体而言，将p个匹配对对应的p个匹配对距离按照从小到大的顺序进行排序， 从p个匹配对距离筛选出数值较小的前m个匹配对距离，根据数值较小的前m个 匹配对距离确定前m个匹配对距离对应的匹配对。
62.应当理解，匹配对距离可以为欧式距离，也可以为其他距离如绝对值距离等， 只要能够计算第一特征点和与第一特征点匹配的第二特征点之间的距离即可，本申 请对此不做具体限定。匹配对距离越小，则说明匹配对的相似性越高。
63.在本技术一实施例中，匹配对距离为欧式距离。
64.本技术实施例中，通过选择欧式距离作为匹配对距离，由于欧式距离能够更加 精准地反映两个特征点之间的真实距离，从而能够保证利用欧式距离精准地对p个 匹配进行进一步的筛选，进而保证最终匹配对中每个匹配对的相似性最高。
65.s1302：将数值较小的前m个匹配对距离对应的匹配对确定为最终匹配对。
66.本技术实施例中，通过在p》m时，进一步从p个匹配对中筛选出数值较大的 前m个匹配对距离对应的匹配对确定为最终匹配对，从而融合了匹配对的匹配对 距离对p个匹配对进行进一步的约束，在保证每个第一网格中筛选后的匹配对对应 的第一特征点和第二特征点的质量都是最高的基础上，也保证了最终匹配对中每个 匹配对的相似性最高，且保证了筛选后的最终匹配对的数量等于期望匹配对数量m，进一步减少最终匹配对的数量。
67.在本技术一实施例中，步骤s1303对应于图1所示实施例中的步骤s130。
68.s1303：当p≤m时，将p个匹配对确定为最终匹配对。
69.在一些实施例中，在步骤s1301和s1303之前可以还包括步骤s125。
70.s125：判断p是否大于m。
71.当判断结果为p》m时，执行步骤s1301和s1302，当判断结果为p≤m时，执 行步骤s1303。
72.在另一些实施例中，也可以不用由执行主体执行步骤s125，例如可以由用户 判断p是否大于m，并将包含判断结果的用户的指令直接发送给执行主体，执行主 体直接根据用户的指令选择执行步骤s1301和s1302，或者执行步骤s1303。本申 请对执行主体是否执行步骤s125不做具体限定。
73.本技术实施例中，当p≤m时，通过将p个匹配对确定为最终匹配对，从而避 免对k个匹配对的过度筛选而导致最终匹配对的数量较少，有利于将最终匹配对的 数量控制在期望匹配对数量附近，避免因最终匹配对的数量过少而影响后续根据最 终匹配对重建的图像的质量。
74.在本技术一实施例中，步骤s110之后还可以包括步骤s116。
75.s116：当k≤m时，将k个匹配对确定为最终匹配对。
76.在一些实施例中，在步骤s116或s119之前，可以执行步骤s113。
77.s113：判断k是否大于m。
78.在另一些实施例中，也可以不由执行主体执行步骤s113，例如可以由用户判 断k是否大于m，并将包含判断结果的用户的指令直接发送给执行主体，执行主体 直接根据用户的指令选择执行步骤s116或s119。本技术对执行主体是否执行步骤 s113不做具体限定。
79.本技术实施例中，当k≤m时，通过将k个匹配对确定为最终匹配对，从而 避免对k个匹配对的过度筛选而导致最终匹配对的数量较少，有利于将最终匹配对 的数量控制在期望匹配对数量附近，避免因最终匹配对的数量过少而影响后续根据 最终匹配对重建的图像的质量。
80.在本技术一实施例中，步骤s1103、s1106和s1109对应于图1所示实施例中 的步骤s110。
81.s1103：从第一图像中提取s个第一特征点。
82.应当理解，从第一图像中提取s个第一特征点可以是基于尺度不变特征转换 (scale invariant feature transform，sift)算法对第一图像进行特征点提取，也可 以是基于稳定特征加速(speeded up robust features，surf)算法对第一图像进行 特征点提取，还可以是基于其他算法对第一图像进行特征点提取如梯度方向直方图 (gradient location-orientation histogram，gloh)算法等，本技术对此不做具体 限定。
83.s1106：基于匹配对距离从第二图像中查找与s个第一特征点匹配的s个第二 特征点，以获得s个匹配对。
84.具体而言，控制器基于匹配对距离从第二图像中分别查找与s个第一特征点一 一匹配的s个第二特征点，s个第一特征点中一第一特征点和相匹配的s个第二特 征点中一第二特征点组合形成s个匹配对，从而获得s个匹配对。应当理解，s个 匹配对也可以作为初始匹配对。
85.s1109：通过几何验证过滤s个匹配对，以获取k个匹配对，其中，k≤s。
86.应当理解，几何验证可以为采用随机采样一致(random sample consesus， ransac)算法执行几何验证，也可以采用其它方式如k平均算法和分裂法等执行 几何验证，只要能够过滤掉不符合几何验证的匹配对即可，本技术对几何验证的方 式不做具体限定。
87.本技术实施例中，通过基于匹配对距离从第二图像中查找与s个第一特征点匹 配的s个第二特征点，从而获取到初始匹配对，且通过几何验证过滤s个匹配对， 最终获取到k个匹配对，因而过滤掉不符合几何验证的匹配对，获取到分布均匀且 符合几何验证的k个匹配对，进而有利于提高后续根据最终匹配对进行无人机运动 估计的精度以及后续根据最终匹配对重建图像的精度。
88.图3a所示为本技术又一实施例提供的一种匹配对的筛选方法的流程示意图。 图3a所示实施例为图2a所示实施例的一变型例。如图3a所示，与图2a所示实 施例的不同之处在于，在步骤s11061之前还包括s1105，其中，步骤s11061对应 于图2a所示实施例中的步骤s1106，步骤s11091对应于图2a所示实施例中的步 骤s1109。
89.s1105：当s大于期望特征点数量n时，对s个第一特征点进行均匀化筛选， 以筛选出c个第一特征点，其中，c《s，s和c为正整数。
90.应当理解，可以采用四叉树、徳劳内三角化、阵面推进等网格化的方式对s个 第一特征点进行均匀化筛选，只要能够使得筛选出的c个第一特征点的分布均匀即 可，本技术对此不做具体限定。
91.举例来说，第一图像是由无人机的相机拍摄的农业场景图像。步骤s1105中采 用sift算法对第一图像进行特征点提取，假设提取的阈值为t，期望特征点数量为 n。基于阈值t对第一图像提取sift特征点，从而提取到s个第一特征点。应当理 解，在纹理较弱或者重复纹理较多的场景中，s的数值相对较小，在纹理比较丰富 的场景中，s相对比较大。若s大于n时，则执行步骤s1105，若s不大于n时， 可以跳过步骤s1105直接执行步骤s11061，其中，s＝c。
92.在一些实施例中，在步骤s1105之前，可以执行步骤s1104。
93.s1104：判断s是否大于n。
94.在另一些实施例中，也可以不由执行主体执行步骤s1104，例如可以由用户判 断s是否大于n，并将包含判断结果的用户的指令直接发送给执行主体，执行主体 直接根据用户的指令选择执行步骤s1103。本技术对执行主体是否执行步骤s1104 不做具体限定。当s小于等于n时，可以直接执行步骤s11061。
95.s11061：基于匹配对距离从第二图像中查找与c个第一特征点匹配的c个第 二特征点，以获得c个匹配对。
96.具体而言，控制器基于匹配对距离从第二图像中分别查找与c个第一特征点一 一匹配的c个第二特征点，c个第一特征点中一第一特征点和相匹配的c个第二特 征点中一第二特征点组合形成c个匹配对，从而获得c个匹配对。应当理解，c个 匹配对也可以作为初始匹配对。
97.举例来说，当匹配对距离为欧式距离时，可以基于欧式距离度量第一图像中的 第一特征点与第二图像中的第二特征点的相似性,对于第一图像中的第一特征点f， 在第二图像中查找匹配点。在一些实施例中，在第二图像中查找匹配点可以为直接 将与第一特征点f之间的欧式距离小于预设距离的第二图像中的第二特征点作为匹 配点。在另一些实施例中，在第二图像中查找匹配点的方式可以利用近似最近邻比 例法，具体地，假设匹配相似度分数最高的为第二特征点f1，匹配分数为s1，匹配 相似度次高的为第二特征点f2，匹配分数为s2，若满足f1《a
×
f2，其中，a为预设的 比例(ratio)参数，则认为第一特征点f1与第
二特征点f2匹配成功。其中，匹配 分数越低，即欧式距离越小，匹配对越相似。本技术实施例对基于匹配对距离从第 二图像中查找与c个第一特征点匹配的c个第二特征点的方式不做具体限定。
98.s11091：通过几何验证过滤c个匹配对，以获取k个匹配对，其中，k≤c。
99.在一些实施例中，c个匹配对中可能存在不符合几何验证的匹配对，通过几何 验证过滤c个匹配对，从而过滤掉不符合几何验证的匹配对，进而获取到k个匹 配对，其中，k《c。在另一些实施例中，c个匹配对中也可能不存在不符合几何验 证的匹配对，通过几何验证过滤c个匹配对，由于没有可过滤的不符合几何验证的 匹配对，进而获取到k个匹配对，其中，k＝c。k的数值只要小于等于c即可，本 申请实施例对k的数值不做具体限定。
100.图3b所示为一种第一特征点的效果示意图。图3c所示为根据本技术一实施 例筛选出的第一特征点的效果示意图。
101.目前，在从s个第一特征点中筛选出c个第一特征点的过程中，通常是对s 个第一特征点的响应值进行由大到小的排序，取c个第一特征点作为初始匹配对， 这种特征点筛选的策略尽管可以保证筛选出的c个第一特征点的质量是s个第一特 征点中质量最高的，但是通常会导致特征点扎堆，c个第一特征点(对应于图3b 的白色圆圈)的分布明显不均匀，进而导致后续根据最终匹配对进行无人机运动估 计的精度较低，或者导致后续根据最终匹配对重建图像的精度较低。
102.通过对比图3b和图3c所示的效果示意图可知，本技术实施例中，通过当s 大于期望特征点数量n时，对s个第一特征点进行均匀化筛选，筛选出的c个第 一特征点(对应于图3c的白色圆圈)明显分布地更加均匀。另外，通过基于匹配 对距离从第二图像中查找与c个第一特征点匹配的c个第二特征点，从而获取到初 始匹配对，且通过几何验证过滤c个匹配对，最终获取到k个匹配对，由于c个 第一特征点均匀分布，因而也会使得k个匹配对分布更加均匀。
103.图4所示为本技术一实施例提供的一种筛选出第一特征点的方法的流程示意 图。如图4所示，该筛选出第一特征点的方法包括步骤s11051至s11053。步骤 s11051至s11053可以对应于图3a所示实施例中的步骤s1105。
104.s11051：将第一图像划分成d个网格，其中，d≥n，d为正整数。
105.应当理解，可以将第一图像划分成d个网格，d可以为大于n的任意正整数， 本技术对此不做具体限定。d可以为用户直接自行设置的数值，也可以是用户直接 自行设置n的倍数，控制器根据该n的倍数所确定的数值，本技术对此不做具体 限定。
106.举例来说，假设网格大小为v，第一图像的横向宽度为r，纵向长度为c，则每 一行的网格数为rn＝r/v，每一列的网格数为cn＝c/v，网格总数为则
107.在一些实施例中，执行完步骤s11051之后，s个第一特征点可以直接被划分 到对应的网格中。在另一些实施例中，执行完步骤s11051之后，也可以按照s个 第一特征点在第一图像中的坐标位置将s个第一特征点分别分配到对应的网格中。 本技术对此不做具体限定。
108.s11052：当d个网格中第二网格内包括e个第一特征点，且e为大于1的正 整数时，分别计算e个第一特征点的响应值。
109.应当理解，第二网格可以为d个网格中第一特征点的数量大于1的任意一个网 格，本技术对此不做具体限定。不同的第二网格中e的数值可以相同或不同，本申 请对此不做具体限定。
110.s11053：根据e个第一特征点的响应值的数值大小筛选出数值较大的前f个响 应值对应的第一特征点，以筛选出c个第一特征点，其中，f《e，f和e为正整数。
111.具体而言，控制器可以将e个第一特征点的响应值的数值大小进行排序，并选 择数值较大的前f个响应值，并根据前f个响应值确定前f个响应值对应的第一特 征点，将前f个响应值对应的第一特征点作为第二网格中筛选后的第一特征点。对 所有包括大于1个第一特征点的第二网格可以采用同样的方式筛选匹配对，将所有 第二网格中筛选后的第一特征点以及未筛选的网格中的第一特征点结合，从而获得 c个第一特征点。
112.应当理解，f可以为1，也可以为预设的任意数值，只要小于e即可，本技术 对此不做具体限定。当f＝1时，可以为筛选出响应值最大对应的第一特征点，从而 保证每个第二网格中保留的第一特征点的质量最高。
113.根据本技术实施例提供的技术方案，通过将第一图像划分成d个网格，并根据 e个第一特征点的响应值的数值大小筛选出数值较大的前f个响应值对应的第一特 征点，从而筛选出分布均匀且质量较高的c个第一特征点。本技术实施例中，由于 综合考虑了第一特征点的分布均匀性、第一特征点的质量以及匹配对的数量和质 量，从而在减少了最终匹配对的数量的同时，保证了高质量的最终匹配对，进而有 利于提高后续根据最终匹配对进行无人机运动估计的精度以及后续根据最终匹配 对重建图像的精度。
114.图5所示为本技术再一实施例提供的一种匹配对的筛选方法的流程示意图。图 5所示实施例为图1所示实施例的一变型例。如图5所示，与图1所示实施例的不 同之处在于，步骤s1203和s1204对应于图1所示实施例中的步骤s120。
115.s110：获取k个匹配对，k个匹配对中包括第一图像中的k个第一特征点和 第二图像中与k个第一特征点匹配的k个第二特征点。
116.s1203：计算k个匹配对中每个匹配对对应的第一特征点和第二特征点之间的 响应值均值或者响应值总和，以得到k个响应值均值或者k个响应值总和。
117.s1204：根据k个响应值均值或者k个响应值总和的数值大小筛选出数值较大 的前p个响应值均值对应的匹配对或者前p个响应值总和对应的匹配对，以获得p 个匹配对。
118.具体而言，可以将k个响应值均值或者k个响应值总和的数值大小从大到小 进行排序，筛选出数值较大的前p个响应值均值或者前p个响应值总和，根据数值 较大的前p个响应值均值或者前p个响应值总和确定p个匹配对。
119.s130：根据p个匹配对确定最终匹配对，其中，k》p，k、p和m为正整数。
120.应当理解，在不存在替换或结合矛盾的前提下，图2a和图3a所示实施例中 的各步骤也可以与图5所示实施例中相结合或替换，本技术对此不做具体限定。
121.根据本技术实施例提供的技术方案，通过根据k个响应值均值或者k个响应 值总和的数值大小筛选出数值较大的前p个响应值均值对应的匹配对或者前p个响 应值总和对应的匹配对以获得p个匹配对，从而保证筛选出的p个匹配对的质量是 k个匹配对中质量最
高的匹配对，进而在减少重建农田或建筑物的图像所需要处理 的数据量的同时，提高根据最终匹配对进行三维重建的速度和精度，且能够提高用 户的体验感。
122.图6所示为本技术一实施例提供的一种三维重建方法的流程示意图。该三维重 建方法包括如下步骤。
123.s610：根据如图1至图5中任一种匹配对的筛选方法获得最终匹配对。
124.应当理解，可以根据图1至图5中任一种匹配对的筛选方法等同替换或明显变 型后的匹配对的筛选方法获得最终匹配对，本技术对此不做具体限定。第一图像可 以为无人机的相机采集的农田或建筑物等场景的任意一个图像，对于无人机的相机 采集的农田或建筑物等场景的其他图像也可以采用本实施例中任一种匹配对的筛 选方法获得最终匹配对。
125.s620：根据最终匹配对重建待重建对象的三维点云数据。
126.举例来说，可以是根据最终匹配获取第一图像和第二图像之间的对应关系，初 步获取相机在三维空间中的姿态及位置信息，结合第一图像中所包含的全球定位系 统(global positioning system，gps)的位置信息优化相机的姿态参数。然后将无人机 的相机采集的农田或建筑物场景的多个图像利用深度融合等方法获得多个图像的 稠密点云，将多个图像的稠密点云进行融合，从而得到待重建对象的三维点云数据。 应当理解，除所举例的方式外，还可以采用其他方式重建待重建对象的三维点云数 据，本技术对此不做具体限定。
127.应当理解，待重建对象可以为农田和建筑物，也可以为其他的场景，本技术对 此不做具体限定。
128.根据本技术实施例提供的技术方案，通过利用如图1至图5中任一种匹配对的 筛选方法获得最终匹配对，从而使得最终匹配对的数量减少。另外，由于在筛选匹 配对的过程中，考虑到至少两个匹配对对应的第一特征点和第二特征点之间的响应 值均值或者响应值总和，从而在减少最终匹配对数量的同时过滤质量不佳的匹配 对，有利于根据响应值均值或者响应值总和的数值大小筛选出质量较高的匹配对， 进而有利于减少重建农田或建筑物的图像所需要处理的数据量，也有利于提高后续 根据最终匹配对进行无人机运动估计的精度以及后续根据最终匹配对重建图像的 精度。
129.图7所示为本技术一实施例提供的一种匹配对的筛选装置的结构示意图。该匹 配对的筛选装置700包括获取模块710、筛选模块720和确定模块730。获取模块 710用于获取k个匹配对，k个匹配对中包括第一图像中的k个第一特征点和第二 图像中与k个第一特征点匹配的k个第二特征点。筛选模块720，用于当k大于 期望匹配对数量m时，根据k个匹配对中至少两个匹配对对应的第一特征点和第 二特征点之间的响应值均值或者响应值总和对k个匹配对进行筛选，以获得p个匹 配对。确定模块730，用于根据p个匹配对确定最终匹配对，其中，k》p，k、p和 m为正整数。
130.应当理解，本技术实施例中的匹配对的筛选装置除可以实现图1所述的匹配对 的筛选方法外，也可以实现如图2a至图5中任一种匹配对的筛选方法，还可以实 现基于图1至图5中任一种匹配对的筛选方法等同替换或明显变型后的匹配对的筛 选方法，本技术对此不做具体限定。
131.根据本技术实施例提供的技术方案，通过利用获取模块和筛选模块实现从k个 匹
以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质 上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形 式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一 台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实 施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读 存储器(read-only memory，rom)、随机存取存储器(random access memory， ram)、磁碟或者光盘等各种可以存储程序校验码的介质。
140.本领域的技术人员可以清楚的了解到，为了描述的方便和简洁，上述描述的装 置、系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
141.还需要说明的是，本技术实施例中各技术特征的组合方式并不限本技术实施例 中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特 征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
142.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的 精神和原则之内，所作的任何修改、等同替换等，均应包含在本技术的保护范围之 内。