点云模型处理方法、装置及可读存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种点云模型处理方法、装置及可读存储介质。


背景技术：

2.由于图像数据获取速度快且成本低，因此，基于图像的三维重建技术在测量、虚拟现实、电影娱乐、高精度地图等各个领域被广泛应用。在三维重建技术中，通过拍摄物体的多帧图像或者视频序列，进行三维重建获得多簇三维点云模型，之后对重建的多簇三维点云模型进行合并，根据合并后的三维点云模型恢复出物体的三维结构。
3.现有技术中，通常根据重建的多簇三维点云模型，采用迭代最近邻算法(iterative closest point，icp)获取合并参数，并根据合并参数对多簇三维点云模型进行合并。上述方式是直接根据点云进行坐标对齐，获取的合并后的点云模型精确度较低。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种点云模型处理方法、装置及可读存储介质。
5.第一方面，本公开实施例提供了一种点云模型处理方法，包括：
6.根据针对目标场景拍摄的第一图像集和第二图像集，获取目标图像对以及所述目标图像对对应的第一邻域图像和第二邻域图像；其中，所述第一图像集包括具有第一视觉效果的多幅第一图像；所述第二图像集包括具有第二视觉效果的多幅第二图像；所述目标图像对包括相似度满足第一条件的目标第一图像和目标第二图像；所述第一邻域图像包括所述第一图像集中与所述目标第一图像的相似度满足第二条件的图像；所述第二邻域图像包括所述第二图像集中与所述目标第二图像的相似度满足第三条件的图像；
7.根据所述目标图像对、所述第一邻域图像、所述第二邻域图像、第一点云模型、以及第二点云模型之间的关系，获取合并参数；其中，所述第一点云模型包括预先根据所述第一图像集重建的三维点云模型；所述第二点云模型包括预先根据所述第二图像集重建的三维点云模型；
8.根据所述合并参数，对所述第一点云模型和所述第二点云模型进行合并，获取目标点云模型。
9.在一些可能的设计中，所述根据针对目标场景拍摄的第一图像集和第二图像集，获取目标图像对以及述目标图像对对应的第一邻域图像和第二邻域图像，包括：
10.将所述第一图像集和所述第二图像集输入至预先训练好的图像检索模型中，获取所述图像检索模型输出的目标图像对、以及所述目标图像对对应的第一邻域图像和第二邻域图像。
11.在一些可能的设计中，所述根据所述目标图像对、所述第一邻域图像、所述第二邻域图像、第一点云模型、和第二点云模型之间的关系，获取合并参数，包括：
12.根据第二匹配关系、所述第一邻域图像对应的相机位置，进行特征三角化处理，获取第三点云模型；其中，所述第二匹配关系包括所述目标第一图像与所述第一邻域图像两者之间的像素点匹配关系，所述第三点云模型与所述第一点云模型的坐标系相同且尺度相同；
13.根据第三匹配关系及所述第二邻域图像对应的相机位置，进行特征三角化处理，获取第四点云模型；其中，所述第三匹配关系包括所述目标第二图像与所述第二邻域图像两者之间的像素点匹配关系，所述第四点云模型与所述第二点云模型的坐标系相同且尺度相同；
14.根据所述第三点云模型包括的点云与所述第四点云模型包括的点云之间的第四匹配关系，获取所述合并参数。
15.在一些可能的设计中，所述第二匹配关系和所述第三匹配关系均是根据第一匹配关系获得的，其中，所述第一匹配关系为所述目标图像对包括的目标第一图像和目标第二图像之间的像素点匹配关系。
16.在一些可能的设计中，所述根据所述第三点云模型包括的点云与所述第四点云模型包括的点云之间的点云匹配关系，获取所述合并参数，包括：
17.根据第一匹配关系、第二匹配关系、第三匹配关系、第五匹配关系以及第六匹配关系，获取所述第四匹配关系，其中，所述第五匹配关系为所述第一邻域图像中的像素点与所述第三点云模型中的点云之间的匹配关系，所述第六匹配关系为所述第二邻域图像中的像素点与所述第四点云模型中的点云之间的匹配关系；
18.根据所述第四匹配关系包含的各点云在相应坐标系中的位置，获取所述合并参数。
19.在一些可能的设计中，所述根据所述第三点云模型包括的点云与所述第四点云模型包括的点云之间的第四匹配关系，获取所述合并参数，包括：
20.根据所述第四匹配关系以及所述第四匹配关系包含的各点云在相应坐标系中的位置，采用基于随机采样一致性的迭代最近邻算法，获取所述合并参数。
21.在一些可能的设计中，所述根据所述合并参数，对所述第一点云模型和所述第二点云模型进行合并，获取目标点云模型之后，还包括：
22.将所述第四匹配关系，合并至所述目标点云模型中。
23.在一些可能的设计中，所述根据所述目标图像对、所述第一邻域图像、所述第二邻域图像、第一点云模型和第二点云模型之间的关系，获取合并参数，包括：
24.获取预先标注的所述目标场景中的特征点分别在所述目标图像对、所述第一邻域图像以及所述第二邻域图像中对应的目标像素点、及预先标注的所述特征点分别在所述第一点云模型和所述第二点云模型中对应的点云；
25.根据所述特征点对应的目标像素点及目标点云，获取合并参数。
26.在一些可能的设计中，所述根据所述特征点对应的目标像素点及目标点云，获取所述合并参数，包括：
27.根据各所述目标像素点在所属图像中的位置，及所述目标点云在所属点云模型中的位置，采用基于随机采样一致性的pnp算法，获取所述合并参数。
28.在一些可能的设计中，所述根据所述合并参数，对所述第一点云模型和所述第二
点云模型进行合并，获取目标点云模型之后，还包括：
29.将所述特征点、所述目标像素点以及所述目标点云三者之间的对应关系，合并至所述目标点云模型中。
30.在一些可能的设计中，所述方法还包括：
31.根据所述合并参数，将第一图像集中各第一图像的相机位置以及第二图像集中各第二图像的相机位置合并至所述目标点云模型中。
32.在一些可能的设计中，所述方法还包括：
33.根据集束调整优化算法，对所述目标点云模型中各所述第一图像的相机位置、各所述第二图像的新的相机位置以及各点云的位置进行最大似然估计，获取估计结果；
34.根据所述估计结果，对所述目标点云模型中各所述第一图像的相机位置、各所述第二图像的相机位置以及各点云的位置分别进行调整。
35.在一些可能的设计中，所述方法还包括：
36.根据所述目标点云模型重建所述目标场景的三维结构。
37.第二方面，本公开实施例提供一种点云模型处理装置，包括：
38.图像提取模块，用于根据针对目标场景拍摄的第一图像集和第二图像集，获取目标图像对以及所述目标图像对对应的第一邻域图像和第二邻域图像；其中，所述第一图像集包括具有第一视觉效果的多幅第一图像；所述第二图像集包括具有第二视觉效果的多幅第二图像；所述目标图像对包括相似度满足第一条件的目标第一图像和目标第二图像；所述第一邻域图像包括所述第一图像集中与所述目标第一图像的相似度满足第二条件的图像；所述第二邻域图像包括所述第二图像集中与所述目标第二图像的相似度满足第三条件的图像；
39.参数计算模块，用于根据所述目标图像对、所述第一邻域图像、所述第二邻域图像、第一点云模型和第二点云模型之间的关系，获取合并参数；其中，所述第一点云模型是预先根据所述第一图像集重建的三维点云模型；所述第二点云模型是预先根据所述第二图像集重建的三维点云模型；
40.合并模块，用于根据所述合并参数，对所述第一点云模型和所述第二点云模型进行合并，获取目标点云模型。
41.第三方面，本公开实施例提供一种电子设备，包括：存储器、处理器以及计算机程序指令；
42.所述存储器被配置为存储所述计算机程序指令；
43.所述处理器被配置为执行所述计算机程序指令，当所述处理器执行所述计算机程序指令时，实现如第一方面任一项所述的方法。
44.第四方面，本公开实施例还提供一种可读存储介质，包括：程序；
45.所述程序被电子设备的至少一个处理器执行时，所述电子设备实现如第一方面任一项所述的方法。
46.第五方面，本公开实施例还提供一种程序产品，包括：计算机程序；所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得所述电子设备实现如第一方面任一项所述的方法。
47.本公开实施例提供一种点云模型处理方法、装置及可读存储介质，通过从针对目标场景拍摄的，且具有不同视觉效果的第一图像集和第二图像集中，获取至少一组目标图像对以及目标图像对对应的第一邻域图像和第二邻域图像；针对每组目标图像对，根据所述目标图像对、第一邻域图像以及第二邻域图像、第一点云模型和第二点云模型之间的关系，计算获得合并参数；根据各组目标图像对对应的合并参数，对第一点云模型和第二点云模型进行合并，获取用于重建目标场景的三维结构的目标点云模型。本实施例通过使用更多的原始图像信息参与点云模型的合并，相对于现有技术中直接根据点云模型进行合并的方式，本方案获得的合并后的点云模型的一致性更高。
附图说明
48.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
49.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1为本公开一实施例提供的点云模型处理方法的流程图；
51.图2为本公开另一实施例提供的点云模型处理方法的流程图；
52.图3a至图3g为本公开另一实施例提供的点云模型处理方法的流程图；
53.图4为采用本公开实施例提供的点云模型处理方法进行全局优化前和进行全局优化后分别对应的合并效果示意图；
54.图5为本公开一实施例提供的点云模型处理装置的结构示意图；
55.图6为本公开一实施例提供的电子设备的结构示意图。
具体实施方式
56.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
57.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
58.根据多幅图像或者视频序列中自动地恢复相机参数和场景的三维结构，被称为运动恢复结构(structure from motion，smf)。在进行大规模场景重建时，smf算法得到广泛应用。然而，smf算法强烈依赖于图像之间特征点的匹配，当图像采集来自不同时段、不同季节、不同光照等时，图像的视觉效果差异较大，进而导致图像特征点匹配的可靠度降低。因此，提出先对采集的图像进行划分，然后根据划分后的图像分别重建产生三维点云模型，再对多簇三维点云模型进行合并。
59.采用icp算法获取两簇三维点云模型的合并参数，从而获得两簇三维点云模型之间的对齐。这种方式要求点云分布相对均匀，针对稀疏点云模型无法取得较好的合并效果。
60.在一些情况下，还有先通过相机位置形成的采集轨迹在生成点云模型时进行粗对
齐的方式，之后，再利用icp算法获取合并参数并进行对齐。然而利用采集轨迹进行粗对齐要求采集视角相对一致，导致应用场景受限。
61.针对上述问题，本公开实施例提供一种点云模型处理方法，该方法通过从视觉效果不同的图像集合中选取目标图像对，并利用目标图像对包括的目标第一图像和目标第二图像之间的图像特征匹配关系(2d-2d的匹配关系)以及目标图像对与其他相近的图像之间的图像特征匹配关系(2d-2d的匹配关系)，建立合并前的两簇点云模型之间的空间匹配关系，进而求解合并参数。相对于直接根据两簇点云模型计算合并参数并进行合并的方式，本方案通过更多的原始图像信息参与合并对齐，获得的合并参数更为精准，合并后的点云模型的一致性更强。
62.图1为本公开一实施例提供的点云模型处理方法的流程图。如图1所示，本实施例的方法包括：
63.s101、根据针对目标场景拍摄的第一图像集和第二图像集，获取目标图像对以及所述目标图像对对应的第一邻域图像和第二邻域图像。
64.第一图像集包括针对目标场景拍摄的具有第一视觉效果的多幅第一图像；第二图像集包括针对目标场景拍摄的具有第二视觉效果的多幅第二图像。其中，第一视觉效果和第二视觉效果不同，第一视觉效果和第二视觉效果的不同可以是由于时段、光照、季节、天气等一个或多个因素导致的。
65.示例性地，第一图像集包括针对目标场景在晴朗天气时拍摄的图像的集合；第二图像集包括针对目标场景在阴雨天气时拍摄的图像的集合。或者，第一图像集包括针对目标场景在夏天拍摄的图像的集合；第二图像集包括针对目标场景在冬天拍摄的图像的集合。或者，第一图像集包括针对目标场景在白天拍摄的图像的集合；第二图像集包括针对目标场景在夜晚拍摄的图像的集合。本公开不对具体的视觉效果进行限制。
66.本方案中，目标图像对的数量可以为一组，也可以为多组。
67.具体地，每组目标图像对包括相似度满足第一条件的目标第一图像和目标第二图像，第一图像集包括目标第一图像，第二图像集包括目标第二图像。目标图像对对应的第一邻域图像包括第一图像集中与目标第一图像的相似度满足第二条件的图像；目标图像对对应的第二邻域图像包括第二图像集中与目标第二图像的相似度满足第三条件的图像。
68.其中，第一条件、第二条件以及第三条件可以分别数值化为：第一阈值、第二阈值以及第三阈值；第一阈值、第二阈值以及第三阈值的数值大小可以相同，也可以不同；在实际应用中，第一阈值、第二阈值以及第三阈值的数值大小可根据实际需求设置，本公开实施例对此不作限制。或者，第一条件也可以包括：根据第一图像与第二图像之间的相似度按照由高到低的顺序进行排序并确定的排名靠前的预设数量组目标图像对；第二条件、第三条件与第一条件的实现方式类似。
69.可选地，目标图像对之间的相似度可以是根据各第一图像和各第二图像之间的图像纹理的相似度以及图像语义的相似度共同确定的。在实际应用中，确定目标图像对时，还可以考虑图像针对目标场景的覆盖率，可以选取相似度较高，且覆盖率较高的图像对作为目标图像对。
70.目标第一图像与其他第一图像之间的相似度可以是根据目标第一图像的拍摄位置和其他第一图像之间的拍摄位置之间的偏移量、以及目标第一图像与其他第一图像之间
的重叠区域共同确定的；其中，重叠区域可根据目标第一图像的拍摄方向和拍摄角度、以及其他第一图像的拍摄方向和拍摄角度共同确定。
71.从第一图像集和第二图像集中，获取目标图像对可通过下述任一种方式实现：
72.一种可能的实现方式包括：利用深度学习的图像检索技术从第一图像集和第二图像集中自动提取至少一组目标图像对。具体地，可以根据预先训练好的图像检索模型，获取各第一图像的特征信息，其中，第一图像的特征信息包括：第一图像的图像纹理信息和图像语义信息；根据预先训练好的图像检索模型，获取各第二图像的特征信息，其中，第二图像的特征信息包括：第二图像的图像纹理信息和图像语义信息；针对每幅第一图像，将第一图像的特征信息分别与各第二图像的特征信息进行匹配，获取第一图像分别与各第二图像之间的相似度；通过对每幅第一图像执行上述过程，获得任意第一图像与任意第二图像，两两之间的相似度；根据相似度以及第一条件，获取满足第一条件的至少一组目标图像对。
73.另一种可能的实现方式包括：利用人工选取的方法，从第一图像集中选取目标第一图像，从第二图像集中选取目标第二图像，并将目标第一图像和目标第二图像标记为目标图像对。若需要多组目标图像对，人工一一标注即可。
74.根据目标图像对，获取目标图像对对应的第一邻域图像和第二邻域图像可通过下述方式实现：
75.首先，可以利用预先训练好的深度学习的神经网络模型，分别获取目标第一图像的拍摄位置以及拍摄方向，以及第一图像集中的其他第一图像的拍摄位置以及拍摄方向。
76.接着，根据目标第一图像的拍摄位置和其他第一图像的拍摄位置，获取目标第一图像分别与其他第一图像的拍摄位置的偏移量；根据目标第一图像的拍摄方向和其他第一图像的拍摄方向之间的夹角，以及拍摄角度，获取目标第一图像与其他第一图像的重叠区域大小；根据上述目标第一图像分别与其他第一图像的拍摄位置的偏移量、目标第一图像和其他第一图像重叠区域大小，获取目标第一图像分别与其他第一图像之间的相似度；并根据目标第一图像分别与其他第一图像之间的相似度，确定满足第二条件的第一图像为第一邻域图像。
77.可选地，可根据目标第一图像与各第一图像的拍摄位置的偏移量以及重叠区域大小查询预设对应关系，获取目标第一图像分别与各第一图像的相似度，其中，这里所指的预设对应关系为拍摄位置的偏移量、重叠区域大小以及相似度三者之间的对应关系。
78.获取第二邻域图像的实现方式与获取第一邻域图像的实现方式类似，可参照获取第一邻域图像的具体描述，简明起见，此处不再赘述。
79.s102、根据所述目标图像对、所述第一邻域图像、所述第二邻域图像、第一点云模型和第二点云模型之间的关系，获取合并参数。
80.可选地，第一点云模型可以是预先根据第一图像集中的各第一图像，并采用smf算法重建的目标场景的三维点云模型；第二点云模型可以是预先根据第二图像集中的各第二图像，并采用smf算法重建的目标场景的三维点云模型。当然，也可以采用其他算法根据第一图像集和第二图像集分别重建获得上述第一点云模型和第二点云模型，本方案并不限制。
81.本方案中，目标图像对可以为一组，也可以为多组。当目标图像对的数量为一组时，可根据获得的一组合并参数指导第一点云模型和第二点云模型的合并。
82.当目标图像对的数量为多组时，每组目标图像对可以对应目标场景中的不同区域，之后可根据各组目标图像对获得的合并参数有针对性地指导第一点云模型和第二点云模型中相应区域的合并；需要说明的是，在三维场景重建中，目标场景(或者合并之前的点云模型)被划分为多个区域，针对每个区域分别计算获得一组合并参数，合并后的点云模型一致性更强。
83.示例性地，在重建一栋建筑物的三维结构时，可将建筑物划分为：正面、背面、第一侧面以及第二侧面。针对建筑物的正面，获取目标图像对1；针对建筑物的背面，获取目标图像对2；针对建筑物的第一侧面，获取目标图像对3；针对建筑物的第二侧面，获取目标图像对4。针对目标图像对1至4分别进行计算，获得4组合并参数，其中，目标图像对1对应的合并参数用于合并建筑物的正面的点云，目标图像对2对应的合并参数用于合并建筑物的背面区域的点云，目标图像对3对应的合并参数用于合并建筑物的第一侧面的点云，目标图像对4对应的合并参数用于合并建筑物的第二侧面的点云。
84.针对每组目标图像对获取对应的合并参数，可通过下述任一种方式：
85.一种可能的实现方式，可采用自动的方式获取合并参数，具体可以包括以下步骤：
86.步骤一，根据基于深度学习的特征匹配的方法，获取第一匹配关系；并根据第一匹配关系包括的像素点，获得第二匹配关系以及第三匹配关系。其中，第一匹配关系即目标第一图像和目标第二图像之间的像素点匹配关系，第二匹配关系即目标第一图像与第一邻域图像之间的像素点匹配关系，第三匹配关系即目标第二图像与第二邻域图像之间的像素点匹配关系。
87.其中，基于深度学习的特征匹配的方法包括：采用深度学习的方法预先训练满足要求的图像匹配模型，利用图像匹配模型获取图像之间的像素点匹配结果。一种可能的实现方式中，图像匹配模型首先对其中一幅图像(假设为图像a)进行热点区域学习，根据各不同区域的响应值确定热点区域，其中，响应值越高，表示该区域为热点区域的概率越高，响应值越低，表示该区域为热点区域的概率值越低；利用图像匹配模型提取热点区域的像素点的特征信息，该特征信息包括图像纹理信息和图像语义信息；接着，图像匹配模型根据图像a的热点区域的像素点的图像信息和纹理信息，在其他图像中进行匹配，从而获得图像之间的像素点匹配关系。
88.下面示例性地说明图像之间的像素点匹配关系：
89.假设a1、a2
……
an为目标第一图像中的像素点，b1、b2
……
bn为目标第二图像中的像素点，第一匹配关系包括a1与b1、a2与b2
……
an与bn之间的匹配关系。
90.根据第一匹配关系中包括的像素点a1、a2
……
an，分别在第一邻域图像包括的各像素点中进行匹配，基于匹配结果生成第二匹配关系，第二匹配关系包括a1与c1、a2与c2
……
am与cm之间的匹配关系，其中，c1、c2
……
cm为第一邻域图像中的像素点。
91.根据第一匹配关系中包括的像素点b1、b2
……
bn，分别在第二邻域图像中进行匹配，基于匹配结果生成第三匹配关系，第三匹配关系包括b1与d1、b2与d2
……
bi与di之间的匹配关系，其中，d1、d2
……
di为第二邻域图像的像素点。n、m、i均为大于或等于1的整数，且m小于或等于n，i小于或等于n。
92.应理解，上述第一匹配关系、第二匹配关系以及第三匹配关系均为二维(2d)的像素点之间的匹配关系。且第二匹配关系和第三匹配关系的数量均可以为多个，第二匹配关
系的数量与第一邻域图像的数量相同，第三匹配关系的数量与第二邻域图像的数量相同。
93.步骤二，根据第二匹配关系以及各第一邻域图像的相机位置，进行特征三角化处理，获得第三点云模型；根据第三匹配关系以及各第二邻域图像的相机位置，进行特征三角化处理，获得第四点云模型。其中，第三点云模型与第一点云模型的坐标系相同且尺度相同；第四点云模型与第二点云模型的坐标系相同且尺度相同。
94.参照上述示例可知，本方案中，第二匹配关系包括的目标第一图像中的像素点为第一匹配关系包括的目标第一图像的像素点的子集，因此，根据第二匹配关系获得的第三点云模型相当于第一点云模型的局部；类似地，第三匹配关系包括的目标第二图像中的像素点为第一匹配关系包括的目标第二图像的像素点的子集，因此，根据第三匹配关系获得的第四点云模型相当于第二点云模型的局部。针对每个目标场景中的每个局部区域获取差异化的合并参数，能够提高合并后的模型的一致性。
95.另外，由于第三点云模型与第一点云模型的坐标系和尺度相同，第四点云模型与第二点云模型的坐标系和尺度相同，因此，根据第三点云模型和第四点云模型获取的合并参数能够较好地指导第一点云模型和第二点云模型的合并。
96.步骤三，根据第三点云模型包括的点云以及第四点云模型包括的点云之间的第四匹配关系，获取合并参数。
97.具体地，根据第一匹配关系、第二匹配关系、第三匹配关系、第五匹配关系以及第六匹配关系，获取第四匹配关系，其中，第四匹配关系为第三点云模型包括的点云与第四点云模型包括的点云之间的匹配关系，可以理解为一种3d-3d的对应关系。其中，第五匹配关系为第一邻域图像中的像素点与第三点云模型中的点云之间的匹配关系，第六匹配关系为第二邻域图像中的像素点与第四点云模型中的点云之间的匹配关系。根据第四匹配关系包含的各点云在相应坐标系中的位置，采用基于随机采样一致性的迭代最近邻算法(ransac-icp)，获取所述合并参数。
98.其中，第一图像集中各第一图像分别与第一点云模型之间的匹配关系在创建第一点云模型时获取。第二图像集中各第二图像分别与第二点云模型之间的匹配关系在创建第二点云模型时获取。
99.由于第三点云模型和第四点云模型之间的第四匹配关系中可能会存在部分点云误匹配，因此，本方案采用ransac-icp算法去除误匹配，保证正确的匹配。其中，误匹配的点云称为外点，正确匹配的点云称为内点。具体地，采用ransac-icp算法去除误匹配时，首先，随机采样m对(例如，m＝4)具有匹配关系的点云，基于svd分解的方法，计算获得一组合并参数，记为[s，r，t]，s表示缩放尺度、r表示旋转参数，t表示平移参数；接着，根据合并参数[s，r，t]统计上述第四匹配关系中符合该合并参数的点云对的数量并记录内点数量；重复执行上述步骤w次，取内点数数量最多时对应的合并参数作为最后结果输出。其中，m为大于或等于3的正整数，w为大于或等于1的正整数。
[0100]
另一种可能的实现方式，可采用人工的方式，需要说明的是，这里所指的“人工的方式”是表示其中部分步骤获取的信息通过人工的方式实现，并不是所有的步骤均通过人工的方式实现。例如，在下述所示的实现方式中，步骤一中获取的目标像素点、目标点云和目标场景中的特征点三者之间的匹配关系是基于人工标注获取的。
[0101]
示例性地，可以包括以下步骤：
[0102]
步骤一、获取预先标注的目标场景的特征点分别在目标图像对、第一邻域图像以及第二邻域图像中对应的目标像素点，并获取上述目标场景的特征点分别在第一点云模型和第二点云模型中对应的目标点云。
[0103]
其中，上述预先标注的目标像素点和目标点云，可以是人工根据目标场景的特征点标注的。应理解，上述目标像素点、目标点云和目标场景中的特征点三者之间具有匹配关系，该匹配关系可以理解为一种2d-3d的对应关系。
[0104]
步骤二、根据上述目标像素点和目标特征点，获取合并参数。
[0105]
一种可能的实现方式，根据上述目标像素点分别在所属图像中的位置、目标点云分别在所属点云模型中的位置，采用基于随机采样一致性的pnp算法(ransac-pnp)，获取合并参数。
[0106]
具体地，由于上述2d-3d的对应关系是人工预先标注的，可能会存在部分2d-3d的对应关系为误匹配，因此，本方案采用ransac-pnp去除误匹配，保证正确的匹配。其中，误匹配的点云(或像素点)称为外点，正确匹配的点云(或像素点)称为内点。具体地，采用ransac-pnp算法去除误匹配时，首先，随机采样m＇对(例如，m＇＝4)具有匹配关系的目标像素点与目标点云，基于epnp算法，计算获得一组合并参数，记为[s，r，t]，s表示缩放尺度、r表示旋转参数，t表示平移参数；接着，根据合并参数[s，r，t]统计上述2d-3d的对应关系中符合该合并参数的目标像素点与目标点云对的数量并记录内点数量；重复执行上述步骤w＇次，取内点数数量最多时对应的合并参数作为最后结果输出。其中，w＇为大于或等于1的正整数。
[0107]
s103、根据所述合并参数，对第一点云模型和第二点云模型进行合并，获取目标点云模型。
[0108]
具体地，对于每组目标图像对来说，根据该组目标图像对对应的合并参数，对第一点云模型或第二点云模型中相应区域的点云进行合并，例如，缩放处理、旋转处理以及平移处理一项或多项。
[0109]
本实施例提供的点云模型处理方法，通过从针对目标场景拍摄的，且具有不同视觉效果的第一图像集和第二图像集中，获取至少一组目标图像对以及目标图像对对应的第一邻域图像和第二邻域图像；针对每组目标图像对，根据所述目标图像对、第一邻域图像以及第二邻域图像、第一点云模型和第二点云模型之间的关系，计算获得合并参数；根据各组目标图像对对应的合并参数，对第一点云模型和第二点云模型进行合并，获取用于重建目标场景的三维结构的目标点云模型。本实施例通过使用更多的原始图像信息参与点云模型的合并，相对于现有技术中直接根据点云模型进行合并的方式，本方案获得的合并后的点云模型的一致性更高。
[0110]
图2为本公开另一实施例提供的点云模型处理方法的流程图。参照图2所示，在图1所示实施例的基础上，s103之后，还可以包括：
[0111]
s104、根据所述合并参数，将第一图像集中各第一图像的相机位置以及第二图像集中各第二图像的相机位置合并至所述目标点云模型的坐标系中。
[0112]
具体地，首先，将第一图像集中各第一图像的相机位置先添加至第一点云模型的坐标系中，并将第二图像集中各第二图像的相机位置添加至第二点云模型的坐标系中。接着，根据每组目标图像对的合并参数，对第一点云模型的坐标系中相应区域的各相机位置
进行缩放处理、旋转处理以及平移处理中的一项或多项；或者，根据每组目标图像对的合并参数，对第二点云模型的坐标系中相应区域的各相机位置进行缩放处理、旋转处理以及平移处理中的一项或多项。
[0113]
本实施例通过利用合并参数，将不同图像集中各图像的拍摄位置对齐至目标点云模型的坐标系中，为后续其他图像处理提供依据。
[0114]
在图2所示实施例的基础上，可选地，还可以包括步骤s105、s106：
[0115]
s105、根据集束调整优化算法，对目标点云模型的坐标系中各第一图像的相机位置、各第二图像的新的相机位置以及各点云的位置进行最大似然估计，获取估计结果。
[0116]
s106、根据估计结果，对所述目标点云模型的坐标系中各第一图像的相机位置、各第二图像的相机位置以及各点云的位置分别进行调整。
[0117]
由于获取第一图像集时，相机位置误差会累积，进而会对第三点云模型的精度产生影响；类似地，获取第二图像集时，相机位置误差累积，进而会对第四点云模型的精度产生影响。因此，本实施例通过集束调整优化算法进行全局优化，减小三维点到二维图像点的重投影误差，使调整后的目标点云模型一致性更强。
[0118]
可选地，在图1或图2所示实施例的基础上，还可以包括：s107、根据所述目标点云模型重建所述目标场景的三维结构。
[0119]
可以理解，本方案获得的目标点云模型更为精准，因而恢复的目标场景的三维结构也更为精准。需要说明的是，该步骤未在图1以及图2中体现。
[0120]
图3a-图3g为本公开另一实施例提供的点云模型处理方法的流程图。在图3a-图3g所示的具体实施例，以第一图像集包括针对目标场景在白天拍摄的图像的集合、第二图像集包括针对目标场景在夜晚拍摄的图像的集合为例进行说明。
[0121]
参照图3a所示，第一图像集以白天图像数据库为示例，白天图像数据库包括针对目标场景在白天拍摄的多个图像，白天图像数据库中的图像可以称为白天图像样本；第二图像集以夜晚图像数据库为示例，夜晚图像数据库包括针对目标场景在夜晚拍摄的多个图像，夜晚图像数据库中的图像可以称为夜晚图像样本；预先根据白天图像数据库重建的点云模型为三维点云模型a，预先根据夜晚图像数据库重建的点云模型为三维点云模型b。
[0122]
结合图3a以及图3b所示，通过在图3a所示的白天图像数据库和夜晚图像数据库中进行自动或人工的图像检索，获取目标图像对，以及目标图像对的第一邻域图像和第二邻域图像。
[0123]
其中，图3b示出了一组目标图像对的情况，参照图3b所示，白天图像样本r1和夜晚图像样本s1为一组目标图像对，白天图像样本r2、r3以及r4均为r1的第一邻域图像，夜晚图像样本s2、s3以及s4均为s1的第二邻域图像。
[0124]
针对r1和s1，采用基于深度学习算法或人工标注的方法，获取r1与s1之间的像素点匹配关系。参照图3c所示，虚线段两端的箭头分别连接的实心六角星和实心圆圈为一组匹配的像素点，其中，实心六角星表示白天图像样本r1中具有匹配关系的像素点，实心圆圈表示夜晚图像样本s1中具有匹配关系的像素点。
[0125]
需要说明的是，在图3c所示的情况中，白天图像样本r1和夜晚图像样本s1中不具备匹配关系的像素点并未通过标记示出。
[0126]
在接下来的处理中，若采用自动的方式，请参照图3d所示；若采用人工的方式，请
参照图3e所示。
[0127]
自动的方式：
[0128]
参照图3d所示，首先根据白天图像样本r1中具有匹配关系的像素点在白天图像样本r2、r3以及r4中进行匹配；并根据夜晚图像样本s1中具有匹配关系的像素点在夜晚图像样本s2、s3以及s4中进行匹配；基于白天图像样本r1分别与白天图像样本r2、r3以及r4的匹配结果进行特征三角化处理，获得三维点云模型a＇；基于夜晚图像样本s1分别与夜晚图像样本s2、s3以及s4的匹配结果进行特征三角化处理，获得三维点云模型b＇。
[0129]
接着，利用白天图像样本r1分别与白天图像样本r2、r3以及r4的匹配结果、夜晚图像样本s1分别与夜晚图像样本s2、s3以及s4的匹配结果、以及白天图像样本r1和夜晚图像样本s1之间的匹配关系，将三维点云模型a＇和三维点云模型b＇中的点云进行关联，从而获取了3d-3d的对应关系。
[0130]
参照图3d所示，空心六角星表示三维点云模型a＇中的点云，空心圆圈表示三维点云模型b＇中的点云，虚线段两端的箭头连接的空心六角形和空心圆圈为一组具有匹配关系的点云。
[0131]
人工的方式：
[0132]
参照图3e所示，可将人工选取的白天图像样本r1、r2、r3以及r4中的特征点与三维点云模型a和/或三维点云模型b中对应的点云进行关联；并将人工选取的夜晚图像样本s1、s2、s3以及s4中的特征点与三维点云模型a和/或三维点云模型b中对应的点云进行关联，从而获取了2d-3d的对应关系。
[0133]
其中，人工在白天图像样本中选取的特征点和人工在夜晚图像样本中选取的特征点通常指向目标场景中的同一特征点。指向目标场景中的同一特征点可从三维点云模型a或者三维点云模型b中恢复了三维结构的点来确定。
[0134]
参照图3e所示，空心六角星表示三维点云模型a中的点云，空心圆圈表示三维点云模型b中的点云，虚线段两端的箭头连接的空心六角形和空心圆圈为一组具有匹配关系的点云，虚线段两端的箭头连接的空心圆圈和实心圆圈为一组具有匹配关系的点云和像素点，虚线段两端的箭头连接的实心六角形和实心圆圈为一组具有匹配关系的像素点，虚线段两端的箭头连接的空心六角形和实心六角形为一组具有匹配关系的点云和像素点。
[0135]
且图3e仅示出了部分像素点与点云之间的匹配关系。
[0136]
利用ransac-icp对图3d所示的方式获取的3d-3d的对应关系进行计算，或者，利用ransac-pnp对图3e所示的方式获取的2d-3d的对应关系进行计算，获取三维点云模型a和三维点云模型b之间的合并参数，合并参数表示为[s，r，t]，其中，s表示缩放尺度、r表示旋转参数、t表示平移参数；并根据合并参数[s，r，t]合并点三维云模型a和三维点云模型b。
[0137]
参照图3f所示，利用求解出来的合并参数[s，r，t]对三维点云模型a的各点云进行坐标系转换，并将转换后的三维点云模型a的各点云与三维点云模型b的各点云进行相应的合并操作，从而将点云模型a对齐至点云模型b中，并合并三维点云模型a和三维点云模型b中点云，得到的新的点云模型即为前述实施例中所述的目标点云模型。
[0138]
图3f中是对三维点云模型a进行坐标系转换，实际应用中，也可以根据合并参数，对三维点云模型b进行坐标系转换，将转换后的三维点云模型b合并至三维点云模型a的坐标系中。
[0139]
在实际应用中，还可以将白天图像数据库中各白天图像样本的相机位置根据合并参数，合并至三维点云模型b的坐标系，并将夜晚图像数据库中各夜晚图像样本的相机位置合并至三维点云模型b的坐标系。
[0140]
在实际应用中，可将上述获得的3d-3d的对应关系或者2d-3d的对应关系合并至目标点云模型中。参照图3g所示，空心四角星表示合并后目标点云模型中的点云，虚线段两端的箭头连接的空心四角星和实心六角星表示具有匹配关系的点云和像素点，虚线段两端的箭头连接的空心四角星和实心圆圈表示具有匹配关系的点云和像素点。图3g所示的线段即体现了上述3d-3d的对应关系或者2d-3d的对应关系。
[0141]
需要说明的是，为了减小重建后的三维点到二维图像点的重投影误差，提高目标点云模型的一致性，还可以根据图3f得到的目标点云模型中，各白天图像样本的相机位置、各夜晚图像样本的相机位置、以及各点云的位置，采用集束调整优化算法对图3f中得到的目标点云模型进行全局优化。
[0142]
以一栋建筑物为例，图4为采用本公开实施例提供的点云模型处理方法进行全局优化前和进行全局优化后分别对应的合并效果示意图，其中，图4中(a)为采用本公开实施例提供的点云模型处理方法，但未进行全局优化的合并效果示意图，图4中(b)为采用本公开实施例提供的点云模型处理方法，且进行了全局优化后的合并效果示意图。对比图4中(a)和(b)分别所示的两种情况，参照图4中(b)所示，在靠近建筑物的两侧处包含很多通过集束调整优化算法获得的新增的点云，且图4中(b)所示的点云模型的位置也根据估计结果进行了微调，使得点云模型更为精准，因此，可知采用集束调整优化算法进行全局优化后的目标点云模型中包含更多新增的点云，且优化后的点云模型的位置也更为精准，能够得到的点云模型一致性更强。
[0143]
图5为本公开一实施例提供的点云模型处理装置的结构示意图。参照图5所示，本实施例的提供的点云模型处理装置500，包括：图像提取模块501、参数计算模块502、合并模块503。
[0144]
其中，图像提取模块501，用于根据针对目标场景拍摄的第一图像集和第二图像集，获取目标图像对以及所述目标图像对对应的第一邻域图像和第二邻域图像；其中，所述第一图像集包括具有第一视觉效果的多幅第一图像；所述第二图像集包括具有第二视觉效果的多幅第二图像；所述目标图像对包括相似度满足第一条件的目标第一图像和目标第二图像；所述第一邻域图像包括所述第一图像集中与所述目标第一图像的相似度满足第二条件的图像；所述第二邻域图像包括所述第二图像集中与所述目标第二图像的相似度满足第三条件的图像。
[0145]
参数计算模块502，用于根据所述目标图像对、所述第一邻域图像、所述第二邻域图像、第一点云模型和第二点云模型之间的关系，获取合并参数；其中，所述第一点云模型是预先根据所述第一图像集重建的三维点云模型；所述第二点云模型是预先根据所述第二图像集重建的三维点云模型。
[0146]
合并模块503，用于根据所述合并参数，对所述第一点云模型和所述第二点云模型进行合并，获取目标点云模型。
[0147]
在一些可能的设计中，图像提取模块501，具体用于将所述第一图像集和所述第二图像集输入至预先训练好的图像检索模型中，获取所述图像检索模型输出的目标图像对、
以及所述目标图像对对应的第一邻域图像和第二邻域图像。
[0148]
在一些可能的设计中，参数计算模块502，具体用于根据第二匹配关系、所述第一邻域图像对应的相机位置，进行特征三角化处理，获取第三点云模型；其中，所述第二匹配关系包括所述目标第一图像与所述第一邻域图像两者之间的像素点匹配关系，所述第三点云模型与所述第一点云模型的坐标系相同且尺度相同；根据第三匹配关系及所述第二邻域图像对应的相机位置，进行特征三角化处理，获取第四点云模型；其中，所述第三匹配关系包括所述目标第二图像与所述第二邻域图像两者之间的像素点匹配关系，所述第四点云模型与所述第二点云模型的坐标系相同且尺度相同；根据所述第三点云模型包括的点云与所述第四点云模型包括的点云之间的第四匹配关系，获取所述合并参数。
[0149]
在一些可能的设计中，所述第二匹配关系和所述第三匹配关系均是根据第一匹配关系获得的，其中，所述第一匹配关系为所述目标图像对包括的目标第一图像和目标第二图像之间的像素点匹配关系。
[0150]
在一些可能的设计中，参数计算模块502，具体用于根据第一匹配关系、第二匹配关系、第三匹配关系、第五匹配关系以及第六匹配关系，获取所述第四匹配关系，其中，所述第五匹配关系为所述第一邻域图像中的像素点与所述第三点云模型中的点云之间的匹配关系，所述第六匹配关系为所述第二邻域图像中的像素点与所述第四点云模型中的点云之间的匹配关系；根据所述第四匹配关系包含的各点云在相应坐标系中的位置，获取所述合并参数。
[0151]
在一些可能的设计中，参数计算模块502，具体用于根据所述第四匹配关系以及所述第四匹配关系包含的各点云在相应坐标系中的位置，采用基于随机采样一致性的迭代最近邻算法，获取所述合并参数。
[0152]
在一些可能的设计中，合并模块503，还用于根据所述合并参数，对所述第一点云模型和所述第二点云模型进行合并，获取目标点云模型之后，将所述第四匹配关系，合并至所述目标点云模型中。
[0153]
在一些可能的设计中，参数计算模块502，具体用于获取预先标注的所述目标场景中的特征点分别在所述目标图像对、所述第一邻域图像以及所述第二邻域图像中对应的目标像素点、及预先标注的所述特征点分别在所述第一点云模型和所述第二点云模型中对应的点云；根据所述特征点对应的目标像素点及目标点云，获取所述合并参数。
[0154]
在一些可能的设计中，参数计算模块502，具体用于根据各所述目标像素点在所属图像中的位置，及所述目标点云在所属点云模型中的位置，采用基于随机采样一致性的pnp算法，获取所述合并参数。
[0155]
在一些可能的设计中，合并模块503，还用于所述根据所述合并参数，对所述第一点云模型和所述第二点云模型进行合并，获取目标点云模型之后，将所述特征点、所述目标像素点以及所述目标点云三者之间的对应关系，合并至所述目标点云模型中。
[0156]
在一些可能的设计中，合并模块503，还用于根据所述合并参数，将所述第一图像集中各第一图像的相机位置以及所述第二图像集中各第二图像的相机位置合并至所述目标点云模型中。
[0157]
在一些可能的设计中，点云模型处理装置500，还包括：点云模型优化模块504。其中，点云模型优化模块504，用于根据集束调整优化算法，对所述目标点云模型中各所述第
一图像的相机位置、各所述第二图像的新的相机位置以及各点云的位置进行最大似然估计，获取估计结果；根据所述估计结果，对所述目标点云模型中各所述第一图像的相机位置、各所述第二图像的相机位置以及各点云的位置分别进行调整。
[0158]
本实施例提供的点云模型处理装置能够用于执行前述任一方法实施例的技术方案，其实现原理以及技术效果类似，可参照前述实施例的描述，此处不再赘述。
[0159]
图6为本公开一实施例提供的电子设备的结构示意图。参照图6所示，本实施例提供的电子设备600，包括：存储器601和处理器602。
[0160]
其中，存储器601可以是独立的物理单元，与处理器602可以通过总线603连接。存储器601、处理器602也可以集成在一起，通过硬件实现等。
[0161]
存储器601用于存储程序指令，处理器602调用该程序指令，执行以上任一方法实施例的操作。
[0162]
可选地，当上述实施例的方法中的部分或全部通过软件实现时，上述电子设备600也可以只包括处理器602。用于存储程序的存储器601位于电子设备600之外，处理器602通过电路/电线与存储器连接，用于读取并执行存储器中存储的程序。
[0163]
处理器602可以是中央处理器(central processing unit，cpu)，网络处理器(network processor，np)或者cpu和np的组合。
[0164]
处理器602还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)，现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)或其任意组合。
[0165]
存储器601可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储器也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；存储器还可以包括上述种类的存储器的组合。
[0166]
本公开还提供一种计算机可读存储介质，计算机可读存储介质中包括计算机程序指令，所述计算机程序指令在被电子设备的至少一个处理器执行时，执行以上任一方法实施例的技术方案。
[0167]
本公开还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，所述电子设备的至少一个处理器可以从所述可读存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得所述电子设备执行如上任一方法实施例的技术方案。
[0168]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0169]
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。