一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于多轨迹SLAM信息的三维重建方法和系统与流程

2023-02-02 01:07:20 来源:中国专利 TAG:

一种基于多轨迹slam信息的三维重建方法和系统
技术领域
1.本技术涉及三维重建技术领域,特别是涉及一种基于多轨迹slam信息的三维重建方法和系统。


背景技术:

2.在相关技术中,三维重建的方法包括:第一种,基于传统的无序图像组进行三维重建。然而,由于缺少图像间的时序信息,当场景中存在外观相似的重复地点、装置、纹理时,容易使部分图像注册到错误的位置,使得三维重建后的模型变形、错位。第二种,基于点云进行三维重建,多用于rgbd传感器。然而这种方法依赖轨迹的形状和点云的质量,重建速度受点云规模影响较大;此外,若场景中存在结构化重复的区域,点云对齐容易出现歧义,会影响重建模型的精度。第三种,基于单轨迹slam信息进行三维重建。该方法仅支持单次采集的单条轨迹的信息,依赖于slam算法中对采集设备与采集轨迹的信息协方差计算。因此,该方法不支持处理多次分开采集的轨迹,也不支持对从多种设备中获得的轨迹的联合因子图进行优化。
3.因此,针对上述三维重建技术中存在的问题,亟需提出有效的解决方案。


技术实现要素:

4.本技术实施例提供了一种基于多轨迹slam信息的三维重建方法和系统,以至少解决相关技术中存在的重建速度慢,重建模型准确度和精度不高,以及无法进行多轨迹三维重建的问题。
5.第一方面,本技术实施例提供了一种基于多轨迹slam信息的三维重建方法,所述方法包括:
6.获取轨迹图像,对所述图像进行特征提取和图像匹配,得到有效图像对集合,并计算对极几何,根据两个标准相机的相对位置关系从每组有效图像对中筛选出符合所述对极几何关系的内点特征匹配对集合;
7.根据每条轨迹内的有效图像对计算评估轨迹质量,选取最优轨迹作为基准轨迹,并根据所述基准轨迹的slam位姿进行三维重建,得到基准地图;
8.根据轨迹和所述基准地图之间的关联匹配信息,自定义轨迹筛选公式,根据所述轨迹筛选公式,计算选取所有轨迹中得分最高的轨迹作为待注册轨迹;
9.从所述待注册轨迹中筛选出种子图像,将所述种子图像注册到基准地图中,并通过光束法平差优化算法对所述种子图像的位姿进行优化;
10.根据种子图像在基准地图中的位姿和slam位姿,通过随机抽样一致性算法计算基准地图与slam轨迹坐标系间的相似变换,并对所述相似变化进行优化,得到最优的相似变换,并通过所述最优的相似变换将整条待注册轨迹注册到基准地图中。
11.在其中一些实施例中,所述获取轨迹图像包括:
12.通过各类设备分别采集多条slam轨迹,并提取所述slam轨迹中关键帧的图像和位
姿。
13.在其中一些实施例中,对所述图像进行图像匹配,得到有效图像对集合包括:
14.预设匹配阈值,根据所述匹配阈值对图像进行筛选匹配,若匹配数大于所述匹配阈值,则进行匹配的图像对为有效图像对。
15.在其中一些实施例中,所述根据每条轨迹内的有效图像对计算评估轨迹质量,选取最优轨迹作为基准轨迹包括:
16.根据原始轨迹数据的slam位姿信息质量,选取不同的计算评估方法,当原始数据的slam位姿信息质量较差时,通过轨迹有效图像对和图像对内部特征进行计算评估,反之,当原始数据的slam位姿质量较高时,通过原始轨迹数据的slam位姿进行计算评估。
17.在其中一些实施例中,所述通过轨迹有效图像对和图像对内部特征进行计算评估包括:
18.获取有效图像对的内点特征匹配对集合中的匹配对个数;
19.获取有效图像的相邻帧,计算图像相邻帧间的距离和slam位姿的旋转分量,根据距离和分量计算图像相邻帧关联度;
20.根据匹配对个数和相邻帧关联度,通过自定义评估函数进行轨迹质量计算,获取最优轨迹。
21.在其中一些实施例中,所述通过原始轨迹数据的slam位姿进行计算评估包括:
22.根据有效图像对的slam位姿,计算有效图像对间的转换矩阵,并分解得到slam位姿的旋转分量;
23.将所述slam位姿的旋转分量与相应的有效图像对的对极几何旋转分量进行比较,计算两者的角度差;
24.根据slam位姿的旋转分量和角度差,通过自定义评估函数计算轨迹质量,获取最优轨迹。
25.在其中一些实施例中,根据所述基准轨迹的slam位姿进行三维重建包括:
26.三角化地图点,通过光束法平差优化算法优化三角化后的地图点和所述基准轨迹的位姿,最后合并优化后的地图点。
27.在其中一些实施例中,合并地图点包括:
28.根据地图点之间的空间欧式距离、与地图点对应的图像观测间的相似度,选取合并点,通过所述合并点进行地图点合并。
29.在其中一些实施例中,轨迹和所述基准地图之间的关联匹配信息包括:
30.待选取轨迹中的所有图像与所述基准地图中的所有图像之间构成的有效图像对个数,及其对应的内点特征匹配对总数;
31.待选取轨迹中的所有图像与所述基准地图中的所有图像之间构成的有效图像对中每个图像对的内点特征匹配数集合的方差;
32.待选取轨迹中的所有图像与所述基准地图中的所有图像之间构成的有效图像对中:基准地图的图像在空间上的面积、待选取轨迹图像在空间上的面积。
33.在其中一些实施例中,从所述待注册轨迹中筛选出种子图像包括:
34.根据所述待注册轨迹的不同,选取不同的筛选方法进行种子图像筛选,具体筛选方法包括:基于图像空间分布的均匀性进行筛选,基于图像关联度进行筛选,结合空间分布
和关联度进行筛选。
35.在其中一些实施例中,基于图像空间分布的均匀性进行筛选包括:
36.将待注册轨迹按相机帧位置空间分布划分网格,并根据需要选择的数量,均匀的从每个网格中选取图像。
37.在其中一些实施例中,基于图像关联度进行筛选包括:
38.根据待注册轨迹中每个图像与基准地图中已有图像之间构成的有效图像对个数,及其对应的内点特征匹配对总数,计算待注册轨迹与基准地图间的关联度,选取关联度最高的图像。
39.在其中一些实施例中,结合空间分布和关联度进行筛选包括:
40.根据相机帧位置空间分布划分网格采样区域;
41.计算待注册轨迹与基准地图间的关联度并排序;
42.通过八叉树采样算法,依次选取每个采样区域中关联度最高的图像。
43.在其中一些实施例中,通过光束法平差优化算法对所述种子图像的位姿进行优化包括:
44.固定基准地图中的图像位姿;
45.固定种子图像中未观测到的3d点;
46.优化种子图像中观测到的地图点与种子图像的位姿。
47.在其中一些实施例中,对所述相似变化进行优化,得到最优的相似变换包括:
48.使用非线性优化和鲁棒核函数,最小化相似变换后的位姿误差,求解得到最优的相似变换。
49.在其中一些实施例中,对所述相似变化进行优化,得到最优的相似变换还包括:
50.对不同设备采集、不同算法产出的不同置信度的原始轨迹数据,通过设置不同的权重约束项计算轨迹图像的相似变换,从而得到最优相似变换。
51.第二方面,本技术实施例提供了一种基于多轨迹slam信息的三维重建系统,所述系统包括:
52.轨迹图像处理模块,用于获取轨迹图像,对所述图像进行特征提取和图像匹配,得到有效图像对集合,并计算对极几何,根据两个标准相机的相对位置关系从每组有效图像对中筛选出符合所述对极几何关系的内点特征匹配对集合;
53.基准地图构建模块,用于根据每条轨迹内的有效图像对计算评估轨迹质量,选取最优轨迹作为基准轨迹,并根据所述基准轨迹的slam位姿进行三维重建,得到基准地图;
54.轨迹注册模块,用于根据轨迹和所述基准地图之间的关联匹配信息,自定义轨迹筛选公式,根据所述轨迹筛选公式,计算选取所有轨迹中得分最高的轨迹作为待注册轨迹,
55.从所述待注册轨迹中筛选出种子图像,将所述种子图像注册到基准地图中,并通过光束法平差优化算法对所述种子图像的位姿进行优化,
56.根据种子图像在基准地图中的位姿和slam位姿,通过随机抽样一致性算法计算基准地图与slam轨迹坐标系间的相似变换,并对所述相似变化进行优化,得到最优的相似变换,并通过所述最优的相似变换将整条待注册轨迹注册到基准地图中。
57.第三方面,本技术实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实
现如上述第一方面所述的方法。
58.第四方面,本技术实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的方法。
59.相比于相关技术,本技术实施例提供的基于多轨迹slam信息的三维重建方法,获取轨迹图像,对图像进行特征提取和图像匹配,得到有效图像对集合,并计算对极几何,根据两个标准相机的相对位置关系从每组有效图像对中筛选出符合对极几何关系的内点特征匹配对集合;根据每条轨迹内的有效图像对计算评估轨迹质量,选取最优轨迹作为基准轨迹,并根据基准轨迹的slam位姿进行三维重建,得到基准地图;根据轨迹和基准地图之间的关联匹配信息,自定义轨迹筛选公式,根据轨迹筛选公式,计算选取所有轨迹中得分最高的轨迹作为待注册轨迹;从待注册轨迹中筛选出种子图像,将种子图像注册到基准地图中,并通过光束法平差优化算法对种子图像的位姿进行优化;根据种子图像在基准地图中的位姿和slam位姿,通过随机抽样一致性算法计算基准地图与slam轨迹坐标系间的相似变换,并对该相似变化进行优化,得到最优的相似变换,并通过最优的相似变换将整条待注册轨迹注册到基准地图中,解决了相关技术中存在的重建速度慢,重建模型准确度和精度不高,以及无法进行多轨迹三维重建的问题。
附图说明
60.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
61.图1是根据本技术实施例的基于多轨迹slam信息的三维重建方法的流程图;
62.图2是根据本技术实施例的基于多轨迹slam信息的三维重建系统的结构框图;
63.图3是根据本技术实施例的电子设备的内部结构示意图。
具体实施方式
64.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。基于本技术提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本技术公开的内容相关的本领域的普通技术人员而言,在本技术揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本技术公开的内容不充分。
65.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本技术所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
66.除非另作定义,本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
67.本实施例提供了一种基于多轨迹slam信息的三维重建方法,图1是根据本技术实施例的基于多轨迹slam信息的三维重建方法的流程图,如图1所示,该流程包括如下步骤:
68.步骤s101,获取轨迹图像,对图像进行特征提取和图像匹配,得到有效图像对集合,并计算对极几何,根据两个标准相机的相对位置关系从每组有效图像对中筛选出符合对极几何关系的内点特征匹配对集合;
69.优选的,本实施例中通过各类设备分别采集多条slam轨迹,并提取slam轨迹中关键帧的图像和位姿,其中,采集的轨迹包括:vislam轨迹(其图像位姿具有真实物理尺度)、vslam轨迹(其图像位姿不具有真实物理尺度),以及vslam/vislam轨迹结合传感器读数的形式,其中,传感器包括gps、蓝牙、wifi、uwb等,传感器读数包括位置及不确定度等。需要说明的是,本实施例中的图像帧的相机内参已经标定过,其参与三维重建,但不参与优化。
70.进一步地,对获取的轨迹图像进行特征提取和图像匹配,根据预设的匹配阈值对图像进行筛选匹配,若匹配数大于预设的匹配阈值,则进行匹配的图像对为有效图像对,从而获取轨迹中的有效图像对集合。计算对极几何,根据两个标准相机的相对位置关系e从每组有效图像对中筛选出符合该对极几何关系的内点特征匹配对集合m
pq
,其中,图像p和图像q为一组有效图像对。
71.步骤s102,根据每条轨迹内的有效图像对计算评估轨迹质量,选取最优轨迹作为基准轨迹,并根据基准轨迹的slam位姿进行三维重建,得到基准地图;
72.优选的,本实施例中根据步骤s101中获取的原始轨迹图像数据的slam位姿信息质量,选取不同的轨迹质量计算评估方法,从所有的轨迹中选取最优的轨迹作为基准轨迹。评估方法包括:
73.1、当原始数据的slam位姿信息质量较差时,例如,场景变动较大、光照低、部分区域纹理较低等,此时由于缺少信息辅助判断slam轨迹的质量,通过轨迹有效图像对和图像对内部特征进行计算评估。具体评估步骤如下:
74.s1:获取有效图像对的内点特征匹配对集合中的匹配对个数;
75.s2:获取有效图像的相邻帧,计算图像相邻帧间的距离和slam位姿的旋转分量,并根据距离和分量计算图像相邻帧关联度;
76.s3:根据匹配对个数和相邻帧关联度,通过自定义评估函数进行轨迹质量计算,将评估分数最高的轨迹组为基准轨迹。其中,自定义评估函数由匹配项和相邻帧关联项组成,具体地,根据平均匹配对个数计算得到匹配项分数,相邻帧关联项的分数则是根据帧间距离和图像位姿的旋转角速度计算得到,最后,在计算总评估分数时,需要对上述两项分数进行不同权重的设置和归一化操作。
77.2、当原始数据的slam位姿质量较高时,场景纹理较为丰富,此时如果继续采用第一种方法进行评估判断,那么各轨迹计算评估后的分数会很接近,无法选取最优轨迹。因此,此时通过原始轨迹数据的slam位姿进行计算评估。具体评估步骤如下:
78.s1:根据有效图像对的slam位姿,计算有效图像对间的转换矩阵,并分解得到slam位姿的旋转分量其中,visual odometry简称vo,又名slam位姿;
79.s2:将slam位姿的旋转分量与相应的有效图像对的对极几何旋转分量进行比较,计算两者的角度差,其中,epipolar geometry简称eg,又名对极几何;
80.s3:根据slam位姿的旋转分量和角度差,通过自定义评估函数计算轨迹质量,获取差异最小的轨迹作为基准轨迹。
81.需要说明的是,本实施例中的评估方法均为示例性方法,不做具体限定,还可以根据其他信息对轨迹质量进行评估计算。
82.通过上述方法挑选得到基准轨迹之后,根据基准轨迹的slam位姿进行三维重建,得到基准地图。具体的三维维重建步骤包括:三角化地图点,通过光束法平差优化算法优化三角化后的地图点和基准轨迹的位姿,最后合并优化后的地图点。优选的,本实施例中根据地图点之间的空间欧式距离、与地图点对应的图像观测间的相似度,选取合并点,通过该合并点进行地图点合并。其中,具体选取合并点的步骤如下:
83.首先,遍历基准地图中的地图点,对每个点p查找其周围一定半径内的所有地图点,组成候选集合s,集合s中的点记为点q;
84.接着,遍历p和q各自的图像观测,获取来自p的图像观测中的图像i和来自q的图像观测中的图像j,如果i和j是有效的图像匹配对,且点p在图像i中对应的特征fip,与点q在图像j中对应的特征fjq,在i,j这组图像匹配对的内点特征匹配对集合内,则p和q的合并值加1,当p和q的合并值超过预设阈值时,可将p和q进行合并。
85.需要说明的是,合并操作为常规的地图点合并方法,本实施例中不做详细说明。
86.相比于无先验(即无初始值)的三维重建,本实施例通过轨迹位姿给上述三维重建输入了较好的初始值,可更快获得建图结果,加速三维重建。此外,本实施例中的地图点合并策略,可有效避免由于slam位姿不够精确而使得优化陷入局部最优的问题,从而相比于现有技术中仅进行三角化的方法,能获得更高精度的地图。除此之外,本实施例中的三维重建均建立在图像信息上,不需要点云信息。
87.步骤s103,根据轨迹和基准地图之间的关联匹配信息,自定义轨迹筛选公式,根据轨迹筛选公式,计算选取所有轨迹中得分最高的轨迹作为待注册轨迹;
88.优选的,本实施例中根据轨迹和基准地图之间的关联匹配信息,自定义轨迹筛选公式,其中,轨迹和基准地图之间的关联匹配信息包括:
89.1、关联强度:待选取轨迹中的所有图像与基准地图中的所有图像之间构成的有效图像对个数,及其对应的内点特征匹配对总数;
90.2、匹配均匀性:待选取轨迹中的所有图像与基准地图中的所有图像之间构成的有效图像对中每个图像对的内点特征匹配数集合的方差;
91.3、空间均匀性:待选取轨迹中的所有图像与基准地图中的所有图像之间构成的有效图像对中:基准地图的图像在空间上的面积、待选取轨迹图像在空间上的面积,两者的乘
积。
92.通过上述关联信息可设置轨迹筛选公式,例如直接对关联信息进行线性加权计算,需要说明的是,该公式为示例性公式,不做具体限定。
93.最后根据计算结果筛选出得分最高的轨迹作为待注册轨迹。
94.步骤s104,从待注册轨迹中筛选出种子图像,将种子图像注册到基准地图中,并通过光束法平差优化算法对种子图像的位姿进行优化;
95.优选的,本实施例中根据实际情况下不同的待注册轨迹,选取不同的筛选方法进行种子图像筛选,具体筛选方法包括:
96.1、基于空间分布:基于图像空间分布的均匀性进行筛选。具体步骤为:将待注册轨迹按相机帧位置空间分布划分网格,并根据需要选择的数量,均匀的从每个网格中选取图像。本方法计算复杂度小,选择的图像空间分布均匀,适用于轨迹总长度与帧数较多的情况。虽然可能会选择到质量不佳的图像,但选得的均匀分布的种子图像对后续整条轨迹的注册更为有利,能提供更均匀的约束。
97.2、基于关联度:基于图像关联度进行筛选。具体步骤包括:根据待注册轨迹中每个图像与基准地图中已有图像之间构成的有效图像对个数,及其对应的内点特征匹配对总数,计算待注册轨迹与基准地图间的关联度,并排序,选取关联度最高的图像。虽然本方法计算复杂度较高,但是选到的种子图像质量较好,对下一步的图像注册更为有利,更容易获得准确的注册结果
98.3、结合空间分布和关联度:同时结合空间分布和关联度进行筛选。具体步骤包括:根据相机帧位置空间分布划分网格采样区域;根据方法2计算待注册轨迹与基准地图间的关联度并排序;通过八叉树采样等算法,依次选取每个采样区域中关联度最高的图像。本方法在保障种子空间分布均匀的情况下,能获取各区块最好的种子图像。
99.需要说明的是,本实施例中提供的筛选方法均为示例性方法,不做具体限定,还可以采用其他方法进行种子图像筛选。
100.进一步地,将种子图像注册到基准地图中,并通过光束法平差优化算法对种子图像的位姿进行优化。优选的,本实施例中在通过光束法平差优化算法对种子图像的位姿进行优化时,需要在优化过程中进行如下步骤:
101.s1、固定基准地图中的图像位姿;
102.s2、固定种子图像中未观测到的3d点;
103.s3、优化种子图像中观测到的地图点与种子图像的位姿。
104.通过上述过程,限定了优化的变量和因子图规模,从而可以避免经典三维重建中随着整个地图的规模变大而使优化时间指数型上涨的问题出现。能有效加快三维重建速度。
105.步骤s105,根据种子图像在基准地图中的位姿和slam位姿,通过随机抽样一致性算法计算基准地图与slam轨迹坐标系间的相似变换,并对相似变化进行优化,得到最优的相似变换,并通过最优的相似变换将整条待注册轨迹注册到基准地图中。
106.本实施例中根据种子图像在基准地图中的位姿和slam位姿,通过随机抽样一致性算法计算基准地图与slam轨迹坐标系间的相似变换,并将其作为待优化值,使用非线性优化和鲁棒核函数,最小化相似变换后的位姿误差,求解得到最优的相似变换。
107.优选的,本实施例中会对不同设备采集、不同算法产出的不同置信度的原始轨迹数据,通过设置不同的权重约束项计算轨迹图像的相似变换,从而得到最优相似变换。例如,每张图像的误差项定义为:(slam轨迹位置-经过相似变换的地图位置)*该slam轨迹的数据置信度*slam轨迹质量的权重 (传感器1提供的位置-经过相似变换的地图位置)*该位置传感器1提供的数据置信度*传感器1的不确定度权重 (传感器2提供的位置-经过相似变换的地图位置)*该位置传感器2提供的数据置信度*传感器2的不确定度权重。其中,该位置是指图像拍摄的位置。此外,传感器中“经过相似变换的地图位置”具体是指:预先将每个传感器x提供的位置对齐到slam轨迹的坐标系下,然后将传感器x在slam轨迹坐标系下的位置进行相似变换后,得到的基准地图坐标系下的数据位置。
108.需要说明的是,本实施例中的不同设备采集的不同置信度的原始轨迹数据包括:无人机、移动设备拍摄的图像附带gps信息,一些多传感器组合硬件附带的来自蓝牙、wi-fi、uwb、轮速计等的位置信息。
109.本实施例充分考虑了轨迹内帧间连续性和一致性信息,保障了变换的正确性,优于现有技术中的独立图像注册。此外,本实施还支持任意设备多轨迹的联合三维重建,相比于单轨迹三维重建,使用范围更广。
110.通过上述步骤s101至步骤s105,本实施例基于多轨迹slam信息进行三维重建,解决了相关技术中存在的重建速度慢,重建模型准确度和精度不高,以及无法进行多轨迹三维重建的问题,提高了重建速度、重建模型的准确度和精度,还扩大了使用范围。
111.需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
112.本实施例还提供了一种基于多轨迹slam信息的三维重建系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
113.图2是根据本技术实施例的基于多轨迹slam信息的三维重建系统的结构框图,如图2所示,该系统包括轨迹图像处理模块21、基准地图构建模块22和轨迹注册模块23:
114.轨迹图像处理模块21,用于获取轨迹图像,对图像进行特征提取和图像匹配,得到有效图像对集合,并计算对极几何,根据两个标准相机的相对位置关系从每组有效图像对中筛选出符合对极几何关系的内点特征匹配对集合;基准地图构建模块22,用于根据每条轨迹内的有效图像对计算评估轨迹质量,选取最优轨迹作为基准轨迹,并根据基准轨迹的slam位姿进行三维重建,得到基准地图;轨迹注册模块23,用于根据轨迹和基准地图之间的关联匹配信息,自定义轨迹筛选公式,根据轨迹筛选公式,计算选取所有轨迹中得分最高的轨迹作为待注册轨迹,从待注册轨迹中筛选出种子图像,将种子图像注册到基准地图中,并通过光束法平差优化算法对种子图像的位姿进行优化,根据种子图像在基准地图中的位姿和slam位姿,通过随机抽样一致性算法计算基准地图与slam轨迹坐标系间的相似变换,并对相似变化进行优化,得到最优的相似变换,并通过最优的相似变换将整条待注册轨迹注册到基准地图中。
115.通过上述系统,本实施例基于多轨迹slam信息进行三维重建,解决了相关技术中
存在的重建速度慢,重建模型准确度和精度不高,以及无法进行多轨迹三维重建的问题,提高了重建速度、重建模型的准确度和精度,还扩大了使用范围。
116.需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
117.此外,需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
118.本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
119.可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
120.另外,结合上述实施例中的基于多轨迹slam信息的三维重建方法,本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于多轨迹slam信息的三维重建方法。
121.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多轨迹slam信息的三维重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
122.在一个实施例中,图3是根据本技术实施例的电子设备的内部结构示意图,如图3所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种基于多轨迹slam信息的三维重建方法,数据库用于存储数据。
123.本领域技术人员可以理解,图3中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
124.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom
(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
125.本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
126.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献