一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

构建建筑场景语义地图的方法、装置及储存介质与流程

2022-02-19 02:14:26 来源:中国专利 TAG:


1.本发明涉及建筑场景语义地图的构建方法技术领域。


背景技术:

2.语义地图是目前机器人领域非常热门的话题,语义地图可以让机器人真正地去理解它周围的环境,根据周围环境的情况自主地做出决策和行动,而不仅仅只是依赖人类提前设定好的模式和算法。
3.例如从前的机器人只是靠传感器检测到旁边有障碍物,从而机械地躲避开障碍物。有了语义地图后,机器人可以知道旁边的障碍物是人还是桌子,从而做出不同的反应,如果是人的话就给出一个提醒,为了安全,等人离开后再继续执行任务;如果是桌子就直接绕开。
4.现在的语义地图技术大多是基于深度学习和点云处理算法的结合,此类方法的算法稳定性差、计算量大,硬件成本高,可以说这类的方法还不够成熟,离真正的落地还有一定距离。
5.建筑场景都是基于bim来建造的,虽然建造的实际尺寸和预先设计的尺寸会存在一定的偏差,但是只要是符合建筑规范的建造,这种偏差不会太大,可以保证在是一定范围内的。


技术实现要素:

6.本发明提供一种构建建筑场景语义地图的方法、装置及存储介质,以至少解决现有技术中的一个或多个问题。
7.第一方面,本发明实施例提供了一种构建建筑场景语义地图的方法,包括对建筑空间进行三维重建,对三维重建出来的点云进行点云分割,对分割出的每种形状的点云进行特征求取和记录;提取窗或门的信息;对齐建筑模型与点云模型的坐标系进行语义匹配,最后进行语义标注形成点云语义地图或栅格化的语义地图。
8.结合构建建筑场景语义地图的方法实施例,所述的对建筑空间进行三维重建,是指利用3d相机、其它可以获取点云数据的传感器或者扫描装置扫描收集整个房间的点云数据。作为可实现的方法之一,采用六自由度机械臂,机械臂末端固定3d相机,3d相机用来实时捕捉点云数据;或者利用可实现的方法之二,用一个轮式移动机器人搭载方法一中的硬件平台来进行更大尺度(整个房间) 的点云数据收集。
9.作为可实现的方法之一,扫描收集整个房间的点云数据进行三维重建,还包括如下步骤:
10.a.为了降低计算量,对扫描的点云利用体素滤波器进行降采样,降低原始数据量;
11.b.把扫描到的点云从扫描装置坐标系转换到机器人手臂基座坐标系,为点云拼接做准备;
12.c.再次对点云数据进行单通滤波和离群点滤波,过滤掉一些噪声和离群点;
13.d.当机器人手臂运动到另外一个临近点,再次捕捉点云,重复a-c的工作,并对之前采集的点云在机器人手臂坐标系下进行拼接;
14.e.当把可达范围内的点云全部扫描、拼接完毕后,三维重建工作结束。
15.本专利所述的“临近点”,是指机器人手臂相邻的两个停留点,两帧点云可以有部分的重合,能够根据坐标关系拼接在一起就行,具体临近的程度依据相机或扫描仪器的视角大小。
16.作为可实现的方法之二,用一个轮式移动机器人搭载方法一中的硬件平台来进行更大尺度(整个房间)的点云数据收集,还包括如下步骤:
17.1)当机械臂扫描完目前可达范围内的所有点云后,底盘带着机械臂移动到临近的位置进行下一次机械臂扫描,重复方法一所述的a-e的工作;
18.2)扫描完后,再次对点云进行更大尺度的拼接,拼接的方法是根据移动底盘在房间内的定位,先把所有点云转到房间坐标系,基于房间坐标系的底盘定位对点云进行粗配准,再用迭代最近点法(icp)进行精配准,配准后进行拼接;
19.3)当移动机器人带着机械臂扫描完整个房间的点云后,三维重建结束。
20.构建建筑场景语义地图的方法实施例,所述的对三维重建出来的点云进行点云分割,包括:
21.a.对于三维重建出来的点云,运用随机采样一致性(ransac)的算法来进行分割,每次根据需要分割出不同的形状;
22.b.对所有分割出来的点云单元进行离群点滤波,去除多余的噪声。
23.建筑里面常见的形状有平面、圆柱体等等,例如墙、房梁、方形柱子都是由一个或者若干个平面构成,管道或者圆柱子都是由圆柱体构成。因此可以把三维重建出的点云数据分割为常见的若干个平面和若干个圆柱体,当然根据需要也可以分割出其他形状。对于圆柱体,求出圆柱体的原点三维坐标(可以选取某个圆面的中心点)、长度、圆面半径,并把数据记录下来。建筑里的平面都是横平竖直的,但不一定是矩形,可能是若干个矩形拼接成的图形,所以对分分割出的所有平面都拆解成为一个或者若干个矩形或者近似矩形的平面。对于拆解后的每一个矩形进行法向量估计,并且找到矩形的四个顶点坐标并记录下来。对于其他形状的点云进行特征求取与记录。依此方法,所有的点云数据都可分割处理完毕。
24.本发明对于构建建筑场景语义地图的方法实施例,所述的提取窗户或者门的信息,包括:
25.a.对于提取出的平面点云进行轮廓提取;
26.b.对所有提取出的轮廓进行欧式聚类;
27.c.对聚类结果进行离群点滤波消除其噪声;
28.d.挑选出被包含在大的平面轮廓范围内的小的矩形轮廓,并记录其四个顶点的坐标,标记为镶嵌式组件。
29.本发明对于构建建筑场景语义地图的方法实施例,所述的对齐建筑模型与点云模型的坐标系进行语义匹配,包括:
30.a.选择房间内的某个顶角,对齐建筑模型与点云模型的坐标系;
31.b.遍历所有点云分割出来的矩形平面,与建筑模型里的矩形平面进行两两匹配;可实现的匹配的原则之一是:两个矩形的四个顶点坐标的欧式距离都小于给定阈值,两个
矩形法向量的角度差小于给定阈值;
32.c.遍历所有镶嵌式组件,与建筑模型里的矩形平面进行匹配;可实现的匹配的原则之一是与b一样;
33.d.遍历所有点云分割出来的圆柱体,与建筑模型里的圆柱体进行两两匹配;可实现的匹配的原则之一是:两个圆柱体原点坐标的欧式距离小于给定阈值,两个圆柱体高度差小于给定阈值,两个圆柱体的圆面半径差小于给定阈值;
34.e.遍历其他形状的点云,与建筑模型进行匹配,至所有分割出来的点云匹配完毕。
35.给定阈值一般是指建筑设计模型与实际的最大容忍误差值。本专利所述的给定阈值可依据本领域技术人员实施本专利提供的技术方案和预期结果进行选择。
36.本发明对于构建建筑场景语义地图的方法实施例,所述的语义标注形成点云语义地图,包括:
37.a.对建筑模型里面与点云匹配上的形状进行查询,查询其所属类别,并记录下来;
38.b.把所有与建筑模型匹配上的点云都给定一个id,然后把这块点云的坐标、尺寸及其对应的建筑模型组件的相关参数也一起记录下来;
39.c.再次加载点云模型到可视化界面的时候,根据点云的id,把这部分点云所属类别、尺寸、以及需要的相关参数,按照坐标位置全部标注在点云地图中,,这样即形成了点云语义地图。
40.本发明对于构建建筑场景语义地图的方法实施例,所述的进行语义标注形成栅格化的语义地图,是指把点云地图先栅格化后在进行可视化标注,这样即形成栅格化的语义地图。
41.本发明对于构建建筑场景语义地图的方法实施例,对于形成了点云语义地图或栅格化的语义地图后,还包括人工校验和修正步骤:
42.a.对所有自动化标注的坐标与语义信息进行人工校验,校验坐标以及匹配的准确性;
43.b.对于匹配不准确或者匹配错误或者没有匹配上的地图进行人工修正。
44.第二方面,本发明实施例提供了一种构建建筑场景语义地图的装置,包括三维重建单元,用于对建筑空间进行三维重建;点云分割单元,用于对三维重建出来的点云进行点云分割,对分割出的每种形状的点云进行特征求取和记录;提取窗或门的信息单元;语义匹配单元,用于对齐建筑模型与点云模型的坐标系进行语义匹配;语义标注单元,用于最后进行语义标注形成点云语义地图或栅格化的语义地图。
45.结合构建建筑场景语义地图的装置实施例,所述的三维重建单元,用于利用3d相机、其它可以获取点云数据的传感器或者扫描仪扫描收集整个房间的点云数据。作为可实现的方式之一,包括六自由度机械臂,所述的机械臂末端固定有3d相机,3d相机用来实时捕捉点云数据;或者利用可实现的方式之二,包括一轮式移动机器人搭载方式之一中的硬件平台,用来进行更大尺度(整个房间)的点云数据收集。
46.结合三维重建单元,利用3d相机扫描收集整个房间的点云数据,作为可实现的方式之一,包括:
47.第一单元,用于扫描点云,对扫描的点云利用体素滤波器进行降采样,降低原始数据量;
48.第二单元,用于:把扫描到的点云从扫描元件所在的坐标系转换到机器人手臂基座坐标系,为点云拼接做准备;
49.第三单元,用于再次对点云数据进行单通滤波和离群点滤波,过滤掉一些噪声和离群点;
50.第四单元,用于当机器人手臂运动到另外一个临近点时,再次捕捉点云,重复第一单元到第三单元的工作,并对之前采集的点云在机器人手臂坐标系下进行拼接;
51.第五单元,用于确定机器人手臂把可达范围内的点云全部扫描完毕。
52.结合三维重建单元,利用3d相机、其它可以获取点云数据的传感器或者扫描仪扫描收集整个房间的点云数据,作为可实现的方式之二,包括:
53.1)递进扫描单元,用于:当机械臂扫描完目前可达范围内的所有点云后,底盘带着机械臂移动到临近的位置进行下一次机械臂扫描,重复方式一所述的第一到第五单元的工作;
54.2)拼接单元,用于:扫描完后,再次对点云进行更大尺度的拼接,拼接的方法是根据移动底盘在房间内的定位,先把所有点云转到房间坐标系,基于房间坐标系的底盘定位对点云进行粗配准,再用迭代最近点法(icp)进行精配准,配准后进行拼接;
55.3)终止单元,用于确定当移动机器人带着机械臂扫描完整个房间的点云后,三维重建任务结束。
56.结合第二方面,本发明提供的构建建筑场景语义地图的装置实施例,所述的点云分割单元,包括:
57.分割单元,用于:对于三维重建出来的点云,运用随机采样一致性(ransac) 的算法来进行分割,每次根据需要分割出不同的形状;
58.去噪单元,用于对所有分割出来的点云单元进行离群点滤波,去除多余的噪声。
59.本发明对于构建建筑场景语义地图的装置实施例,所述的提取窗户或者门的信息单元,包括:
60.提取单元,用于对提取出的平面点云进行轮廓提取;
61.聚类单元,用于对所有提取出的轮廓进行欧式聚类;
62.滤波单元,用于对聚类结果进行离群点滤波消除其噪声;
63.标记单元,用于挑选出被包含在大的平面轮廓范围内的小的矩形轮廓,并记录其四个顶点的坐标,标记为镶嵌式组件。
64.本发明对于构建建筑场景语义地图的装置实施例,所述的语义匹配单元,包括:
65.确定坐标单元,用于:选择房间内的某个顶角,对齐建筑模型与点云模型的坐标系;
66.第一匹配单元,用于遍历所有点云分割出来的矩形平面,与建筑模型里的矩形平面进行两两匹配;可实现的匹配方式之一是:两个矩形的四个顶点坐标的欧式距离小于给定阈值,两个矩形法向量的角度差小于给定阈值;
67.第二匹配单元,用于遍历所有镶嵌式组件,与建筑模型里的矩形平面进行匹配;可实现的匹配方式之一是与第一匹配单元一样;
68.第三匹配单元,用于遍历所有点云分割出来的圆柱体,与建筑模型里的圆柱体进行两两匹配;可实现的匹配的方式之一是:两个圆柱体原点坐标的欧式距离小于给定阈值,
两个圆柱体高度差小于给定阈值,两个圆柱体的圆面半径差小于给定阈值;
69.第四匹配单元,用于遍历其他形状的点云,与建筑模型进行匹配,至所有分割出来的点云匹配完毕。
70.本发明对于构建建筑场景语义地图的装置实施例,所述的语义标注单元,包括:
71.查询单元,用于对建筑模型里面与点云匹配上的形状进行查询,查询其所属类别,并记录下来;
72.标注单元,用于把所有与建筑物模型匹配上的点云都给定一个id,然后把这块点云的坐标、尺寸及其对应的建筑模型组件的相关参数也一起记录下来;
73.语义形成单元,用于:再次加载点云模型到可视化界面的时候,根据点云的id,把这部分点云所属类别、尺寸、以及需要的相关参数,按照坐标位置全部标注在点云地图中,即形成点云语义地图。
74.本发明对于构建建筑场景语义地图的装置实施例,所述的语义标注单元,还包括栅格化单元,用于把点云地图先栅格化后再进行可视化标注,形成栅格化的语义地图。
75.本发明对于构建建筑场景语义地图的装置实施例,还包括人工校验和修正单元:
76.校验单元,用于对所有自动化标注的坐标与语义信息进行人工校验,校验坐标以及匹配的准确性;
77.修正单元,用于对于匹配不准确或者匹配错误或者没有匹配上的地图进行人工修正。
78.第三方面,本发明实施例提供了一种构建建筑场景语义地图的装置,包括一个或多个处理器、存储装置;存储装置,用于存储一个或多个程序;当所述的一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述第一方面中的任一所述的一种构建建筑场景语义地图的方法。
79.第四方面,本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述第一方面中任一所述的一种构建建筑场景语义地图的方法。
80.本发明的有益效果:
81.本发明的实施例,充分利用bim给的先验知识,再与扫描出的点云数据做结合来生成语义地图。这种方法简单快速,稳定性更高,可以说是超出意料之外的使用了一个简单的办法解决了一个非常困难和有巨大应用价值的问题。
82.下面结合附图对本发明的具体实施方式举例说明:
附图说明
83.图1为本专利实施例提供的构建建筑场景语义地图的装置结构框图。
84.图2为本专利实施例提供的三维重建流程图。
具体实施方式
85.此处所描述的具体实施例仅仅用于解释本专利的技术方案,而非对公开技术方案的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开技术方案相关的部分而非全部结构。
86.在更加详细地讨论示例性实施例之前应当提到的是,实施例中提到的设备部件和/模块本身的结构如果没有详细说明,为本领域技术人员根据现有公开技术可理解或市售产品。
87.1.对点云地图和占用栅格地图的解释:
88.传统的机器人地图大多数情况都是点云地图或者占用栅格地图。
89.点云地图:
90.点云是无序的带有坐标信息的点。在一个空间坐标系下,如果某个位置有点存在,那么就说明这个位置是有障碍物存在的,没有点存在即为空白区域。
91.占用栅格地图:
92.如果是二维地图,这里的栅格就是像素,如果是三维地图,这里的栅格就是体素。如果栅格被占用,说明这个栅格上是有障碍物存在的,则像素或者体素被置为1,如果没被占用,即为空白空间,则被置为0。
93.点云地图通常不方便直接用来做机器人的路径规划,所以会把所有的点栅格化后变成占用栅格地图。
94.机器人在空间里面做运动规划的时候,为了安全性考虑,规划出的路径应该在考虑最优性的同时,尽可能地远离这些被占用的栅格,以免撞到障碍物。
95.2.语义地图与点云或者栅格地图相比较:
96.语义地图可以是点云地图,也可以是占用栅格地图。只不过在这些传统地图的基础上添加了语义信息。
97.语义信息也就是不仅仅知道某个位置是否有点或者某个栅格是否被占用,同时还知道这个点是属于哪一个障碍物或者这个被占用的栅格是属于哪个障碍物。从更大的层面上来看,我可以知道某个区域连成一片的点云或者相邻一片的占用栅格是墙、是柱子、还是房梁。
98.3.语义地图在建筑机器人领域的应用解释:
99.建筑机器人是指用机械臂,或者移动底盘搭载机械臂来做机械建筑的施工的工作,这类工作可以包括喷漆、喷腻子、打磨、抹灰、贴地砖等等。
100.拿喷漆举例,机器人在一个空间里面喷漆,需要把所有的墙、天花板、柱子给喷满,但是不能喷到窗户、房梁、管道。如果只有点云地图或者占用栅格地图,就只能把不该喷的地方用报纸遮挡起来,把整个屋子喷一遍,再把报纸拿开,但是这种方法效率低下,需要很多人工的参与,不够智能。如果有了点云地图,机器人可以知道地图中,也就是它周围的环境中,哪里是墙、哪里是窗户,哪里应该喷,哪里不应该喷。这样机器人就可以在不用人协助的情况下自主地把该喷的地方喷到,不该喷的地方避过去。
101.图2为本实施例提供的三维重建流程图,对整个房间进行三维重建。
102.1.硬件平台(a或者b都可实现):
103.a.六自由度机械臂,机械臂末端固定一个3d相机,3d相机用来实时捕捉点云数据。
104.b.用一个轮式移动机器人搭载a中的硬件平台来进行更大尺度(整个房间)的点云数据收集。
105.2.对整个房间进行三维重建:
106.2.1机械臂末端带着3d相机开始扫描点云,对扫描的点云利用体素滤波器进行降
采样,降低原始数据量,为了降低计算量。
107.2.2把扫描到的点云从相机坐标系转换到机械臂基座坐标系,为点云拼接做准备,因为扫描的时候机械臂基座是固定不动的,可以作为点云拼接的基础坐标系。
108.2.3再次对点云数据进行单通滤波和离群点滤波,主要是为了过滤掉一些噪声和离群点,建筑里面的装置一般都是成块的,体积较大,不会存在小的离群点。
109.2.4机械臂运动到另外一个临近点,再次捕捉点云,重复2.1-2.3的工作,并对之前采集的点云在机械臂坐标系下进行拼接。
110.2.5当机械臂把可达范围内的点云全部扫描完毕后停止运动。
111.对于硬件平台中的b模式,当机械臂扫描完目前可达范围内的所有点云后,底盘带着机械臂移动到临近的位置进行下一次机械臂扫描,重复2.1-2.5的工作。扫描完后,再次对点云进行更大尺度的拼接,拼接的方法是根据移动底盘在房间内的定位,先把所有点云转到房间坐标系,基于房间坐标系的底盘定位对点云进行粗配准,再用迭代最近点法(icp)进行精配准,配准后进行拼接。当移动机器人带着机械臂扫描完整个房间的点云后,三维重建结束。
112.3.点云分割:
113.3.1对于三维重建出来的点云,运用随机采样一致性(ransac)的算法来进行分割,每次分割出不同的形状,建筑里面常见的形状有平面、圆柱体等等。墙、房梁、方形柱子都是由一个或者若干个平面构成。管道或者圆柱子都是由圆柱体构成。到此,把三维重建出的点云数据分割为常见的若干个平面和若干个圆柱体。当然根据需要也可以分割出其他形状。
114.建筑里的平面都是横平竖直的,但不一定是矩形,可能是若干个矩形拼接成的图形,所以对分分割出的所有平面可以都拆解成为一个或者若干个矩形或者近似矩形的平面。
115.3.2对所有分割出来的点云单元进行离群点滤波,去除多余的噪声。
116.3.3对于拆解后的每一个矩形进行法向量估计,并且找到矩形的四个顶点坐标并记录下来。
117.3.4对于圆柱体,求出圆柱体的原点三维坐标(可以选取某个圆面的中心点)、长度、圆面半径,并把数据记录下来。
118.3.5对于其他形状的点云进行特征求取与记录。
119.3.6到此为止所有的点云数据都已经分割处理完毕。
120.4.提取窗户或者门的信息:
121.由于窗户是镶嵌在墙里,而且没有点云数据的空白区域,比较特殊,需要特殊处理。
122.4.1对于提取出的平面点云进行轮廓提取。
123.4.2对所有提取出的轮廓进行欧式聚类。
124.4.3对聚类结果进行离群点滤波消除其噪声。
125.4.4挑选出被包含在大的平面轮廓范围内的小的矩形轮廓,并记录其四个顶点的坐标,标记为镶嵌式组件。
126.5.语义匹配:
127.5.1对齐建筑模型与点云模型的坐标系,可以选择房间内的某个顶角。
128.5.2遍历所有点云分割出来的矩形平面,与建筑模型里的矩形平面进行两两匹配;可实现的匹配的原则之一是:两个矩形的四个顶点坐标的欧式距离都小于给定阈值,两个矩形法向量的角度差小于给定阈值;
129.5.3遍历所有镶嵌式组件,与建筑模型里的矩形平面进行匹配,匹配的原则与5.2一样。
130.5.3遍历所有点云分割出来的圆柱体,与建筑模型里的圆柱体进行两两匹配;可实现的匹配的原则之一是:两个圆柱体原点坐标的欧式距离小于给定阈值,两个圆柱体高度差小于给定阈值,两个圆柱体的圆面半径差小于给定阈值;
131.5.4遍历其他形状的点云,与建筑模型进行匹配。
132.5.5到此,所有分割出来的点云已经匹配完毕。
133.6.语义标注:
134.6.1对建筑模型里面与点云匹配上的形状进行查询,查询其所属类别,并记录下来。
135.6.2把所有与建筑物模型匹配上的点云都给定一个id,然后把这块点云的坐标、尺寸记录下来,并且把这部分点云对应的建筑模型组件的相关参数(如建筑物的材质等相关信息)也一起记录下来。
136.6.3再次加载点云模型到可视化界面的时候,根据点云的id,把这部分点云所属类别、尺寸、材质等所需要的信息(用户也可以自行选择添加需要的信息,如建筑相关的信息,比如建筑材料的材质等),按照坐标位置全部标注在点云地图中,即形成了点云语义地图。
137.6.4也可以把点云地图先栅格化后在进行可视化标注,这样形成的是栅格化的语义地图。
138.7.人工校验和修正:
139.7.1对所有自动化标注的坐标与语义信息进行人工校验,校验坐标以及匹配的准确性。
140.7.2对于匹配不准确或者匹配错误或者没有匹配上的地图进行人工修正。
141.上述技术的实施方案,充分利用bim给的先验知识,再与扫描出的点云数据做结合生成的语义地图,简单快速,稳定性高。
142.图1为构建建筑场景语义地图的装置实施例结构框图。如图1所示,本发明提供的构建建筑场景语义地图的装置,包括三维重建单元10,用于对建筑空间进行三维重建;点云分割单元20,用于对三维重建出来的点云进行点云分割,对分割出的每种形状的点云进行特征求取和记录;提取窗或门的信息单元30;语义匹配单元40,用于对齐建筑模型与点云模型的坐标系进行语义匹配;语义标注单元50,用于最后进行语义标注形成点云语义地图或栅格化的语义地图。
143.所述的三维重建单元,用于扫描收集整个房间的点云数据。作为可实现的方式之一,包括六自由度机械臂,所述的机械臂末端固定有3d相机、其它可以获取点云数据的传感器或者扫描仪,用来实时捕捉点云数据;或者利用可实现的方式之二,包括一轮式移动机器人搭载方式之一中的硬件平台,用来进行更大尺度(整个房间)的点云数据收集。
144.结合三维重建单元,作为可实现的方式之一,包括:
145.第一单元,用于:扫描点云,对扫描的点云利用体素滤波器进行降采样,降低原始
数据量,即降低了计算量;
146.第二单元,用于:把扫描到的点云从扫描元件所在的坐标系转换到机械臂基座坐标系,为点云拼接做准备;
147.第三单元,用于再次对点云数据进行单通滤波和离群点滤波,过滤掉一些噪声和离群点;
148.第四单元,用于当机械臂机器人手臂运动到另外一个临近点时,再次捕捉点云,重复第一单元到第三单元的工作,并对之前采集的点云在机械臂坐标系下进行拼接;
149.第五单元,用于确定机械臂把可达范围内的点云全部扫描完毕,停止运动。
150.结合三维重建单元,利用3d相机扫描收集整个房间的点云数据,作为可实现的方式之二,包括:
151.1)递进扫描单元,用于:当机械臂扫描完目前可达范围内的所有点云后,底盘带着机械臂移动到临近的位置进行下一次机械臂扫描,重复方式一所述的第一到第五单元的工作;
152.2)拼接单元,用于:扫描完后,再次对点云进行更大尺度的拼接,拼接的方法是根据移动底盘在房间内的定位,先把所有点云转到房间坐标系,基于房间坐标系的底盘定位对点云进行粗配准,再用迭代最近点法(icp)进行精配准,配准后进行拼接;
153.3)终止单元,用于确定当移动机器人带着机械臂扫描完整个房间的点云后,三维重建任务结束。
154.所述的点云分割单元,包括:
155.分割单元,用于:对于三维重建出来的点云,运用随机采样一致性(ransac) 的算法来进行分割,每次根据需要分割出不同的形状;
156.去噪单元,用于对所有分割出来的点云单元进行离群点滤波,去除多余的噪声。
157.所述的提取窗户或者门的信息单元,包括:
158.提取单元,用于对提取出的平面点云进行轮廓提取;
159.聚类单元,用于对所有提取出的轮廓进行欧式聚类;
160.滤波单元,用于对聚类结果进行离群点滤波消除其噪声;
161.标记单元,用于挑选出被包含在大的平面轮廓范围内的小的矩形轮廓,并记录其四个顶点的坐标,标记为镶嵌式组件。
162.所述的语义匹配单元,包括:
163.确定坐标单元,用于对齐建筑模型与点云模型的坐标系,可以选择房间内的某个顶角;
164.第一匹配单元,用于:遍历所有点云分割出来的矩形平面,与建筑模型里的矩形平面进行两两匹配,采用的匹配方式是:两个矩形的四个顶点坐标的欧式距离小于给定阈值,两个矩形法向量的角度差小于给定阈值;
165.第二匹配单元,用于:遍历所有镶嵌式组件,与建筑模型里的矩形平面进行匹配,采用的匹配方式与第一匹配单元一样;
166.第三匹配单元,用于:遍历所有点云分割出来的圆柱体,与建筑模型里的圆柱体进行两两匹配,采用的匹配的方式是:两个圆柱体原点坐标的欧式距离小于给定阈值,两个圆柱体高度差小于给定阈值,两个圆柱体的圆面半径差小于给定阈值;
167.第四匹配单元,用于遍历其他形状的点云,与建筑模型进行匹配,至所有分割出来的点云匹配完毕。
168.所述的语义标注单元,包括:
169.查询单元,用于对建筑模型里面与点云匹配上的形状进行查询,查询其所属类别,并记录下来;
170.标注单元,用于:把所有与建筑物模型匹配上的点云都给定一个id,然后把这块点云的坐标、尺寸记录下来,并且把这部分点云对应的建筑模型组件的相关参数(如建筑物的材质等相关信息)也一起记录下来;
171.语义形成单元,用于:再次加载点云模型到可视化界面的时候,根据点云的id,把这部分点云所属类别、尺寸、材质等所需要的信息(用户也可以自行选择添加需要的信息,如建筑相关的信息,比如建筑材料的材质等),按照坐标位置全部标注在点云地图中,即形成了点云语义地图。
172.所述的语义标注单元,还包括栅格化单元,用于把点云地图先栅格化后再进行可视化标注,形成栅格化的语义地图。
173.对于构建建筑场景语义地图的装置实施例,进一步优选的实施方案,还包括人工校验和修正单元:
174.校验单元,用于对所有自动化标注的坐标与语义信息进行人工校验,校验坐标以及匹配的准确性;
175.修正单元,用于对于匹配不准确或者匹配错误或者没有匹配上的地图进行人工修正。
176.本发明对于构建建筑场景语义地图的装置各单元的功能和应用实例如上所示。
177.在一种可实现的设计中,本发明实施例还提供一种构建建筑场景语义地图的装置,包括一个或多个处理器、存储装置;存储装置,用于存储一个或多个程序;当所述的一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本发明中任意可选的一种构建建筑场景语义地图的方法。还可以包括通信接口,用于与其它设备或通信网络进行通信。
178.另一方面,本发明实施例还可提供一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述本发明中提供的任一一种构建建筑场景语义地图的方法。
179.本领域的技术人员可以理解实现上述实施例方法提供的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法中的步骤之一或其组合。
180.以上是对本发明较佳实施进行了举例说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同组合或替换,这些等同的组合或替换均包含在本技术权利要求所限定的范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献