一种机器人三维虚拟环境的更新方法及系统与流程

1.本发明涉及机器人控制技术领域，尤其涉及一种机器人三维虚拟环境的更新方法及系统。


背景技术：

2.机器人通常用于作为一个平台，用于在危险的人类不适宜进入的环境中执行复杂任务，机器人通常利用其自身携带的多个且不同类型的传感器来感知周围的工作环境，并利用传感器采集的各种数据在机器人内部来构建三维虚拟环境，并将构建的三维虚拟环境传输给远程连接的控制端，机器人操纵者可以根据远程控制端无延迟的感知机器人当前所处的工作环境。机器人在后续执行具体任务的过程中，其具体工作环境在不断的变化，且由于信号传输带宽以及机器人自身携带的处理器处理能力的限制，在初始三维虚拟环境的构建过程中，机器人通常会选择低像素的构建框架，以节约带宽和处理器资源，但在涉及到具体执行任务时，机器人需要特定区域高像素的三维虚拟环境，因此，需要一种根据任务特征对三维虚拟环境实时更新的方法。


技术实现要素：

3.根据现在技术中存在的问题，现提供一种机器人三维虚拟环境的更新方法及系统，该方法通过对待操作目标对象的特定区域重新进行构建，并实时更新机器人自身位置，从而可以确保机器人精确的完成相应的任务。
4.上述技术方案的具体内容包括：
5.一种机器人三维虚拟环境的更新方法，其中，所述机器人预先构建一空间坐标系和基于所述空间坐标系的三维虚拟环境，所述更新方法具体包括：
6.步骤s1，通过第一采集模块采集外部工作环境中所述机器人待操作的目标对象的立体深度图像；
7.步骤s2，通过第二采集模块采集所述外部工作环境的雷达扫描图像；
8.步骤s3，对所述立体深度图像、所述雷达扫描图像以及所述第一采集模块和所述第二采集模块于所述空间坐标系中的坐标信息进行合并处理，并通过点云变换得到所述外部工作环境和所述目标对象于所述空间坐标系中的第一点云数据；
9.步骤s4，根据所述机器人于所述空间坐标系中的位置信息生成一掩膜，并将所述掩膜添加入所述第一点云数据中得到第二点云数据；
10.步骤s5，根据所述第二点云数据进行体素网格转换，并根据转换结果更新所述三维虚拟环境。
11.优选地，其中，于执行所述步骤s4前，还包括：
12.步骤s40，通过第三采集模块采集所述外部工作环境中的颜色信息，并根据所述颜色信息为所述第一点云数据中对应的点添加用于表示的颜色数据信息。
13.优选地，其中，所述步骤s5中，预先构建一三维体素框架，所述第二点云数据于所
述三维体素框架中进行体素网格转换。
14.优选地，其中，所述三维体素框架中的数据存储结构为八叉树结构。
15.优选地，其中，所述三维体素框架分为高分辨率框架、粗分辨率框架和用户自定义分别率框架三种类型。
16.一种机器人三维虚拟环境的更新系统，其中，所述机器人预先构建一空间坐标系和基于所述空间坐标系的三维虚拟环境，所述更新系统具体包括：
17.第一采集模块，用于采集外部工作环境中所述机器人待操作的目标对象的立体深度图像；
18.第二采集模块，用于采集所述外部工作环境的雷达扫描图像；
19.点云变换模块，连接所述第一采集模块和所述第二采集模块，用于对所述立体深度图像、所述雷达扫描图像以及所述第一采集模块和所述第二采集模块于所述空间坐标系中的坐标信息进行合并处理，并通过点云变换得到所述外部工作环境和所述目标对象于所述空间坐标系中的第一点云数据；
20.掩膜生成模块，用于根据所述机器人于所述空间坐标系中的位置信息生成一掩膜；
21.第一处理模块，连接所述掩膜生成模块和所述点云变换模块，用于根据将所述掩膜添加入所述第一点云数据中得到第二点云数据；
22.三维转换模块，连接所述第一处理模块，用于根据所述第二点云数据进行体素网格转换，生成一转换结果
23.更新模块，连接所述三维转换模块，用于根据所述转换结果更新所述三维虚拟环境。
24.优选地，其中，还包括：
25.第三采集模块，用于采集所述外部工作环境中的颜色信息；
26.第二处理模块，连接所述第三采集模块和所述点云变换模块，用于根据所述颜色信息为所述第一点云数据中对应的点添加用于表示的颜色数据信息。
27.优选地，其中，所述三维转换模块中预先构建一三维体素框架，所述第二点云数据于所述三维体素框架中进行体素网格转换。
28.优选地，其中，所述三维体素框架中的数据存储结构为八叉树结构。
29.优选地，其中，所述三维体素框架分为高分辨率框架、粗分辨率框架和用于自定义分别率框架三种类型。
30.上述技术方案的有益效果在于：
31.提供一种机器人三维虚拟环境的更新方法，该方法通过对待操作目标对象的特定区域重新进行构建，并实时更新机器人自身位置，从而可以确保机器人精确的完成相应的任务。
附图说明
32.图1是本发明的较佳实施例中，一种机器人三维虚拟环境的更新方法流程图；
33.图2是本发明的较佳实施例中，一种机器人三维虚拟环境的更新系统结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
36.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
37.一种机器人三维虚拟环境的更新方法，如图1所示，其中，机器人预先构建一空间坐标系和基于空间坐标系的三维虚拟环境，更新方法具体包括：
38.步骤s1，通过第一采集模块采集外部工作环境中机器人待操作的目标对象的立体深度图像；
39.步骤s2，通过第二采集模块采集外部工作环境的雷达扫描图像；
40.步骤s3，对立体深度图像、雷达扫描图像以及第一采集模块和第二采集模块于空间坐标系中的坐标信息进行合并处理，并通过点云变换得到外部工作环境和目标对象于空间坐标系中的第一点云数据；
41.步骤s4，根据机器人于空间坐标系中的位置信息生成一掩膜，并将掩膜添加入第一点云数据中得到第二点云数据；
42.步骤s5，根据第二点云数据进行体素网格转换，并根据转换结果更新三维虚拟环境。
43.作为优选的实施方式，第一采集模块1为窄视野的高动态范围彩色立体摄像机，第一采集模块1可以安装在机器人的头部，机器人在躯干等驱动装置驱动机器人头部对准待操作的目标对象后，第一采集模块1开始采集待操作的目标对象及其周围区域的立体深度图像。第二采集模块2为雷达扫描仪，雷达扫描仪也位于机器人的头部，且持续的做360度的圆周转动，进而采集机器人周围360度范围内的工作环境的雷达图像。
44.在一个具体的实施例中，机器人预先构建的空间坐标系采用地心坐标系。机器人在采集到待操作目标对象的立体深度图像以及周围工作环境的雷达扫描图像后，结合地心坐标系下第一采集模块1和第二采集模块2的坐标位置，机器人对立体深度图像和雷达扫描图像的内容进行地心坐标系下的三维图像的空间点云数据变换，得到第一点云数据。同时，机器人根据自身携带的传感器的坐标位置信息，例如位于机器人四肢上传感器于地心坐标系下的坐标位置信息，再结合机器人当前的动作形态，机器人可以实时的输出自身躯干的空间坐标位置信息，机器人根据该空间坐标位置信息生成一用于表示机器人躯干位置的掩膜，并将该掩膜添加入第一点云数据中，形成第二点云数据，随后，再将第二点云数据输入voxel 3d框架中进行三维空间建模，并将建模后的数据更新机器人中现有的三维虚拟环境。
45.在本发明的较佳实施例中，于执行步骤s4前，还包括：
46.步骤s40，通过第三采集模块采集外部工作环境中的颜色信息，并根据颜色信息为第一点云数据中对应的点添加用于表示的颜色数据信息。
47.在本发明的较佳实施例中，机器人实时采集外部工作环境的视频数据和图像数
据，并将视频数据和图像数据传输至与机器人远程连接的一控制终端中，用户通过控制终端选择工作环境中的特定区域；
48.步骤s5中，预先构建一三维体素框架，第二点云数据于三维体素框架中进行体素网格转换。
49.在本发明的较佳实施例中，三维体素框架中的数据存储结构为八叉树结构。
50.具体的，在本实施例中，使用octomap开源库实现体素网格，利用八叉树数据结构来有效描述体素的占用率，八叉树结构可以存储稀疏三维数据，相对于矩阵型数据来说存储效率更佳。八叉树结构中的每个叶子节点关联与一个体素，并具有其对应的占用模型。
51.在本发明的较佳实施例中，三维体素框架分为高分辨率框架、粗分辨率框架和用户自定义分别率框架三种类型。
52.具体的，在上述实施例中，为了进行三维虚拟环境的建模，机器人使用了体素网格的集合。这些网格包含三维像素集，每个三维像素集包含占用率和颜色标记信息。根据各个任务的要求，以不同的范围和分辨率创建网格，从而在高分辨率三维环境建模与带宽和计算约束之间取得平衡。用户可以在整个30m传感器范围内采用粗分裂率处理单元进行粗体素网格的建模(0.5m分辨率)，以查看机器人周围的环境了解情况。高分辨率处理单元可以用于捕获机器人周围的局部环境(分辨率为0.05m)，例如机器人待操作的目标对象的环境。通常由用户放置在特定位置的按需关注区域提供1厘米级别的信息，并在为环境中的对象创建计划固定装置时使用。通过机器人控制终端上可用的插件面板，机器人操纵者可以主动修改每个体素网格的设置，确定在给定时间显示哪些网格，并使用3d用户界面从任意有利位置查看构建的三维虚拟场景。
53.由于体素网格在机器人控制的软件中广泛使用，因此如何在有限的带宽链路上具有更为有效的传输方式是要解决的问题。为此，将计算体素增量，以确定在给定时间内更改的所有体素的集合。用这些体素增量同步三维的分布式环境模型，从而使操纵者可以看到与机器人相同的数据，而一次仅发送少量数据。在非动态环境中，体素变化不快，因此可以通过使用体素增量节省大量带宽。
54.一种机器人三维虚拟环境的更新系统，如图2所示，其中，机器人预先构建一空间坐标系和基于空间坐标系的三维虚拟环境，更新系统具体包括：
55.第一采集模块，用于采集外部工作环境中机器人待操作的目标对象的立体深度图像；
56.第二采集模块，用于采集外部工作环境的雷达扫描图像；
57.点云变换模块，连接第一采集模块和第二采集模块，用于对立体深度图像、雷达扫描图像以及第一采集模块和第二采集模块于空间坐标系中的坐标信息进行合并处理，并通过点云变换得到外部工作环境和目标对象于空间坐标系中的第一点云数据；
58.掩膜生成模块，用于根据机器人于空间坐标系中的位置信息生成一掩膜；
59.第一处理模块，连接掩膜生成模块和点云变换模块，用于根据将掩膜添加入第一点云数据中得到第二点云数据；
60.三维转换模块，连接第一处理模块，用于根据第二点云数据进行体素网格转换，生成一转换结果
61.更新模块，连接三维转换模块，用于根据转换结果更新三维虚拟环境。
62.作为优选的实施方式，第一采集模块1为窄视野的高动态范围彩色立体摄像机，第一采集模块1可以安装在机器人的头部，机器人在躯干等驱动装置驱动机器人头部对准待操作的目标对象后，第一采集模块1开始采集待操作的目标对象及其周围区域的立体深度图像。第二采集模块2为雷达扫描仪，雷达扫描仪也位于机器人的头部，且持续的做360度的圆周转动，进而采集机器人周围360度范围内的工作环境的雷达图像。
63.在一个具体的实施例中，机器人预先构建的空间坐标系采用地心坐标系。点云变换模块3对采集到的待操作目标对象的立体深度图像以及周围工作环境的雷达扫描图像，将其结合地心坐标系下第一采集模块1和第二采集模块2的坐标位置，对立体深度图像和雷达扫描图像的内容进行地心坐标系下的三维图像的空间点云数据变换，得到第一点云数据。同时，机器人根据自身携带的传感器的坐标位置信息，例如位于机器人四肢上传感器于地心坐标系下的坐标位置信息，再结合机器人当前的动作形态，机器人可以实时的输出自身躯干的空间坐标位置信息，掩膜生成模块4根据该空间坐标位置信息生成一用于表示机器人躯干位置的掩膜，第一处理模块5将掩膜生成模块4生成的掩膜添加入第一点云数据中，形成第二点云数据，随后，三维转换模块6再对第二点云数据进行三维空间建模，并将建模后的处理结果输入更新模块7，更新模块7则用来更新机器人中现有的三维虚拟环境。
64.在本发明的较佳实施例中，还包括：
65.第三采集模块，用于采集外部工作环境中的颜色信息；
66.第二处理模块，连接第三采集模块和点云变换模块，用于根据颜色信息为第一点云数据中对应的点添加用于表示的颜色数据信息。
67.在本发明的较佳实施例中，三维转换模块中预先构建一三维体素框架，第二点云数据于三维体素框架中进行体素网格转换。
68.在本发明的较佳实施例中，三维体素框架分为高分辨率框架、粗分辨率框架和用于自定义分别率框架三种类型。
69.在本发明的较佳实施例中，三维体素框架中的数据存储结构为八叉树结构。
70.上述技术方案有益效果在于：
71.提供一种机器人三维虚拟环境的更新方法，该方法通过对待操作目标对象的特定区域重新进行构建，并实时更新机器人自身位置，从而可以确保机器人精确的完成相应的任务。
72.以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。