一种未知空间探索系统、方法、装置、设备及介质与流程

1.本发明涉及未知空间探索技术领域，尤其涉及一种未知空间探索系统、方法、装置、设备及介质。


背景技术：

2.在面向未知空间，例如，矿井、管道、隧道等场景时，这里视线较差、通信不畅、难以进入、地形莫测。在军事层面上，洞穴和隧道对军事和反恐行动的威胁极大，可以规避现代军事的空中力量、炮兵以及跟踪能力。该环境往往四通八达，可能暗藏恐怖分子的武器、弹药，并通过隧道网络发动袭击，造成极大的社会安全威胁。更重要的是，随着国家和社会城市化进程的发展，地铁、隧道、地下管道等未知空间密布，一旦被敌对势力、恐怖分子等掌握，将会造成极大的损失。而在民用领域未知空间尤其是地下未知空间，地下设施对社会安全的作用愈发重要。由于城市发展的立体延伸，我国新兴城市不仅仅在地上面积范围上不断扩张，地下网络也在不断延伸，地铁、隧道、地下管道等空间密布，且存在工程图纸遗失、图纸与实际不符的情况。若通过人工测量的方式进行图纸的修正、补充，将耗费极大的人力、时间以及财力。且在地下空间缺乏gnss信号，传统依赖gnss定位的测量方案无法实施。一旦发生地震、地下塌方等事故造成人员伤亡，将需要组织大量人员在未知环境进行人员的搜救，并存在塌方进一步发展的可能性，危险性极大。
3.目前，在进行未知空间探索时，一般是关于单机器人探索系统，在对未知空间进行探索时，仅仅只依靠一个或者一种机器人平台往往达不到我们想要的效果。如仅仅使用无人机系统，无人机系统承载计算和飞行的任务，耗电量大，续航能力较差，无法对规模较大的未知空间进行大的范围的探索和建图。再比如说仅仅使用地面机器人系统，一旦被较低的障碍物挡住，就无法获得对未知空间的完整的信息，达不到我们想要的效果。


技术实现要素：

4.本发明实施例提供了一种未知空间探索系统、方法、装置、设备及介质，用以解决现有技术中仅使用无人机系统，续航能力较差，无法对规模较大的未知空间进行大的范围的探索和建图的问题以及仅使用地面机器人系统，一旦被较低的障碍物挡住，就无法获得对未知空间的完整的信息的问题。
5.本发明实施例提供了一种未知空间探索系统，所述系统包括：无人机、地面机器人；所述地面机器人上安装有控制设备，所述无人机上安装有激光雷达、相机和惯性传感器；
6.所述控制设备，用于获取并根据所述激光雷达、相机和惯性传感器采集到的信息，对未知空间进行建图定位，确定目标探索路径；
7.所述控制设备，还用于若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空
间区域探索。
8.进一步地，所述控制设备，具体用于获取并根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息；根据所述无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径。
9.进一步地，所述控制设备，具体用于根据相机采集到的信息识别探索区域内是否存在目标物体；若存在，基于激光雷达采集到的信息确定所述目标物体的位置信息。
10.进一步地，所述控制设备，具体用于以所述无人机的位置为中心，在周围构建一个空间区域并在里面随机撒点，滤除所述目标物体占据的点，以所述无人机的位置为起点，连接保留的点构成rrg地图，使用dijkstra算法搜索可行的路径，通过探索增益来评价可行的路径，决策出无碰撞路径进行平滑处理，得到目标探索路径。
11.进一步地，所述控制设备，具体用于在地面机器人探索阶段，采用dwa算法来进行动态避障和局部路径运动控制；在无人机探索阶段，通过无人机的动态避障算法躲避障碍物。
12.进一步地，在地面机器人探索阶段，无人机位于所述地面机器人的机器背上，在无人机探索阶段，所述控制设备，用于控制所述地面机器人位置固定，记录所述地面机器人位置固定时所述无人机的初始位姿，当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
13.进一步地，所述控制设备，用于当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定着陆区域的位置信息，在识别到着陆区域后根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
14.另一方面，本发明实施例提供了一种未知空间探索方法，所述方法包括：
15.安装在地面机器人上的控制设备获取安装在无人机上的激光雷达、相机和惯性传感器采集到的信息；
16.根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径；
17.若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区域探索。
18.进一步地，根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径包括：
19.根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息；根据所述无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径。
20.进一步地，根据所述激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息包括：
21.根据相机采集到的信息识别探索区域内是否存在目标物体；若存在，基于激光雷
达采集到的信息确定所述目标物体的位置信息。
22.进一步地，根据所述无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径包括：
23.以所述无人机的位置为中心，在周围构建一个空间区域并在里面随机撒点，滤除所述目标物体占据的点，以所述无人机的位置为起点，连接保留的点构成rrg地图，使用dijkstra算法搜索可行的路径，通过探索增益来评价可行的路径，决策出无碰撞路径进行平滑处理，得到目标探索路径。
24.进一步地，所述方法还包括：
25.在无人机探索阶段，控制所述地面机器人位置固定，记录所述地面机器人位置固定时所述无人机的初始位姿，当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
26.再一方面，本发明实施例提供了一种未知空间探索装置，所述装置包括：
27.获取模块，用于获取安装在无人机上的激光雷达、相机和惯性传感器采集到的信息；
28.确定模块，用于根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径；
29.控制模块，用于若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区域探索。
30.所述确定模块，具体用于根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息；根据所述无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径。
31.所述确定模块，具体用于根据相机采集到的信息识别探索区域内是否存在目标物体；若存在，基于激光雷达采集到的信息确定所述目标物体的位置信息。
32.所述确定模块，具体用于以所述无人机的位置为中心，在周围构建一个空间区域并在里面随机撒点，滤除所述目标物体占据的点，以所述无人机的位置为起点，连接保留的点构成rrg地图，使用dijkstra算法搜索可行的路径，通过探索增益来评价可行的路径，决策出无碰撞路径进行平滑处理，得到目标探索路径。
33.所述控制模块，还用于在无人机探索阶段，控制所述地面机器人位置固定，记录所述地面机器人位置固定时所述无人机的初始位姿，当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
34.再一方面，本发明实施例提供了一种控制设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
35.存储器，用于存放计算机程序；
36.处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
37.再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
38.本发明实施例提供了一种未知空间探索系统、方法、装置、设备及介质，所述系统包括：无人机、地面机器人；所述地面机器人上安装有控制设备，所述无人机上安装有激光雷达、相机和惯性传感器；所述控制设备，用于获取并根据所述激光雷达、相机和惯性传感器采集到的信息，对未知空间进行建图定位，确定目标探索路径；所述控制设备，还用于若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区域探索。
39.上述的技术方案具有如下优点或有益效果：
40.由于在本发明实施例中，根据无人机上安装的激光雷达、相机和惯性传感器采集到的信息，对未知空间进行建图定位，确定目标探索路径。若判断目标探索路径满足地面机器人的运动学约束，控制地面机器人根据所述目标探索路径进行地面区域探索，若判断目标探索路径不满足地面机器人的运动学约束，控制无人机根据目标探索路径进行空间区域探索。并且本发明实施例由地面机器人上安装的控制设备实现控制，减少了无人机的计算能耗，避免了仅使用无人机系统，续航能力较差，无法对规模较大的未知空间进行大的范围的探索和建图的问题以及仅使用地面机器人系统，一旦被较低的障碍物挡住，就无法获得对未知空间的完整的信息的问题。结合地面机器人和无人机共同完成未知空间探索，提高了空间探索的准确性。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明实施例提供的未知空间探索系统结构示意图；
43.图2为本发明实施例提供的未知空间自主探索系统的硬件结构框图和实物示意图；
44.图3为本发明实施例提供的未知空间自主探索系统的软件结构框图；
45.图4为本发明实施例提供的层级式探索流程图；
46.图5为本发明实施例提供的未知空间自主探索仿真示意图；
47.图6为本发明实施例提供的未知空间自主探索另一仿真示意图；
48.图7为本发明实施例提供的未知空间探索过程示意图；
49.图8为本发明实施例提供的未知空间探索装置结构示意图；
50.图9为本发明实施例提供的控制设备结构示意图。
具体实施方式
51.下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在
没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
52.图1为本发明实施例提供的未知空间探索系统结构示意图，所述系统包括：无人机11、地面机器人12；所述地面机器人12上安装有控制设备13，所述无人机11上安装有激光雷达14、相机15和惯性传感器16；
53.所述控制设备13，用于获取并根据所述激光雷达14、相机15和惯性传感器16采集到的信息，对未知空间进行建图定位，确定目标探索路径；
54.所述控制设备13，还用于若判断所述目标探索路径满足所述地面机器人12的运动学约束，控制所述地面机器人12根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人12的运动学约束，控制所述无人机11根据所述目标探索路径进行空间区域探索。
55.本发明实施例中，采用无人机和地面机器人共同完成对未知空间的探索。并且在地面机器人上安装有控制设备，无人机上安装有激光雷达、相机和惯性传感器。激光雷达、相机和惯性传感器采集信息并发送至控制设备，控制设备对激光雷达、相机和惯性传感器采集到的信息进行分析处理，并根据分析处理结果对地面机器人和无人机进行运动控制。
56.具体的，控制设备获取并根据激光雷达、相机和惯性传感器采集到的信息，对未知空间进行建图定位，确定目标探索路径。并判断目标探索路径是否满足地面机器人的运动学约束，如果满足，则控制设备控制地面机器人根据目标探索路径进行地面区域探索，如果不满足，则控制设备控制无人机根据所述目标探索路径进行空间区域探索。
57.本发明实施例由地面机器人上安装的控制设备实现控制，减少了无人机的计算能耗，避免了仅使用无人机系统，续航能力较差，无法对规模较大的未知空间进行大的范围的探索和建图的问题以及仅使用地面机器人系统，一旦被较低的障碍物挡住，就无法获得对未知空间的完整的信息的问题。结合地面机器人和无人机共同完成未知空间探索，提高了空间探索的准确性。
58.本发明实施例中，所述控制设备，具体用于获取并根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息；根据所述无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径。
59.控制设备获取并根据激光雷达、相机和惯性传感器采集到的信息确定无人机的位姿信息。并根据激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息。需要说明的是，控制设备可以仅根据相机采集到的图像信息确定探索方向中的目标物体的位置信息，为了使确定目标物体的位置信息更准确，可以根据相机采集到的图像信息识别探索区域内是否存在目标物体；若存在，基于激光雷达采集到的信息确定目标物体的位置信息。最后根据无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径。
60.控制设备在确定目标探索路径时，控制设备，具体用于以所述无人机的位置为中心，在周围构建一个空间区域并在里面随机撒点，滤除所述目标物体占据的点，以所述无人机的位置为起点，连接保留的点构成rrg地图，使用dijkstra算法搜索可行的路径，通过探索增益来评价可行的路径，决策出无碰撞路径进行平滑处理，得到目标探索路径。
61.控制设备根据激光雷达、相机和惯性传感器采集到的信息确定无人机的位姿信
息，并以所述无人机的位置为中心，在周围构建一个空间区域并在里面随机撒点。因为确定出了探索方向中的目标物体的位置信息，因此可以根据空间位置判断哪些点是目标物体占据的点，然后滤除目标物体占据的点。以无人机的位置为起点，连接保留的点构成rrg地图，用dijkstra算法搜索可行的路径，再通过探索增益来评价可行的路径，决策出无碰撞路径进行平滑处理，得到目标探索路径。
62.控制设备，具体用于在地面机器人探索阶段，采用dwa算法来进行动态避障和局部路径运动控制；在无人机探索阶段，通过无人机的动态避障算法躲避障碍物。
63.本发明实施例中，在地面机器人探索阶段，无人机位于所述地面机器人的机器背上，在无人机探索阶段，所述控制设备，用于控制所述地面机器人位置固定，记录所述地面机器人位置固定时所述无人机的初始位姿，当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
64.所述控制设备，用于当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定着陆区域的位置信息，在识别到着陆区域后根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
65.本发明实施例提供的未知空间探索系统的硬件和软件框图如附图所示，整个系统的算法部分在地面机器人(机器狗)的控制设备(机载电脑)上运行，使得整个未知空间探索系统拥有更加充足的计算资源和更长的续航时间，能够在未知空间中实现自主感知，自主决策，自主导航和探索的功能。
66.图2为本发明实施例提供的未知空间自主探索系统的硬件结构框图和实物示意图。图3为本发明实施例提供的未知空间自主探索系统的软件结构框图。图4为本发明实施例提供的层级式探索流程图。图5为本发明实施例提供的未知空间自主探索仿真示意图。图6为本发明实施例提供的未知空间自主探索另一仿真示意图。
67.本发明实施例所使用的层级式探索步骤和概述如下：
68.步骤一：机器狗搭载无人机启动，调用探索模块，开始探索未知环境空间。同时调用slam模块建图定位。
69.步骤二：对获得的可通行区域进行判断，如果该区域满足机器狗的运动学约束，则机器狗继续探索，如果不满足，则触发无人机去探索这一区域剩下的空间。设定机器狗的尺寸和机器狗可跨越障碍物的高度，如果检测障碍物的高度大于机器狗可跨越能力或者该区域尺寸小于机器狗设定尺寸，则该区域不满足机器狗的运动约束，触发无人机探索流程。
70.步骤三：无人机获得触发信号后起飞进行探索，直至这一区域探索完毕或者仅剩余返回电量时停止探索并返回。
71.步骤四：返回到达机器狗附近位置时自动触发自主着陆模块，自动降落到机器狗狗背上。
72.步骤五：如果该区域探索完成，则机器狗搭载无人机到下一区域后重复执行步骤一和步骤二，如果该区域未探索完成。若无人机电量不足，机器狗则直接去探索其他可通行区域，直到整个探索系统的电量只剩下返回电量时停止探索并返回。
73.层级式探索方式：由于采用的是无人机和机器狗两种完全不同的机器人平台，因此在以往的协同探索工作中，往往需要为两个不同的机器人平台加装位姿估计系统，这大
大的增加了整个协同系统的成本，也使得整个系统更加复杂。而本系统采用的是层级式的探索方式，所以在同一时刻内，系统仅需要控制一个机器人平台。在本系统中，我们采用无人机的位姿估计，同时借助位姿同步模块，这保证了当机器狗搭载无人机时，机器狗所需要的位置和朝向都可以由无人机的位姿估计模块来提供。而无人机在起飞探索时也仅需要记录起始的状态，因此无人机的位姿只需要其自带的位姿估计模块提供。综上所述，采用层级式探索的方法，使得在全局地图中我们只需要记录以无人机和核心的体坐标系的位置变化。解决了不同的机器人平台之间的协同控制问题。同时，该探索方式也结合了无人机平台和机器狗平台之间的各自的优点，使得整个探索系统能够获得更好的建图效果和更长的续航时间。仿真实验示意图验证协同自主探索系统的探索过程。
74.本发明所使用的技术模块如下：
75.slam模块：本协同探索系统通过硬件触发将激光雷达、相机和imu(惯性传感器，姿态(角度加速度角速度))的数据时间戳同步在一个时钟下，使得具有相同时间戳的传感器数据对应于当前的同一事件，为未知空间探索提供实时精确的传感器数据信息。处理器利用获取的机载传感器的数据信息，采用更加实时精准和鲁棒的激光雷达、相机、惯导的紧耦合slam框架，构建未知环境的三维地图并为自主探索模块提供精确的机器人位置姿态信息。
76.目标识别模块：使用预先训练识别特定目标的模型，本系统进行自主探索的过程中对特征目标进行识别、定位，并将其标注在构建的三维点云地图中。针对周围动态障碍物(如行人(图像))，本系统进行识别并躲避。而针对未知环境中，如地下管廊、地铁、隧道等环境中弱几何特征、光线缺失等环境特点对特征提取带来的挑战难题以及16线三维激光存在着数据稀疏，缺少rgb信息等多种问题。本系统利用稠密的图像特征融合到稀疏点云中实现点云增强的方法，实现了能够检测小于10cm长度的物体，并具有较快的检测速度(9hz/s)。
77.探索规划模块：自主探索过程是在局部路径规划和全局路径规划中构建的。局部路径规划依靠快速探索的随机图：以探索系统为中心，在探索系统周围构建一个长方体并在里面随机撒点。去掉障碍物占据的点，在剩下的点中，以探索系统为起点，以长方体各个边上的点为终点构成rrg地图，使用dijkstra算法搜索出一些可行的路径，再通过探索增益来评价这些路径，决策出最好的一条无碰撞路径进行平滑处理。
78.其中，要计算每条路径的探索增益，首先是计算每条路径σi上每个采样顶点v
ij
的体积增益gv，每个采样顶点发射角度均匀离散的固定等长射线模型，统计穿过射线的未知n
unknown
、已知占用n
occupied
和已知无障碍体素n
free
的个数，每种体素都有一个权重g，做一个加权求和作为体积增益：
[0079][0080]
然后计算之前生成每条最短路径的探索增益ge(σi)，把路径上所有顶点的体积增益做个加和。
[0081][0082]
其中，是根节点延路径到每个顶点的累计欧式距离，相当于衡量路径距离的一个权重函数，参数q惩罚较长的路径。通过以上步骤求出每条路径的探索增益，以探
索增益最大的一条路径作为执行路径。
[0083]
在规划出可行路径后，根据这条路径生成满足运动学约束和安全约束的运动控制指令，将控制命令发送到执行器的控制器上，无碰撞前往下一目标点进行探测，执行探索系统的自主探索功能。但是只是使用局部规划器很容易陷入死角，从而无法得出有效的探索路径，使探索任务陷入僵局。因此加入全局规划器与局部规划器协同工作，逐步构建稀疏的全局地图，当探索系统被规划到地下隧道分支的死角时，通过全局规划器将探索系统重新定位并自主决策，将其规划到探索效益最高的分支点以继续执行探索任务。
[0084]
在全局规划探索的情况中，对t形等分叉点大体积增益路径的末节点做个标记，作为以后要探索的潜在路径，将它们标记之后作为叶节点加入到全局地图中。当地下未知空间内的某支路径探索结束，即机器人到达死胡同时，就会调用全局规划器判断去哪个叶节点继续对分支探索是效益最高的，然后牵引到之前的标记的潜在路径继续探索。使用下式判断每个潜在叶节点v
gi
的探索增益geg：
[0085][0086]
其中d(v
gc
,v
gi
)表示机器人当前位置到此潜在叶节点的距离，参数d惩罚较长的路径。得到探索增益最高的潜在叶节点后，使用dijkstra算法搜索到此结点的最短路径，继续对分支进行探索。
[0087]
运动控制模块:将运动控制问题建模成一个拥有线性约束的线性系统的最优控制问题，并通过求解器滚动优化地求解出本时刻的系统的期望输入和下一时刻的系统的期望状态。系统首先通过调用slam模块观测得到本时刻的系统的状态并将其与上一时刻获得的本时刻期望的系统状态同时输入轨迹跟踪控制器，从而获得一组本时刻输入的控制量。接着同时将环境的扰动量，系统的imu输出的状态量和轨迹跟踪控制器输出的控制量输入到系统中，执行对路径的跟踪。在机器狗的探索阶段，由于在二维平面中很容易出现动态的障碍物，因此系统采用dwa算法来进行动态避障和局部路径运动控制。其原理主要是在速度空间(v,w)中采样多组速度，并模拟这些速度在一定时间内的运动轨迹，再通过一个评价函数对这些轨迹打分，最优的速度被选择出来发送给下位机。因此对机器狗运动平台，系统通过输入三维点云地图和二维的位姿坐标和探索路径，输出在二维平面中运动的最佳的速度指令。在无人机探索阶段，在执行探索模块规划的路径的同时调用目标识别模块识别空中突然出现的障碍物并通过无人机的动态避障算法躲避障碍物。同时由于无人机具备的微分平坦性，系统可以把对无人机的控制量输出简化为偏航角，翻滚角和升力输出，从而进一步加速系统的计算过程并提升效率。
[0088]
自主着陆模块：由于本协同系统是在未知空间中实现无人机的自主着陆，因此，虽然可以通过无人机携带灯光等物理手段直接改善弥补预防在黑暗场景中的自主着陆不方便的情况，但是为了增加自主着陆的准确性，稳定性。系统采用融合多传感器的方式来实现无人机的可降落区域检测和识别。我们在机器人地狗背上贴上了二维码和标志物用来标志可降落区域。然后首先通过系统通过对相机、激光雷达和imu的标定，实现图像数据、激光雷达点云数据的融合，以确定可降落区域的位置。自主着陆模块只能确定可降落区域的位置，而对无人机的位姿朝向没有约束，在得到可着陆区域后，无人机返回至此区域，调用位姿同步模块进一步调整无人机位姿至起飞前的状态，降落到机器狗平台上。
[0089]
位姿同步模块：在无人机启动去探索未知空间时，记录当前的位姿即坐标和朝向，当无人机返航时，调整无人机位姿为启动位姿再下降，这一过程保证了机器狗搭载无人机时无人机和机器狗的位姿一直是同步锁定的状态。
[0090]
本发明实施例提供了一种对未知空间的具有自主感知、自主决策和自主导航能力的协同自主探索系统。使用了层级式的探索方式，使得在全局地图中我们只需要记录以无人机和核心的体坐标系的位置变化。解决了不同的机器人平台之间的协同控制问题同时使得整个协同探索系统能够达到更好地建图探索效果并获得了相比其他协同探索系统更长的续航时间。整个系统融合了slam模块，目标识别模块，探索规划模块，运动控制模块以及自主降落模块，使得该系统能够鲁棒且稳定地在复杂环境下实施探索。同时提出了并设计了位姿同步模块，保证了无人机和机器狗在起飞和降落的过程中的位姿同步锁定。
[0091]
采用了基于机器狗和无人机两个机器人平台。无人机平台的优势在于高机动性，灵活性，但是缺点在于续航时间短。而机器狗平台的优势在于能够长时间的执行给定任务，但是缺点是常常会与到一些无法越过的障碍或者车载传感器信号如激光雷达的效果容易被周围的障碍物遮挡，造成传感器的感知视野受限或者无法对某些具有探索价值的区域进行建图，最终导致系统获得的未知区域地图信息不完整，达不到原先想要达到的目的。本协同探索系统将机器狗平台和无人机平台结合起来，融合了slam模块，目标识别模块，探索规划模块，运动控制模块，自主降落模块，同时采用了位姿同步模块，保证了无人机和机器狗平台在起飞和降落过程中的位姿一致的问题，然后使用了层级式的探索方式，利用机器狗平台续航时间久的优点使得无人机能够更有效的探索那些地面机器人平台无法探索到的空间，也使得协同系统在同一时刻内只需要控制一个机器人平台，解决了不同的机器人平台之间的协同控制问题。通过上述的系统设计构建使得该系统能够鲁棒且稳定地在复杂环境下实施探索，获得了相比其他协同探索系统更长的续航时间，并使得整个协同探索系统能够达到更好地建图探索效果。
[0092]
图7为本发明实施例提供的未知空间探索过程示意图，该过程包括：
[0093]
s101：安装在地面机器人上的控制设备获取安装在无人机上的激光雷达、相机和惯性传感器采集到的信息；
[0094]
s102：根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径；
[0095]
s103：若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区域探索。
[0096]
图8为本发明实施例提供的未知空间探索装置结构示意图，该过程包括：
[0097]
获取模块81，用于获取安装在无人机上的激光雷达、相机和惯性传感器采集到的信息；
[0098]
确定模块82，用于根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径；
[0099]
控制模块83，用于若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区
域探索。
[0100]
所述确定模块82，具体用于根据所述激光雷达、相机和惯性传感器采集到的信息确定所述无人机的位姿信息；根据所述激光雷达和相机采集到的信息确定探索方向中的目标物体的位置信息；根据所述无人机的位姿信息和探索方向中的目标物体的位置信息对未知空间进行建图定位，确定目标探索路径。
[0101]
所述确定模块82，具体用于根据相机采集到的信息识别探索区域内是否存在目标物体；若存在，基于激光雷达采集到的信息确定所述目标物体的位置信息。
[0102]
所述确定模块82，具体用于以所述无人机的位置为中心，在周围构建一个空间区域并在里面随机撒点，滤除所述目标物体占据的点，以所述无人机的位置为起点，连接保留的点构成rrg地图，使用dijkstra算法搜索可行的路径，通过探索增益来评价可行的路径，决策出无碰撞路径进行平滑处理，得到目标探索路径。
[0103]
所述控制模块83，还用于在无人机探索阶段，控制所述地面机器人位置固定，记录所述地面机器人位置固定时所述无人机的初始位姿，当所述无人机探索完毕或所述无人机的电量仅剩余返回电量时，根据所述初始位姿控制所述无人机返回至所述地面机器人的机器背上。
[0104]
本发明实施例中还提供了一种控制设备，如图9所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
[0105]
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
[0106]
获取安装在无人机上的激光雷达、相机和惯性传感器采集到的信息；
[0107]
根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径；
[0108]
若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区域探索。
[0109]
基于同一发明构思，本发明实施例中还提供了一种控制设备，由于上述控制设备解决问题的原理与未知空间探索方法相似，因此上述控制设备的实施可以参见方法的实施，重复之处不再赘述。
[0110]
上述控制设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0111]
通信接口302用于上述控制设备与其他设备之间的通信。
[0112]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0113]
上述处理器可以是通用处理器，包括中央处理器、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集
成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0114]
本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由控制设备执行的计算机程序，当所述程序在所述控制设备上运行时，使得所述控制设备执行时实现如下步骤：
[0115]
获取安装在无人机上的激光雷达、相机和惯性传感器采集到的信息；
[0116]
根据所述激光雷达、相机和惯性传感器采集到的信息对未知空间进行建图定位，确定目标探索路径；
[0117]
若判断所述目标探索路径满足所述地面机器人的运动学约束，控制所述地面机器人根据所述目标探索路径进行地面区域探索，若判断所述目标探索路径不满足所述地面机器人的运动学约束，控制所述无人机根据所述目标探索路径进行空间区域探索。
[0118]
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与未知空间探索方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
[0119]
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(mo)等、光学存储器如cd、dvd、bd、hvd等、以及半导体存储器如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd)等。
[0120]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0121]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0122]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0123]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0124]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。