基于空地协同的多机器人定位和导航方法及装置

1.本技术涉及空地协同定位技术领域，特别涉及一种基于空地协同的多机器人定位和导航方法及装置。


背景技术：

2.近年来，随着机器学习算法和硬件平台的发展，单机智能的水平大幅提升。然而受限于单智能体感知范围和决策空间，单智能体难以独立完成一些复杂应用，如对战场环境的侦察、受灾区域的救援等。在特殊环境和受灾地区中，gps或者北斗系统等gnss系统可能失效，同时地貌地形的变化(如地震之后)使得历史卫星图像失效，因此，快速建模环境信息、无人系统的自定位和相互定位、导航是关键挑战，而这些任务仅依靠单个智能体的能力是无法解决的。
3.随着多机协同概念的出现，多智能体系统开始取代单智能体，并在越来越多的任务上得到应用。传统的单个地面机器人通过自身的轮速计、惯性测量单元(inertial measurement unit，imu)和视觉里程计完成自定位，当场景很大时，定位误差因为时间积累会越来越大，在没有外界信息输入的情况下，单个智能体只能使用探索算法对未知环境进行建图，实时避障实现导航，效率低下。提升任务效率的一种做法是部署多个地面智能体，数量的增加会带来建模速度的提升，但有效协作的前提是智能体之间能够相互定位，即知道对方的位置，典型的传统方法有采用无线定位技术，即将gnss系统中的基站分布式部署到各个机器人上，机器人携带诸如超宽带(uwb)设备实现相互定位，但是地面环境复杂，会对无线定位信号形成干扰，导致这类地面无线定位系统精度低、不稳定。
4.为了解决地面无线定位系统易受环境因素干扰，不稳定的问题，现有工作也尝试采用空地协同的方法，将定位基站部署在多个空中机器人中，即将gnss系统中的基站由卫星部署到空中无人机上。这里技术方案中要求无人机具备类似于与gnss的时空基准精度，采用原子钟、激光测距等高精度仪器，成本巨大。并且需要保证超过3台无人机同时制空，由于无人机本身续航时间只有数小时，导致定位系统的维持时间受限。
5.上面提到的空地协同定位导航方法都存在一些问题。单纯利用地面无人车无线定位的方式因为信号干扰大，导致定位精度低且不稳定。在无人机上部署空中定位基站的方法需要高精度仪器保证时钟一致和准确测距，实现成本巨大，且维护系统正常运行需要多台无人机长时间滞空，考虑到目前无人机的续航时间有限，无人系统无法长时间执行任务。


技术实现要素：

6.本技术提供一种基于空地协同的多机器人定位和导航方法及装置，以解决相关技术中无线定位方式稳定性差，以及空中定位基站方式成本高且运行时间受限等问题。
7.本技术第一方面实施例提供一种基于空地协同的多机器人定位和导航方法，包括以下步骤：利用至少一架无人机采集目标区域的环境数据，并基于所述环境数据对所述目标区域建图，获取所述目标区域的场景地图；基于无人车辆采集的环境信息得到当前图像，
以所述当前图像为索引，匹配所述场景地图和数据库，得到匹配结果，并根据所述匹配结果定位所述无人车辆的当前所处位置。
8.可选地，在本技术的一个实施例中，所述利用至少一架无人机采集目标区域的环境数据，并基于所述环境数据对所述目标区域建图，获取所述目标区域的场景地图，包括：根据所述目标区域的范围和可用的无人机数量确定所述至少一架无人机的飞行轨迹；控制所述至少一架无人机按照所述飞行轨迹飞行，采集关键帧的传感器信息，得到所述环境数据；利用所述环境数据对场景进行三维重建，得到所述场景地图。
9.可选地，在本技术的一个实施例中，所述基于无人车辆采集的环境信息得到当前图像，以所述当前图像为索引，匹配所述场景地图和数据库，得到匹配结果，包括：获取所述无人车辆在当前时刻获取的图像或点云数据；基于所述图像或点云数据提取描述子，并在所述场景地图和所述数据库中进行匹配，得到所述匹配结果。
10.可选地，在本技术的一个实施例中，所述根据所述匹配结果定位所述无人车辆的当前所处位置，包括：根据所述匹配结果进行所述场景地图配准和轨迹优化，得到所述无人车辆的自定位信息；根据所有无人车辆的自定位信息以及轨迹优化得到所述无人车辆的相互定位信息。
11.可选地，在本技术的一个实施例中，还包括：根据所述当前所处位置和所述场景地图生成任一目标的规划路径；根据所述规划路径和所述环境数据和/或所述环境信息得到侦察路径和/或搜救路径。
12.本技术第二方面实施例提供一种基于空地协同的多机器人定位和导航装置，包括：空域建图模块，用于利用至少一架无人机采集目标区域的环境数据，并基于所述环境数据对所述目标区域建图，获取所述目标区域的场景地图；空地协同定位模块，用于基于无人车辆采集的环境信息得到当前图像，以所述当前图像为索引，匹配所述场景地图和数据库，得到匹配结果，并根据所述匹配结果定位所述无人车辆的当前所处位置。
13.可选地，在本技术的一个实施例中，所述空域建图模块，具体用于，根据所述目标区域的范围和可用的无人机数量确定所述至少一架无人机的飞行轨迹，控制所述至少一架无人机按照所述飞行轨迹飞行，采集关键帧的传感器信息，得到所述环境数据，利用所述环境数据对场景进行三维重建，得到所述场景地图。
14.可选地，在本技术的一个实施例中，所述空地协同定位模块，具体用于，获取所述无人车辆在当前时刻获取的图像或点云数据，基于所述图像或点云数据提取描述子，并在所述场景地图和所述数据库中进行匹配，得到所述匹配结果。
15.可选地，在本技术的一个实施例中，所述空地协同定位模块，具体用于，根据所述匹配结果进行所述场景地图配准和轨迹优化，得到所述无人车辆的自定位信息，根据所有无人车辆的自定位信息以及轨迹优化得到所述无人车辆的相互定位信息。
16.可选地，在本技术的一个实施例中，还包括：空地协同导航模块，用于根据所述当前所处位置和所述场景地图生成任一目标的规划路径，根据所述规划路径和所述环境数据和/或所述环境信息得到侦察路径和/或搜救路径。
17.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于空地协同的多机器人定位和导航方法。
18.本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于空地协同的多机器人定位和导航方法。
19.本技术实施例的基于空地协同的多机器人定位和导航方法及装置，具有以下有益效果：
20.1)大幅减小传统定位系统的功耗和成本。传统的定位系统需要无人机长时间滞空提供定位服务，并且还需要多种基础设施和高精度仪器保证定位精度，本技术的定位方案，不需要额外的基础设施，无人机也只需要进行一次飞行采集数据和地图，仅依靠廉价的图像数据即可实现定位，大幅减小了功耗和成本。
21.2)提升定位系统的稳定性和运行持续时间。本技术采用来源稳定且廉价的图像数据进行定位，无人机无需长时间滞空提供服务，系统能够长期稳定工作。
22.3)支持更多智能体的协同定位。传统的基于图像匹配的定位方法只适用于单个无人机和单个无人车的协同定位，本技术支持多无人机、多无人车系统的协同定位，更具扩展性和实用性。
23.4)提升传统匹配方法的定位精度。传统的匹配方法只能做到较为粗略的定位，本技术结合配准和更多的优化技术，将定位精度大幅提升。
24.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
25.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
26.图1为根据本技术一个实施例提供的一种基于空地协同的多机器人定位和导航方法的流程图；
27.图2为根据本技术另一个实施例提供的一种基于空地协同的多机器人定位和导航方法的流程图；
28.图3为根据本技术实施例提供的一种基于空地协同的多机器人定位和导航方法的逻辑示意图；
29.图4为根据本技术一个实施例的基于空地协同的多机器人定位和导航装置的示例图；
30.图5为根据本技术另一个实施例的基于空地协同的多机器人定位和导航装置的示例图；
31.图6为根据本技术实施例的电子设备示意图。
具体实施方式
32.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
33.空地特征匹配的技术能够从无人机采集的传感器数据或建模的场景信息中提取
特征，并与当前无人车提取到的特征相匹配，从而定位到无人机全局地图上的具体位置，有潜力被用于空地协同定位，该方法数据采集成本、系统运维成本低，且支持异步时钟下的定位，本技术基于此设计一种全新的空地协同定位和导航系统，实现在无gps情况下多智能体协同侦察和搜救。
34.下面参考附图描述本技术实施例的基于空地协同的多机器人定位和导航方法及装置。针对上述背景技术中心提到的无线定位方式稳定性差，以及空中定位基站方式成本高且运行时间受限等问题，本技术提供了一种基于空地协同的多机器人定位和导航方法，在该方法中，使用无人机采集到的传感器数据和建模得到的场景地图，通过特征匹配和地图配准，实现多无人车的自定位和相对定位，大幅度降低了系统成本，且无人机不需要和无人车保持时钟同步，减少了无人机的运行时间，提升了系统整体的续航时间。由此，解决了相关技术中无线定位方式稳定性差，以及空中定位基站方式成本高且运行时间受限等问题。
35.图1为根据本技术一个实施例提供的一种基于空地协同的多机器人定位和导航方法的流程图。
36.如图1所示，该基于空地协同的多机器人定位和导航方法包括以下步骤：
37.在步骤s101中，利用至少一架无人机采集目标区域的环境数据，并基于环境数据对目标区域建图，获取目标区域的场景地图。
38.地面机器人的感知和运动能力通常受限，当场景很大时，获取定位和决策所需要的全局信息会耗费大量时间，在相关技术中，需要无人机持续采集区域的图像信息，定位系统的维持时间受限。在申请的实施例中，仅需要无人机采集一次目标区域的图像数据，根据图像数据建立场景地图，提升系统的续航的时间。
39.可选地，在本技术的一个实施例中，利用至少一架无人机采集目标区域的环境数据，并基于环境数据对目标区域建图，获取目标区域的场景地图，包括：根据目标区域的范围和可用的无人机数量确定至少一架无人机的飞行轨迹；控制至少一架无人机按照飞行轨迹飞行，采集关键帧的传感器信息，得到环境数据；利用环境数据对场景进行三维重建，得到场景地图。
40.本技术的空地协同的第一个关键要素就是利用无人机广袤的感知视野和极快的飞行速度，高效且精准地对环境进行数据采集和建模。具体为：根据待探索区域的范围和可用的无人机数量，制定覆盖策略，即预先确定无人机的飞行轨迹；无人机按照制定的轨迹飞行，飞行过程中采集关键帧的传感器信息，并完成对场景的三维重建，保存为无人机的正射影像图和地图。
41.在步骤s102中，基于无人车辆采集的环境信息得到当前图像，以当前图像为索引，匹配场景地图和数据库，得到匹配结果，并根据匹配结果定位无人车辆的当前所处位置。
42.通过无人机生成了场景地图，并发送给在地面待命的无人车辆，无人车辆根据场景地图及自身采集的传感器数据实现空地协同定位。
43.可选地，在本技术的一个实施例中，基于无人车辆采集的环境信息得到当前图像，以当前图像为索引，匹配场景地图和数据库，得到匹配结果，包括：获取无人车辆在当前时刻获取的图像或点云数据；基于图像或点云数据提取描述子，并在场景地图和数据库中进行匹配，得到匹配结果。
44.具体地，在当前时刻，利用无人车辆自身携带的传感器获取到图像或点云数据，对这一帧图像提取描述子，并在无人机生成的场景地图和数据库中进行匹配，筛选出相似程度高的地点作为匹配结果，进而根据匹配结果定位无人车辆的当前所处位置。
45.可选地，在本技术的实施例中，根据匹配结果定位无人车辆的当前所处位置，包括：根据匹配结果进行场景地图配准和轨迹优化，得到无人车辆的自定位信息；根据所有无人车辆的自定位信息以及轨迹优化得到无人车辆的相互定位信息。
46.具体地，根据无人车辆的环境信息以及无人机的场景地图信息可以实现无人车辆的定位，但是单帧的图像匹配结果存在较大的误差，且精度不高。本技术的实施例在匹配结果的基础上，结合地图配准和轨迹优化的技术，对无人车辆进行自定位。单个无人车辆实现自定位后，多个无人车辆共享相同的全局无人机地图，故互相通信在地图上的位置，即可实现相对定位，同时，多机间可以共享更多的信息进行联合优化，提升相对定位的精度。
47.可选地，在本技术的一个实施例中，基于空地协同的多机器人定位和导航方法还包括：步骤s103，根据当前所处位置和场景地图生成任一目标的规划路径；根据规划路径和环境数据和/或环境信息得到侦察路径和/或搜救路径。
48.如图2所示，通过上述实施例得到了多个无人车辆的自身位置信息以及相对位置信息后，基于无人机提供的全局地图，对于目标区域中的任一目标位置，可以得到到达该目标的规划路径，结合周围的具体环境进一步得到实际行驶路径，从而无人车辆队伍实现高效协作的导航。具体的路径规划，需要结合在地图上进行的全局规划器和在当前传感器数据上进行的局部规划器，从而完成对目标点的侦察或搜救。
49.如图3所示，展示了本技术的基于空地协同的多机器人定位和导航流程，主要包含三个部分，第一部分是一台或多台无人机携带下视摄像头对目标区域进行建图。第二个部分是空地协同定位，即地面无人车通过上一步骤获取的无人机地图实现自身定位和相互定位。最后一部分是空地协同导航，即无人车还能利用无人机的地图实现协同导航。本技术实施例不使用现有的无人机作为定位通信基站的方式实现空地协同定位和导航，空(无人机)和地(无人车辆)之间通过共享无人机采集的环境数据和地图实现协同，无人车辆的自定位、多无人车辆之间的相对定位和导航可以基于无人机的地图完成。因此，整个系统运行能耗低(无需无人机长时间滞空)，且不依赖额外的外部定外设备和基础设施。
50.根据本技术实施例提出的基于空地协同的多机器人定位和导航方法，将跨域特征匹配技术引入空地协同定位系统中，用空地特征配准的技术代替无线信号，先利用空中机器人(无人机)通过性好、感知范围广的特点快速提取环境特征，地面多台无人车通过与无人机提取的环境特征匹配的方式完成定位。该本技术的实施例允许无人机之间、无人机和无人车之间异步处理、采用摄像头等低成本传感器，可以解决目前基于无线信号的空地协同定位系统成本高、维持时间短的问题。
51.其次参照附图描述根据本技术实施例提出的基于空地协同的多机器人定位和导航装置。
52.图4为根据本技术一个实施例的基于空地协同的多机器人定位和导航装置的示例图。
53.如图4所示，该基于空地协同的多机器人定位和导航装置10包括：空域建图模块100和空地协同定位模块200。
54.其中，空域建图模块100，用于利用至少一架无人机采集目标区域的环境数据，并基于环境数据对目标区域建图，获取目标区域的场景地图。空地协同定位模块200，用于基于无人车辆采集的环境信息得到当前图像，以当前图像为索引，匹配场景地图和数据库，得到匹配结果，并根据匹配结果定位无人车辆的当前所处位置。
55.可选地，在本技术的一个实施例中，空域建图模块100，具体用于，根据目标区域的范围和可用的无人机数量确定至少一架无人机的飞行轨迹，控制至少一架无人机按照飞行轨迹飞行，采集关键帧的传感器信息，得到环境数据，利用环境数据对场景进行三维重建，得到场景地图。
56.可选地，在本技术的一个实施例中，空地协同定位模块200，具体用于，获取无人车辆在当前时刻获取的图像或点云数据，基于图像或点云数据提取描述子，并在场景地图和数据库中进行匹配，得到匹配结果。
57.可选地，在本技术的一个实施例中，空地协同定位模块200，具体用于，根据匹配结果进行场景地图配准和轨迹优化，得到无人车辆的自定位信息，根据所有无人车辆的自定位信息以及轨迹优化得到无人车辆的相互定位信息。
58.可选地，在本技术的一个实施例中，如图5所示，基于空地协同的多机器人定位和导航装置10还包括：空地协同导航模块300，用于根据当前所处位置和场景地图生成任一目标的规划路径，根据规划路径和环境数据和/或环境信息得到侦察路径和/或搜救路径。
59.需要说明的是，前述对基于空地协同的多机器人定位和导航方法实施例的解释说明也适用于该实施例的基于空地协同的多机器人定位和导航装置，此处不再赘述。
60.根据本技术实施例提出的基于空地协同的多机器人定位和导航装置，仅使用无人机采集到的传感器数据和建模得到的场景地图，通过特征匹配和地图配准，实现多无人车的自定位和相对定位，大幅度降低了系统成本，且无人机不需要和无人车保持时钟同步，运行时间也仅限于前期的数据采集和建图，提升系统整体的续航。
61.图6本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
62.存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
63.处理器602执行程序时实现上述实施例中提供的基于空地协同的多机器人定位和导航方法。
64.进一步地，电子设备还包括：
65.通信接口603，用于存储器601和处理器602之间的通信。
66.存储器601，用于存放可在处理器602上运行的计算机程序。
67.存储器601可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
68.如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
69.可选地，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
70.处理器602可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
71.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于空地协同的多机器人定位和导航方法。
72.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
73.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
74.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
75.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
76.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离
散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
77.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
78.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
79.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。