异构机器人协同定位方法、装置、系统及设备与流程

摘要: 本技术涉及人工智能,尤其涉及一种异构机器人协同定位方法、装置、系统及设备。背景技术:1、基于即时定位与地图构建(simultaneouslocalization...
异构机器人协同定位方法、装置、系统及设备与流程

本技术涉及人工智能,尤其涉及一种异构机器人协同定位方法、装置、系统及设备。

背景技术:

1、基于即时定位与地图构建(simultaneous localization and mapping‌,slam)的视觉定位是以单目或双目相机作为唯一环境感知传感器,依托连续采集的环境图像提取手工或深度学习的视觉特征,通过帧间特征匹配与极线约束解算自身运动姿态,并采用定位与建图同步运行的方式增量式构建环境视觉地图,是移动机器人领域广泛应用的公知定位技术。类比之下,基于slam的激光雷达定位是以激光雷达为核心感知器件,通过激光测距扫描获取环境三维空间点云数据,然后借助点云配准及建图算法完成定位。

2、当上升到多机器人协同定位层面,需要获知多个机器人之间的相对位置时,最常见的方案是每个机器人搭载同构型传感器,各自运行一个完整的slam系统并通过跨机器人地图配准实现全局坐标对齐。然而,这种方案要求集群内所有机器人都配备相同类型的传感器,且每个机器人都独立执行建图定位,即针对同一场景每个机器人个体反复建图,存在严重的计算资源浪费以及硬件成本。

技术实现思路

1、本技术提供一种异构机器人协同定位方法、装置、系统及设备,用以解决现有技术集群内所有机器人都配备同构型传感器,且每个机器人都独立执行建图定位,最终通过配准实现全局坐标对齐,存在严重的计算资源浪费以及硬件成本的问题。

2、第一方面,本技术提供一种异构机器人协同定位方法,应用于异构机器人集群中的定位服务节点,所述异构机器人集群还包括至少一个定位请求节点,所述定位服务节点搭载有激光雷达,所述定位请求节点搭载有视觉传感器,所述异构机器人协同定位方法包括:

3、基于所述激光雷达采集的环境点云数据,生成3d描述符;

4、接收所述定位请求节点发起的定位请求;所述定位请求携带所述视觉传感器采集的环境图像,以及基于所述环境图像生成的2d描述符;

5、基于所述3d描述符与所述2d描述符进行跨模态匹配,确定所述定位请求节点的全局位姿;

6、将所述全局位姿反馈至所述定位请求节点。

7、在一个实施例中,所述基于所述激光雷达采集的环境点云数据,生成3d描述符,包括:

8、基于所述激光雷达采集的环境点云数据,构建全局点云地图;

9、基于所述定位服务节点的当前位姿,从所述全局点云地图中截取局部场景点云;

10、将所述局部场景点云转换至深度图像空间,得到全景深度图;

11、将所述全景深度图输入3d神经网络模型,得到所述3d神经网络模型输出的多视角的3d描述符。

12、在一个实施例中,所述2d描述符是通过以下方式确定的:

13、将所述环境图像输入2d神经网络模型,得到所述2d神经网络模型输出的2d描述符。

14、在一个实施例中,所述3d神经网络模型和所述2d神经网络模型通过以下方式训练:

15、获取全景深度图样本、环境图像样本、采集所述环境图像样本的视觉传感器位姿以及视觉传感器内参;

16、将所述全景深度图样本划分为多个视角区域;

17、基于所述视觉传感器位姿和所述视觉传感器内参,确定视觉传感器视锥;

18、确定各所述视角区域与所述视觉传感器视锥之间的重叠度;

19、将所述环境图像样本输入2d神经网络模型生成2d描述符,将所述全景深度图输入3d神经网络模型生成各所述视角区域对应的3d描述符;

20、以所述重叠比例为监督信号,计算多个视角区域的所述3d描述符与所述2d描述符之间的相似性损失,联合训练所述2d神经网络模型和所述3d神经网络模型。

21、在一个实施例中,在获得多视角的3d描述符之后,还包括:

22、将所述多视角的3d描述符与所述定位服务节点的当前位姿进行关联存储,构建查找表,并通过所述查找表建立3d描述符与位姿之间的映射关系;

23、将所述全局点云地图中的所有3d描述符按树形索引结构进行整理,构建检索索引。

24、在一个实施例中,所述基于所述3d描述符与所述2d描述符进行跨模态匹配,确定所述定位请求节点的全局位姿,包括:

25、基于所述检索索引和所述查找表,通过所述2d描述符与所述3d描述符之间的跨模态检索,确定与所述环境图像相匹配的候选位姿及对应的候选局部场景点云;

26、基于所述环境图像与所述候选局部场景点云进行细粒度特征匹配,得到像素级2d特征到点级3d特征的匹配特征对,并基于所述匹配特征对,解算所述定位请求节点的全局位姿。

27、在一个实施例中,所述基于所述检索索引和所述查找表,通过所述2d描述符与所述3d描述符之间的跨模态检索,确定与所述环境图像相匹配的候选位姿及对应的候选局部场景点云,包括:

28、基于所述2d描述符在所述检索索引中进行匹配,确定与所述2d描述符最相似的目标3d描述符;

29、基于所述目标3d描述符在所述查找表中进行匹配,确定所述目标3d描述符对应的候选位姿,并确定所述候选位姿对应的候选局部场景点云。

30、在一个实施例中,所述基于所述环境图像与所述候选局部场景点云进行细粒度特征匹配,得到像素级2d特征到点级3d特征的匹配特征对,并基于所述匹配特征对,解算所述定位请求节点的全局位姿,包括:

31、将所述环境图像与所述候选局部场景点云输入跨模态配准神经网络模型,得到所述跨模态配准神经网络模型输出的像素级2d特征到点级3d特征的匹配特征对;

32、基于所述匹配特征对,构建2d像素到3d点的匹配集合;

33、基于所述匹配集合,确定所述环境图像相对于所述候选局部场景点云的相对位姿;

34、基于所述候选位姿与所述相对位姿,解算所述定位请求节点的全局位姿。

35、在一个实施例中,所述跨模态配准神经网络模型通过以下方式训练:

36、获取局部场景点云样本、环境图像样本、采集所述环境图像样本的视觉传感器位姿以及视觉传感器内参;

37、基于所述视觉传感器位姿和视觉传感器内参,将所述局部场景点云样本中的3d点投影至所述环境图像样本的像素平面,得到对应的投影坐标;

38、基于所述局部场景点云样本中3d点的投影坐标与所述环境图像样本中2d像素的平面坐标之间的距离,确定所述2d像素与所述3d点之间的相似性指标;

39、将所述局部场景点云样本和所述环境图像样本输入跨模态配准神经网络模型,生成像素级2d特征到点级3d特征的匹配特征对;

40、以所述相似性指标为监督信号,计算所述像素级2d特征和所述点级3d特征之间的相似性损失,训练所述跨模态配准神经网络模型。

41、在一个实施例中,所述异构机器人协同定位方法,还包括:

42、持续监测环境变化;

43、当监测到环境中存在变化区域时,对所述变化区域最新的环境点云数据进行重新匹配,替换所述变化区域原有的环境点云数据,更新所述全局点云地图;

44、基于更新后的全局点云地图重新生成所述变化区域的3d描述符,并同步更新所述映射关系和所述检索索引。

45、在一个实施例中,在根据所述动态抓取动作序列,生成灵巧手抓取控制指令之前,还包括:

46、对所述动态抓取动作序列进行物理仿真验证;

47、若验证通过,则根据所述动态抓取动作序列,生成灵巧手抓取控制指令;

48、若验证未通过,则更新所述负向风险排斥场并重新进行位姿搜索。

49、第一方面,本技术还提供一种异构机器人协同定位方法,应用于异构机器人集群中的定位服务节点,所述异构机器人集群还包括至少一个定位请求节点,所述定位服务节点搭载有激光雷达,所述定位请求节点搭载有视觉传感器,所述异构机器人协同定位方法包括:

50、基于所述视觉传感器采集的环境图像,生成2d描述符;

51、向所述定位服务节点发起定位请求;所述定位请求携带所述环境图像及其2d描述符;

52、接收所述定位服务节点反馈的全局位姿;所述全局位姿是基于3d描述符与所述2d描述符进行跨模态匹配所确定的;所述3d描述符是基于所述激光雷达采集的环境点云数据所生成的。

53、第三方面,本技术还提供一种异构机器人协同定位装置,部署于异构机器人集群中的定位服务节点,所述异构机器人集群还包括至少一个定位请求节点,所述定位服务节点搭载有激光雷达,所述定位请求节点搭载有视觉传感器,所述异构机器人协同定位装置包括:

54、三维特征提取模块,用于基于所述激光雷达采集的环境点云数据,生成3d描述符;

55、定位请求接收模块,用于接收所述定位请求节点发起的定位请求;所述定位请求携带所述视觉传感器采集的环境图像,以及基于所述环境图像生成的2d描述符;

56、跨模态定位模块,用于基于所述3d描述符与所述2d描述符进行跨模态匹配,确定所述定位请求节点的全局位姿;

57、定位反馈模块,用于将所述全局位姿反馈至所述定位请求节点。

58、第四方面,本技术还提供一种异构机器人协同定位装置,部署于异构机器人集群中的定位请求节点,所述异构机器人集群还包括定位服务节点,所述定位服务节点搭载有激光雷达,所述定位请求节点搭载有视觉传感器,所述异构机器人协同定位装置包括:

59、二维特征提取模块,用于基于所述视觉传感器采集的环境图像,生成2d描述符;

60、定位请求发送模块,用于向所述定位服务节点发起定位请求;所述定位请求携带所述环境图像及其2d描述符;

61、定位接收模块,用于接收所述定位服务节点反馈的全局位姿;所述全局位姿是基于3d描述符与所述2d描述符进行跨模态匹配所确定的;所述3d描述符是基于所述激光雷达采集的环境点云数据所生成的。

62、第五方面,本技术还提供一种异构机器人协同定位系统,所述异构机器人协同定位系统包括异构机器人集群中的定位服务节点和至少一个定位请求节点,所述定位服务节点搭载有激光雷达,所述定位请求节点搭载有视觉传感器;

63、所述定位服务节点用于:基于所述激光雷达采集的环境点云数据,生成3d描述符;

64、所述定位请求节点用于:基于所述视觉传感器采集的环境图像,生成2d描述符;

65、所述定位请求节点用于:向所述定位服务节点发起定位请求;所述定位请求携带所述环境图像及其2d描述符;

66、所述定位服务节点用于:接收所述定位请求节点发起的定位请求;

67、所述定位服务节点用于:基于所述3d描述符与所述2d描述符进行跨模态匹配,确定所述定位请求节点的全局位姿;

68、所述定位服务节点用于:将所述全局位姿反馈至所述定位请求节点;

69、所述定位请求节点用于:接收所述定位服务节点反馈的全局位姿。

70、第六方面,本技术还提供一种电子设备,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述异构机器人协同定位方法的步骤。

71、第七方面,本技术还提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如上述异构机器人协同定位方法的步骤。

72、第八方面,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被所述处理器执行时实现如上述异构机器人协同定位方法的步骤。

73、本技术提供的异构机器人协同定位方法、装置、系统及设备,通过定位服务节点与定位请求节点的主从式架构设计,由搭载激光雷达的定位服务节点统一承担环境点云数据采集、3d描述符生成以及跨模态定位解算任务,而仅搭载视觉传感器的定位请求节点无需搭载激光雷达,也无需独立运行slam系统或构建地图,只需采集环境图像并生成2d描述符即可向定位服务节点发起定位请求并获得高精度全局位姿,从而在实现异构机器人集群协同定位的同时,从根源上消除重复建图,显著降低了集群整体算力消耗和硬件部署成本,为异构机器人集群的大规模、轻量化部署提供了可行的架构支撑。