煤矿巷道的多模态融合可行驶区域分割方法及装置与流程

摘要: 本公开涉及煤矿井下移动机器人多传感器融合环境感知,尤其涉及一种煤矿巷道的多模态融合可行驶区域分割方法及装置。背景技术:1、相关技术中,在煤矿井下移动机器人自主导...
煤矿巷道的多模态融合可行驶区域分割方法及装置与流程

本公开涉及煤矿井下移动机器人多传感器融合环境感知,尤其涉及一种煤矿巷道的多模态融合可行驶区域分割方法及装置。

背景技术:

1、相关技术中,在煤矿井下移动机器人自主导航领域,环境感知是决定系统安全性与可靠性的核心环节。传统感知方案通常依赖单一传感器:可见光相机易受光照昏暗、高粉尘、高湿度等恶劣条件干扰,导致图像纹理模糊、阴影误判,且缺乏三维空间信息,难以有效识别立体障碍物;激光雷达虽能提供高精度距离量测,但点云分辨率分布不均、纹理属性缺失,分割边界模糊,且大规模点云处理计算开销大,难以满足井下算力受限平台的实时性要求。此外,矿井环境全球定位系统gps信号完全屏蔽,基于slam的定位方法常因巷道结构退化而累积误差。

技术实现思路

1、为克服相关技术中存在的问题,本公开提供一种煤矿巷道的多模态融合可行驶区域分割方法及装置。

2、根据本公开实施例的第一方面,提供一种煤矿巷道的多模态融合可行驶区域分割方法,包括:

3、获取煤矿巷道环境的多模态感知数据;所述多模态感知数据包括可见光图像、近红外图像、激光雷达点云数据以及imu惯性测量数据;

4、将所述可见光图像和所述近红外图像输入可行驶区域分割网络模型进行跨模态融合处理,输出图像可行驶区域分割结果;

5、利用所述imu惯性测量数据对所述激光雷达点云数据进行畸变矫正处理,得到矫正后的点云数据;

6、将所述矫正后的点云数据投影至所述图像可行驶区域分割结果所在的图像坐标系,得到各点云数据对应的二维像素坐标,以及各二维像素坐标与可行驶区域标签之间的映射关系;

7、根据所述映射关系为各点云数据赋予对应的可行驶区域标签,生成携带有可行驶区域语义标记的点云分割结果。

8、根据本公开实施例的第二方面,提供一种煤矿巷道的多模态融合可行驶区域分割装置,包括:

9、机箱,所述机箱内部设置有嵌入式处理板;所述机箱具有第一侧和第二侧;

10、补光灯组,所述补光灯组设置于所述机箱的第一侧且位于相机组件的下方;所述补光灯组包括可见光补光灯和近红外补光灯,所述可见光补光灯用于发出覆盖所述相机组件视野范围的可见光,所述近红外补光灯用于发出覆盖所述相机组件视野范围的近红外光;

11、相机组件,所述相机组件设置于所述机箱的第一侧,所述相机组件包括可见光相机和近红外相机,所述可见光相机用于采集煤矿巷道环境的可见光图像,所述近红外相机用于采集煤矿巷道环境的近红外图像;

12、激光雷达,所述激光雷达设置于所述机箱的第二侧,所述激光雷达的扫描范围覆盖所述相机组件的视野范围,用于采集煤矿巷道环境的激光雷达点云数据;

13、所述嵌入式处理板分别与所述相机组件和所述激光雷达通信连接,所述嵌入式处理板部署有可行驶区域分割算法模块,所述算法模块用于执行如第一方面任一项所述的方法的步骤。

14、本公开的实施例提供的技术方案可以包括以下有益效果:通过对多模态感知数据的融合处理,实现了煤矿巷道可行驶区域的精准分割:通过获取包括可见光图像、近红外图像、激光雷达点云数据以及imu惯性测量数据的多模态感知数据,融合了图像纹理信息、轮廓信息、三维空间信息及运动信息,有效弥补了单一传感器在煤矿井下低光照、高粉尘环境下信息获取能力不足的缺陷;通过对可见光图像和近红外图像进行跨模态融合处理,使红外图像中的轮廓特征与可见光图像中的纹理特征相互增强与锚定,大幅提升了图像分割结果的精度与鲁棒性;通过在分割过程中引入imu惯性测量数据对激光雷达点云数据进行畸变矫正,消除了机器人运动造成的点云形变,确保了点云数据空间位置的准确性;通过将矫正后的点云数据投影至图像分割结果所在的图像坐标系并建立映射关系,将二维图像分割的语义信息迁移至三维点云空间,实现了对点云数据的高效标记而非对原始点云的全量计算,在有效降低计算开销的同时获得了带可行驶区域语义标记的三维点云分割结果,为煤矿移动机器人提供了兼具高精度与实时性的环境感知依据。

15、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

1.一种煤矿巷道的多模态融合可行驶区域分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述imu惯性测量数据对所述激光雷达点云数据进行畸变矫正处理,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述可见光图像和所述近红外图像输入可行驶区域分割网络模型进行跨模态融合处理,包括:

4.根据权利要求3所述的方法,其特征在于,所述对所述可见光图像和所述近红外图像进行浅层特征提取之前,还包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述矫正后的点云数据投影至所述图像可行驶区域分割结果所在的图像坐标系,得到各点云数据对应的二维像素坐标,以及各二维像素坐标与可行驶区域标签之间的映射关系,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述映射关系为各点云数据赋予对应的可行驶区域标签,生成携带有可行驶区域语义标记的点云分割结果,包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.根据权利要求1所述的方法,其特征在于,所述获取煤矿巷道环境的多模态感知数据之前,还包括:

9.一种煤矿巷道的多模态融合可行驶区域分割装置,应用于权利要求1-8任一项所述的方法,其特征在于,包括:

10.根据权利要求9所述的装置,其特征在于,还包括: