三维语义体素网格数据集构建方法及电子设备与流程

摘要: 本申请涉及数据集构建,特别涉及一种三维语义体素网格数据集构建方法及电子设备。背景技术:1、语义体素网格数据集是室内三维场景理解的核心基础,为自动驾驶、机器人导航...
三维语义体素网格数据集构建方法及电子设备与流程

本申请涉及数据集构建,特别涉及一种三维语义体素网格数据集构建方法及电子设备。

背景技术:

1、语义体素网格数据集是室内三维场景理解的核心基础,为自动驾驶、机器人导航等技术提供关键数据支撑,其构建需融合三维几何建图与语义分割技术,通过为三维体素网格赋予物体语义标签,实现计算机对三维环境的认知与理解,是多模态感知领域的重要研究方向。

2、相关的数据集构建技术存在诸多缺陷。在硬件层面,依赖高精度激光雷达、多视角相机阵列等昂贵复杂的多传感器系统,传感器的标定、同步与数据融合流程繁琐,大幅抬高了数据采集的硬件和部署成本;在计算层面,通常将即时定位与地图构建(simultaneouslocalization and mapping,slam)与三维语义分割同步进行,形成计算负载高峰,对硬件算力要求极高;在标注层面,纯人工标注需在复杂三维空间操作,耗时费力且结果易受主观因素影响,全自动标注则缺乏有效引导,难以保证不同帧间标签的一致性,二者均无法高效构建大规模高质量的数据集。

技术实现思路

1、本申请实施方式的目的在于提供一种三维语义体素网格数据集构建方法及电子设备,以解决数据集构建技术存在的构建成本高、算力需求大、标注效率低且标签一致性差等的技术问题。

2、为解决上述技术问题,本申请的实施方式提供了一种三维语义体素网格数据集构建方法,包括:基于slam算法对图像序列进行处理,生成三维体素网格和l个关键帧图像的相机位姿;基于预训练的图像语义分割模型对所述l个关键帧图像进行语义标注,得到每一关键帧图像中各物体的二维轮廓,以及所述每一关键帧图像的语义信息;基于所述二维轮廓,将所述语义信息投影至所述三维体素网格,得到三维语义体素网格;基于所述n帧图像和所述相机位姿,从所述三维语义体素网格中确定对应的局部三维语义体素网格,以建立三维语义体素网格数据集。

3、本申请的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述的三维语义体素网格数据集构建方法。

4、本申请实施方式相对于相关技术而言,针对相关的数据集构建技术存在的构建成本高、算力需求大、标注效率低且标签一致性差等的技术问题。本申请提供了一种三维语义体素网格数据集构建方法,通过流程分离、二维标注替代三维标注、二维语义向三维投影的核心思路,以此实现低成本构建三维语义体素网格数据集,减少算法对最大计算资源的需求。具体而言,针对“构建成本高”的问题,本申请基于预训练的图像语义分割模型对所述l个关键帧图像进行语义标注,这样以二维关键帧图像为核心进行语义标注,而非相关技术的三维空间标注,直接规避了人工在复杂三维点云或体素中手动标注的高人力成本问题;针对解决“计算资源占用大”的问题,本申请先基于slam算法生成三维体素网格和关键帧相机位姿,再基于预训练模型对关键帧图像做二维语义标注,以此区别于常规技术slam与三维语义分割同时进行的在线处理模式,实现了slam与语义分割的流程解耦,无需高算力硬件支撑并行计算,显著减少了算法对最大计算资源的需求,解决了计算资源占用多的问题。此外,本申请采用预训练的图像语义分割模型对二维关键帧图像做语义标注,能有效避免三维空间中因深度信息缺失、点云噪声导致的标签混乱,保证了不同关键帧间标签的一致性,显著提升了标注准确度,提升标注效率。

1.一种三维语义体素网格数据集构建方法,其特征在于,包括:

2.根据权利要求1所述的三维语义体素网格数据集构建方法,其特征在于,所述基于所述二维轮廓,将所述语义信息投影至所述三维体素网格,包括:

3.根据权利要求2所述的三维语义体素网格数据集构建方法,其特征在于,所述将所述感兴趣区内的各像素点的语义信息投影至所述三维体素网格中对应的体素,包括:

4.根据权利要求2所述的三维语义体素网格数据集构建方法,其特征在于,在将所述感兴趣区内的各像素点的语义信息投影至所述三维体素网格中对应的体素之后,若所述三维体素网格仍存在缺失语义信息的体素,则进行语义补全;其中,

5.根据权利要求4所述的三维语义体素网格数据集构建方法,其特征在于,所述对所述邻域内的缺失语义信息的体素赋予语义信息,包括:

6.根据权利要求4至5中任一项所述的三维语义体素网格数据集构建方法,其特征在于,所述邻域通过如下方式设置:

7.根据权利要求1所述的三维语义体素网格数据集构建方法,其特征在于,所述基于预训练的图像语义分割模型对所述l个关键帧图像进行语义标注,包括:

8.根据权利要求1所述的三维语义体素网格数据集构建方法,其特征在于,所述基于slam算法对图像序列进行处理,生成三维体素网格,包括:

9.根据权利要求1所述的三维语义体素网格数据集构建方法,其特征在于,所述基于所述n帧图像和所述相机位姿,从所述三维语义体素网格中确定对应的局部三维语义体素网格,包括:

10.一种电子设备,其特征在于,包括: