一种多模态传感器紧耦合融合SLAM三维扫描系统及其扫描建图方法与流程

摘要: 本发明属于三维扫描与同步定位地图构建,具体涉及一种多模态传感器紧耦合融合slam三维扫描系统及其扫描建图方法。背景技术:1、随着同步定位与地图构建(slam)技...
一种多模态传感器紧耦合融合SLAM三维扫描系统及其扫描建图方法与流程

本发明属于三维扫描与同步定位地图构建,具体涉及一种多模态传感器紧耦合融合slam三维扫描系统及其扫描建图方法。

背景技术:

1、随着同步定位与地图构建(slam)技术是三维扫描、自主导航领域的核心技术,通过传感器实时感知环境信息,同步完成自身定位与环境地图构建。随着应用场景不断拓展,单一传感器slam方案已无法满足复杂环境下的高精度、高可靠性需求,多传感器融合slam成为技术发展主流。但现有技术方案仍存在多方面显著缺陷,限制了其在复杂场景与多平台下的应用。

2、由于纯激光slam在纹理丰富区域缺乏细节信息,且长距离运动易产生累积漂移;纯视觉slam易受强光、弱光、无纹理环境影响,定位鲁棒性不足;纯gnss定位在室内、地下、隧道等gnss拒止环境完全失效。单一传感器方案无法同时覆盖室内外全场景,复杂环境下建图精度与稳定性难以保障。

3、多数现有融合系统采用松耦合架构,仅对各传感器独立输出的位姿进行简单融合,未利用原始数据层的互补信息,融合精度有限;部分紧耦合方案为追求精度引入大量复杂计算,导致实时性不足,地图输出延迟高,无法满足实时建图与导航的需求;且多数方案未针对动态场景优化,移动物体会造成地图拖影、定位漂移,动态场景下建图质量显著下降。

4、现有三维扫描系统多为固定平台定制开发,硬件集成度低、体积重量大,无法快速适配手持/背包、无人机、四足机器人、无人船等多种搭载平台;不同平台的功耗、安装方式、振动特性差异大,现有系统缺乏模块化适配设计,切换平台需重新标定与调试,部署成本高、灵活性差。

5、针对上述技术缺陷,本发明提出一种多模态传感器紧耦合融合slam三维扫描系统及其扫描建图方法,通过激光雷达、视觉、imu、gnss四模态紧耦合融合,配合模块化硬件架构与开源兼容的软件体系,解决现有系统场景适应性差、精度与实时性难以平衡、多平台适配难、开放性不足的技术问题。

技术实现思路

1、针对上述背景技术所提出的问题,本发明的目的是:旨在提供一种多模态传感器紧耦合融合slam三维扫描系统及其扫描建图方法,本发明可实现室内外全场景高精度三维建图与定位,兼顾实时性与动态场景鲁棒性,支持二次开发,适用于测绘勘探、智能机器人导航、数字孪生建模等领域。

2、为实现上述技术目的,本发明采用的技术方案如下:

3、一种多模态传感器紧耦合融合slam三维扫描系统,包括多源传感器组、嵌入式算力模块、通讯模块、电源管理模块与多模态融合slam处理单元;

4、所述多源传感器组的信号输出端与嵌入式算力模块的数据输入端电连接,用于采集环境点云、图像、姿态与定位原始数据;所述通讯模块与嵌入式算力模块的通讯端口电连接,用于实现系统内外数据交互与远程控制;所述电源管理模块分别与多源传感器组、嵌入式算力模块、通讯模块供电端电连接,用于为各模块提供稳定供电与功耗管理;所述多模态融合slam处理单元运行于嵌入式算力模块中,用于对多源传感器数据进行紧耦合融合解算,输出实时三维点云地图与系统位姿信息。

5、进一步限定,所述多源传感器组包括3d激光雷达模块、双目视觉相机模块、高精度imu模块与gnss模块;

6、所述3d激光雷达模块用于获取环境三维点云数据;所述双目视觉相机模块用于采集环境纹理图像,补充点云细节信息;所述高精度imu模块用于采集系统运动姿态数据,校正点云运动畸变,所述gnss模块支持gps/北斗双模定位,采用外置天线结构。

7、进一步限定,所述多模态融合slam处理单元包括数据预处理子单元、紧耦合融合解算子单元、实时建图与定位子单元;

8、所述数据预处理子单元用于完成多源数据的时间同步、去噪、坐标系统一与格式转换;所述紧耦合融合解算子单元基于因子图优化框架,融合激光雷达点云、视觉特征、imu预积分与gnss观测值,构建统一状态方程与观测方程;所述实时建图与定位子单元用于基于融合数据生成增量式三维点云地图,同步输出系统六自由度位姿信息。

9、进一步限定,还包括接口与开源适配单元,所述接口与开源适配单元运行于嵌入式算力模块中;所述接口与开源适配单元包括ros节点接口子单元、开源算法适配子单元与二次开发接口子单元;

10、所述ros节点接口子单元构建传感器采集、预处理、融合、建图、定位多类ros节点,各节点通过ros话题与服务实现数据交互;所述开源算法适配子单元至少适配fast-lio2、vins-fusion、orb-slam3中的一种开源slam算法框架;所述二次开发接口子单元提供标准化位姿输出、地图数据输出与参数配置接口。

11、进一步限定,还包括多平台适配安装结构,所述多平台适配安装结构包括轻量化铝合金安装基板、快速拆装接口与平台定制化供电接口;

12、所述安装基板用于集成固定所有硬件模块;所述快速拆装接口设置于基板底部,支持快速对接不同搭载平台;所述电源管理模块内置多档位功耗调节策略,针对不同平台匹配对应供电方案。

13、一种多模态传感器紧耦合融合slam三维扫描系统的扫描建图方法,包括如下步骤:

14、s1通过标定算法确定各传感器的空间外参与时间偏移量,建立统一坐标系与时间基准;

15、s2同步采集四类传感器原始数据并完成去噪与格式统一;

16、s3通过因子图优化框架实现多源数据紧耦合融合,解算系统运动状态;

17、s4基于融合点云增量构建三维地图,同步输出实时位姿;

18、s5根据环境信号条件自动切换融合模式,完成地图存储与管理。

19、进一步限定,所述s2包括如下子步骤:

20、s21以硬件触发信号实现多传感器同步采集,同步采集激光雷达点云、双目图像、imu角速度与加速度、gnss定位数据;

21、s22点云采用直通滤波与统计离群点滤波去除噪声点,图像采用高斯滤波与边缘增强去除干扰,imu数据采用滑动窗口滤波去除振动噪声;

22、s23所有传感器数据转换为ros标准消息格式,基于标定外参将数据统一至同一机体坐标系;

23、s24设置分级数据缓存队列,应对数据传输波动,保障算法运行连续性与数据完整性。

24、进一步限定,所述s3包括如下子步骤:

25、s31将激光雷达里程计因子、imu预积分因子、视觉特征因子、gnss观测因子与回环检测因子加入因子图,构建系统状态向量并进行后端图优化;

26、s32检测到gnss信号有效时,加入绝对定位约束;检测到gnss信号丢失时,自动切换耦合模式,维持定位精度;

27、s33融合光流法与多视角几何检测动态物体区域,过滤动态特征点,抑制动态物体导致的地图拖影;

28、s34采用增量体素替代传统ikd-tree进行点云匹配,减少数据更新计算量,控制点云解算与地图输出延迟≤200ms。

29、进一步限定,所述s4具体包括如下子步骤:

30、s41基于融合后的点云数据,采用增量式建图算法实时更新三维点云地图,引入自适应体素分割与高斯分布;

31、s42以≥10hz频率输出系统六自由度位姿,室外场景结合gnss输出绝对位姿,室内场景输出相对位姿;

32、s43基于点云地图构建静态语义八叉树地图;

33、s44支持ply、pcd格式的地图保存、加载与裁剪。

34、进一步限定,所述s5还包括如下子步骤:

35、s51针对选定的开源slam算法框架,适配本系统传感器数据格式;

36、s52将采集、预处理、融合、建图、定位功能封装为独立ros节点;

37、s53将实时建图、地图保存、重定位、参数配置核心功能封装为单行脚本命令;

38、s54通过标准化输出接口支持对接外部导航、路径规划、数字孪生系统。

39、本发明的有益效果:

40、本发明的激光雷达提供高精度三维几何结构信息,不受光照影响;视觉提供丰富纹理细节,辅助特征匹配与场景理解;imu提供高频姿态数据,校正运动过程中的点云畸变,弥补激光雷达帧率不足;gnss提供室外绝对位置基准,消除长时间累积漂移。

41、通过系统实时监测gnss信号质量与环境特征,信号良好时加入gnss绝对约束,实现全局无漂移定位;信号丢失时自动切换为激光-视觉-imu融合模式,依靠局部特征匹配维持精度,实现室内外无缝衔接。同时通过光流法识别动态物体,过滤动态特征,避免错误匹配导致的精度下降。

42、本发明围绕多模态融合slam三维扫描仪的开发需求,结合模块化硬件集成、高精度紧耦合融合算法、多平台适配设计,全面覆盖项目提出的技术目标与开发内容。方案采用工业级硬件选型、优化的软件算法,确保系统具备高精度、高实时性、高开放性的特点,支持多种移动平台搭载与二次开发,能够满足室内外复杂环境下的三维建图与定位需求。通过完善的测试方案与配套资料,保障系统的可落地性与实用性,为后续项目开发、测试与应用提供全面的指导。