基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法

摘要: 本技术属于仓栅式货车车厢识别测量,具体涉及一种基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法。背景技术:1、智能物流、自动化装卸及无人货运检测场景中,对货车...
基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法

本技术属于仓栅式货车车厢识别测量,具体涉及一种基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法。

背景技术:

1、智能物流、自动化装卸及无人货运检测场景中,对货车车厢进行高精度自动识别与尺寸测量具有重要意义。

2、目前,主流货车车厢识别测量方法,主要依赖单激光雷达点云处理技术,通过点云聚类、主方向分析以及三维边界框拟合实现对车厢的识别测量。然而,仓栅式货车车厢侧壁由大量非连续金属栏杆构成,存在明显透光缝隙,激光束扫描栏杆区域时,容易穿透车厢结构并击中内部货物或背景区域,产生大量穿透点云、虚假点云以及边界缺失现象,导致点云聚类碎片化、三维边界框收缩变形以及尺寸测量误差增大。尤其在远距离、复杂背景及局部遮挡条件下,单激光雷达点云处理的鲁棒性会进一步下降。

3、基于视觉的目标检测方法,能够较好地保留仓栅式货车车厢边缘纹理与外观轮廓信息,但由于缺乏真实三维深度约束,难以独立完成高精度尺寸测量。

4、鉴于上述技术缺陷的存在,提出本技术。

技术实现思路

1、本技术的目的是提供一种基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法,有效融合视觉纹理特征与激光雷达深度特征,实现针对仓栅式货车车厢的高鲁棒性、高精度三维识别与尺寸测量。

2、本技术的技术方案是:

3、一种基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法,包括:

4、步骤一、构建多传感器异构数据采集系统:

5、以鱼眼相机采集车厢的图像数据,以激光雷达采集车厢的点云数据;

6、在球面视觉系统的基础上,将图像数据与点云数据统一重投影映射至统一的球面网格坐标系中,形成球面张量输入;

7、步骤二、建立双通道球面卷积主干网络:

8、将来自图像数据的三个通道 rgb 数据与来自点云数据的一个通道反射率数据,在通道维度合并,构建为四通道的视觉分支输入;

9、将来自点云数据的一个通道深度数据,作为一通道的深度分支输入;

10、以双分支并行的轻量化球面resnet结构,作为特征提取的主干网络,采用逐阶段下采样的金字塔结构,使浅层特征表达栏杆边缘局部细节,深层特征提取语义上下文;

11、步骤三、构建交叉通道注意力融合模块:

12、通过全局平均池化分别对双分支并行的轻量化球面resnet结构执行全局统计,得到视觉的通道描述子、深度的通道描述子;

13、构建交叉通道重标定机制,进而采用交叉条件建模方式,利用另一模态的统计信息作为引导条件来计算当前模态的通道注意力权重;

14、利用视觉通道、深度通道的注意力权重、,对视觉特征、深度特征执行逐通道乘法调节,在通道维度实现特征重标定,得到重标定的视觉特征、深度特征;

15、步骤四、构建球面transformer跨模态融合编码网络:

16、将重标定的视觉特征、深度特征输入到transformer编码网络中进行高层语义与几何信息的全局空间聚合,在跨模态计算中,将视觉特征映射为查询向量,深度特征映射为键向量、值向量;

17、利用查询向量、键向量进行缩放点积运算,计算跨模态的空间相关性得分,归一化后,与深度值向量进行加权聚合生成注意力掩码,与重标定的视觉特征进行残差连接,输出全局融合特征;

18、步骤五、构建三维目标检测与实例分割模块:

19、基于融合后的全局融合特征,采用分类与回归分离的多尺度检测头,在球面视觉空间中输出车厢的初始候选预测参数集合:

20、将球面检测框反投影回点云空间,在检测输出的视场区域内引入基于点云特征提取网络架构的背景剔除网络,进行点云实例分割,以去除残余背景杂点和近邻物体,对点集提取1024维全局特征并送入多层感知机,输出每点二分类预测分数;

21、步骤六、构建几何约束尺寸回归优化模块:

22、在剔除残余背景杂点和近邻物体的纯净车厢点云基础上,基于规则长方体结构的几何先验知识,建立三维边界框七自由度回归模型,其中,七自由度包括目标中心坐标、长宽高参数以及偏航角参数,通过显式约束将尺寸回归限制在物理合理的解空间内,最终输出精确的车厢长、宽、高及空间位姿参数。

23、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤一中,以激光雷达采集车厢的点云数据,包括深度信息与反射率信息;

24、对鱼眼相机与激光雷达进行联合标定,建立统一坐标映射关系。

25、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤二中,;

26、其中,为视觉通道数,数值为4;、为球面网格的高度、宽度;

27、;

28、其中,为深度通道数,数值为1;

29、特征提取的主干网络,第个阶段输出的视觉特征、深度特征:

30、;

31、;

32、其中,、、为第个阶段输出特征图的通道数、高度、宽度。

33、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤二中,主干网络利用球面卷积替代欧式卷积;

34、在球面上定义以任意网格节点为中心的测地线邻域,通过单圈及多圈球面卷积算子聚合跨尺度拓扑信息,其卷积输出为:

35、;

36、其中,为第圈的可学习权重函数;为邻域点的局部测地坐标差,用于位置编码与插值加权;为邻域点的输入特征;为按测地距离划分的同心环网格点集合。

37、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤三中,;

38、;

39、其中,为视觉特征;为深度特征。

40、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤三中,;

41、;

42、其中,、为视觉通道、深度通道的注意力权重;为sigmoid函数;为激活函数;为特征拼接函数;为视觉通道的降维、升维的可学习参数矩阵;为深度通道的降维、升维的可学习参数矩阵;

43、;

44、;

45、其中,为逐通道乘法。

46、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤四中,引入正余弦型参数化的位置编码,将单位球面上的角度坐标经纬分离编码至位置向量的不同维段中:

47、;

48、;

49、其中,、为球面角度坐标经度、纬度的弧度值;为特征总维度;、为经度弧度值为,索引为 、元素的位置编码;、为纬度弧度值为,索引为 、元素的位置编码。

50、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤四中,;

51、;

52、其中,为键向量的特征维度。

53、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤五中,;

54、其中,为目标类别置信度; 为三维中心坐标偏移;为边界框的初始长、宽、高;为偏航角;

55、背景剔除损失函数:

56、;

57、其中,为点属于车厢的真实标签;为网络预测的二分类概率;为采样的总点数。

58、根据本技术的至少一个实施例,上述的基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法中,步骤六中,构建由多项极具物理属性的正则化约束组成的联合优化损失函数,强制施加几何结构与语义的一致性:

59、;

60、其中,为约束类别预测的分类损失;为约束边界框中心与朝向参数的回归损失;为三维交并比损失;为正交约束损失;为尺寸先验约束损失;为跨模态一致性损失;、、、、、为损失的平衡权重系数;

61、;

62、其中,、为预测框相邻平面的法向量;

63、;

64、其中,为网络预测的尺寸;为偏离标准锚框尺寸;

65、。

66、本技术至少存在以下有益技术效果:

67、提供一种基于激光雷达与视觉融合的仓栅式货车车厢识别测量方法,在远距离、复杂背景及局部遮挡条件下,仍能够保持较高的识别精度与测量鲁棒性,实现了从多传感器数据输入到三维尺寸输出的端到端自动化测量流程,提高了系统实时性与工程实用价值。