一种地下铲运机作业区域多传感器融合目标识别与测距方法与流程

摘要: 本发明涉及地下矿山智能装备环境感知,特别涉及一种地下铲运机作业区域多传感器融合目标识别与测距方法。背景技术:1、地下铲运机是地下矿山出矿作业中的关键装备,主要用...
一种地下铲运机作业区域多传感器融合目标识别与测距方法与流程

本发明涉及地下矿山智能装备环境感知,特别涉及一种地下铲运机作业区域多传感器融合目标识别与测距方法。

背景技术:

1、地下铲运机是地下矿山出矿作业中的关键装备,主要用于矿石铲装、运输和卸载。为了实现地下铲运机自动驾驶和智能作业,需要对作业区域内的料堆、溜井、围栏、行人、车辆和障碍物等目标进行实时、准确识别,并获取目标与车辆之间的距离。

2、然而,地下矿山作业环境通常存在光线较暗、局部高曝光、粉尘多、湿度大、巷道结构单一、目标遮挡严重等问题。单独依赖相机进行目标识别时,容易受到低照度、强光反射和粉尘遮挡影响,出现误检和漏检。单独依赖激光雷达点云进行目标识别时,虽然能够获得目标的三维空间信息,但点云容易受到粉尘、水雾和地面起伏影响,并且难以直接获得目标语义类别。

3、现有地下矿山目标识别方法大多依赖单一传感器或简单融合策略,难以同时满足目标类别识别、三维位置获取、实时性和抗干扰能力的要求。因此,亟需一种融合图像语义信息和点云空间信息的地下铲运机作业区域目标识别与测距方法。

技术实现思路

1、本发明的目的在于提供一种地下铲运机作业区域多传感器融合目标识别与测距方法,以解决现有单一图像识别方法在地下矿山弱光和粉尘条件下容易误检、漏检,以及单一点云识别方法缺乏目标类别信息和稳定测距能力的问题。

2、为实现上述目的,本发明采用如下技术方案:

3、一种地下铲运机作业区域多传感器融合目标识别与测距方法,包括如下步骤:

4、s1、采集地下铲运机作业区域的激光雷达点云数据和双目相机图像数据;

5、s2、通过激光雷达与双目相机的联合标定,获得激光雷达坐标系与相机坐标系之间的外参变换矩阵;

6、s3、对激光雷达点云数据进行地面提取处理,去除地面点云,得到非地面点云;

7、s4、对非地面点云进行基于点云强度和归一化动态半径的滤波处理,去除粉尘点、水雾点和离散噪声点,得到滤波后的候选目标点云;

8、s5、对候选目标点云进行改进区域生长聚类,获得地下铲运机作业区域内目标物对应的点云簇;

9、s6、对双目相机图像数据进行光照平衡和自适应伽马矫正处理,得到增强后的图像数据;

10、s7、将增强后的图像数据输入改进yolov7-tiny目标识别网络,输出目标类别、目标置信度和目标检测框;

11、s8、根据外参变换矩阵将所述点云簇投影至图像平面,并将点云聚类结果与图像目标检测结果进行目标级融合,得到融合目标识别结果;

12、s9、结合双目视觉测距结果和点云三维坐标信息,计算地下铲运机作业区域内关键目标与地下铲运机之间的距离。

13、其中,步骤s2中外参变换矩阵包括从激光雷达坐标系到相机坐标系的旋转矩阵和平移向量;

14、步骤s3中地面提取处理根据点云高度、局部平面特征、坡度变化或法向量信息中的至少一种区分地面点云和非地面点云。

15、其中,步骤s4中基于点云强度和归一化动态半径的滤波处理包括:

16、s41、根据点云反射强度筛选疑似噪声点;

17、s42、根据点云点到激光雷达的距离设置动态邻域搜索半径,其公式为:

18、

19、式中:为动态半径;为点云到激光雷达中心的欧氏距离;为激光雷达水平角分辨率;为动态半径调节系数;

20、s43、对动态邻域搜索半径进行归一化处理,得到归一化动态半径;

21、s44、统计疑似噪声点在归一化动态半径邻域内的点数和点云密度;

22、s45、根据点云反射强度、邻域点数和点云密度判断该点是否为粉尘点、水雾点或离散噪声点;

23、s46、删除判定为噪声的点云,得到滤波后的候选目标点云。

24、上述点云处理步骤先把地面点云排除,再对剩余非地面点云进行强度判断和动态半径邻域判断。地下矿山中的粉尘、水雾和零散噪声点通常不是稳定成簇分布,而是随距离、湿度和车辆扰动不断变化。如果仍采用固定半径滤波,近距离处容易留下粉尘点,远距离处又可能把目标边缘点误删。本发明根据点云点到激光雷达的距离调整邻域搜索半径,再结合邻域点数和点云密度判断噪声点,使不同距离处的点云采用不同判断尺度。这样处理后,料堆、围栏、行人、车辆和障碍物等目标的主体点云更容易被保留下来,粉尘、水雾和离散点对后续区域生长聚类的干扰也会减小。

25、其中,步骤s5中改进区域生长聚类根据点云之间的欧氏距离、法向量夹角、曲率变化和局部点云密度中的至少一种进行目标点云聚类;

26、步骤s6中光照平衡用于减弱局部高曝光区域对目标识别的影响,自适应伽马矫正用于增强低照度区域的目标纹理和边缘信息,其公式为:

27、

28、式中:代表感知物理量,代表实际物理量,为常数,为伽马系数。

29、其中,步骤s7 中改进yolov7-tiny目标识别网络以yolov7-tiny网络为基础,将其特征提取主干网络中的部分卷积模块替换为shufflenetv2轻量化模块,深度可分离卷积的计算量为比标准卷积少的多,公式为:

30、

31、式中:为输入特征图的大小,为卷积大小,为输出特征图大小,为输出通道数,为输入特征图的通道数。

32、所述改进yolov7-tiny目标识别网络在特征融合阶段引入ca注意力机制,用于在通道方向和空间方向对目标特征进行权重分配,将高度和宽度上的注意力权重限制与输入特征图做乘法加权操作得到输出特征图:

33、

34、式中:为第通道的输出,为第通道的输入,为高度上的注意力权重限制,为高度上的注意力权重限制,为第c个通道在高度方向的注意力权重,为第c个通道在宽度方向的注意力权重。

35、在地下矿山图像中,目标区域常会受到局部强光、阴影、粉尘遮挡和背景纹理单一的影响,料堆、溜井、围栏等目标边缘有时并不明显。仅依靠普通卷积提取特征时,网络容易把背景区域和目标区域混在一起。引入 ca 注意力机制后,可以分别从高度方向和宽度方向给目标特征分配权重,使网络在特征融合时更多关注目标所在位置及其边缘区域,减弱无关背景和光照不均带来的干扰。这样既不会明显增加 yolov7-tiny 网络的计算负担,又有利于改善地下铲运机作业区域内小目标、弱纹理目标和局部遮挡目标的识别效果。

36、其中,步骤s8中目标级融合包括:

37、s81、计算点云簇的三维中心点、三维边界框或投影轮廓;

38、s82、根据外参变换矩阵将所述点云簇投影至图像平面,得到点云投影区域;

39、s83、计算点云投影区域与图像目标检测框之间的重叠程度;

40、s84、当所述重叠程度大于预设重叠阈值时,将对应点云簇和图像目标检测框判定为同一目标;

41、s85、将图像目标检测结果中的目标类别与点云簇中的三维空间信息进行融合,得到融合目标识别结果。

42、该步骤将图像检测结果和点云聚类结果进行对应匹配。图像检测框可以提供目标类别,但在低照度、强反光或粉尘遮挡时,可能出现误检、漏检;点云簇可以反映目标的三维位置和大致轮廓,但单独依靠点云不容易判断目标类别。通过计算点云投影区域与图像检测框的重叠关系,将属于同一目标的点云簇和图像检测框关联起来,可以把图像中的类别信息与点云中的空间信息结合起来。这样得到的融合识别结果既包含目标类别,又包含目标在作业区域中的空间位置,比单独使用相机或单独使用激光雷达更适合地下铲运机的复杂作业环境。

43、其中,步骤s9中,当点云簇中有效点数量大于预设数量阈值时,优先根据点云三维坐标计算目标距离;当点云簇中有效点数量小于或等于预设数量阈值时,采用双目视觉测距结果作为目标距离补充,双目测距的公式为:

44、

45、

46、式中:真实世界中的点在俯视图下坐标为,其在左右目两个相机的像素平面下分别成像为点、点,和分别为、的像素横坐标为左右目相机的基线距离,为相机的焦距,为像素视差。

47、步骤s9中,当双目视觉测距结果和点云三维坐标均有效时,根据双目视觉测距置信度和点云测距置信度进行加权融合,得到最终目标距离;

48、所述关键目标包括料堆、溜井、围栏、行人、车辆、巷道障碍物中的一种或多种。

49、所述方法适用于地下铲运机在低照度、局部高曝光、粉尘、水雾和潮湿环境下的作业区域目标识别与目标测距

50、与现有技术相比,本发明具有如下有益效果:

51、1)本发明通过点云地面提取、基于点云强度和归一化动态半径的滤波处理以及改进区域生长聚类,能够在地下矿山粉尘和潮湿环境下获得较为稳定的目标点云簇。

52、2)本发明通过光照平衡和自适应伽马矫正改善地下矿山图像低照度和局部高曝光问题,提高目标识别网络输入图像的质量。

53、3)本发明基于yolov7-tiny网络进行轻量化改进,采用shufflenetv2模块降低网络计算量,并引入ca注意力机制提高目标特征表达能力,从而兼顾识别精度和实时性。

54、4)本发明采用目标级融合策略,将图像检测结果与点云聚类结果进行互补,利用图像提供目标类别信息,利用点云提供三维位置和空间尺寸信息,提高地下铲运机作业区域目标识别的可靠性。

55、5)本发明结合双目视觉测距和点云三维坐标测距,在强粉尘、点云缺失或图像测距不稳定情况下能够进行互补,提高关键目标距离估计的稳定性。

56、6)本发明不是单独完成目标检测或单独完成测距,而是将点云地面提取、噪声滤波、目标点云聚类、图像增强、改进目标识别网络、目标级融合和距离计算串联起来。经过上述处理后,系统能够同时给出目标类别、目标空间位置和目标距离,更适合用于地下铲运机自动驾驶中的作业区域感知和安全预警。

57、7)本发明采用目标级融合方式,将图像检测框与点云聚类结果进行匹配。图像识别能够提供目标类别信息,点云能够提供三维位置和尺寸信息,两者互相补充。当图像受到低照度、局部强光或遮挡影响时,点云结果仍可辅助确定目标位置;当点云受到粉尘、水雾或点数不足影响时,图像识别和双目测距结果可以作为补充。因此,相比单独依赖相机或单独依赖激光雷达的方法,该方案对地下矿山复杂作业环境的适应性更强。

58、8)本发明在yolov7-tiny网络中引入shufflenetv2轻量化模块和ca注意力机制。shufflenetv2用于减少网络计算量,使模型更容易部署在铲运机车载计算平台上;ca注意力机制则用于加强目标在通道方向和空间方向上的特征表达,减少低照度、局部过曝和背景干扰对目标识别的影响。由此可以在保证实时性的同时,提高料堆、溜井、围栏、行人等关键目标的识别稳定性。