基于4D光场与多模态融合的井下环境感知方法和系统

摘要: 本发明涉及煤矿井下无人驾驶车辆环境感知,尤其涉及基于4d光场与多模态融合的井下环境感知方法和系统。背景技术:1、煤矿井下运输车辆是井下辅助运输系统的重要装备,主...
基于4D光场与多模态融合的井下环境感知方法和系统

本发明涉及煤矿井下无人驾驶车辆环境感知,尤其涉及基于4d光场与多模态融合的井下环境感知方法和系统。

背景技术:

1、煤矿井下运输车辆是井下辅助运输系统的重要装备,主要包括无轨胶轮车、矿用运输车、人员运输车和材料转运车辆等。其中,无轨胶轮车因具有机动灵活、运输效率高和巷道适应能力强等特点,已广泛应用于井下人员接送、物料运输和设备转运。随着煤矿智能化和少人化建设不断推进,实现井下运输车辆无人驾驶,对于降低井下作业人员安全风险、提高辅助运输效率和提升矿山智能化水平具有重要意义。环境感知系统作为井下无人驾驶车辆的基础环节,需要实时获取车辆周围的巷道结构、可通行区域、人员车辆、障碍物、路面状态和环境风险信息,并为后续定位、决策规划和控制系统提供可靠输入。

2、目前,井下无人驾驶环境感知系统通常采用激光雷达、毫米波雷达、可见光摄像头和红外热成像相机等多传感器融合方案。该类方案能够在一定程度上弥补单一传感器的不足。例如,激光雷达可提供三维点云信息,可见光图像可提供纹理和语义信息,毫米波雷达在粉尘、水汽条件下具有较好的穿透能力,红外热成像可在低照度环境下识别人员和发热目标。然而,煤矿井下场景与地面开放道路场景差异显著,井下无gnss信号,巷道空间狭窄,弧形顶板、不规则侧壁、支护结构、管线和设备密集分布,且粉尘、水雾、低照度、局部强反光、车辆振动和电磁干扰等因素会持续影响传感器数据质量,导致环境感知结果稳定性和可靠性不足。

3、现有井下环境感知技术仍存在以下不足:一是激光雷达在高粉尘、高湿度和水汽环境下容易产生虚假回波、回波衰减和点云稀疏问题,导致远距离障碍物、巷道边界和小尺寸目标的三维感知精度下降;二是可见光摄像头在低照度、局部眩光和粉尘遮挡条件下图像质量明显下降,红外热成像虽能弥补低照度条件下人员和发热目标识别问题,但其纹理信息较少,难以单独完成精确几何定位和类别区分;三是现有多传感器融合方法多采用固定权重或固定融合路径,难以根据粉尘浓度、湿度、照度、能见度、传感器窗口污染程度以及各模态实时可靠性动态调整融合策略,当车辆经过洒水区、扬尘区、风门附近、装卸区域或局部强反光区域等环境突变场景时,退化模态容易对融合结果产生不利影响;四是井下巷道具有狭窄、近距离、多遮挡和非规则几何结构特点,传统基于双目视觉或纯激光雷达的三维重建方法对纹理、视差、点云密度和外参标定依赖较强,在振动、低照度和粉尘干扰条件下容易出现深度估计不稳定、边界识别不连续和目标定位漂移等问题。

4、因此,亟需能够解决上述问题的基于4d光场与多模态融合的井下环境感知方法和系统。

技术实现思路

1、本方案针对上文提出的问题和需求,提出一种基于4d光场与多模态融合的井下环境感知方法和系统,由于采取了如下技术特征而能够实现上述技术目的,并带来其他多项技术效果。

2、本发明的一个目的在于提出一种基于4d光场与多模态融合的井下环境感知方法,包括如下步骤:

3、s10:采集井下巷道环境的4d光场数据、多模态传感器数据和井下环境状态参数,并根据所述井下环境状态参数和各传感器数据质量评估各传感器模态的实时可靠性;其中,多模态传感数据包括:激光雷达点云数据、毫米波雷达数据、红外热成像数据和可见光图像数据;

4、s20:根据所述井下环境状态参数、当前感知退化状态以及各传感器模态的实时可靠性,计算4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态的自适应融合权重;

5、s30:根据所述自适应融合权重,对4d光场特征、激光雷达特征、毫米波雷达特征、红外热成像特征和可见光特征进行编码、尺度对齐、坐标对齐、跨模态特征融合、环境权重门控融合和时序融合,得到统一环境表征;

6、s40:根据所述统一环境表征输出井下车辆周围的巷道结构、可通行区域、人员车辆与障碍物、环境风险状态、感知置信度以及环境感知可靠性等级中的至少一种环境感知结果。

7、另外,根据本发明的基于4d光场与多模态融合的井下环境感知方法,还可以具有如下技术特征:

8、在本发明的一个示例中,步骤s10具体包括如下步骤:

9、s11:采集4d光场数据、多模态传感器数据和环境状态参数;

10、s12:对多源数据进行时间同步:设4d光场数据时间戳为,激光雷达时间戳为,毫米波雷达时间戳为,红外热成像图像时间戳为,可见光图像时间戳为,环境状态参数时间戳为,统一参考时间为;同步后的多源数据满足:

11、

12、式中,表示任一数据源的采样时间,,分别表示4d光场、激光雷达、毫米波雷达、红外热成像、可见光模态和环境状态参数;表示允许的最大时间同步误差;

13、对于采样频率不同的数据源,采用最近邻匹配、线性插值或运动补偿方式对齐至同一时间轴;

14、s13:对多源数据进行空间标定:以井下无人驾驶车辆的车体坐标系b作为统一参考坐标系,对4d光场相机、激光雷达、毫米波雷达、红外热成像相机和可见光相机进行外参标定,得到各传感器坐标系到车体坐标系的转换关系:

15、

16、式中,m表示传感器模态;表示第m个传感器坐标系到车体坐标系的旋转矩阵;表示第m个传感器坐标系到车体坐标系的平移向量;

17、s14:构建统一时空基准下的多源感知数据集合:经过时间同步和空间标定后,得到统一时空基准下的多源感知数据集合:

18、

19、式中,表示t时刻的多源感知数据集合,表示光场特征数据,表示激光雷达点云数据,表示毫米波雷达数据,表示红外热成像图像,表示可见光图像,表示环境状态参数集合;

20、s15:根据环境状态参数和传感器数据质量评估各模态实时可靠性:对环境状态参数进行归一化处理,得到环境状态向量e;根据环境状态向量e和各模态数据质量,分别计算4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态的实时可靠性评分;将各模态可靠性评分组合为模态可靠性向量r,其表达式为:

21、

22、式中,表示4d光场模态可靠性评分,表示激光雷达模态可靠性评分,表示毫米波雷达模态可靠性评分,表示红外热成像模态可靠性评分,表示可见光模态可靠性评分。

23、在本发明的一个示例中,步骤s20具体包括如下步骤:

24、s21:获得环境状态向量e和模态可靠性向量r;

25、s22:计算井下环境退化评分:根据环境状态向量e计算环境退化评分,其表达式为:

26、

27、式中,表示归一化后的粉尘浓度,表示归一化后的湿度,表示归一化后的照度,表示归一化后的能见度状态,表示归一化后的传感器窗口污染程度;、、、、 为环境状态权重系数,且满足;

28、s23:构建模态权重计算输入向量:将环境状态向量e、模态可靠性向量r和环境退化评分进行拼接,构建权重计算输入向量u:

29、

30、s24:计算各模态未归一化权重:将权重计算输入向量u输入轻量化多层感知机,得到未归一化权重向量z:

31、

32、式中,、、、、分别表示4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态的未归一化权重;

33、s25:根据井下环境状态分别构建4d光场模态、激光雷达模态、毫米波雷达模态、红外热成像模态和可见光模态的调节因子;

34、s26:对未归一化权重向量z进行归一化处理,得到自适应融合权重向量w:

35、

36、其中,、、、、分别表示4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态的融合权重;

37、s27:根据典型井下退化场景修正融合权重:在归一化权重基础上,根据典型井下退化场景对融合权重进行约束或修正,获得自适应融合权重。

38、在本发明的一个示例中,步骤s30具体包括如下步骤:

39、s31:获得多源感知数据和自适应融合权重;

40、s32:获得光场特征数据;采用卷积神经网络、视觉transformer或轻量化图像编码器进行特征提取,得到光场图像特征;对于光场伪点云,采用点云编码网络、体素编码网络或bev编码网络提取光场几何特征;将光场图像特征和光场伪点云几何特征进行融合,得到4d光场模态特征;

41、s33:对激光雷达点云数据进行预处理,将预处理后的点云输入点云特征编码器,得到激光雷达模态特征,将激光雷达点云投影至鸟瞰图平面,得到bev栅格特征;

42、s34:对毫米波雷达数据进行目标属性编码和空间投影,将毫米波雷达目标由极坐标形式转换为车体坐标系下的平面坐标,将毫米波雷达目标属性向量映射至对应的bev栅格,并通过多层感知机或雷达特征编码器提取毫米波雷达模态特征;

43、s35:对红外热成像图像进行特征提取,得到红外热成像模态特征,对可见光图像进行特征提取,得到可见光模态特征;

44、s36:将4d光场、激光雷达、毫米波雷达、红外热成像和可见光图像的各模态特征统一映射至相同空间尺度,经过尺度对齐、通道对齐和坐标对齐后,得到4d光场特征、激光雷达特征、毫米波雷达特征、红外热成像特征和可见光图像特征;

45、s37:以4d光场特征作为查询特征,以激光雷达特征、毫米波雷达特征、红外热成像特征和可见光特征作为键和值进行跨模态注意力融合;将跨模态注意力特征与环境权重门控特征进行融合得到当前帧多模态融合特征;

46、s38:采用时序卷积、门控循环单元、长短期记忆网络或时序transformer中的至少一种进行时序建模,得到当前时刻的统一环境表征;所述统一环境表征包含井下巷道结构、可通行区域、人员车辆、障碍物、环境风险状态、空间几何信息、目标运动信息和感知置信度相关特征;

47、s39:经过多模态特征编码、尺度坐标对齐、跨模态注意力融合、环境权重门控融合和时序融合后,多模态特征融合网络输出统一环境表征。

48、在本发明的一个示例中,步骤s36具体包括如下步骤:

49、s361:设模态集合为:,各模态特征表示为:

50、

51、式中,表示第m个模态的原始编码特征;分别表示4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态;

52、s362:将各模态特征统一映射至相同空间尺度,经过尺度对齐后得到:

53、

54、式中,hm为特征图在空间维度上的高度;wm特征图在空间维度上的宽度;cm为特征图在通道维度上的数量;表示第m个模态的尺度对齐函数,表示尺度对齐后的第m个模态特征;

55、s363:通过1×1卷积、线性投影或多层感知机将不同模态特征通道数统一为c:

56、

57、式中,表示第 m个模态的通道投影函数,表示投影后的模态特征;

58、s364:对于具有空间坐标信息的模态,结合外参标定结果,将其映射至统一车体坐标系或bev感知坐标系,经过尺度对齐、通道对齐和坐标对齐后,得到4d光场特征、激光雷达特征、毫米波雷达特征、红外热成像特征和可见光图像特征。

59、在本发明的一个示例中,步骤s40具体包括如下步骤:

60、s41:基于获得当前时刻的统一环境表征,对井下巷道结构和可通行区域进行识别,得到巷道边界、巷道中心区域、可通行区域和不可通行区域;

61、s42:基于统一环境表征,对井下车辆周围的人员、车辆、障碍物和其他目标进行检测,得到目标类别、三维位置、尺寸、速度和检测置信度;

62、s43:根据可通行区域、巷道边界、目标检测结果、环境退化状态和模态可靠性信息,输出当前井下环境风险状态;

63、s44:根据目标检测置信度、区域分割置信度、模态综合可靠性和连续帧一致性,计算当前感知置信度;

64、s45:根据感知置信度、模态综合可靠性、连续帧一致性和环境退化评分,计算环境感知可靠性评分,根据环境感知可靠性评分和预设阈值,将当前环境感知可靠性等级划分为高可靠、中可靠和低可靠;

65、s46:形成环境感知结果集合:将巷道结构、可通行区域、人员车辆和障碍物检测结果、环境风险状态、感知置信度和环境感知可靠性等级进行组合,形成当前时刻的环境感知结果集合:

66、

67、式中,表示巷道结构和可通行区域感知结果;表示经过非极大值抑制后的目标检测结果;表示环境风险等级;表示感知置信度;表示环境感知可靠性等级。

68、在本发明的一个示例中,步骤s43具体包括如下步骤:

69、s431:由目标风险、区域风险、环境退化风险和感知不确定性风险共同确定当前环境风险评分,其表达式为:

70、

71、式中,表示目标风险评分,表示区域风险评分,表示环境退化评分,表示环境感知可靠性评分,、、、为风险权重系数,且满足;

72、其中,目标风险评分根据目标类别、目标距离、目标速度和目标置信度计算;对于第k个目标,其目标风险表达式为:

73、

74、式中,表示第 k 个目标的风险评分,表示由目标类别决定的类别风险系数,表示目标与车辆之间的距离,表示目标速度,表示检测置信度,、、、为权重系数;

75、所有目标的综合目标风险评分表示为:

76、

77、其中,区域风险评分根据可通行区域面积、巷道边界距离和不可通行区域占比确定:

78、

79、式中,表示可通行区域面积,表示感知范围内总区域面积,表示车辆到最近巷道边界的距离,表示不可通行区域面积,、、为权重系数;

80、s432:根据环境风险评分和预设风险阈值,将环境风险状态划分为低风险、中风险和高风险:

81、

82、式中,表示当前环境风险等级,和表示低、高风险等级阈值。

83、在本发明的一个示例中,在步骤s44中,当前感知置信度的表达式为:

84、

85、式中,为目标检测平均置信度,为区域分割平均置信度,为模态综合可靠性,为连续帧一致性,、、、为权重系数,且满足;

86、其中,模态综合可靠性由模态可靠性评分和最终融合权重共同计算:

87、

88、式中,表示第 m个模态的最终融合权重,表示第m个模态的可靠性评分。

89、在本发明的一个示例中,步骤s45具体包括如下步骤:

90、s451:根据感知置信度、模态综合可靠性、连续帧一致性和环境退化评分,计算环境感知可靠性评分:

91、

92、式中,表示当前感知置信度,表示模态综合可靠性,表示连续帧一致性,表示环境退化评分,、、、为权重系数,且满足;

93、s452:根据环境感知可靠性评分和预设阈值,将当前环境感知可靠性等级划分为高可靠、中可靠和低可靠:

94、

95、式中,表示当前环境感知可靠性等级,和表示可靠性等级阈值。

96、本发明的另一个目的在于提出一种基于4d光场与多模态融合的井下环境感知系统,包括:

97、数据采集模块,配置为用于采集井下巷道环境的4d光场数据、多模态传感器数据和井下环境状态参数,并根据所述井下环境状态参数和各传感器数据质量评估各传感器模态的实时可靠性;其中,多模态传感数据包括:激光雷达点云数据、毫米波雷达数据、红外热成像数据和可见光图像数据;

98、自适应融合权重计算模块,配置为根据所述井下环境状态参数、当前感知退化状态以及各传感器模态的实时可靠性,计算4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态的自适应融合权重;

99、多模态特征融合网络,配置为根据所述自适应融合权重,对4d光场特征、激光雷达特征、毫米波雷达特征、红外热成像特征和可见光特征进行编码、尺度对齐、坐标对齐、跨模态特征融合、环境权重门控融合和时序融合,得到统一环境表征;

100、环境感知结果输出模块,配置为根据所述统一环境表征输出井下车辆周围的巷道结构、可通行区域、人员车辆与障碍物、环境风险状态、感知置信度以及环境感知可靠性等级中的至少一种环境感知结果。

101、相较于现有技术,本发明具有如下有益效果:

102、1、本发明将4d光场引入井下无人驾驶环境感知,通过四维光场信息获得重聚焦图像序列、场景深度图、全聚焦图像和光场伪点云,为井下巷道环境提供除激光雷达以外的补充深度线索和空间-角度联合信息,有利于提高复杂井下环境中的三维感知能力。

103、2、本发明根据粉尘浓度、湿度、照度、能见度、窗口污染程度以及各模态数据质量,动态计算4d光场、激光雷达、毫米波雷达、红外热成像和可见光模态的融合权重,能够避免固定权重融合在粉尘、水汽、低照度或传感器污染等环境突变场景下产生误判,提高环境感知的自适应能力。

104、3、本发明通过跨模态注意力融合、环境权重门控融合和时序融合,将4d光场的深度线索和重聚焦线索与激光雷达几何特征、毫米波雷达运动特征、红外热目标特征和可见光纹理语义特征进行深度融合,提高巷道边界、可通行区域、人员车辆、小尺寸障碍物和低可见度目标的识别稳定性。

105、4、本发明通过环境风险状态、感知置信度和环境感知可靠性等级输出,使环境感知结果不仅包括目标和区域识别结果,还包括对感知结果可信程度的评价,从而为井下无人驾驶车辆定位、决策规划和控制系统提供更可靠的感知输入。

106、5、本发明通过时序融合对连续多帧感知特征进行建模,能够抑制粉尘、水汽、车辆振动和局部遮挡导致的瞬时感知波动,提高环境感知结果的连续性和稳定性。

107、6、本发明可结合边缘-云端协同计算和传感器状态反馈机制,将安全关键任务优先部署于车载端,并将区域协同感知、模型训练和参数优化等任务分配至路侧边缘端或云端,从而兼顾井下环境感知系统的实时性、可靠性和持续优化能力。

108、下文中将结合附图对实施本发明的最优实施例进行更加详尽的描述,以便能容易理解本发明的特征和优点。