基于多传感器融合的矿用电机车环境感知系统及方法

摘要: 本发明涉及多传感器融合感知,具体涉及基于多传感器融合的矿用电机车环境感知系统及方法。背景技术:1、现有技术中,矿用电机车的环境感知通常依赖可见光相机或红外热像仪...
基于多传感器融合的矿用电机车环境感知系统及方法

本发明涉及多传感器融合感知,具体涉及基于多传感器融合的矿用电机车环境感知系统及方法。

背景技术:

1、现有技术中,矿用电机车的环境感知通常依赖可见光相机或红外热像仪等单一传感器,部分方案尝试将可见光图像与红外图像进行加权叠加或融合处理,以综合利用可见光图像的纹理细节信息与红外图像的热辐射分布信息。多传感器融合方案一般事先设定固定的融合权重或融合规则,对两类图像进行融合后用于障碍物检测与识别。

2、由于井下环境照度低、粉尘浓度高且动态变化,可见光图像在低光高尘场景下成像模糊、对比度下降,而红外图像虽受粉尘影响较小但空间分辨率有限。现有方案采用固定融合权重,无法根据环境条件的变化动态调整可见光与红外特征的贡献比例,导致融合效果在恶劣工况下明显下降;且融合过程为开环结构,缺乏对融合结果有效性的自我评价与参数校正机制,一旦预处理参数设置不当或工况发生突变,矿用电机车环境感知系统无法自主恢复感知精度。

技术实现思路

1、本发明提供了基于多传感器融合的矿用电机车环境感知系统及方法,目的在于解决现有技术中矿用电机车在井下低光高尘复杂工况下的环境感知精度不足的技术问题。

2、鉴于上述问题,本发明提供了基于多传感器融合的矿用电机车环境感知系统及方法。

3、第一方面,本发明提供了基于多传感器融合的矿用电机车环境感知系统,包括:

4、多源数据同步采集模块,用于获取由可见光采集单元采集的可见光图像序列与由红外热成像采集单元采集的红外图像序列,并同步获取当前环境的光照强度值和粉尘浓度值;

5、时空联合配准对齐模块,用于根据预设的时间同步协议,对所述可见光图像序列与所述红外图像序列进行时间对齐,并执行空间配准,获得配准可见光图像和配准红外图像;

6、自适应增强模块,用于根据所述光照强度值和所述粉尘浓度值,分别对所述配准可见光图像和所述配准红外图像执行自适应预处理,获得增强可见光图像和增强红外图像;

7、动态权重特征融合模块,用于将所述增强可见光图像和所述增强红外图像输入预训练的多级融合网络,提取可见光细节特征与红外轮廓特征,基于所述粉尘浓度值动态调制所述可见光细节特征与所述红外轮廓特征的融合权重,输出融合特征图;

8、质量评价与反馈迭代模块,用于对所述融合特征图进行质量评价,获得质量评价指标,当所述质量评价指标高于或等于预设质量阈值时,根据所述融合特征图识别障碍物类别与位置并生成电机车安全预警信号,否则反馈调整所述自适应预处理的参数并重新执行自适应预处理,直至所述质量评价指标高于或等于预设质量阈值。

9、第二方面,本发明提供了基于多传感器融合的矿用电机车环境感知方法,包括:

10、获取由可见光采集单元采集的可见光图像序列与由红外热成像采集单元采集的红外图像序列,并同步获取当前环境的光照强度值和粉尘浓度值;

11、根据预设的时间同步协议,对所述可见光图像序列与所述红外图像序列进行时间对齐,并执行空间配准,获得配准可见光图像和配准红外图像;

12、根据所述光照强度值和所述粉尘浓度值,分别对所述配准可见光图像和所述配准红外图像执行自适应预处理,获得增强可见光图像和增强红外图像;

13、将所述增强可见光图像和所述增强红外图像输入预训练的多级融合网络,提取可见光细节特征与红外轮廓特征,基于所述粉尘浓度值动态调制所述可见光细节特征与所述红外轮廓特征的融合权重,输出融合特征图;

14、对所述融合特征图进行质量评价,获得质量评价指标,当所述质量评价指标高于或等于预设质量阈值时,根据所述融合特征图识别障碍物类别与位置并生成电机车安全预警信号,否则反馈调整所述自适应预处理的参数并重新执行自适应预处理,直至所述质量评价指标高于或等于预设质量阈值。

15、本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:

16、本发明提供了基于多传感器融合的矿用电机车环境感知系统及方法,通过时间同步协议与空间配准保证多源图像在时空维度上的精确对齐,根据光照强度与粉尘浓度自适应调整可见光与红外的预处理策略,并利用粉尘浓度动态调制多级融合网络中两类特征的融合权重,实现融合策略随环境变化的自主适配;同时引入融合特征图的质量评价机制,当质量评价指标不达标时反馈调整预处理参数并迭代优化,最终根据高质量融合特征图识别障碍物并生成安全预警信号,形成了矿用电机车环境感知系统的闭环自适应感知能力。

1.基于多传感器融合的矿用电机车环境感知系统,其特征在于,所述系统包括:

2.如权利要求1所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,根据预设的时间同步协议,所述时空联合配准对齐模块还用于:

3.如权利要求1所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,所述自适应增强模块还用于:

4.如权利要求1所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,所述自适应增强模块还用于:

5.如权利要求1所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,所述多级融合网络的预训练,包括:

6.如权利要求1所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,所述动态权重特征融合模块还用于:

7.如权利要求1所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,所述质量评价与反馈迭代模块还用于:

8.如权利要求7所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,当所述质量评价指标高于或等于预设质量阈值时,根据所述融合特征图识别障碍物类别与位置并生成电机车安全预警信号,包括:

9.如权利要求7所述的基于多传感器融合的矿用电机车环境感知系统,其特征在于,当所述质量评价指标低于预设质量阈值时,反馈调整所述自适应预处理的参数并重新执行自适应预处理,包括:

10.基于多传感器融合的矿用电机车环境感知方法,其特征在于,应用于权利要求1至9任一项所述的基于多传感器融合的矿用电机车环境感知系统,所述方法包括: