基于异构多源传感器动态自适应融合的船舶综合感知预警系统及方法与流程

摘要: 本发明涉及船舶航行感知领域,更具体地,涉及一种基于异构多源传感器动态自适应融合的船舶综合感知预警系统及方法。背景技术:1、船舶航行安全是航运业永恒的课题。船舶在...
基于异构多源传感器动态自适应融合的船舶综合感知预警系统及方法与流程

本发明涉及船舶航行感知领域,更具体地,涉及一种基于异构多源传感器动态自适应融合的船舶综合感知预警系统及方法。

背景技术:

1、船舶航行安全是航运业永恒的课题。船舶在航行过程中,需要持续感知周围环境中的其他船舶、障碍物、浮标、码头设施以及落水人员等目标,以辅助驾驶人员做出正确决策,避免碰撞事故的发生。

2、目前,船舶通常配备航海雷达、自动识别系统(ais)、全球定位系统(gps)等导航助航设备。然而,现有系统存在以下问题:航海雷达对小目标存在漏检和信息缺失,ais数据存在报告延迟和人为操控的主观不可靠性,人工瞭望受驾驶人员生理因素和海况条件影响存在主观疏忽,导致海上安全事故仍频繁发生。近年来,部分船舶开始在驾驶台部署可见光摄像头,通过视频监控提供辅助视野。然而,单一类型的感知设备在不同环境条件下各有显著的性能瓶颈,无法满足复杂海洋环境下全天候、全方位、高精度的感知需求。

3、此外,现有船舶感知系统普遍存在“信息孤岛化”的问题。各类传感器设备提供着彼此割裂、格式各异、时间戳不一致的数据流,驾驶员必须在巨大压力下依靠个人经验进行人工整合,这种信息处理方式既低效又容易出错。现有技术中虽已出现将多种传感器数据进行简单叠加或特征层融合的方案,但融合策略多为静态预设,缺乏根据环境动态变化自适应调整融合权重的能力,导致融合效果受环境干扰大、算法鲁棒性不足。更重要的是,现有专利中鲜见针对船舶场景中激光雷达、毫米波雷达、可见光摄像机与红外热成像仪四类异构传感器的高效、分阶融合方案,能够同时兼顾近程高精度测距、中远程目标探测、全天候适应性以及环境变化响应等多维需求。

4、因此,有必要开发一种基于异构多源传感器动态自适应融合的船舶综合感知预警系统及方法。

5、公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明提出了一种基于异构多源传感器动态自适应融合的船舶综合感知预警系统及方法,其能够基于gps硬件同步和统一坐标系实现时空基准对齐,利用动态熵权加权融合算法实时评估环境状态以自适应调整各传感器的融合权重,采用分层三阶融合架构与场景自适应策略切换机制对多源异构感知数据进行协同处理,并据此进行决策预警。

2、第一方面,本公开实施例还提供了一种基于异构多源传感器动态自适应融合的船舶综合感知预警系统,包括多源异构感知层、数据预处理层、时空同步层、自适应融合层和智能决策预警层:

3、多源异构感知层,用于通过多种类型传感器获取多源数据;

4、数据预处理层,用于对多源数据进行预处理,生成预处理数据;

5、时空同步层,用于接收预处理数据进行时间戳对齐与坐标转换,获得经时空同步的多源感知数据;

6、自适应融合层,用于基于信息熵的动态权重分配算法,计算各传感器的最优加权融合系数,进而对多源感知数据进行分层融合,获得综合感知结果;

7、智能决策预警层,用于接收综合感知结果并进行决策预警。

8、优选地,多源异构感知层包括:

9、至少一个激光雷达,用于获取船舶周围环境的实时三维点云数据;

10、至少一个毫米波雷达,用于获取船舶周围环境中移动目标的实时距离与多普勒速度信息;

11、至少一个可见光摄像机,用于获取船舶周围环境的高清彩色图像;

12、至少一个红外热成像仪,用于获取船舶周围环境的热辐射图像。

13、优选地,预处理包括去噪、点云滤波、图像直方图校正及温度校准。

14、优选地,时空同步层以高精度全球定位系统gps的时间同步信号为基准,对多源数据进行硬件级时间戳对齐;通过标定参数将各传感器预处理后的数据转换至统一的船体坐标系。

15、优选地,自适应融合层包括环境状态评估单元、熵权加权计算单元和分层融合单元:

16、环境状态评估单元根据多源感知数据,实时评估当前环境状态并输出各传感器的置信度因子;

17、熵权加权计算单元以各传感器的当前置信度因子为输入,采用基于信息熵的动态权重分配算法,实时计算各传感器的最优加权融合系数;

18、分层融合单元基于各传感器的最优加权融合系数,对多源感知数据执行分层融合。

19、优选地,动态权重分配算法包括:

20、能见度降低时,自动降低激光雷达的加权系数并升高毫米波雷达和红外热成像仪的加权系数;

21、光照强度趋近于零时,自动降低可见光摄像机的加权系数并升高红外热成像仪的加权系数;

22、海面波浪反射干扰大时,自动降低可见光摄像机和激光雷达的加权系数,升高毫米波雷达的加权系数。

23、优选地,分层融合单元包括:

24、数据层融合子单元,用于将激光雷达的三维点云数据与毫米波雷达的目标回波数据进行坐标系统一后的点云级对齐与融合,生成具备多普勒速度属性的增强点云数据;

25、特征层融合子单元,用于对提取的多模态特征进行基于注意力机制的特征加权聚合,生成融合特征向量;

26、决策层融合子单元,用于将融合特征向量输入经训练的目标检测与分类网络,输出多类目标的位置、类别与置信度信息。

27、优选地,多模态特征包括从增强点云数据中提取的几何特征、从毫米波雷达数据中提取的运动特征、从可见光图像中提取的颜色与纹理特征、从红外图像中提取的热辐射特征。

28、优选地,智能决策预警层的决策预警包括:

29、基于船舶物理尺寸与航行速度,动态构建船舶的安全包络区域;

30、对进入船舶安全包络区域的任意目标,实时计算船舶与该目标的距离与接近速度,并基于运动趋势预测未来碰撞风险;

31、当碰撞风险概率超过预设阈值时,通过声光报警系统向驾驶人员发出分级预警信息,并自动生成推荐避碰路径供驾驶人员参考。

32、第二方面,本公开实施例提供了一种基于异构多源传感器动态自适应融合的船舶综合感知预警方法,包括:

33、通过多源异构感知层通过多种类型传感器采集船舶周围环境的多源数据;

34、对多源数据进行预处理,统一所有传感器数据的时间戳与空间坐标,获取多源感知数据;

35、实时评估当前环境状态,根据环境变化动态计算各传感器的加权融合系数,按照数据层融合、特征层融合、决策层融合的三阶分层架构对多源感知数据进行融合处理,获得综合感知结果;

36、基于综合感知结果进行决策预警。

37、其有益效果在于:

38、1、本发明通过激光雷达、毫米波雷达、可见光摄像机和红外热成像仪四类异构传感器的协同工作,在晴天采用可见光摄像机与激光雷达融合获得高精度三维轮廓与彩色图像,在大雾/雨雪天切换至毫米波雷达与红外热成像仪融合保证探测有效性;在夜间完全无光环境下利用红外热成像仪与激光雷达互补维持感知能力,实现真正的“全天候、全天时”稳定运行;

39、2、本发明基于环境状态评估与信息熵加权的动态融合算法,各传感器的融合权重随环境变化实时在线调整,解决了静态权重融合策略在环境突变时失效的问题。大雾天气时主动降低激光雷达权重而升高毫米波雷达和红外热像仪权重,确保了恶劣条件下的感知可靠性;

40、3、本发明通过gps硬件级时间戳同步与统一船体坐标系的空间标定,解决了多种传感器数据时空不一致的难题。采用数据层、特征层、决策层三阶分层融合架构,充分发挥各传感器在不同粒度上的信息优势,融合结果同时在三维几何精度和语义特征完整性上优于单一传感器。

41、本发明的方法和系统具有其它的特性和优点,这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的,或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述,这些附图和具体实施方式共同用于解释本发明的特定原理。