一种基于深度学习的船舶甲板图像目标检测方法、装置及系统

摘要: 本发明涉及计算机视觉,具体来说,涉及一种基于深度学习的船舶甲板图像目标检测方法、装置及系统。背景技术:1、在货物系固、舷外操作、设备检修、拖带配合等船舶甲板高频...
一种基于深度学习的船舶甲板图像目标检测方法、装置及系统

本发明涉及计算机视觉,具体来说,涉及一种基于深度学习的船舶甲板图像目标检测方法、装置及系统。

背景技术:

1、在货物系固、舷外操作、设备检修、拖带配合等船舶甲板高频作业场景中,船员的安全防护直接关系到落水伤亡、头部伤害等事故的可控程度。区别于其他工业场景,甲板作业环境复杂,通常面临风浪引起的湿滑与晃动、光照条件变化、背景杂乱等恶劣条件,且作业区域内人员与吊钩、绞缆机、移动部件交互频繁,极易发生人员坠海或被坠落物体击中头部。在此背景下,安全帽与救生衣分别构成了防撞击与防落水的最后一道生命防线。传统的人为盯防、定期巡查等安全管理方式不仅效率低下,且受制于人的生理极限与主观因素,难以实现全天候、无死角的实时监控,存在巨大的安全隐患。因此,安装智能监控系统进行实时进行人员安全帽、救生衣穿戴检测与主动预警,已成为消除盲区、保障生命安全的必要技术屏障,是从根本上提升作业安全水平的必然选择。近年来,随着人工智能技术的飞速发展,特别是深度学习在计算机视觉领域取得的突破性进展,为复杂工业环境下的智能安全监控提供了全新的技术路径。通过部署视觉传感器(如摄像头)并利用目标检测、行为识别等算法,自动识别潜在的危险因素,已成为工业安全领域的研究热点。将这一技术应用于船舶甲板作业这一特定场景,构建智能化安全监控系统,具有理论价值与现实意义。交通运输部等多部门也连续出台文件,强调利用智能化、信息化手段提升水上交通安全水平。《全要素水上“大交管”建设工作方案》[1]提出构建“多维感知、高效协同”的现代化、智能化水上交通动态管控新格局。中华人民共和国海事局发布的《船舶智能监控系统技术指南(1.0)》[2]中指出在船舶上安装使用具备边缘目标检测能力的硬件设备,能自动监测识别人的不安全行为和物的不安全状态,并具备在无以太网环境下实现相关告警功能,其中对船舶甲板智能监控未佩戴安全帽、未穿救生衣工作服等不安全行为做了具体要求。《智能船舶规范2026》[3]对人员行为监视作了具体要求,明确将未戴安全帽、未穿戴个人防护用具纳入影响人员安全的行为中。

2、安全防护装备检测属于目标检测范畴,目标检测主要分为基于传统的目标检测和基于深度学习的目标检测方法。安全防护装备包括:安全帽、救生衣等。

3、近年来目标检测技术发展迅速,适用于安全装备的检测算法越来越多,主要集中于深度学习算法。为进一步提升安全装备检测能力,众多学者在优化网络结构、改进模块、算法轻量化等方面做了大量工作,以提高检测准确率并降低计算复杂度。程换新等[4]采用简化的bifpn网络替换yolox-s的原始fpn结构,为各输入特征添加可学习权重以动态调整特征重要性,使用mosaic方法进行训练,提高网络在复杂场景下的检测能力;张学立等[5]yolov5s骨干网络中引入ca注意力机制,通过对特征图在两个空间方向上进行一维全局平均池化来抑制背景信息干扰,同时采用ghost模块替代传统卷积实现模型轻量化;谢国波[6]等通过权重系数提升空间注意力的权重,引入自适应特征融合模块asff,解决多尺度特征融合时存在的不一致性问题;张羽等[7]采用c2f-cib模块和跨尺度特征融合模块实现yolov8模型轻量化;谢敏怡等[8]针对yolo11算法特征提取能力不足的问题,提出了asdcn模块替换骨干网络中的卷积模块,通过并行非对称卷积增强多尺度特征提取能力;冯兴兴等[9]利用sobel算子提取浅层边缘细节并与深层特征融合,同时引入bifpn增强小目标保留能力,提升yolov11n针对安全帽与反光衣的检测精度;曹燕等[10]提出等级ssd模型,通过引入conv-lstm将高低特征信息层分开,使小目标特征信息得到充分利用。程磊等[11]基于yolov8提出增强型完全交并比ie-ciou精确计算预测框与真实框的位置偏差;吕彦昌[12]在yolov5s基础上采用mosaic-6数据增强方式替换mosaic-4,增强模型对局部特征的学习能力,并在focus模块引入注意力机制,增强感受野和信息关联程度;张学立[13]在yolov5s基础上使用carafe轻量级上采样算子,进一步提升了安全帽与救生衣的检测精度。韩泽佳等[14]在ssd算法的高层卷积模块中加入可形变卷积模块,使模型更好地适应目标的不同尺寸;郑凯东等[15]提出yolov5s-reg模型,基于res2net提出c3_res2block模块替代c3模块,引入eca注意力机制和gsconv模块,在满足检测精度需求的同时降低了模型复杂度。shileitan等[16]在yolov5基础上引入diou-nms替代nms,提高了安全帽检测准确率;yiping liu等[17]通过改进yolov5实现头盔实时检测,引入fasternet轻量级网络和wise-iou损失函数,并引入cbam注意力机制获取全局上下文信息;guoliang yang等[18]提出yolo-helmet算法,构建c-elan模块通过可变形卷积扩展感受野,将ciou与nwd相结合,适用于密集小型安全帽检测;xin jiao等[19]结合无人机与yolov8算法进行头盔检测,利用无人机灵活捕捉施工现场图像;常龙龙等[20]提出mem-yolov8模型,引入mobilenetv3替代主干网络,设计融入ema注意力的c2f模块,采用mpdiou作为定位损失,降低了检测计算成本。贺洪江等[21]提出改进的yolov7实时检测模型,以eiou作为损失函数并引入焦点损失,同时采用全局注意力机制提高网络性能;陈刚等[22]针对yolov5对安全服检测准确率低的问题,使用efficientnet、resnet-50、shufflenet与mobilenet替换backbone模块,提出模型融合算法;陈伟等[23]提出基于yolov8的改进模型,添加shuffle attention注意力机制,在sppf中添加可分离大核聚集模块lska,将损失函数改为wise-iou,提高了模型的泛化能力。

4、安全防护装备检测技术在通用场景下已取得进展,但是在船舶甲板这一复杂场景时仍存在局限性。一方面,传统主干网络中的标准卷积模块感受野固定,难以自适应地捕捉形变目标的几何特征,且在深层网络中容易丢失小目标的细节信息;另一方面,在多尺度特征融合阶段,简单的拼接或相加操作无法有效区分前景目标与背景噪声,导致无关背景信息被放大,削弱了关键特征的表达能力;此外,现有的注意力机制多侧重于单一维度的通道或空间加权,缺乏对跨维度交互信息的充分利用,难以在抑制背景干扰的同时精准强化目标区域响应。上述缺陷共同导致了在船舶甲板环境下目标检测的精确率与召回率难以满足实际应用需求。

技术实现思路

1、根据上述提出的复杂背景下多尺度及形变目标检测精度低的问题,本发明提供一种基于深度学习的船舶甲板图像目标检测方法、装置及系统,实现了在保持实时性的前提下显著提升对安全防护装备这种形变目标、小目标的检测性能。

2、本发明采用的技术手段如下:

3、一种基于深度学习的船舶甲板图像目标检测方法,包括以下步骤:

4、获取待检测图像;

5、通过目标检测模型的主干网络对所述待检测图像进行多尺度特征提取,得到多个尺度的初始特征图;其中,所述主干网络包括串联设置的、感受野尺度依次增大的五层特征提取节点,且在第四层和第五层特征提取节点处,通过dcnv3-dlka模块替代标准卷积执行特征提取操作;获取第二层特征提取节点、第三层特征提取节点以及第五层特征提取节点提取的特征图作为主干网络的输出特征图;

6、通过所述目标检测模型的颈部网络对所述多个尺度的初始特征图进行多尺度特征融合,得到多个尺度的增强特征图;其中,在融合过程中,通过选择性融合模块对所述多个尺度的初始特征图执行尺寸对齐与通道对齐后,执行逐元素相乘操作以抑制背景噪声,并通过注意力增强模块基于轴向池化与跨分支交互执行空间与通道的联合注意力增强;

7、基于所述多个尺度的增强特征图,通过所述目标检测模型的检测头输出所述待检测图像中目标对象的检测结果。

8、进一步地,通过dcnv3-dlka模块替代标准卷积执行特征提取操作,包括:

9、将输入至所述dcnv3-dlka模块的特征图分为三路并行分支;

10、在第一分支中,将输入的特征图经1×1 conv 降维后进入3×3 conv生成输入特征,

11、在第二分支中,基于预测的偏移量和掩码对所述特征图执行可变形采样操作,得到第二分支特征;

12、在第三分支中,对所述特征图和第一分支生成的输入特征执行大核深度卷积操作,得到第三分支特征;

13、将所述第二分支特征与所述第三分支特征进行融合,输出所述dcnv3-dlka模块的处理结果。

14、进一步地,基于预测的偏移量和掩码对所述特征图执行可变形采样操作,得到第二分支特征,包括:

15、对特征图进行偏移量预测与掩码学习,基于学习的偏移量调整采样位置以执行可变形采样,并结合预测的掩码进行加权聚合,得到所述第二分支特征;

16、对所述特征图和第一分支生成的输入特征执行大核深度卷积操作,得到第三分支特征,包括:

17、依次对所述特征图和输入特征执行深度卷积、空洞深度卷积以及用于通道映射的卷积操作,并生成注意力权重,基于所述注意力权重对卷积结果进行加权得到所述第三分支特征;

18、将所述第二分支特征与所述第三分支特征进行融合,包括:

19、将所述第二分支特征与所述第三分支特征进行逐元素相乘运算,得到所述处理结果。

20、进一步地,通过选择性融合模块对所述多个尺度的初始特征图执行尺寸对齐与通道对齐后,执行逐元素相乘操作,包括:

21、接收来自所述主干网络的不同层级的所述多个尺度的初始特征图;

22、通过上采样操作将所述多个尺度的初始特征图的空间尺寸统一至预设目标尺寸,并通过卷积操作将所述多个尺度的初始特征图的通道维度统一至预设目标通道数,得到尺寸与通道均对齐的多个特征图;

23、对所述尺寸与通道均对齐的多个特征图执行所述逐元素相乘操作。

24、进一步地,接收来自所述主干网络的不同层级的所述多个尺度的初始特征图,包括:接收第一尺度特征图、第二尺度特征图和第三尺度特征图,其中所述第一尺度特征图的空间尺寸大于所述第二尺度特征图,所述第二尺度特征图的空间尺寸大于所述第三尺度特征图;

25、通过上采样操作将所述多个尺度的初始特征图的空间尺寸统一至预设目标尺寸,包括:将所述第二尺度特征图和所述第三尺度特征图上采样至与所述第一尺度特征图相同的空间尺寸;

26、对所述尺寸与通道均对齐的多个特征图执行所述逐元素相乘操作,包括:将统一空间尺寸和通道维度后的所述第一尺度特征图、所述第二尺度特征图和所述第三尺度特征图进行逐元素相乘运算,生成输出特征图。

27、进一步地,通过注意力增强模块基于轴向池化与跨分支交互执行空间与通道的联合注意力增强,包括:

28、对所述输出特征图分别执行高度方向和宽度方向的轴向池化,得到高度池化特征和宽度池化特征;

29、基于所述高度池化特征和所述宽度池化特征进行通道映射,得到映射特征图;

30、将所述映射特征图分流至两个并行分支进行建模,并对所述两个并行分支的输出进行跨分支交互,得到注意力增强后的特征图。

31、进一步地,将所述映射特征图分流至两个并行分支进行建模,并对所述两个并行分支的输出进行跨分支交互,得到注意力增强后的特征图,包括:

32、将所述映射特征图输入至所述两个并行分支中的第一分支,通过组归一化模块进行特征处理,得到第一分支输出;

33、将所述映射特征图输入至所述两个并行分支中的第二分支,通过卷积模块进行特征提取,得到第二分支输出;

34、对所述第一分支输出和所述第二分支输出执行跨分支交互运算,生成所述注意力增强后的特征图。

35、进一步地,所述目标对象包括安全帽和/或救生衣;

36、所述方法还包括:

37、基于所述检测结果,判定所述船舶甲板监控图像中的人员是否按规范穿戴所述安全帽和/或所述救生衣;

38、响应于判定存在未按规范穿戴的行为,触发安全告警。

39、本发明还公开了一种基于深度学习的船舶甲板图像目标检测装置,用于实现上述任意一项所述的方法,包括:

40、特征提取模块,配置为获取待检测图像,并通过目标检测模型的主干网络对所述待检测图像进行多尺度特征提取,得到多个尺度的初始特征图;其中,所述主干网络包括串联设置的、尺度依次增大的五层特征提取节点,且在第四层和第五层特征提取节点处,通过dcnv3-dlka模块替代标准卷积执行特征提取操作;获取第二层特征提取节点、第三层特征提取节点以及第五层特征提取节点提取的特征图作为主干网络的输出特征图;

41、特征融合模块,配置为通过所述目标检测模型的颈部网络对所述多个尺度的初始特征图进行多尺度特征融合,得到多个尺度的增强特征图;其中,在融合过程中,通过选择性融合模块对所述多个尺度的初始特征图执行尺寸对齐与通道对齐后,执行逐元素相乘操作以抑制背景噪声,并通过注意力增强模块基于轴向池化与跨分支交互执行空间与通道的联合注意力增强;

42、检测输出模块,配置为基于所述多个尺度的增强特征图,通过所述目标检测模型的检测头输出所述待检测图像中目标对象的检测结果。

43、本发明还公开了一种船舶甲板安全监控系统,包括:

44、图像采集设备,配置为采集船舶甲板场景的监控图像;

45、如上述船舶甲板图像目标检测装置,与所述图像采集设备通信连接,配置为接收所述监控图像作为所述待检测图像,并输出所述检测结果;

46、告警设备,与所述船舶甲板图像目标检测装置通信连接,配置为响应于所述图像目标检测装置判定存在未按规范穿戴安全防护装备的行为,执行安全告警操作。

47、较现有技术相比,本发明具有以下优点:

48、1、本发明通过在主干网络深层节点设置结合可变形采样与大核卷积的第一特征提取模块,利用可变形采样自适应调整感受野以精准捕获形变目标的几何结构信息,同时利用大核深度卷积提取广域上下文语义信息,两者通过逐元素相乘实现局部形变特征与全局上下文特征的深度融合,从根本上增强了模型对复杂背景下形变目标及小目标的特征表达能力。

49、2、本发明在颈部网络的多尺度特征融合过程中,通过选择性融合模块在执行逐元素相乘前预先完成空间尺寸与通道维度的严格对齐,利用乘法交互的非线性特性筛选并强化多尺度特征间的共性响应,有效抑制了因简单拼接或相加引入的背景噪声与冗余信息,提升了特征融合的纯净度与互补性。

50、3、本发明通过注意力增强模块采用高度与宽度方向的轴向池化替代传统全局平均池化,保留了更精细的空间位置编码信息,并结合组归一化与卷积双分支建模及跨分支交互机制,实现了空间维度与通道维度的联合注意力增强,在保证计算轻量化的同时,显著提升了模型对目标关键区域的聚焦能力与抗干扰能力,从而在复杂工业场景下实现了高精度、高鲁棒性的目标检测效果。