基于抗退化模型的浮标平台海上小目标检测方法及系统

本发明涉及海上目标检测，特别涉及一种基于抗退化模型的浮标平台海上小目标检测方法及系统。

背景技术：

1、浮标平台作为海上分布式视觉监测的重要节点，具有部署灵活、覆盖范围广、可长期在远海和近岸海域运行等特点，广泛应用于海上态势感知、遇险目标预警、海洋环境监测等场景。然而，浮标平台通常长期部署在远海、近岸等各类海域，搭载的视觉采集设备易受平台自身晃动、海面复杂气象与光学环境影响，采集到的图像与视频帧普遍存在运动模糊、方向性拖影、雾化、低对比度、海面强反光、海浪纹理干扰等成像退化问题。同时，浮标平台通常依赖边缘计算设备完成数据处理，其算力有限、功耗受限，难以直接运行参数量和计算量较大的通用目标检测模型。

2、现有技术中，海上小目标检测方案主要包括以下几类。第一类是直接迁移通用目标检测模型的方案。该类方案未针对海上特殊成像场景进行定向优化，对退化场景下的弱小目标特征提取能力不足，海浪、海天线等背景干扰极易引发误判；同时，多数通用模型参数量大，难以在浮标低功耗边缘设备上运行，实时性无法保障。第二类是仅做单一维度优化的海上检测方案。该类方案通常仅针对海天线过滤、普通去模糊等单一场景进行调整，未建立系统化的抗退化机制，遇到方向性拖影、强反光、低对比度雾天等复合退化场景时精度骤降，且未将退化建模与特征提取深度融合，小目标特征恢复效果有限，额外的预处理步骤还会进一步增加运算开销。第三类是传统图像增强与检测分离的两步法方案。该类方案先通过独立的去雾、去模糊、对比度增强算法处理输入图像，再输入检测模型，增强过程易过度放大海浪纹理等噪声，反而提升误检率；且多步预处理叠加的运算量极大，边缘端运行延迟高，同时预处理逻辑与检测模型的特征需求未联动，大量无效运算浪费了有限的算力资源，对小目标检测精度的提升十分有限。第四类是针对固定海上平台的检测方案。该类方案适配岸基、钻井平台等固定监测场景，未考虑浮标动态晃动带来的方向性模糊、视角频繁变化问题，且为了追求精度普遍采用大参数量主干网络，部署成本极高，同时缺少长期增量迭代机制，随着海况变化、摄像头老化等问题出现，模型精度会持续下降。

3、综上，现有技术难以在浮标平台边缘算力受限的条件下，有效解决平台晃动、复杂成像退化、海面背景干扰等因素导致的海上小目标高漏检、高误检以及无法长期稳定实时运行的问题。因此，迫切需要一种面向浮标平台海上视觉监测场景、适配边缘算力约束的抗退化小目标检测方法及系统。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于抗退化模型的浮标平台海上小目标检测方法及系统，以达到在浮标平台边缘算力受限的条件下，提高复杂成像退化场景下海上小目标的检测精度、降低漏检率和误检率、增强对海面背景干扰的抑制能力，并保持实时推理能力的目的。

2、为达到上述目的，本发明的技术方案如下：

3、一种基于抗退化模型的浮标平台海上小目标检测方法，包括以下步骤：

4、s1、获取浮标平台视觉采集设备采集的海面图像或视频帧；

5、s2、对所述海面图像或视频帧进行预处理，得到输入张量；

6、s3、将所述输入张量输入预先训练好的抗退化目标检测网络，所述抗退化目标检测网络包括依次连接的主干网络、特征编码与融合网络和特征解码网络；

7、所述主干网络包括依次连接的stem模块、hg模块、第一方向聚合模块、方向聚合-背景残差模块和第二方向聚合模块；所述第一方向聚合模块和所述第二方向聚合模块均用于提取水平方向和垂直方向的多尺度方向特征并动态加权融合；所述方向聚合-背景残差模块包括方向聚合模块和背景残差矫正模块，所述背景残差矫正模块用于估计海面背景并对候选目标残差进行门控筛选和回注，所述主干网络输出p4特征和p5特征；

8、所述特征编码与融合网络包括p4/p5双尺度特征处理结构，所述p4/p5双尺度特征处理结构的p4特征路径中设置有退化感知原型模块，所述退化感知原型模块用于根据当前输入的退化状态从多个独立可学习原型中读取补偿信息，对p4特征进行退化自适应补偿；所述p4/p5双尺度特征处理结构将p5特征上采样后与p4特征拼接融合，并将融合后的p4特征下采样后与p5特征拼接融合，得到融合后的p4特征和p5特征；

9、所述特征解码网络包括d-fine transformer解码器、分类分支和边界框回归分支，用于输出目标类别、置信度和边界框；

10、s4、对所述特征解码网络的输出进行置信度阈值筛选和坐标映射还原，得到原始采集画面中的海上小目标检测结果。

11、上述方案中，所述方向聚合模块包括：

12、通道压缩单元，用于对输入特征进行卷积、归一化和激活，得到中间特征；

13、四路方向卷积分支，分别用于对所述中间特征进行水平短程、水平长程、垂直短程和垂直长程深度卷积，得到四路方向特征；

14、方向权重生成单元，用于对所述四路方向特征分别执行全局平均池化并拼接，经前馈网络和softmax生成四组逐通道方向权重；

15、方向加权融合单元，用于按所述四组逐通道方向权重对所述四路方向特征逐通道加权求和，得到方向加权融合特征；

16、通道恢复与残差单元，用于对所述方向加权融合特征依次进行卷积、归一化、eca通道注意力计算、逐通道缩放和随机丢弃，并与所述方向聚合模块的输入特征逐元素相加，得到方向增强输出特征。

17、上述方案中，所述背景残差矫正模块包括：

18、主特征提取支路，用于对输入特征进行卷积、归一化和激活，得到主特征；

19、背景上下文建模支路，用于对输入特征分别进行短程水平深度卷积、膨胀水平深度卷积和沿高度方向的全局平均池化，并将三路结果加权求和、归一化和激活，得到背景估计特征；

20、候选目标残差生成支路，用于将所述主特征减去经缩放系数缩放的背景特征，得到候选目标残差；

21、残差门控回注支路，用于将所述候选目标残差与所述背景估计特征拼接后生成残差门控掩码，将所述候选目标残差与所述残差门控掩码逐元素相乘得到可信目标残差，并将经非负残差增强系数缩放后的可信目标残差与所述主特征逐元素相加，得到背景矫正后的输出特征。

22、上述方案中，所述退化感知原型模块包括：

23、局部精化单元，用于对输入特征进行深度卷积、归一化和激活，得到局部精化特征；

24、双路退化感知模块，用于根据所述局部精化特征生成网络退化路由，并根据所述局部精化特征计算退化指标生成传统退化先验路由，将所述网络退化路由和所述传统退化先验路由加权融合并归一化，得到退化路由权重；

25、独立原型记忆模块，用于存储多个独立可学习原型，并将所述多个独立可学习原型分别经键投影和值投影得到原型键和原型值；

26、空间注意力计算单元，用于将所述局部精化特征投影为空间查询，计算所述空间查询与所述原型键的相似度并加入基于所述退化路由权重生成的原型路由偏置，经softmax得到空间注意力权重，再对所述原型值加权求和并经输出投影得到空间补偿特征；

27、通道门控单元，用于根据所述空间注意力权重计算原型实际使用率，按所述原型实际使用率对所述多个独立可学习原型加权求和得到原型摘要，对所述局部精化特征执行全局平均池化得到全局汇聚结果，将所述全局汇聚结果与所述原型摘要相加后经前馈网络和sigmoid生成通道门控权重；

28、退化补偿输出单元，用于将所述空间补偿特征与所述通道门控权重逐元素相乘，依次进行eca通道注意力计算和可学习补偿缩放，并与所述退化感知原型模块的输入特征相加，得到退化补偿后的p4特征。

29、上述方案中，所述特征编码与融合网络还包括第一卷积归一化融合层、第二卷积归一化融合层、第三卷积归一化融合层、transformer编码模块、上采样模块、第一repncspelan4模块、第二repncspelan4模块和sc下采样模块；

30、所述p4/p5双尺度特征处理结构被配置为执行以下处理：

31、将所述主干网络输出的p4特征经所述第一卷积归一化融合层和所述退化感知原型模块处理后，得到补偿后的p4特征；

32、将所述主干网络输出的p5特征经所述第二卷积归一化融合层、所述transformer编码模块和所述第三卷积归一化融合层处理后，得到处理后的p5特征；

33、将所述处理后的p5特征经所述上采样模块上采样后，与所述补偿后的p4特征拼接，得到第一拼接特征；

34、将所述第一拼接特征分别输入所述第一repncspelan4模块和所述sc下采样模块，经所述第一repncspelan4模块得到融合后的p4特征，经所述sc下采样模块得到下采样特征；

35、将所述下采样特征与所述处理后的p5特征拼接，得到第二拼接特征，将所述第二拼接特征输入所述第二repncspelan4模块，得到融合后的p5特征；

36、将所述融合后的p4特征和所述融合后的p5特征共同输入所述d-finetransformer解码器。

37、上述方案中，所述抗退化目标检测网络的训练过程包括：

38、（1）采集覆盖不同海况、光照和气象条件的浮标平台海面视觉数据，对船舶、漂浮物和浮标中的至少一类小目标进行类别和边界框标注，得到训练集、验证集和测试集；

39、（2）仅对所述训练集中的样本执行退化增强处理，所述退化增强处理包括浮标晃动运动模糊、方向性模糊、雾化、低对比度和海面反光中的至少一种；

40、（3）调用所述训练集对所述抗退化目标检测网络进行端到端训练，采用d-fine主检测损失监督目标类别和边界框预测，同时在训练模式下计算所述退化感知原型模块的自监督辅助损失；

41、（4）将所述d-fine主检测损失和所述自监督辅助损失在同一次前向计算后加权求和，统一执行反向传播；

42、（5）利用所述验证集评价模型检测性能，未达到预设精度时继续迭代训练或补充退化样本。

43、上述方案中，所述自监督辅助损失的计算包括以下步骤：

44、（1）在训练模式下，将所述退化感知原型模块的当前输入特征作为停止梯度传播的自监督恢复目标，并在特征空间内部施加对比度衰减和空间模糊，构造附加退化特征；

45、（2）将所述附加退化特征经所述退化感知原型模块处理后得到恢复特征，分别计算所述恢复特征和未经所述退化感知原型模块补偿的退化特征相对于原始目标特征的归一化恢复误差，所述归一化恢复误差由特征值差异、水平和垂直空间梯度差异以及整体特征方向差异构成；

46、（3）根据所述恢复特征与所述原始目标特征之间的恢复误差、所述退化特征与所述原始目标特征之间的恢复误差计算退化恢复比；

47、（4）计算所述多个独立可学习原型之间的原型多样性损失；

48、（5）将所述退化恢复比和所述原型多样性损失加权组合，得到所述自监督辅助损失；

49、（6）在推理模式下关闭所述附加退化特征的构造和所述自监督辅助损失的计算。

50、上述方案中，步骤s2中所述预处理包括：

51、（1）采用等比例缩放策略将所述海面图像或视频帧的长边缩放至网络预设输入尺寸，短边按相同缩放因子缩放；

52、（2）对缩放后图像的短边两侧对称填充灰度像素，使输入尺寸统一；

53、（3）将填充后图像的像素值线性映射至设定区间，并逐通道按训练集统计的像素均值和标准差进行归一化；

54、（4）将归一化后的数组按通道、高度、宽度维度顺序重排，转换为输入张量。

55、上述方案中，还包括将训练完成的所述抗退化目标检测网络部署至浮标平台边缘计算设备的步骤：

56、将训练完成的所述抗退化目标检测网络转换为onnx格式，再转换为tensorrtengine格式，并采用fp16精度进行推理；

57、部署时将网络输入尺寸设置为640×640，batch size设置为1，由tensorrtengine执行前向推理；

58、在所述浮标平台边缘计算设备上对实时海面图像或视频帧执行预处理、网络推理、置信度筛选和边界框坐标还原，输出检测结果，并收集边缘端漏检误检样本用于后续增量优化。

59、一种基于抗退化模型的浮标平台海上小目标检测系统，用于执行如上所述的方法，包括：

60、数据采集模块，用于获取浮标平台视觉采集设备采集的海面图像或视频帧；

61、预处理模块，用于对所述海面图像或视频帧进行预处理，得到输入张量；

62、抗退化目标检测网络推理模块，所述抗退化目标检测网络包括依次连接的主干网络、特征编码与融合网络和特征解码网络；所述主干网络包括依次连接的stem模块、hg模块、第一方向聚合模块、方向聚合-背景残差模块和第二方向聚合模块；所述方向聚合-背景残差模块包括方向聚合模块和背景残差矫正模块；所述特征编码与融合网络包括p4/p5双尺度特征处理结构，所述p4/p5双尺度特征处理结构的p4特征路径中设置有退化感知原型模块；所述特征解码网络包括d-fine transformer解码器、分类分支和边界框回归分支；

63、后处理模块，用于对所述特征解码网络的输出进行置信度阈值筛选和坐标映射还原，得到原始采集画面中的海上小目标检测结果；

64、边缘部署模块，用于将训练完成的所述抗退化目标检测网络转换为tensorrtengine并部署于浮标平台边缘计算设备。

65、通过上述技术方案，本发明提供的一种基于抗退化模型的浮标平台海上小目标检测方法及系统具有如下有益效果：

66、1、针对浮标平台晃动和运动模糊条件下海上小目标方向结构容易衰减的问题，本发明在主干网络中设置方向聚合模块，通过水平、垂直等不同方向和尺度的深度卷积分支提取局部结构特征，并动态生成逐通道方向权重进行自适应融合，增强了弱小目标的边缘、轮廓及方向结构表达，有利于提高方向性模糊场景下小目标的特征召回能力；

67、2、本发明设置背景残差矫正模块，通过多范围背景上下文建模估计连续海面背景，并利用主特征与背景估计特征之间的差异构造候选目标残差，再对候选目标残差进行门控筛选和回注，能够减弱海浪纹理、强反光、海天线等复杂背景响应对小目标特征的干扰，提高小目标与海面背景之间的特征可分性，降低复杂海面背景引起的误检和漏检；

68、3、本发明设置退化感知原型模块，联合网络退化路由与传统退化先验路由判断当前输入的退化状态，并从多个独立可学习原型中读取与当前退化状态相匹配的补偿信息，对p4特征进行自适应补偿，能够针对雾化、低对比度、边缘衰减和纹理衰减等复合成像退化调整特征补偿方式，减轻退化造成的小目标判别信息损失；同时，该模块的自监督辅助损失仅在训练阶段计算，推理阶段不增加额外计算路径，有利于兼顾检测精度与推理效率；

69、4、本发明采用p4/p5双尺度特征处理结构，将p5特征上采样后与p4特征拼接融合，并将融合后的p4特征下采样后与p5特征拼接融合，在利用p4特征保留小目标空间细节的同时利用p5特征提供高层语义信息，相较于增加更多高分辨率检测尺度的方式，有利于控制网络的特征处理规模和计算开销；

70、5、本发明在训练阶段将d-fine主检测损失与退化感知原型模块的自监督辅助损失在同一次前向计算后统一执行反向传播，使退化补偿过程与目标检测过程联合优化；同时通过原型多样性损失约束多个独立原型之间的方向相关性，避免原型趋于同质化，有利于提升模型在复合退化场景下的泛化能力和检测稳定性；

71、6、本发明可将训练完成的抗退化目标检测网络转换为tensorrt engine并部署于浮标平台边缘计算设备，采用fp16精度和单帧推理方式运行，在jetson orin nano等低功耗边缘设备上实现低延迟实时检测；

72、7、本发明可直接对浮标采集的海面图像或视频帧完成端到端推理，输出船舶、小型浮标、海面漂浮物等目标的类别、置信度与边界框信息，无需将大量原始视频回传岸基处理，有利于降低浮标平台的通信带宽消耗与运行功耗；同时可收集边缘端漏检误检样本用于后续增量优化，满足远海浮标平台无人值守、长期在线的海上态势感知、遇险目标预警和海洋环境监测等应用需求。