基于非对称架构知识蒸馏的多模态船舶目标检测方法

本发明属于计算机视觉与目标检测，具体涉及一种基于非对称架构知识蒸馏的多模态船舶目标检测方法。

背景技术：

1、随着全球经济一体化进程的加速，海洋已成为连接世界、支撑经济发展的关键动脉，海洋监控和海事安全等领域对港口和航道监测的需求日益增长。然而，海洋环境固有的复杂性，如波浪形态干扰、光照剧烈变化以及多尺度物体的动态交互，使得海洋船舶目标的有效检测成为一项具有挑战性的任务。

2、现有的船舶目标检测算法主要分为两类，即基于单一传感器的方法和基于多模态融合的方法。传统的单一传感器方法，特别是依赖可见光图像的方案，虽然能提供丰富的纹理和颜色信息，但在夜间、浓雾、眩光等恶劣气象条件下，其信噪比极低，导致漏检率和误检率飙升。热红外成像虽然具备全天候工作优势，但其缺乏精细纹理，分辨率较低，且容易受热交叉现象及海面波浪杂波的干扰。因此，如何设计高效的多模态融合框架，将可见光的丰富细节与红外图像的全天候特性有机结合，充分发挥两种模态的互补优势，已成为业界公认的具有潜力的研究方向。

3、目前主流的基于深度学习的多模态检测方法，通常采用中期融合策略，利用高性能卷积神经网络，如resnet-101或transformer架构提取特征，并通过注意力机制进行模态交互。然而，在实际面向低功耗、低参数量需求的设备时，现有的多模态融合技术存在三个显著问题：一是模型参数量巨大，难以满足部署的实时性需求。主流的高性能融合检测模型参数量通常较大，计算复杂度高 。虽然存在mobilenet等轻量化网络，但在多模态任务中，简单的骨干替换或对称式压缩会导致特征提取能力急剧下降，难以在维持高精度的同时实现轻量化。二是轻量化模型训练中普遍存在模态懒惰现象。在模型容量受限的情况下，网络在训练过程中倾向于寻找捷径，过度依赖信息量大、特征易提取的可见光模态，而忽略对红外模态特征的学习。这导致融合模型在夜间等可见光失效场景下性能退化严重，丧失了多模态融合的意义。三是异构网络间的知识蒸馏难以有效进行。为了弥补轻量化带来的精度损失，通常采用知识蒸馏技术。然而，知识蒸馏中的高性能教师网络特征与轻量化学生网络特征之间存在显著的特征维度差异。现有的蒸馏方法往往未能系统解决这种异构网络间的特征适配问题，导致包含丰富空间和语义信息的中间层特征无法被有效迁移。

技术实现思路

1、针对现有技术的上述不足，本发明提供一种基于非对称架构知识蒸馏的多模态船舶目标检测方法，以解决上述技术问题。

2、第一方面，本发明提供一种基于非对称架构知识蒸馏的多模态船舶目标检测方法，包括：

3、构建学生检测模型，学生检测模型包括可见光分支网络、热红外分支网络、特征融合模块和检测头网络，构建教师模型，教师模型为预先训练完成的多模态船舶目标检测模型；

4、在训练阶段，获取船舶的可见光图像和热红外图像，将相同的可见光图像和热红外图像同时输入预先训练完成的教师模型和学生检测模型，其中，学生检测模型中的可见光分支网络和热红外分支网络为非对称网络结构；

5、教师模型和学生检测模型基于输入的可见光图像和热红外图像，分别输出教师特征信息和教师检测结果与学生特征信息和学生检测结果；

6、基于教师特征信息与学生特征信息之间的差异和教师检测结果与学生检测结果之间的差异，构建训练约束，对学生检测模型进行训练，得到训练完成的学生检测模型；

7、在推理阶段，将船舶的可见光图像和热红外图像输入训练完成的学生检测模型中，分别基于可见光分支网络和热红外分支网络得到可见光多尺度特征和热红外多尺度特征；

8、对可见光多尺度特征和热红外多尺度特征进行拼接融合，并利用坐标注意力机制对融合后的特征进行特征重标定，得到融合特征图；

9、将融合特征图输入检测头网络，对船舶目标的位置参数和类别信息进行预测，得到目标检测结果。

10、在一个可选的实施方式中，构建学生检测模型中的可见光分支网络和热红外分支网络为非对称网络结构的步骤，包括：

11、选择mobilenetv2作为非对称网络结构的基础网络架构，分别构建可见光分支基础网络结构和热红外分支基础网络结构；

12、获取可见光图像集合和热红外图像集合；

13、对可见光图像集合和热红外图像集合分别进行像素取值统计，统计每一种像素取值在对应图像集合中出现的概率，并基于像素取值概率分布计算对应图像集合的平均信息熵，平均信息熵的计算公式为：

14、

15、其中，表示图像集合x的信息熵，n表示像素取值的总数；

16、基于平均信息熵的计算公式，分别得到可见光图像集合的平均信息熵和热红外图像集合的平均信息熵；

17、当可见光图像集合的平均信息熵大于热红外图像集合的平均信息熵时，确定可见光图像集合所包含的信息量高于热红外图像集合所包含的信息量；

18、将可见光分支基础网络结构配置为标准通道宽度的特征提取网络，用于提取可见光图像中的颜色信息、高频纹理信息和复杂背景信息；

19、对热红外分支基础网络结构配置为通道裁剪的特征提取网络，用于提取热红外图像中的目标轮廓信息和温度分布特征，其中，热红外分支基础网络结构中各网络层的输出通道数按照通道裁剪公式进行配置：

20、

21、其中，表示热红外分支基础网络结构中对应网络层的输出通道数，表示可见光分支基础网络结构中对应网络层的输出通道数，表示通道裁剪比例，且；

22、在可见光分支基础网络结构和热红外分支基础网络结构中，将标准卷积操作替换为深度可分离卷积操作，使卷积运算分别通过逐通道卷积和逐点卷积完成，并按照相同的网络层级位置设置多尺度特征输出层，使可见光分支网络结构和热红外分支网络结构在对应层级输出空间分辨率一致的多尺度特征图，得到构建完成的非对称网络结构中的可见光分支网络结构和热红外分支网络结构。

23、在一个可选的实施方式中，还包括：使用教师网络训练对学生网络进行训练的步骤，包括：

24、设置教师网络的fpn输出通道数，设置学生网络的fpn输出通道数，所述学生网络为非对称网络结构；

25、在教师网络和学生网络之间设置特征适配层，用于对齐教师网络和学生网络之间的特征维度；

26、分别对可见光图像与热红外图像进行全局平均池化，得到全局特征向量，计算两个全局特征向量之间的余弦相似度，得到模态对齐损失；

27、分别计算特征适配层的蒸馏损失函数和logits输出层的蒸馏损失函数，基于显式模态对齐损失、基础检测损失和学生网络的蒸馏损失函数构建复合总训练损失函数；

28、计算基础检测损失函数；

29、基于显式模态对齐损失、基础检测损失和学生网络的蒸馏损失函数构建复合总训练损失函数，基于复合总训练损失函数对学生检测模型进行训练，得到训练好的学生检测模型。

30、在一个可选的实施方式中，在教师网络和学生网络之间设置特征适配层，用于对齐教师网络和学生网络之间的特征维度，包括：

31、在教师网络和学生网络之间设置卷积模块作为特征适配层，将学生网络的低维特征图投影到教师网络：

32、

33、其中，表示特征适配层的蒸馏损失函数，表示学生网络的低维特征图，表示教师网络的高维特征图，表示卷积适配操作，c表示通道，h表示高度，w表示宽度。

34、在一个可选的实施方式中，分别对可见光图像与热红外图像进行全局平均池化，得到全局特征向量，计算两个全局特征向量之间的余弦相似度，得到模态对齐损失，包括：

35、

36、其中，表示模态对齐损失，表示可见光模态的全局特征向量，表示红外模态的全局特征向量。

37、在一个可选的实施方式中，计算特征适配层的蒸馏损失函数，包括：

38、在特征适配层中选取p3、p4和p5特征层，计算特征适配后的学生网络与教师网络的距离，得到特征适配层的蒸馏损失函数：

39、

40、其中，表示特征适配层的蒸馏损失函数，表示特征适配层，表示教师网络在第特征层中输出的特征图，表示学生网络在第特征层经特征适配后的特征图；

41、计算logits输出层的蒸馏损失函数，包括：

42、

43、其中，表示logits输出层的蒸馏损失函数，表示教师网络在检测头分类分支输出的logits向量，表示学生网络在检测头分类分支输出的logits向量，t表示蒸馏温度，表示softmax函数。

44、在一个可选的实施方式中，计算基础检测损失函数包括：

45、

46、

47、

48、

49、

50、其中，表示基础检测损失函数，表示边界框回归损失函数，表示分类损失函数，表示边界框损失的权重系数，表示分类损失的权重系数；表示预测框与真实框的交并比，衡量两者的重叠程度；表示预测框的中心点，表示真实框的中心点，表示两个中心点之间的欧氏距离,表示同时包含预测框和真实框的最小外接矩形的对角线长度，用于归一化中心点距离，表示权重参数，用于控制长宽比惩罚项的影响，表示用于衡量长宽比一致性的参数，表示预测框的宽和高，表示真实框的宽和高，表示正样本的总数，其中，正样本包括舰船目标的候选框，表示第i个样本的真实类别标签，若样本属于特定舰船类别，则，否则，表示模型预测第i个样本属于该类别的概率值，范围在0到1之间。

51、在一个可选的实施方式中，基于显式模态对齐损失、基础检测损失和学生网络的蒸馏损失函数构建复合总训练损失函数，包括：

52、

53、其中，表示基础检测损失函数，表示基础检测损失函数权重，表示特征适配层蒸馏损失函数，表示特征适配层蒸馏损失函数权重，表示模态对齐损失，表示模态对齐损失权重，表示logits输出层蒸馏损失函数，表示logits输出层蒸馏损失函数权重。

54、在一个可选的实施方式中，对可见光多尺度特征和热红外多尺度特征进行拼接融合，并利用坐标注意力机制对融合后的特征进行特征重标定，得到融合特征图，包括：

55、对任一尺度层l，将同尺度特征在通道维进行融合，得到融合输入特征：

56、

57、其中，表示尺度层l的融合输入特征，表示可见光多尺度特征，表示热红外多尺度特征；

58、对融合输入特征分别沿宽度方向和高度方向进行全局平均池化，得到方向聚合特征：

59、

60、

61、其中，c表示通道，h表示高度，w表示宽度，和分别表示尺度层l的高度与宽度，表示高度方向特征，表示宽方向特征；

62、将高度方向特征和宽方向特征进行拼接，得到注意力权重，并基于注意力权重，对融合输入特征加权，得到融合特征图：

63、

64、其中，表示尺度层l的融合特征图，表示高度方向注意力权重，表示宽度方向注意力权重。

65、在一个可选的实施方式中，将融合特征图输入预先构建的检测头网络，对船舶目标的位置参数和类别信息进行预测，得到目标检测结果，包括：

66、将各个尺度的融合特征图输入预先构建的检测头网络，形成候选检测结果集合，所述候选检测结果集合包括每个候选检测结果的位置参数、置信度分数和类别概率向量：

67、

68、其中，表示候选检测结果集合，n表示候选目标的数量，表示第i个候选目标的框位置参数，表示第i个候选目标的置信度分数，表示第i个候选目标的类别概率向量；

69、基于预设置信度阈值对候选检测结果集合进行筛选，得到初筛候选集合:

70、

71、其中，表示预设置信度阈值，表示初筛候选集合；

72、计算初筛候选集合的候选边界框之间的交并比，对于任意两个候选边界框和，交并比为：

73、

74、其中，表示候选边界框与的交集区域面积，表示候选边界框与的并集区域面积；

75、当两个候选边界框的交并比大于预设阈值时，得到目标检测结果集合。

76、本发明的有益效果在于，本发明提供的基于非对称架构知识蒸馏的多模态船舶目标检测方法，通过获取同一海事场景下船舶的可见光图像和热红外图像，并分别输入预先使用教师网络训练好的学生网络中的可见光分支网络结构和热红外分支网络结构进行多尺度特征提取，使模型能够同时利用可见光图像中丰富的纹理、颜色和结构信息，以及热红外图像中稳定的目标轮廓和温度分布特征，从而在夜间、逆光、雾霾及复杂海况等条件下有效提升船舶目标检测的鲁棒性；通过非对称双流特征提取结构，使不同模态分支针对各自成像特点进行差异化特征建模，在保证检测精度的前提下降低模型计算冗余，提升模型在轻量化和实际部署场景中的适用性；通过输出可见光多尺度特征和热红外多尺度特征，使网络能够兼顾远距离小尺度船舶与近距离大尺度船舶目标，增强对不同尺度船舶目标的检测能力；引入坐标注意力机制对多模态多尺度特征进行融合，使网络在融合过程中同时关注特征的空间位置信息和通道语义信息，从而突出船舶目标相关区域、抑制海面背景噪声，提升融合特征图对船舶目标的判别能力；将融合特征图输入检测头网络对船舶目标的位置参数和类别信息进行预测，使检测结果在目标定位精度和类别识别准确性方面均得到有效提升，满足复杂海事场景下船舶目标检测的应用需求。

77、本技术还通过在学生网络的fpn特征输出之后引入轻量级的特征适配层，将学生网络的低维特征投影至与教师网络一致的高维特征空间，从而消除了教师网络与学生网络之间因通道数不同而导致的数学不一致问题，使特征层蒸馏能够稳定、有效地进行；通过在多尺度特征适配层和检测头分类输出层同时引入蒸馏约束，使学生网络不仅在中间特征表示层面逼近教师网络，还在最终分类决策层面学习教师网络的软标签分布，从而在不显著增加模型参数量和计算复杂度的情况下，显著提升轻量化模型的检测精度。

78、本技术的教师网络、特征适配层以及蒸馏与对齐损失仅参与训练阶段，在推理阶段全部移除，仅保留轻量化的非对称双流学生网络进行目标检测，从而在不影响实际部署效率的前提下，实现了检测性能的显著提升，具有良好的工程应用价值。