一种面向复杂海洋环境的多模态船舶图像融合检测方法

本发明属于船舶目标检测，具体涉及一种面向复杂海洋环境的多模态船舶图像融合检测方法。

背景技术：

1、近年来，我国航运业高速发展，船舶目标检测作为智能船舶感知技术的关键，对海上交通、国防与搜救至关重要。目前检测主要依赖可见光图像，其细节丰富但受光照影响大，夜间或恶劣天气下易漏检。红外图像凭借热辐射成像，抗光照干扰强，但细节信息较弱。单一模态无法适应全时段场景，因此可见光与红外融合成为必然选择。

2、由于船舶目标尺寸变化较为明显以及海面环境复杂多变，增加了船舶检测的难度。现有可见光-红外图像融合策略存在明显局限：像素级融合易引入噪声；决策级融合无法充分利用跨模态信息；特征级融合虽有效果，但仍面临跨模态配准误差未被充分处理导致的细节错位与语义冲突问题、多尺度信息交互不足导致的远距离小目标难以识别问题、不同环境下模态贡献无法自适应调整导致的整体性能下降问题。

3、有鉴于此，本发明提供一种面向复杂海洋环境的多模态船舶图像融合检测方法，以解决上述问题，是非常有必要的。

技术实现思路

1、本发明的目的在于，针对上述现有技术多模态图像融合过程中存在的跨模态配准误差未被充分处理、多尺度信息交互不足、不同环境下模态贡献无法自适应调整的缺陷，提供设计一种面向复杂海洋环境的可见光与红外图像融合船舶目标检测方法，以解决上述技术问题。

2、为实现上述目的，本发明给出以下技术方案：

3、一种面向复杂海洋环境的多模态船舶图像融合检测方法，包括以下步骤：

4、步骤s1，双模态数据采集与预处理的步骤，该步骤中：

5、采集可见光图像和红外图像，对采集到的可见光图像和红外图像进行预处理，对预处理后的可见光图像和红外图像进行数据增强处理；

6、构建船舶目标检测网络，该网络包括双流特征提取网络、模态条件化局部核调制模块、尺度感知残差交互注意模块、环境感知模态权重自适应模块和多尺度检测头模块；

7、步骤s2，双流特征提取的步骤，该步骤中：

8、将经过数据增强处理后的可见光图像输入双流特征提取网络，得到三种尺度的可见光图像多尺度特征；将经过数据增强处理后的红外图像输入双流特征提取网络，得到三种尺度的红外图像多尺度特征；

9、步骤s3，模态条件化局部核调制模块处理的步骤，该步骤中：

10、将可见光图像多尺度特征和红外图像多尺度特征通过模态条件化局部核调制模块（mclkm）处理，进行局部空间对齐、自适应特征调制和特征融合，得到多尺度融合特征；

11、步骤s4，尺度感知残差交互注意模块处理的步骤，该步骤中：

12、通过尺度感知残差交互注意模块（srca）对多尺度融合特征进行跨尺度语义补偿和边缘增强，得到srca模块增强后的多尺度融合特征；

13、步骤s5，环境感知模态权重自适应调整的步骤，该步骤中：

14、环境感知模态权重自适应模块（eamw）从输入图像提取反映环境状态的环境感知权重系数；采用环境感知权重系数对srca模块增强后的多尺度融合特征进行加权调节，实现环境驱动的特征响应自适应，得到经环境调节后的多尺度检测特征；

15、步骤s6，检测头与损失设计的步骤，该步骤中：

16、将经环境调节后的多尺度检测特征输入多尺度检测头模块，完成船舶目标的检测。

17、作为优选，所述的步骤s1，具体包括：

18、采集严格空间配准的可见光图像与红外图像作为双模态输入数据。所采集的图像数据覆盖昼夜变化、雾霾天气、强光反射以及海面波浪扰动等多种复杂海洋环境，以增强算法在实际应用场景下的鲁棒性与泛化能力。

19、由于可见光与红外成像机理存在显著差异，为提高后续特征提取的有效性，分别对两种模态图像进行针对性预处理：对可见光图像施加低光照增强与去雾处理，以缓解光照不足和大气散射对目标表观的影响；对红外图像采用直方图拉伸与对比度增强操作，以强化船舶目标与背景之间的热辐射差异。

20、在完成上述预处理操作后，对预处理后的可见光图像与红外图像同步施加几何变换、随机裁剪、旋转以及亮度扰动等数据增强操作，构建多样化训练样本：

21、,

22、其中，表示数据增强操作，表示可见光图像，表示红外图像，表示数据增强后的可见光图像，表示数据增强后的红外图像。

23、最后，将数据增强后的可见光图像和红外图像的分辨率统一缩放至双流特征提取网络所需的输入分辨率，并进行归一化处理；归一化处理后的可见光图像和红外图像作为双流特征提取网络的输入数据。

24、该步骤能够取得以下技术效果：

25、通过数据增强和预处理操作能够提升船舶检测模型对不同光照、天气及海况条件的适应能力，降低船舶检测模型对特定成像条件的依赖，减少过拟合风险，提升其在真实复杂海洋环境中的泛化性能与检测稳定性。

26、作为优选，所述的步骤s2，具体包括：

27、将数据增强后的可见光图像与红外图像分别输入至双流特征提取网络中进行特征提取，构建可见光特征提取分支与红外特征提取分支。两条分支网络结构均采用卷积神经网络，从各自的输入数据中提取具有判别性的多层次语义特征，表达式为：

28、,

29、其中，表示特征提取操作，表示特征提取后的可见光图像多层次语义特征，表示特征提取后的红外图像多层次语义特征。

30、在特征提取过程中，两条分支具有一致的空间分辨率处理和特征层级处理，以确保不同模态在同一尺度下的特征可以进行对齐操作。通过双流特征提取网络，从数据增强后的可见光图像中输出三种尺度的可见光图像多尺度特征，从数据增强后的红外图像中输出三种尺度的红外图像多尺度特征。

31、该步骤能够取得以下技术效果：

32、通过双流特征提取网络作为船舶目标检测的基础结构，使可见光与红外图像在特征提取阶段保持模态独立性，避免早期融合导致的特征干扰问题。该双流结构还能够在充分挖掘两种模态互补信息的同时，兼顾检测精度与计算效率，为后续跨模态深度融合提供稳定可靠的输入特征，从而提高复杂海洋环境下船舶目标检测的准确性与鲁棒性。

33、作为优选，所述的步骤s3，具体包括：

34、三种尺度的可见光图像多尺度特征构成可见光图像多尺度特征集合，三种尺度的红外图像多尺度特征构成红外图像多尺度特征集合。在可见光图像多尺度特征集合和红外图像多尺度特征集合中，将同一尺度的可见光图像多尺度特征与红外图像多尺度特征，在空间维度上划分为若干个局部区域，得到可见光特征局部区域和红外特征局部区域，。将可见光特征局部区域和红外特征局部区域输入至模态条件化局部核调制模块中的偏移预测器。偏移预测器在局部感受野范围内预测跨模态空间偏移量：

35、

36、其中，表示跨模态空间偏移量，表示偏移预测器预测函数。根据跨模态空间偏移量对红外特征局部区域进行空间变换，实现局部对齐：

37、

38、其中，表示空间变换操作，表示局部对齐后的红外特征。该过程能够补偿由传感器差异或成像条件变化引起的局部配准误差。

39、将局部对齐后的红外特征与可见光特征局部区域拼接并输入模态条件化局部核调制模块中的动态核生成网络，动态核生成网络生成条件化调制权重：

40、

41、其中，表示动态核生成网络,表示拼接操作。利用条件化调制权重对卷积核（或特征通道）进行调制：

42、

43、其中，表示调制后的卷积核（或特征通道），⊙表示逐元素乘法，表示待调制原始卷积核（或原始特征通道）。

44、经过上述调制之后，通过模态条件化局部核调制模块中的尺度自适应门控结构进行特征融合，最终得到多尺度融合特征：

45、

46、其中，表示卷积操作，表示跨模态补偿程度，通过当前尺度特征的响应强度（小目标或弱特征的响应强度低，大目标或清晰特征响应强度高）动态调节。

47、将多尺度特征集合中的每个尺度经过mclkm模块处理，得到多尺度融合特征集合。

48、该步骤能够取得以下技术效果：

49、该步骤通过mclkm模块能够在局部区域层面建模可见光模态与红外模态之间的空间错位和语义差异，能够通过条件化调制权重实现对不同模态信息贡献的自适应建模，并且使小尺度目标获得更强的跨模态增强，而大尺度目标则保持整体结构稳定性。相较于现有直接拼接或固定加权的融合方式，本技术利用mclkm模块能够实现对局部区域的自适应跨模态补偿，减小配准误差和背景噪声对检测结果的影响，尤其提升了远距离、小尺度船舶目标的检测能力。

50、作为优选，所述的步骤s4，具体包括：

51、将mclkm模块输出的多尺度融合特征集合输入尺度感知残差交互注意模块中。通过上采样或下采样操作，对输入的多尺度融合特征进行跨尺度特征对齐，从而保证跨尺度特征在空间维度上的一致性。

52、利用跨尺度特征对齐得到的中间特征，构建跨尺度残差差分关系，以引导高层尺度特征语义信息向低层尺度特征细节进行补偿，得到多尺度融合特征语义残差和多尺度融合特征细节残差。

53、为增强船舶目标的结构表达能力，增加边缘增强处理，采用 sobel算子（索贝尔边缘检测算子）从中层尺度特征中提取边缘先验信息，并与多尺度融合特征语义残差和多尺度融合特征细节残差融合，形成结构增强特征。

54、构建跨尺度双向注意力结构，并根据结构增强特征生成高尺度注意力权重和低尺度注意力权重。

55、结合高尺度注意力权重和低尺度注意力权重，对跨尺度特征对齐得到的中间特征进行加权，并与中层尺度特征通过残差注入方式进行融合，得到增强后的中层尺度融合特征。

56、对尺度p3、尺度p4、尺度p5均进行上述跨尺度语义补偿和边缘增强操作，各个尺度上得到srca模块增强后的多尺度融合特征、、。将、、合并，记为srca模块增强后的多尺度融合特征集合。

57、该步骤能够取得以下技术效果：

58、该步骤通过srca模块，对不同尺度特征之间的语义差异进行残差建模，并通过跨尺度双向注意力结构实现多尺度信息的充分交互。相较于fpn方法（feature pyramidnetwork,传统特征金字塔）仅进行单向信息传递的方式，srca模块能够同时增强低层尺度特征的语义表达能力和高层尺度特征的细节感知能力，并结合边缘先验信息提升船舶目标轮廓的清晰度，从而提高多尺度船舶目标的整体检测精度。

59、作为优选，所述的步骤s5，具体包括：

60、采用环境感知模态权重自适应模块（eamw）对当前场景的环境状态进行建模，并以此自适应调节后续检测过程中特征的响应强度。该模块不直接参与可见光与红外特征的再次融合，而是作为环境感知控制单元，对融合特征的整体响应进行调节，以避免对已完成尺度融合的特征进行不可逆的模态拆分。

61、eamw模块从输入的图像数据或双流特征提取网络输出的多层次语义特征中提取反映环境状态的统计特征，包括光照亮度、对比度、红外能量强度以及表征雾霾、雨雪或强反射等复杂天气条件的环境特征。将上述反映环境状态的统计特征通过全局平均池化、统计分析或轻量卷积编码网络进行提取与表征，并组合形成环境特征向量：

62、

63、将环境特征向量输入环境编码网络，预测环境感知权重系数：

64、

65、权重用于刻画当前环境条件下融合特征的可信度与有效性，并作为全局调节因子参与后续特征响应控制。

66、对srca模块增强后的多尺度融合特征集合进行加权调节，得到经环境调节后的多尺度检测特征：

67、

68、该步骤能够取得以下技术效果：

69、环境感知模态权重自适应（eamw）模块能够在整体特征层面建模当前海洋场景的光照条件、对比度分布、红外能量强度以及雾霾、夜间或强反射等复杂环境因素对特征表达可靠性的影响，并通过环境感知权重对融合特征的响应强度进行自适应调节，使检测网络在不同环境条件下自动突出更具判别力的特征信息，同时抑制受环境干扰严重的无效或噪声特征响应。相较于现有采用固定阈值或统一特征响应强度的检测方式，本技术利用 eamw模块能够实现对复杂海洋环境下特征可信度的动态建模，减小光照变化、天气干扰及海面强反射对检测结果稳定性的影响，尤其提升了夜间、低对比度及恶劣气象条件下船舶目标检测的可靠性与鲁棒性。

70、作为优选，所述的步骤s6，具体包括：

71、将经环境调节后的多尺度检测特征输入改进的yolo系列检测头中，分别在不同尺度上进行船舶目标检测。其中，检测头包括边界框回归分支和类别预测分支，用于输出船舶目标的位置、类别以及置信度。根据改进的yolo系列检测方式计算船舶目标检测损失函数，并对整个船舶目标检测网络的参数进行反向传播优化，以学习船舶目标的空间位置与类别信息。

72、此外，为进一步提升检测精度与稳定性，船舶目标检测网络结合多尺度特征输出结果，采用多种约束损失函数，包括模态一致性约束损失函数、尺度一致性监督损失函数以及船舶边缘保持损失函数，对模态条件化局部核调制模块及尺度感知残差交互注意模块进行联合优化，使船舶目标检测网络在学习目标位置信息的同时，进一步提升跨模态特征表达能力和环境适应能力。

73、船舶目标检测网络训练过程重复双流特征提取的步骤、模态条件化局部核调制模块处理的步骤、尺度感知残差交互注意模块处理的步骤、环境感知模态权重自适应调整的步骤、检测头与损失设计的步骤，直至训练结束。

74、该步骤能够取得以下技术效果：

75、通过多尺度检测头模块及多重约束损失函数，能够对船舶检测的边界框回归、类别预测以及跨模态一致性进行联合优化，使船舶检测模型在保证检测速度的同时进一步提升定位精度和分类可靠性。通过对尺度一致性和船舶边缘信息的约束，减少多尺度预测结果之间的偏差，提高船舶目标边界的定位精度。

76、此外，本发明还提供一种面向复杂海洋环境的多模态船舶图像融合检测系统，包括：

77、双模态数据采集与预处理单元，该单元中：

78、采集可见光图像和红外图像，对采集到的可见光图像和红外图像进行预处理，对预处理后的可见光图像和红外图像进行数据增强处理；

79、构建船舶目标检测网络，该网络包括双流特征提取网络、模态条件化局部核调制模块、尺度感知残差交互注意模块、环境感知模态权重自适应模块和多尺度检测头模块；

80、双流特征提取单元，该单元中：

81、将经过数据增强处理后的可见光图像输入双流特征提取网络，得到三种尺度的可见光图像多尺度特征；将经过数据增强处理后的红外图像输入双流特征提取网络，得到三种尺度的红外图像多尺度特征；

82、模态条件化局部核调制模块处理单元，该单元中：

83、将可见光图像多尺度特征和红外图像多尺度特征通过模态条件化局部核调制模块（mclkm）处理，进行局部空间对齐、自适应特征调制和特征融合，得到多尺度融合特征；

84、尺度感知残差交互注意模块处理单元，该单元中：

85、通过尺度感知残差交互注意模块（srca）对多尺度融合特征进行跨尺度语义补偿和边缘增强，得到srca模块增强后的多尺度融合特征；

86、环境感知模态权重自适应调整单元，该单元中：

87、环境感知模态权重自适应模块（eamw）从输入图像提取反映环境状态的环境感知权重系数；采用环境感知权重系数对srca模块增强后的多尺度融合特征进行加权调节，实现环境驱动的特征响应自适应，得到经环境调节后的多尺度检测特征；

88、检测头与损失设计单元，该单元中：

89、将经环境调节后的多尺度检测特征输入多尺度检测头模块，完成船舶目标的检测。

90、作为优选，所述的双模态数据构建与预处理单元，具体包括：

91、采集严格空间配准的可见光图像与红外图像作为双模态输入数据。所采集的数据覆盖昼夜变化、雾霾天气、强光反射以及海面波浪扰动等多种复杂海洋环境，以增强算法在实际应用场景下的鲁棒性与泛化能力。

92、由于可见光与红外成像机理存在显著差异，为提高后续特征提取的有效性，分别对两种模态图像进行针对性预处理：对可见光图像施加低光照增强与去雾处理，以缓解光照不足和大气散射对目标表观的影响；对红外图像采用直方图拉伸与对比度增强操作，以强化船舶目标与背景之间的热辐射差异。

93、在完成上述预处理操作后，对预处理后的可见光图像与红外图像同步施加几何变换、随机裁剪、旋转以及亮度扰动等数据增强操作，构建多样化训练样本：

94、,

95、其中，表示数据增强操作，表示可见光图像，表示红外图像，表示数据增强后的可见光图像，表示数据增强后的红外图像。

96、最后，将数据增强后的可见光图像和红外图像的分辨率统一缩放至双流特征提取网络所需的输入分辨率，并进行归一化处理；归一化处理后的可见光图像和红外图像作为双流特征提取网络的输入数据。

97、该单元能够取得以下技术效果：

98、通过数据增强和预处理操作能够提升船舶检测模型对不同光照、天气及海况条件的适应能力，降低船舶检测模型对特定成像条件的依赖，减少过拟合风险，提升其在真实复杂海洋环境中的泛化性能与检测稳定性。

99、作为优选，所述的双流特征提取单元，具体包括：

100、将数据增强后的可见光图像与红外图像分别输入至双流特征提取网络中进行特征提取，构建可见光特征提取分支与红外特征提取分支。两条分支网络结构均采用卷积神经网络，各自的输入数据中提取具有判别性的多层次语义特征，表达式为：

101、,

102、其中，表示特征提取操作，表示特征提取后的可见光图像多层次语义特征，表示特征提取后的红外图像多层次语义特征。

103、在特征提取过程中，两条分支具有一致的空间分辨率处理和特征层级处理，以确保不同模态在同一尺度下的特征可以进行对齐操作。通过双流特征提取网络，从数据增强后的可见光图像中输出三种尺度的可见光图像多尺度特征，从数据增强后的红外图像中输出三种尺度的红外图像多尺度特征。

104、该单元能够取得以下技术效果：

105、通过双流特征提取网络作为船舶目标检测的基础结构，使可见光与红外图像在特征提取阶段保持模态独立性，避免早期融合导致的特征干扰问题。该双流结构还能够在充分挖掘两种模态互补信息的同时，兼顾检测精度与计算效率，为后续跨模态深度融合提供稳定可靠的输入特征，从而提高复杂海洋环境下船舶目标检测的准确性与鲁棒性。

106、作为优选，所述的模态条件化局部核调制模块处理单元，具体包括：

107、三种尺度的可见光图像多尺度特征构成可见光图像多尺度特征集合，三种尺度的红外图像多尺度特征构成红外图像多尺度特征集合。在可见光图像多尺度特征集合和红外图像多尺度特征集合中，将同一尺度的可见光图像多尺度特征与红外图像多尺度特征，在空间维度上划分为若干个局部区域，得到可见光特征局部区域和红外特征局部区域，。将可见光特征局部区域和红外特征局部区域输入至模态条件化局部核调制模块中的偏移预测器。偏移预测器在局部感受野范围内预测跨模态空间偏移量：

108、

109、其中，表示跨模态空间偏移量，表示偏移预测器预测函数。根据跨模态空间偏移量对红外特征局部区域进行空间变换，实现局部对齐：

110、

111、其中，表示空间变换操作，表示局部对齐后的红外特征。该过程能够补偿由传感器差异或成像条件变化引起的局部配准误差。

112、将局部对齐后的红外特征与可见光特征局部区域拼接并输入模态条件化局部核调制模块中的动态核生成网络，动态核生成网络生成条件化调制权重：

113、

114、其中，表示动态核生成网络,表示拼接操作。利用条件化调制权重对卷积核（或特征通道）进行调制：

115、

116、其中，表示调制后的卷积核（或特征通道），⊙表示逐元素乘法，表示待调制原始卷积核（或原始特征通道）。

117、经过上述调制之后，通过模态条件化局部核调制模块中的尺度自适应门控结构进行特征融合，最终得到多尺度融合特征：

118、

119、其中，表示卷积操作，表示跨模态补偿程度，通过当前尺度特征的响应强度（小目标或弱特征的响应强度低，大目标或清晰特征响应强度高）动态调节。

120、将多尺度特征集合中的每个尺度经过mclkm模块处理，得到多尺度融合特征集合。

121、该单元能够取得以下技术效果：

122、该单元通过mclkm模块能够在局部区域层面建模可见光模态与红外模态之间的空间错位和语义差异，能够通过条件化调制权重实现对不同模态信息贡献的自适应建模，并且使小尺度目标获得更强的跨模态增强，而大尺度目标则保持整体结构稳定性。相较于现有直接拼接或固定加权的融合方式，本技术利用mclkm模块能够实现对局部区域的自适应跨模态补偿，减小配准误差和背景噪声对检测结果的影响，尤其提升了远距离、小尺度船舶目标的检测能力。

123、作为优选，所述的尺度感知残差交互注意模块处理单元，具体包括：

124、将mclkm模块输出的多尺度融合特征集合输入尺度感知残差交互注意模块中。通过上采样或下采样操作，对输入的多尺度融合特征实现跨尺度特征对齐，从而保证跨尺度特征在空间维度上的一致性。

125、利用跨尺度特征对齐得到的中间特征，构建跨尺度残差差分关系，以引导高层尺度特征语义信息向低层尺度特征细节进行补偿，得到多尺度融合特征语义残差和多尺度融合特征细节残差。

126、为增强船舶目标的结构表达能力，增加边缘增强处理，采用 sobel算子（索贝尔边缘检测算子）从中层尺度特征中提取边缘先验信息，并与多尺度融合特征语义残差和多尺度融合特征细节残差融合，形成结构增强特征。

127、构建跨尺度双向注意力结构，并根据结构增强特征生成高尺度注意力权重和低尺度注意力权重。

128、结合高尺度注意力权重和低尺度注意力权重，对跨尺度特征对齐得到的中间特征进行加权，并与中层尺度特征通过残差注入方式进行融合，得到增强后的中层尺度融合特征。

129、对尺度p3、尺度p4、尺度p5均进行上述跨尺度语义补偿和边缘增强操作，各个尺度上均能够得到srca模块增强后的多尺度融合特征、、。将、、合并，记为srca模块增强后的多尺度融合特征集合。

130、该单元能够取得以下技术效果：

131、该单元通过srca模块，对不同尺度特征之间的语义差异进行残差建模，并通过跨尺度双向注意力结构实现多尺度信息的充分交互。相较于fpn方法仅进行单向信息传递的方式，srca模块能够同时增强低层尺度特征的语义表达能力和高层尺度特征的细节感知能力，并结合边缘先验信息提升船舶目标轮廓的清晰度，从而提高多尺度船舶目标的整体检测精度。

132、作为优选，所述的环境感知模态权重自适应调整单元，具体包括：

133、采用环境感知模态权重自适应模块（eamw）对当前场景的环境状态进行建模，并以此自适应调节后续检测过程中特征的响应强度。该模块不直接参与可见光与红外特征的再次融合，而是作为环境感知控制单元，对融合特征的整体响应进行调节，以避免对已完成尺度融合的特征进行不可逆的模态拆分。

134、eamw模块从输入的图像数据或双流特征提取网络输出的多层次语义特征中提取反映环境状态的统计特征，包括光照亮度、对比度、红外能量强度以及表征雾霾、雨雪或强反射等复杂天气条件的环境特征。将上述反映环境状态的统计特征通过全局平均池化、统计分析或轻量卷积编码网络进行提取与表征，并组合形成环境特征向量：

135、

136、将环境特征向量输入环境编码网络，预测环境感知权重系数：

137、

138、权重用于刻画当前环境条件下融合特征的可信度与有效性，并作为全局调节因子参与后续特征响应控制。

139、对srca模块增强后的多尺度融合特征集合进行加权调节，得到经环境调节后的多尺度检测特征：

140、

141、该单元能够取得以下技术效果：

142、环境感知模态权重自适应（eamw）模块能够在整体特征层面建模当前海洋场景的光照条件、对比度分布、红外能量强度以及雾霾、夜间或强反射等复杂环境因素对特征表达可靠性的影响，并通过环境感知权重对融合特征的响应强度进行自适应调节，使检测网络在不同环境条件下自动突出更具判别力的特征信息，同时抑制受环境干扰严重的无效或噪声特征响应。相较于现有采用固定阈值或统一特征响应强度的检测方式，本技术利用 eamw模块能够实现对复杂海洋环境下特征可信度的动态建模，减小光照变化、天气干扰及海面强反射对检测结果稳定性的影响，尤其提升了夜间、低对比度及恶劣气象条件下船舶目标检测的可靠性与鲁棒性。

143、作为优选，所述的检测头与损失设计单元，具体包括：

144、将经环境调节后的多尺度检测特征输入改进的yolo系列检测头中，分别在不同尺度上进行船舶目标检测。其中，检测头包括边界框回归分支和类别预测分支，用于输出船舶目标的位置、类别以及置信度。根据改进的yolo系列检测方式计算船舶目标检测损失函数，并对整个船舶目标检测网络的参数进行反向传播优化，以学习船舶目标的空间位置与类别信息。

145、此外，为进一步提升检测精度与稳定性，船舶目标检测网络结合多尺度特征输出结果，采用多种约束损失函数，包括模态一致性约束损失函数、尺度一致性监督损失函数以及船舶边缘保持损失函数，对模态条件化局部核调制模块及尺度感知残差交互注意模块进行联合优化，使船舶目标检测网络在学习目标位置信息的同时，进一步提升跨模态特征表达能力和环境适应能力。

146、船舶目标检测网络训练过程重复双流特征提取的步骤、模态条件化局部核调制模块处理的步骤、尺度感知残差交互注意模块处理的步骤、环境感知模态权重自适应调整的步骤、检测头与损失设计的步骤，直至训练结束。

147、该单元能够取得以下技术效果：

148、通过多尺度检测头模块及多重约束损失函数，能够对船舶检测的边界框回归、类别预测以及跨模态一致性进行联合优化，使船舶检测模型在保证检测速度的同时进一步提升定位精度和分类可靠性。通过对尺度一致性和船舶边缘信息的约束，减少多尺度预测结果之间的偏差，提高船舶目标边界的定位精度。

149、本发明的有益效果在于，能够充分融合可见光与红外图像的互补优势，在复杂海洋环境下实现高精度、高鲁棒性的船舶目标检测。通过模态条件化局部核调制（mclkm）模块，在局部层面动态补偿可见光与红外图像的配准误差，解决了跨模态特征融合中的细节错位和语义冲突问题，提升了特征对齐精度；通过尺度感知残差交互注意（srca）机制，实现了多尺度特征间的语义交互与细节增强，提升了远距离、小尺度船舶目标的识别能力与边界定位精度；通过环境感知模态权重自适应模块（eamw）模块根据光照、对比度和天气条件自适应调节融合特征响应强度，提高复杂海洋环境下船舶检测的稳定性与鲁棒性，确保算法在全天候复杂海况下的检测稳定性与泛化能力。本发明在不大量增加计算复杂度的前提下，提高了对多尺度船舶目标的检测能力，具有良好的工程实用性和应用推广价值。

150、由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。