一种多模态船舶层级细粒度协同识别方法与系统

本发明属于计算机，更具体的说是涉及一种多模态船舶层级细粒度协同识别方法与系统。

背景技术：

1、近年来，随着海洋经济活动的日益频繁与海事监管、海上交通管理等应用场景对感知能力需求的不断提升，船舶目标的精确、可靠识别已成为关键技术支持。尽管以卷积神经网络（cnn）和transformer为代表的深度学习方法在该领域取得了显著进展，但现有技术仍存在明显局限。多数方法依赖于可见光等单一成像模态，其识别性能极易受到光照剧烈变化、恶劣天气条件（如雾、雨）及复杂海面背景的干扰，导致特征提取不稳定、模型泛化能力受限，难以满足全天候、高鲁棒性的实际应用需求。

2、此外，船舶目标具有内在的“类别-型号-个体”层级化语义结构，这使得细粒度识别任务面临巨大挑战：不同型号或个体间的视觉差异往往十分细微，而同类船舶因视角、遮挡或涂装变化引起的类内差异却可能非常显著。当前主流方法大多采用扁平化的分类范式，未能显式地建模和利用这种层级化先验知识。因此，模型难以学习到具有强判别力的层次化特征表示，特别是在样本数量有限的细粒度子类别识别上，性能提升遇到瓶颈。

3、为提升模型的环境鲁棒性，引入并融合红外等多模态数据是一条有效途径。然而，现有多模态船舶识别方法往往面临光谱干扰与模态混叠问题。由于不同成像机理的传感器所捕获的数据在特征分布上存在显著差异，简单的特征拼接或早期融合策略难以实现不同模态特征在统一语义空间中的有效对齐与互补，甚至可能引入噪声，导致融合后的特征判别性下降。

4、更进一步，现有方法普遍缺乏对船舶层级逻辑的显式建模与利用。高层语义信息（如船舶类别）无法有效引导网络关注对中、低层识别任务（如型号区分、个体鉴别）至关重要的局部判别性区域，导致特征在跨层级传递过程中出现语义不一致或漂移现象。如何设计一种能够有效对齐多模态数据、同时深度融合层级语义约束以引导多层次判别特征学习的方法，成为当前船舶细粒度识别领域亟待解决的关键技术问题。

技术实现思路

1、针对以上问题，本发明的目的在于提供一种多模态船舶层级细粒度协同识别方法与系统，通过跨模态特征对齐与动态融合、基于注意力机制的多尺度特征提取、以及层级化渐进优化与多任务协同识别，有效整合可见光、近红外与热红外信息，显著提升复杂海况下船舶在类别、型号及个体层级的识别准确性与鲁棒性。

2、本发明为实现上述目的，通过以下技术方案实现：

3、第一方面，本技术实施例提供一种多模态船舶层级细粒度协同识别方法，包括如下步骤：

4、s1：获取待识别的船舶多模态图像数据，包括可见光图像、近红外图像和热红外图像，并对各模态图像进行预处理，生成标准化的多模态输入张量；

5、s2：将所述多模态输入张量输入至hsr-net模型的多模态特征对齐模块中，分别提取各模态的独立特征，通过语义空间对齐将不同模态的独立特征转换至统一通道数与分辨率，并采用动态门控融合策略进行加权融合，得到融合后的多模态特征；所述hsr-net模型包括多模态特征对齐模块、基于层级化窗口注意力机制的主干网络、层间优化单元和多任务分支模块；

6、s3：将所述融合后的多模态特征输入基于层级化窗口注意力机制的主干网络，提取多尺度特征图，多尺度特征图包括底层细节特征图、中层结构特征图和高层语义特征图；

7、s4：将所述多尺度特征图输入层间优化单元，依次执行cbam特征校准、crossattention语义引导和shiphpfo层次渐进优化，输出经语义增强和层级对齐的目标特征张量；

8、s5：将目标特征张量分别输入多任务分支模块的类级、型级和个体级三个并行分支，通过每个并行分支的全局平均池化层和全连接分类层输出各层级的预测概率分布；

9、s6：基于所述各层级的预测概率分布，生成船舶的类别、型号和个体身份识别结果。

10、在一个可选的实施方式中，所述步骤s1包括：

11、获取同一场景下待识别的船舶多模态图像数据，所述船舶多模态图像数据包括可见光图像vis、近红外图像nir和热红外图像tir；通过cm-ship-reid数据集存储船舶多模态图像数据，并记录相应的类别、型号及个体标注信息；

12、分别对每种船舶多模态图像数据进行图像归一化、多尺度裁剪、旋转和噪声增强处理，生成标准化的多模态输入张量；其中，为可见光图像输入张量，为近红外图像输入张量，为热红外图像输入张量。

13、在一个可选的实施方式中，所述步骤s2包括：

14、分别将可见光图像输入张量、近红外图像输入张量和热红外图像输入张量输入至多模态特征对齐模块中对应的独立分支，利用连续的卷积层提取各模态输入张量的浅层物理特征，保持模态独特性输入张量，得到相应的初始特征图、、；所述独立分支包括vis分支、nir分支和tir分支；

15、在每个独立分支的对齐层采用卷积操作，将不同模态的初始特征图转换为相同的通道数和空间分辨率，生成相应的对齐特征、、；

16、利用基于门控机制的动态融合策略，将对齐特征、、进行拼接，经全局平均池化获取全局上下文描述符，再输入多模态特征对齐模块的mlp层与softmax函数中，自适应计算出对齐特征、、的置信度权重；

17、通过公式计算出加权融合特征，作为融合后的多模态特征。

18、在一个可选的实施方式中，所述步骤s3包括：

19、将融合后的多模态特征输入网络基于层级化窗口注意力机制的主干网络，利用swin transformer的stage2、stage3和stage4分别输出底层细节特征图、中层结构特征图和高层语义特征图。

20、在一个可选的实施方式中，所述步骤s4包括：

21、将所述多尺度特征图输入层间优化单元；所述层间优化单元包括cbam特征校准模块、cross-attention语义引导模块和ship-hpfo层次渐进优化模块；

22、通过cbam特征校准模块分别对多尺度特征图进行通道注意力提取和空间注意力提取，生成三个尺度的显著性增强特征，包括的显著性增强特征、的显著性增强特征、的显著性增强特征；

23、通过cross-attention语义引导模块对显著性增强特征进行语义引导，通过如下公式计算出融合了语义引导的增强特征：

24、

25、

26、其中，,,分别为可学习的线性变换矩阵，为特征维度归一化系数；

27、将融合了语义引导的增强特征通过残差连接叠加回原始的显著性增强特征上，进行特征更新；

28、通过ship-hpfo层次渐进优化模块对进行高层语义基准构建、对中层语义注入与校验、对进行底层纹理增强与引导，生成目标特征、构成目标特征张量；

29、所述目标特征的计算公式具体如下：

30、

31、

32、

33、其中，表示卷积操作用于特征重组，为批归一化，为sigmoid激活函数，和分别为可学习的平衡系数。

34、在一个可选的实施方式中，所述步骤s5包括：

35、将目标特征张量根据特征类型分别输入多任务分支模块的类级分支、型级分支和个体级分支中；

36、在三个并行分支中，先经过gap层，将空间维度压缩为，得到特征向量，再通过fc层映射到对应的类别空间维度，最终利用softmax函数输出预测概率分布；

37、所述预测概率分布包括粗粒度类别概率、细粒度型号概率、个体身份概率。

38、在一个可选的实施方式中，所述步骤s6包括：

39、基于所述各层级的预测概率分布获得类级、型级和个体级的预测概率分布，选取概率最大值对应的标签生成船舶的类别、型号和个体身份识别结果。

40、在一个可选的实施方式中，所述hsr-net模型的训练流程包括：

41、构建复合损失函数；

42、其中，为多任务基础分类损失，用于衡量预测概率分布与真实标签之间的差异；为逻辑一致性约束，用于约束不同层级预测之间的逻辑一致性，确保其符合类级、型级和个体级的层级从属关系；为对比增强约束，用于约束特征嵌入空间中的样本分布，以增强特征的区分度与跨层级语义一致性；、分别为超函数；

43、从预设的多模态训练集随机采样锚点样本，每个样本包含配对的可见光、近红外、热红外图像及其对应的类别、型号及个体标注信息；

44、将所述样本输入hsr-net模型，依次经过多模态特征对齐模块、基于层级化窗口注意力机制的主干网络、层间优化单元和多任务分支模块的前向计算，输出类级、型级和个体级的预测概率分布；

45、在特征嵌入空间内构建正负样本对，所述正样本对由同一船舶目标在不同分支的特征向量构成，所述负样本对由不同船舶目标的特征向量构成；

46、利用所述正负样本对，计算用于增强特征类内紧凑性与类间可分性的对比增强约束；

47、同步利用复合损失函数计算复合总损失；

48、基于所述复合总损失，利用反向传播算法计算梯度，并同步更新所述多模态特征对齐模块、基于层级化窗口注意力机制的主干网络、层间优化单元和多任务分支模块的全部可学习参数；

49、重复上述过程进行迭代优化，直至模型收敛，获得训练完成的hsr-net模型参数。

50、第二方面，本技术实施例还提供了一种多模态船舶层级细粒度协同识别系统，包括：

51、数据获取与预处理模块，用于获取待识别的船舶多模态图像数据，包括可见光图像、近红外图像和热红外图像，并对各模态图像进行预处理，生成标准化的多模态输入张量；

52、多模态特征对齐模块，用于将所述多模态输入张量输入至hsr-net模型的多模态特征对齐模块中，分别提取各模态的独立特征，通过语义空间对齐将不同模态的独立特征转换至统一通道数与分辨率，并采用动态门控融合策略进行加权融合，得到融合后的多模态特征；所述hsr-net模型包括多模态特征对齐模块、基于层级化窗口注意力机制的主干网络、层间优化单元和多任务分支模块；

53、多尺度特征提取模块，用于将所述融合后的多模态特征输入基于层级化窗口注意力机制的主干网络，提取多尺度特征图，多尺度特征图包括底层细节特征图、中层结构特征图和高层语义特征图；

54、层间优化模块，用于将所述多尺度特征图输入层间优化单元，依次执行cbam特征校准、crossattention语义引导和shiphpfo层次渐进优化，输出经语义增强和层级对齐的目标特征张量；

55、多任务协同识别模块，用于将目标特征张量分别输入多任务分支模块的类级、型级和个体级三个并行分支，通过每个并行分支的全局平均池化层和全连接分类层输出各层级的预测概率分布；

56、推理输出模块，用于基于所述各层级的预测概率分布，生成船舶的类别、型号和个体身份识别结果。

57、第三方面，本技术实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上文任一项所述多模态船舶层级细粒度协同识别方法的步骤。

58、从以上技术方案可以看出，本发明具有以下优点：

59、本技术提供的多模态船舶层级细粒度协同识别方法中，构建了多模态特征对齐机制（cmal），通过门控机制与一致性约束实现可见光、近红外与热红外图像在统一语义空间中的动态对齐与融合。同时，基于层间优化单元（ihou）与多任务协同分支，利用高层语义引导低层特征聚焦，并使用层次一致性与对比增强约束机制，强制细粒度子类预测受限于粗粒度父类分布，并拉近跨层级正样本距离，进一步提升特征的可判别性，获得更优的层次化分类效果。

60、本技术所构建的跨模态特征对齐机制，有效解决了异构传感器间的光谱干扰与分布差异问题。在夜间、雨雾等弱光或恶劣气象条件下，模型能够自动增强红外热辐射特征的权重，实现多模态信息的优势互补，显著提升了船舶识别系统在全天候、全时段场景下的环境鲁棒性。

61、本技术所设计的ihou层间优化单元，通过构建“类级→型级→个体级”的自顶向下渐进式引导路径，显式地将高层类别语义注入到底层特征中。这使得模型在进行个体级识别时，能够利用高层语义过滤海浪背景噪声，并精准聚焦于垂发系统、雷达罩等关键细粒度部件，从而在不增加额外检测网络的前提下，显著提高了对极度相似型号及特定个体的辨识精度。

62、本技术所构造的多任务并行预测架构，能够在统一的特征提取框架下，同时输出粗粒度类别、细粒度型号及个体身份三级信息。

63、本技术所构建的双重约束机制，既保证了识别结果的逻辑正确性，又提升了对微小差异的辨析能力，极大地提升了系统在高可靠性场景中的应用价值。

64、本技术通过对基于船舶多层次细粒度协同识别框架网络的hsr-net模型循环迭代优化，既可以充分利用可见光与红外图像的互补特性，在统一特征空间中克服复杂海况带来的环境干扰与光谱差异；又可以利用层级间的语义引导与逻辑约束机制，强制模型遵循“类-型-个体”的客观认知逻辑，消除多粒度识别中的语义漂移与预测冲突，最终从数据适应性与特征判别力两个维度显著提高船舶目标在细粒度层级的协同识别效果。