一种基于天气自适应感知的船舶图像文本对齐方法

本发明属于图像文本对齐，具体涉及基于天气自适应感知的船舶图像文本对齐方法。

背景技术：

1、图像与文本匹配技术旨在建立图像视觉信息与文本语义的对应关系，是跨模态检索等应用的重要基础。将该技术应用于船舶识别与海上场景分析，能够关联船舶图像与船舶属性、航行监测等文本数据，对海事监管、目标检索及海上态势感知具有重要应用价值。

2、但真实海上环境复杂，降雨、雾霾、低照度、强光、海面反射等因素易造成图像对比度降低、细节模糊、纹理缺失、噪声加剧等退化问题，导致图像特征分布偏移，破坏图文间稳定的语义关联，最终造成跨模态匹配精度下降，系统鲁棒性较差。

3、针对上述问题，现有技术通常采用图像去雾、去雨、去噪、增强等预处理方法改善图像质量，然后对图像与文本匹配模型完成语义对齐。虽然这些方法在特定场景下能够取得一定效果，但仍存在明显不足：其一，现有图像增强方法大多针对单一天气退化分别设计，缺乏对实时天气状态的综合感知与动态适配能力，难以根据连续变化的环境条件调整增强策略；其二，现有图像增强过程与图像与文本匹配过程通常相互分离，增强结果更多关注视觉质量改善，而未充分考虑增强后图像特征是否仍能与文本语义保持一致。

4、因此，现有技术仍缺乏一种能够结合实时天气信息，对图像质量恢复和跨模态语义对齐进行协同优化的图像与文本匹配方法。

技术实现思路

1、本发明提供了一种基于天气自适应感知的船舶图像文本对齐方法，已解决在复杂天气条件下图像质量不稳定以及图像增强与跨模态匹配脱节的技术问题。

2、为达到上述目的，本发明所采用的技术方案是：

3、本发明第一方面提供了一种基于天气自适应感知的船舶图像文本对齐方法，包括：

4、获取检测水域的天气信息和船舶采集图像；将天气信息构建为天气原始向量，然后输入至所述天气编码网络获得天气条件向量；将天气条件向量和船舶采集图像输入至预训练的图像增强模型，根据天气条件向量对船舶采集图像进行视觉优化获得增强图像；

5、将天气条件向量输入至天气调制网络获得通道权重向量和通道偏置向量；通过视觉编码网络对增强图像进行特征提取获得图像区域特征；通过文本编码网络对船舶描述文本进行特征提取获得词级语义特征；

6、利用通道权重向量和通道偏置向量对图像区域特征和文本词级特征进行通道调制获得气象调制视觉特征和气象调制词级特征；

7、利用全连接映射层将天气条件向量转化为标量天气偏置项；将气象调制视觉特征作为查询向量，气象调制词级特征作为键向量和值向量；将查询向量、键向量、值向量和标量天气偏置项输入至多头交叉注意力机制获得跨模对齐文本特征。

8、进一步的，将天气信息构建为天气原始向量，然后输入至所述天气编码网络获得天气条件向量，具体包括：

9、所述天气信息包括降水强度、能见度、环境照度、湿度、风速以及时间变量；将天气信息进行归一化后拼接形成天气原始向量，表达公式为：

10、

11、公式中，为天气原始向量，为归一化后的降水强度，为归一化后的能见度，为归一化后的环境照度，为归一化后的湿度，为归一化后的风速，为归一化后的时间变量；

12、将天气原始向量输入至所述天气编码网络，依次经过天气编码网络中的第一全连接层、激活函数和第二全连接层后，输出天气条件向量，表达公式为：

13、

14、公式中，为天气条件向量，为第一全连接层的权重参数，为第一全连接层的权重参数，为激活函数，为第二全连接层的权重参数，为第二全连接层的权重参数。

15、进一步的，将天气条件向量和船舶采集图像输入至图像增强模型，根据天气条件向量对船舶采集图像进行视觉优化获得增强图像；具体包括：

16、所述图像增强模型包括共享编码器、噪声抑制分支网络、去雾分支网络、亮度矫正分支网络以及天气门控网络；

17、所述共享编码器基于resnet-34残差结构与u-net编码架构构建，所述共享编码器包括四层编码模块，各层编码模块包括依次堆叠的单个3×3下采样卷积层和2个残差块；

18、通过共享编码器对船舶采集图像进行特征提取获得多尺度船舶图像特征；表达公式为：

19、

20、公式中，为多尺度船舶图像特征，为由四层编码模块输出组成的多尺度船舶图像特征集合，为共享编码器；为船舶采集图像；为第一层编码模块输出的浅层的船舶图像特征，为第二层编码模块输出的低层结构特征的船舶图像特征，为为第三层编码模块输出的中层语义特征的船舶图像特征，为第四层编码模块输出的高层语义特征的船舶图像特征；为共享编码器对输入船舶采集图像进行特征提取后的编码结果。

21、将多尺度船舶图像特征分别输入至噪声抑制分支网络、去雾分支网络和亮度矫正分支网络获得噪声校正特征、细节增强特征和亮度校正特征；表达公式为：

22、

23、

24、

25、公式中，为噪声抑制分支网络，为去雾分支网络，为亮度矫正分支网络，为噪声校正特征，为细节增强特征，为亮度校正特征；表示将多尺度船舶图像特征集合输入噪声抑制分支网络进行噪声抑制处理，即噪声校正特征；表示将多尺度船舶图像特征集合输入去雾分支网络进行去雾恢复处理，即细节增强特征；表示将多尺度船舶图像特征集合输入亮度矫正分支网络进行亮度校正处理，即亮度校正特征；

26、将天气条件向量输入至天气门控网络获得分支融合权重，利用分支融合权重对噪声校正特征、细节增强特征和亮度校正特征进行特征融合获得增强图像，表达公式为：

27、

28、

29、公式中，为增强图像，为噪声校正特征的分支融合权重，为细节增强特征的分支融合权重，为亮度校正特征的分支融合权重。为经过加权后的噪声校正贡献特征，为经过加权后的细节增强贡献特征，为经过加权后的亮度校正贡献特征；

30、进一步的，噪声抑制分支网络采用风格残差降噪解码模型，用于抑制雨雪噪声、飞沫干扰和高频散斑噪声；去雾分支网络采用风格去雾恢复解码模型，用于恢复低能见度条件下的轮廓边缘和层次对比信息；亮度矫正分支网络采用风格亮度校正解码模型，用于矫正低照度或强光条件下的亮度失真和局部曝光不均。

31、进一步的，将天气向量输入至天气门控网络获得分支融合权重，表示公式为：

32、

33、

34、公式中，为噪声校正特征的分支融合权重，为细节增强特征的分支融合权重，为亮度校正特征的分支融合权重；为天气条件向量，为天气门控网络隐藏层权重矩阵，为天气门控网络隐藏层偏置，为非线性激活函数，为天气门控网络输出层权重矩阵，为天气门控网络输出层偏置；为噪声抑制分支权重，为去雾恢复分支权重，为亮度校正分支权重；为归一化函数。

35、进一步的，所述图像增强模型的训练过程包括：

36、获得船舶清晰图像以及不同天气状态下的天气信息；将天气信息转化为天气条件向量；

37、根据天气条件向量对船舶清晰图像执行退化过程获得退化图像；将退化图像输入所述图像增强模型获得增强图像；

38、根据增强图像和船舶清晰图像计算像素重建损失、感知一致性损失、结构保持损失和身份保持损失；表达公式为：

39、

40、

41、

42、

43、公式中，为像素重建损失，为感知一致性损失，为结构保持损失，为身份保持损失，为增强图像，为船舶清晰图像，为预设的感知特征提取器，为预设的感知特征提取器从增强图像中提取的高层感知特征，为预设的感知特征提取器从船舶清晰图像中提取的高层感知特征；为结构相似性运算函数，为增强图像与船舶清晰图像在亮度、对比度及结构信息上的相似程度；为预审的船舶身份特征提取网络，为船舶身份特征提取网络从增强图像中提取的身份特征向量，为船舶身份特征提取网络从船舶清晰图像中提取的身份特征向量，为平方误差。

44、对像素重建损失、感知一致性损失、结构保持损失和身份保持损失加权求和获得图像增强综合损失；以图像增强综合损失作为监督信号，通过反向传播计算图像增强模型的参数梯度，并采用自适应动量优化器沿梯度下降方向更新参数，重复迭代图像增强模型的训练过程，直至图像增强综合损失收敛输出训练后的图像增强模型。

45、进一步的，将天气条件向量输入至天气调制网络获得通道权重向量和通道偏置向量，具体包括：

46、

47、

48、

49、公式中，为天气调制网络隐藏层的输出特征向量，为非线性激活函数，为天气调制网络隐藏层权重矩阵，为天气条件向量，为天气条件向量经过天气调制网络隐藏层权重矩阵映射后的线性变换结果，为天气调制网络隐藏层偏置，为视觉特征的通道权重向量，为视觉特征的通道偏置向量，为由通道权重向量和通道偏置向量组成的视觉特征通道调制参数，用于对视觉特征各通道进行加权和偏置调节，为天气门控网络的视觉输出头权重矩阵，为天气门控网络的视觉输出头偏置，为对进行线性映射后的结果；为文本特征的通道权重向量，为文本特征的通道偏置向量，为由通道权重向量和通道偏置向量组成的文本特征通道调制参数，用于对文本特征各维度进行加权和偏置调节，为天气门控网络的文本输出头权重矩阵，为对进行线性映射后的结果，为天气门控网络的文本输出头偏置。

50、进一步的，利用通道权重向量和通道偏置向量对图像区域特征和文本词级特征进行通道调制获得气象调制视觉特征和气象调制词级特征，具体包括：

51、

52、

53、公式中，为图像区域特征，为气象调制视觉特征，为文本词级特征，为气象调制词级特征；为视觉特征的通道权重向量，为视觉特征的通道偏置向量；为文本特征的通道权重向量，为文本特征的通道偏置向量，为逐元素相乘。

54、进一步的，利用全连接映射层将天气条件向量转化为标量天气偏置项，具体包括：

55、

56、公式中，为标量天气偏置项，为输出映射权重向量的转置，为天气条件向量，为全连接映射层的权重矩阵，为全连接映射层的偏置向量；为非线性激活函数；

57、进一步的，将气象调制视觉特征作为查询向量，气象调制词级特征作为键向量和值向量；将查询向量、键向量、值向量和标量天气偏置项输入至多头交叉注意力机制获得跨模对齐文本特征，具体包括：

58、

59、

60、

61、

62、

63、公式中，为查询向量，为查询向量映射矩阵，为气象调制视觉特征；为键向量，为键向量映射矩阵，为气象调制词级特征；为值向量，为值向量映射矩阵；为矩阵转置，为键向量的转置结果，为标量天气偏置项，表示特征维度，为自然指数函数，为气象调制词级特征的数量，为气象调制视觉特征的索引，为气象调制词级特征的索引；为第个气象调制视觉特征对第个气象调制词级特征的注意力权重；为跨模对齐文本特征。

64、进一步的，由天气调制网络、视觉编码网络、文本编码网络、全连接映射层和多头交叉注意力机制组成文本图像对齐模型；

65、根据气象调制视觉特征和气象调制词级特征计算全局相似度，表达公式为：

66、

67、

68、

69、公式中，为全局视觉特征，为全局文本特征，为气象调制视觉特征，为气象调制词级特征，为气象调制词级特征的数量，为气象调制词级特征的索引，为气象调制视觉特征的数量；为气象调制视觉特征的索引；为全局相似度；余弦相似度函数，为根据全局视觉特征与全局文本特征计算得到的全局相似度；

70、根据跨模对齐文本特征、气象调制视觉特征和气象调制词级特征计算局部相似度，表达公式为：

71、

72、公式中，为局部相似度；为气象调制视觉特征的数量，为第个气象调制视觉特征，为第个跨模对齐文本特征，为第个气象调制视觉特征与第个跨模对齐文本特征之间的余弦相似度，用于衡量图像区域特征与其对应文本语义之间的匹配程度，为求和函数，为气象调制词级特征的数量，为第个气象调制词级特征，为第个气象调制词级特征与第个跨模对齐文本特征之间的余弦相似度。

73、将天气向量输入至天气动态权重生成网络获得全局相似度权重、局部相似度权重以及相似度偏置项，表示公式为：

74、

75、

76、公式中，为天气条件向量，为天气动态权重生成网络的隐藏层权重矩阵，为天气动态权重生成网络的隐藏层偏置，为非线性激活函数，为天气动态权重生成网络的输出层权重矩阵，为天气动态权重生成网络的输出层偏置；为全局相似度初始权重；为局部相似度初始权重；为归一化函数；为全局相似度权重，为局部相似度权重，为相似度偏置项；

77、利用全局相似度权重、局部相似度权重以及相似度偏置项对局部相似度和全局相似度进行加权求和获得图像文本相似度；表达公式为：

78、

79、公式中，为图像文本相似度；为全局相似度，为全局匹配贡献值；为局部相似度，为局部匹配贡献值；为相似度偏置项，用于根据天气状态对最终相似度进行动态调整；

80、根据图像文本相似度计算对齐损失，以对齐损失作为监督信号，通过反向传播计算文本图像对齐模型的参数梯度，并采用自适应动量优化器沿梯度下降方向更新参数；更新后的文本图像对齐模型用于下一次船舶图像文本对齐。

81、与现有技术相比，本发明的有益效果：

82、将天气信息构建为天气原始向量，然后输入至所述天气编码网络获得天气条件向量；并将天气条件向量统一引入图像增强和图像—文本匹配两个阶段，实现了从环境信息获取到跨模态对齐的全链路天气感知控制，相较于现有仅对图像进行静态预处理的方案，能够更准确地反映当前成像条件。

83、本发明通过将天气条件向量与船舶采集图像共同输入预训练图像增强模型，模型能够依据实时天气特征自适应调控各增强分支权重与注意力偏置，针对性对船舶图像中的雾霾干扰、光照不足、噪声退化等问题进行联合优化，有效提升图像清晰度、色彩保真度与细节表现力，从而输出高质量增强图像，保障船舶视觉感知系统在复杂多变海况天气下的稳定成像效果。

84、本发明将天气条件向量输入至天气调制网络获得通道权重向量和通道偏置向量；通过视觉编码网络对增强图像进行特征提取获得图像区域特征；通过文本编码网络对船舶描述文本进行特征提取获得词级语义特征；利用通道权重向量和通道偏置向量对图像区域特征和文本词级特征进行通道调制获得气象调制视觉特征和气象调制词级特征；能够有效强化有效信息、抑制冗余干扰。

85、本发明利用全连接映射层将天气条件向量转化为标量天气偏置项；将气象调制视觉特征作为查询向量，气象调制词级特征作为键向量和值向量；将查询向量、键向量、值向量和标量天气偏置项输入至多头交叉注意力机制获得跨模对齐文本特征，实现图像区域特征与文本词级语义特征的自适应跨模态对齐；模型可依据天气状况动态调节约束权重，在恶劣天气环境下强化文本语义引导约束作用，在晴朗清晰天气下侧重挖掘视觉局部细节信息，进而有效提升跨模态特征匹配的鲁棒性与整体稳定性。