一种多模环境感知特征级自适应融合方法与流程

本发明属于多模态信息融合，尤其是涉及一种多模环境感知特征级自适应融合方法。

背景技术：

1、随着多源感知系统的发展，利用不同模态图像进行信息互补已经成为提升场景理解能力的关键途径，现阶段大多数特征级融合方式多采用分别提取模态特征、拼接后直接融合识别的方式，缺少在特征提取过程中的高频率交互以及融合过程中的不利信息剔除，导致融合结果出现适应性差、有效信息占比不足的问题。

技术实现思路

1、本发明的目的是提供一种多模环境感知特征级自适应融合方法，对多模态图像中可用程度进行判断，显示引导可用区域的特征增强，在特征提取过程中通过多尺度的模态间信息交互，逐步增强高相关性目标特征，支撑最终特征融合中的信息补全增强，实现复杂环境下对目标的准确识别。

2、为实现上述目的，本发明提供了一种多模环境感知特征级自适应融合方法，包括以下步骤：

3、s1、提取待融合红外图像的云雾区掩码；

4、s2、提取待融合雷达sar图像的雷达sar图像可用程度；

5、s3、提取红外图像特征和雷达sar图像特征，并通过对进行增强构建红外交互注意力增强模块；

6、s4、通过对进行增强构建雷达sar图像交互注意力增强模块；

7、s5、将待融合的红外图像和雷达sar图像分别输入特征提取器以及红外交互注意力增强模块和雷达sar图像交互注意力增强模块，进行特征级自适应尺度融合，得到融合特征；

8、s6、对融合特征进行解耦，完成多模环境感知特征级自适应融合。

9、优选的，s1的过程如下：

10、s11、将待融合红外图像输入极端判定模型中进行判定，若图像为全黑和全白中的任一种图像，则判定全图为不可用状态，重新选取待融合红外图像，否则判定为可用红外图像；

11、s12、将可用红外图像输入形态学云雾区提取模型中，针对形态学正常场景，利用形态学判定与连通区提取确认云雾区域；

12、针对形态学失效场景，采用自适应阈值分割确认图像中的前背景分割阈值，提取云雾区域；

13、s13、结合云雾区域和应用场景，对感知得到的云雾掩码进行权重调整，在切片中心处降低云雾掩码权重，在切片边缘处保持云雾掩码不变，得到云雾区掩码。

14、优选的，s2的过程如下：

15、s21、将待融合雷达sar图像输入全黑图像判定模型中进行判定，若图像为全黑图像，则判定全图为不可用状态，重新选取待融合雷达sar图像，否则判定为非全黑图像；

16、s22、设置像素个数差阈值，将非全黑图像输入不可用状态判定模型，通过统计各灰度区间的直方图，若各灰度区间像素个数的差值小于像素个数差阈值，则认定全图为不可用状态，重新选取待融合雷达sar图像，返回s21，否则判定为非不可用图像；

17、s23、通过信噪比确认模型针对非全黑图像和非不可用图像，利用图像内灰度的平均值和灰度的最大值的比值作为雷达sar图像可用程度。

18、优选的，s3的过程如下：

19、s31、分别提取待融合红外图像和雷达sar图像的红外图像特征和雷达sar图像特征；

20、s32、计算红外向红外初步映射特征和雷达向红外初步映射特征，过程如下：

21、；

22、；

23、其中表示红外向红外特征映射权重矩阵，表示雷达向红外特征映射权重矩阵；

24、s33、计算红外特征注意力权重，过程如下：

25、；

26、；

27、其中表示红外高相关特征矩阵，表示的转置矩阵，表示s型映射函数，表示卷积层；

28、s34、计算增强后的红外图像特征，完成红外交互注意力增强模块的构建，过程如下：

29、；

30、其中表示红外特征注意力权重与红外图像特征进行逐像素点乘。

31、优选的，s4的过程如下：

32、s41、计算红外向雷达sar初步映射特征和雷达向雷达sar初步映射特征，过程如下：

33、；

34、；

35、其中表示红外向雷达sar特征映射权重矩阵，表示雷达向雷达sar特征映射权重矩阵；

36、s42、计算雷达sar注意力权重，过程如下：

37、；

38、；

39、其中表示雷达sar高相关特征矩阵，表示的转置矩阵；

40、s43、计算增强后的雷达sar图像特征，完成雷达sar图像交互注意力增强模块，过程如下：

41、。

42、优选的，s5的过程如下：

43、s51、将待融合的红外图像和雷达sar图像分别输入特征提取器以及红外交互注意力增强模块和雷达sar图像交互注意力增强模块；

44、s52、分别提取第一尺度的红外图像特征和第一尺度的雷达sar图像特征，过程如下：

45、；

46、；

47、其中表示第一尺度的红外特征提取器，表示特征拼接操作，表示待融合的红外图像，表示第一尺度的雷达sar特征提取器，表示待融合的雷达sar图像；

48、s53、对s52中得到的和分别进行多次下采样，得到第四尺度红外图像特征和第四尺度雷达sar图像特征；

49、s54、通过第四尺度红外图像特征和第四尺度雷达sar图像特征计算融合特征。

50、优选的，s53的过程如下：

51、s531、计算第二尺度红外图像中间特征和第二尺度雷达sar图像中间特征，过程如下：

52、；

53、；

54、其中表示第二尺度的红外特征提取器，表示空间下采样操作，表示第二尺度的雷达sar特征提取器；

55、s532、通过和计算第二尺度红外图像特征和第二尺度雷达sar图像特征，过程如下：

56、；

57、；

58、其中表示第二尺度红外交互注意力增强模块，表示第二尺度雷达sar交互注意力增强模块；

59、s533、计算第三尺度红外图像中间特征和第三尺度雷达sar图像中间特征，过程如下：

60、；

61、；

62、其中第三尺度的红外特征提取器，第三尺度的雷达sar特征提取器；

63、s534、通过和计算第三尺度红外图像特征和第三尺度雷达sar图像特征，过程如下：

64、；

65、；

66、其中为第三尺度红外交互注意力增强模块，为第三尺度雷达sar交互注意力增强模块；

67、s535、计算第四尺度红外图像中间特征和第四尺度雷达sar图像中间特征，过程如下：

68、；

69、；

70、其中为第四尺度的红外特征提取器，为第四尺度的雷达sar特征提取器；

71、s536、通过和计算第四尺度红外图像特征和第四尺度雷达sar图像特征，过程如下：

72、；

73、；

74、其中为第四尺度红外交互注意力增强模块，为第四尺度雷达sar交互注意力增强模块。

75、优选的，s54的过程如下：

76、s541、通过s53中得到的计算红外图像多感受野特征，过程如下：

77、；

78、；

79、其中表示1×1卷积核提取得到的红外特征，表示3×3卷积核提取得到的红外特征，表示5×5卷积核提取得到的红外特征，为1×1卷积层，为3×3卷积层，为5×5卷积层，表示展平操作；

80、s542、通过s53中的计算雷达sar图像多感受野特征，过程如下：

81、；

82、；

83、其中表示1×1卷积核提取得到的雷达sar特征，表示3×3卷积核提取得到的雷达sar特征，表示5×5卷积核提取得到的雷达sar特征；

84、s543、通过红外图像多感受野特征计算红外query矩阵特征，红外key矩阵特征和红外value矩阵特征，过程如下：

85、；

86、其中为红外query映射矩阵，为红外key映射矩阵，为红外value映射矩阵；

87、s544、通过雷达sar图像多感受野特征计算雷达sar图像query矩阵特征，雷达sar图像key矩阵特征和雷达sar图像value矩阵特征，过程如下：

88、；

89、其中为雷达sar图像query映射矩阵，为雷达sar图像key映射矩阵，为雷达sar图像value映射矩阵；

90、s545、通过s543和s544的结果计算融合特征，过程如下：

91、。

92、优选的，s6的过程如下：

93、s61、得到待融合的红外图像和雷达sar图像的红外梯度与雷达sar梯度；

94、s62、计算红外梯度与雷达sar梯度的余弦相似度，并判断是否大于0.4，若满足则进行s63；

95、s63、对梯度进行解耦，过程如下：

96、；

97、其中为解耦后的梯度，为解耦前的梯度，表示向量内积操作，表示向量模长操作，为另一模态梯度。

98、优选的，通过自适应融合系统实现自适应融合方法，包括红外图像像素级环境感知模块、雷达sar图像环境感知模块、交互注意力增强模块、多分支增强互补融合模块和训练优化模块；

99、红外图像像素级环境感知模块包括极端判定模型和形态学云雾区提取模型，通过形态学滤波与阈值分割对红外图像内的云雾区域进行掩码感知生成；

100、雷达sar图像环境感知模块包括全黑图像判定模型、不可用状态判定模型和信噪比确认模型，通过信噪比计算明确雷达sar图像的可用程度；

101、交互注意力增强模块包括红外交互注意力增强模块和雷达sar图像交互注意力增强模块，通过红外图像与雷达sar图像的相似度提取高相关性特征；

102、多分支增强互补融合模块包括端特征提取模型、多尺度特征提取模型和多感受野特征聚合模型，通过多尺度融合方式交互式提升红外模态与雷达sar模态特征中的目标信息占比，同时设计相互映射的策略保证信息的完整性；

103、训练优化模块包括梯度解耦与正交投影训练模型和课程学习模态屏蔽模型，通过梯度监控实现多模态梯度解耦以加速优化，设计课程学习策略保证对多模态特征学习的均衡性。

104、因此，本发明采用上述的一种多模环境感知特征级自适应融合方法，设计双分支交互式特征融合增强架构，将像素级的可用状态先验信息统一至网络学习范式，自动增强其中的目标区域特征占比，并通过相互映射的方式保证特征的完整性，有效提升复杂环境下目标精确识别能力。

105、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。