基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合方法及系统

本发明属于红外与可见光图像融合，具体涉及基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合方法及系统。

背景技术：

1、在红外与可见光图像融合任务中，跨模态差异以及空间未配准情况是影响融合性能的重要因素。由于两类图像的成像原理存在差别，它们的特征分布和结构响应明显不符，使得跨模态特征很难形成稳定的对应关系；同时，由于视角的改变和场景的动态作用，图像之间往往会出现平移，旋转以及非刚性形变等多种复杂的几何不匹配现象，这又进一步加大了对齐的困难，当前的方法大多着眼于跨模态特征对齐或者模态转换这两个方面来开展研究。这种方法存在明显的局限性，其一，依靠统一特征空间或者直接跨模态匹配的方法，很难有效地解决模态分布差异的问题，在复杂场景下常常会出现匹配不稳定以及误差逐步积累的情况。其二，利用模态转换的方法虽然可以在某种程度上减小模态之间的差异，但是常常不会对空间几何关系以及可适配区域实施明确的建模，一旦存在局部形变或者不可共视的区域，就极易造成错误的匹配，进而制约整体的配准精度，而且，当前很多方法都是把配准和融合分开来对待，没有针对跨模态信息协同表达执行统一建模，所以无法很好地发挥两种模态相互弥补的优势。

2、针对上述不足，本发明从“模态差异缓解—可匹配区域建模—跨模态融合”三个层面出发，提出一种基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合方法。首先，通过模态自适应转换将可见光图像映射至伪红外域，从特征分布层面缩小跨模态差异，将跨模态配准问题转化为近似单模态匹配问题；其次，引入共视性感知机制，对跨模态图像中具有稳定对应关系的区域进行显式建模，并结合多尺度特征表示与由粗到细的形变场估计，实现复杂形变条件下的精细对齐；最后，在统一特征空间中构建跨模态融合模块，对红外显著信息与可见光纹理细节进行自适应整合，从而获得结构一致性与细节保真性兼具的融合结果。

技术实现思路

1、为解决现有技术存在的问题，本发明提供基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合方法及系统，旨在从模态对齐、空间配准与特征融合三个层面进行协同优化，获得结构一致性与细节保真性兼具的融合结果。

2、为实现上述目的，本发明提供了如下方案：

3、基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合方法，所述方法包括：

4、基于模态自适应变换网络，将可见光图像映射到伪红外域，获得伪红外图像；

5、基于共视性感知多尺度配准网络，对红外图像和所述伪红外图像进行配准，获得配准后的红外图像；

6、基于跨模态交互融合模块，将配准后的红外图像和所述可见光图像进行融合，获得融合图像。

7、优选的，基于模态自适应变换网络，将可见光图像映射到伪红外域，获得伪红外图像的方法包括：

8、以cyclegan为基础框架构建模态自适应变换网络，实现可见光图像向伪红外图像的映射；

9、在所述模态自适应变换网络的生成器中引入模态自适应统计注意力模块，增强对关键特征的表达能力并抑制无关信息干扰，获得伪红外图像。

10、优选的，基于共视性感知多尺度配准网络，对红外图像和所述伪红外图像进行配准，获得配准后的红外图像的方法包括：

11、基于共视性感知多尺度配准网络的共视性感知特征匹配模块，对所述红外图像与所述伪红外图像中不同空间位置的匹配可靠性进行显式建模；

12、结合由粗到细的多尺度形变场估计策略，实现高精度的空间配准，获得配准后的红外图像。

13、优选的，基于共视性感知多尺度配准网络的共视性感知特征匹配模块，对所述红外图像与所述伪红外图像中不同空间位置的匹配可靠性进行显式建模的方法包括：

14、通过轻量级卷积映射函数，对所述红外图像与所述伪红外图像在不同尺度下的特征，进行响应建模，得到对应的可匹配性权重：

15、；

16、其中，和分别为红外图像和伪红外图像在第个尺度下的特征；表示卷积映射函数；表示sigmoid激活函数；和分别为红外图像与伪红外图像在第个尺度下的可匹配性权重；

17、通过逐元素融合的方式构建共视性感知掩码：

18、；

19、其中，为共视性感知掩码；

20、基于所述共视性感知掩码，采用残差式特征调制策略，对所述红外图像与所述伪红外图像在不同尺度下的特征进行加权增强，获得对应的增强特征：

21、；

22、其中，和分别为红外图像与伪红外图像在第个尺度下的增强特征。

23、优选的，结合由粗到细的多尺度形变场估计策略，实现高精度的空间配准，获得配准后的红外图像的方法包括：

24、在低分辨率尺度下，利用对应的增强特征进行全局匹配，获得粗形变场：

25、；

26、其中，为粗形变场；为全局模块；和分别为红外图像和伪红外图像在低分辨率尺度下的增强特征；

27、对粗形变场进行局部特征建模：

28、；

29、其中，为细形变场；为细化模块；

30、将低分辨率尺度下得到的细形变场进行上采样，映射至高分辨率尺度，将该高分辨率尺度下的形变场作用于高分辨率红外特征，实现特征级的初步对齐：

31、；

32、；

33、其中，为上采样操作；为初步对齐特征；

34、在图像重采样阶段，将最终形变场应用于待配准红外图像，通过双线性插值实现空间映射，得到最终配准结果：

35、；

36、其中，为配准后的红外图像；为图像重采样操作；为最终形变场。

37、优选的，基于跨模态交互融合模块，将配准后的红外图像和所述可见光图像进行融合，获得融合图像的方法包括：

38、将配准后的红外图像与所述可见光图像，分别输入双分支特征提取模块，得到对应的模态特征；

39、引入双向交叉注意力机制构建跨模态交互融合模块，对两路对应的模态特征进行联合建模，获得对应的交互特征；

40、采用残差式特征更新策略，将两路对应的交互特征与模态特征进行融合，获得对应的增强特征；

41、将两路对应的增强特征在通道维度上进行拼接，并输入通道嵌入模块进行深度融合，获得融合特征，进而获得融合图像。

42、本发明还提供了基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合系统，所述系统用于实现前述的方法，所述系统包括：映射模块、配准模块和融合模块；

43、所述映射模块，用于基于模态自适应变换网络，将可见光图像映射到伪红外域，获得伪红外图像；

44、所述配准模块，用于基于共视性感知多尺度配准网络，对红外图像和所述伪红外图像进行配准，获得配准后的红外图像；

45、所述融合模块，用于基于跨模态交互融合模块，将配准后的红外图像和所述可见光图像进行融合，获得融合图像。

46、本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的方法。

47、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时，实现前述的方法。

48、与现有技术相比，本发明的有益效果为：

49、本发明针对红外与可见光图像在跨模态条件下存在的特征分布差异较大及空间错位问题，提出了一种基于模态自适应转换与共视性感知多尺度配准的红外与可见光图像融合方法及系统，从模态对齐、空间配准与特征融合三个层面进行协同优化：首先，构建模态自适应变换网络（amtn），通过缩小跨模态特征分布差异，将跨模态配准问题转化为近似单模态配准任务；其次，设计共视性感知多尺度配准网络（camr），通过引入共视性感知特征匹配模块（cafmm）对匹配可靠性进行建模，并结合由粗到细的形变场估计策略，实现高精度空间对齐；最后，在融合阶段构建双路径特征编码与跨模态交互融合模块（cmif），通过跨模态特征交互与自适应融合，实现红外显著目标信息与可见光纹理细节的有效整合。实验结果表明，本发明所提出网络在配准精度与融合质量方面均取得了显著提升，验证了各模块设计的有效性与整体框架的优越性。