空间路由匹配与特征重激活的红外可见图像融合方法

摘要: 本发明涉及空间路由匹配与特征重激活的红外可见图像融合方法,属于红外与可见光图像融合及跨模态图像匹配。背景技术:1、红外图像能够突出目标的热辐射信息,在弱光、夜间...
空间路由匹配与特征重激活的红外可见图像融合方法

本发明涉及空间路由匹配与特征重激活的红外可见图像融合方法,属于红外与可见光图像融合及跨模态图像匹配。

背景技术:

1、红外图像能够突出目标的热辐射信息,在弱光、夜间、烟雾和遮挡等环境下具有较强的目标感知能力,但其纹理细节和颜色信息相对有限;可见光图像具有丰富的纹理、边缘和场景结构信息,但容易受到照明变化及恶劣天气的影响。红外可见光图像融合通过整合两种传感器的互补信息,可获得目标显著、结构清晰且信息更加完整的场景表征。然而,在实际成像系统中,红外与可见光传感器的成像视场、焦距、安装位置和采样分辨率存在差异,容易形成较大视差、尺度差异、以及局部非重叠区域,对上述输入直接进行融合,会在融合结果中产生重影、边缘错位、结构变形和无效区域扩散等问题。于是,针对上述困境,提出了基于空间路由的多子空间匹配和互补特征重激活的未对齐红外可见图像融合方法。该方法减少了源图像对未对齐给融合结果带来的负面影响,得到了不存在伪影和偏移的视觉效果良好的融合结果。

技术实现思路

1、本发明提供了空间路由匹配与特征重激活的红外可见图像融合方法,以用于解决现有技术在大视差、分辨率不一致和局部非重叠条件下跨模态对应关系不稳定,以及匹配表征与融合表征相互制约的问题,本发明能校正红外可见光图像对在空间上的不对齐,并消除融合结果中的伪影和偏移,提升了融合性能。

2、本发明的技术方案是:空间路由匹配与特征重激活的红外可见图像融合方法,所述方法包括:

3、步骤1、将固定图像和偏移图像输入到多尺度特征编码器中,获得多尺度固定特征和偏移特征;利用固定图像的语义先验生成语义条件门控图,对多尺度固定特征中的粗尺度固定特征进行调制,固定图像为可见光图像,偏移图像为红外图像;

4、步骤2、对多尺度偏移特征中的粗尺度偏移特征和经调制的粗尺度固定特征进行模态内自注意力和双向跨模态注意力交互;依据可见光语义响应、可见光结构响应以及未被响应覆盖的残差响应构建空间路由;

5、步骤3、利用所述空间路由将跨模态对应关系分解至语义子空间、结构子空间和残差子空间,在各子空间内计算匹配得分,并根据各位置的路由权重自适应集成各子空间匹配得分,得到从固定位置指向偏移候选位置的跨模态匹配概率矩阵;

6、步骤4、冻结用于建立跨模态对应关系的匹配主干,在偏移和固定多尺度特征后分别设置零初始化残差补偿分支,以受控方式重激活融合所需的模态信息;根据所述跨模态匹配概率矩阵确定偏移源特征图中的主匹配位置及其邻域,对所述邻域内候选位置进行概率归一化和连续坐标加权,形成面向固定目标网格的反向采样场,并据此将偏移多尺度特征重采样至固定坐标系;对重采样后的校正特征与固定特征进行多尺度聚合、拼接和解码,得到融合图像。

7、进一步地,所述步骤1中,所述语义先验进行调制具体包括:

8、将可见光图像输入预训练语义分割基础模型,得到可见光语义嵌入;将所述可见光语义嵌入缩放至粗尺度可见光特征的空间尺寸并进行通道拼接,经由包含3×3卷积层、relu激活函数、1×1卷积层和sigmoid激活函数的门控网络生成语义条件门控图:

9、;

10、其中表示通道维度的拼接操作,为粗尺度可见光特征;

11、将粗尺度可见光特征与所述语义条件门控图逐元素相乘,得到语义调制后的粗尺度可见光特征:

12、;

13、其中表示矩阵逐元素相乘。

14、进一步地,所述步骤2中的空间路由构建包括:

15、对可见光语义嵌入的绝对值进行通道平均和最小最大归一化,并通过平滑阈值函数得到语义主导响应:

16、;

17、其中,是最小最大归一化,是响应中心,控制响应平滑度,表示通道平均,表示平滑阈值函数处理;

18、根据可见光图像的梯度幅值获得结构响应,并利用语义主导响应抑制语义区域与结构区域的过度重叠:

19、;

20、其中,是抑制系数,为可见光图像的梯度;

21、将未被语义主导响应和结构响应充分覆盖的位置分配至残差区域,得到残差响应:

22、;

23、将语义主导响应、结构响应和残差响应缩放到粗尺度可见光特征的空间尺寸,并沿路由维度执行softmax归一化,使每个可见光位置对应的三类路由权重之和为1:

24、。

25、进一步地,所述步骤3包括:

26、首先对红外特征和可见光特征进行跨模态上下文交互,使两种模态的特征能提前感知对方的信息:

27、;

28、其中sa表示自注意力操作,ca 表示交叉注意力操作;

29、将经过双向跨模态注意力交互的可见光特征分别与三类空间路由权重逐元素相乘,形成具有不同空间偏好的可见光子空间特征:

30、;

31、同时,将经过双向跨模态注意力交互的红外特征分别通过三个参数独立的1×1卷积映射,形成红外子空间特征:

32、;

33、在每个匹配子空间内计算可见光子空间特征与红外子空间特征之间的温度缩放相似度矩阵:

34、;

35、其中,表示温度系数,t表示矩阵转置操作;

36、将对应路由权重广播至相似度矩阵尺寸,对各子空间相似度矩阵进行逐位置加权求和,并沿红外候选位置维度执行softmax归一化,得到所述跨模态匹配概率矩阵:

37、。

38、进一步地,所述步骤4包括:

39、针对每个尺度上的红外特征与可见光特征,分别构建红外互补重激活分支与可见光互补重激活分支;每个互补重激活分支首先通过两个卷积层和relu激活组成的轻量级变换块对输入特征进行变换,随后接一个零初始化的输出卷积层,将变换后的特征映射为与输入同尺寸、同通道的残差补充特征;对于第个尺度上的红外特征与可见光特征,其互补残差由重激活分支生成如下:

40、;

41、对于第i个可见光目标位置,在所述跨模态匹配概率矩阵中选取概率最大的红外候选位置作为主匹配锚点;构建包含所述主匹配锚点及其上、下、左、右四个相邻位置的局部候选集合;

42、对所述局部候选集合中的匹配概率重新归一化,并对各候选位置的归一化坐标进行加权求和,得到连续红外采样坐标;按照可见光目标网格排列全部连续红外采样坐标,得到反向采样场;将所述反向采样场插值至各尺度特征尺寸,并通过双线性重采样校正后的多尺度红外特征:

43、;

44、其中表示使用反向采样网格进行双线性重采样;

45、进一步分别聚合重采样校正后的多尺度红外特征和多尺度可见光特征:

46、;

47、其中和表示红外分支和可见光分支的特征聚合操作;

48、将两种模态的聚合特征进行通道拼接后得到融合特征,再输入由三个3×3卷积层和sigmoid激活函数构成的融合解码器,得到最终的融合图像:

49、。

50、进一步地,所述步骤4还包括:

51、定义了交叉熵损失以监督匹配分布对所述跨模态匹配概率矩阵进行训练:

52、;

53、其中,是数值稳定项,是标签匹配概率矩阵,为可见光特征图展开后的图像块数量,为红外特征图展开后的图像块数量,为预测得到的第i个可见光位置与第j个红外位置之间的匹配概率,为真实匹配概率矩阵中的第i,j个元素,用于表示第i个可见光位置与第j个红外位置之间是否存在真实对应关系;

54、进一步定义了熵对齐损失用于约束预测匹配分布与监督匹配分布在每个可见光位置上的不确定性一致:

55、;

56、其中是熵函数。

57、本发明还提供空间路由匹配与特征重激活的红外可见图像融合系统,所述系统包括:用于执行所述的空间路由匹配与特征重激活的红外可见图像融合方法的模块。

58、本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现所述空间路由匹配与特征重激活的红外可见图像融合方法。

59、本发明的有益效果是:

60、1、本发明利用可见光语义及结构先验构建语义、结构和残差空间路由,将全局统一的匹配关系建模转化为位置自适应的多子空间匹配,使不同区域根据自身属性调用更适宜的匹配线索;

61、2、本发明在冻结匹配主干的基础上设置零初始化残差补偿分支,能够在不破坏既有空间对应关系的情况下,受控补充红外热显著信息和可见光纹理结构信息,从而协调匹配所需共享表征与融合所需模态特有表征;

62、3、针对公开数据集的大量实验结果表明,本发明提出的方法能有效地融合未对齐红外可见光图像对,比现有先进方法性能更好。