基于质量-语义协同的红外与可见光图像融合模型构建方法、红外与可见光图像融合方法及相关装置

本发明涉及图像融合，是一种基于质量-语义协同的红外与可见光图像融合模型构建方法、红外与可见光图像融合方法及相关装置。

背景技术：

1、可见光图像和红外图像关注的图像信息不同，可见光图像包含丰富的纹理细节信息；红外图像包含物体的热辐射信息，能够有效地突出各类显著目标，但是缺乏对场景的细节描述。将可见光图像与红外图像进行融合则可以整合热辐射目标与高频纹理细节，提升目标检测等高级视觉感知任务的性能，由此可见光与红外图像融合技术在军事侦察、安防监控、医疗诊断、自动驾驶等领域的应用日益广泛。

2、现有可见光与红外图像融合的方法，包括：

3、第一类，如图1(a)所示的传统图像融合方法，致力于对源图像对的梯度、强度或频率特征进行像素级的解耦与重构，这类方法在提升图像对比度与底层视觉保真度方面取得了显著成效，然而，其模型优化仍主要关注于浅层特征拟合，在一定程度上缺乏对全局语义上下文信息的保留，进而限制了目标检测等高级视觉任务的性能提升。

4、例如：

5、（1）基于深度学习的图像融合方法

6、随着深度学习技术的迅速发展，图像融合领域的研究重心逐渐从早期的多尺度变换与稀疏表示等传统数学手段，转向基于特征学习的网络架构。ma等人引入swinransformer构建了具有全局感知能力的融合模型，有效克服了常规卷积局部视野受限的缺陷；li等人提出crossfuse，利用交叉注意力机制实现了空间与通道维度上更精细的特征对齐；xu等人提出murf框架，通过设计相互强化的模态交互模块显著提升了融合图像的结构保真度；li等人提出的emma框架专注于多模态特征的有效对齐，缓解了源图像未严格配准带来的重影问题；fan等人提出d2fusion在双域进行特征解耦，park等人则提出cmtfusion以聚合全局上下文信息。

7、上述基于深度学习的方法在提升图像对比度与视觉平滑度上取得了显著成效。然而，此类方法主要依赖纯底层像素级重构，缺乏高级语义指导，在处理复杂场景时容易中和热辐射边缘与纹理细节，从而在一定程度上制约了下游感知任务的性能上限。

8、（2）面向目标检测等高级视觉任务的融合方法

9、图像融合的最终目的不仅在于提升人类的视觉体验，更在于服务下游机器视觉任务。相较于追求像素级细粒度分类的语义分割，目标检测任务更加依赖于目标的全局轮廓与显著性能量分布，这与红外及可见光融合提取结构与热辐射特征的初衷高度契合。因此，逐渐涌现出面向目标检测等高级视觉任务的联合融合方法。

10、liu等人设计了tardal双层优化策略，将目标检测损失直接反向传播至融合模块，有效提升了融合图像与检测网络的兼容性；tang等人利用语义分割网络的级联反馈，辅助融合模型保留了关键的上下文信息；liu等人提出dcevo跨维进化学习框架，动态平衡了融合质量与下游检测任务的损失权重；bai等人提出一种引入可学习融合损失的任务驱动范式，利用元学习机制缓解了预训练检测器与未对齐融合图像之间的域脱节；liang等人提出tardefusion框架，利用任务感知机制实现了对退化场景下显著目标的动态聚焦；liu等人提出的segmif通过级联架构完成了融合与高级语义特征的深度映射；ma等人提出s4fusion，以线性复杂度感知了多模态的全局空间语义。

11、上述任务驱动范式成功将高级认知引入了融合评价体系，大幅提升了融合图像的实用价值；但多数方法的跨模态交互仍局限于末端损失函数的浅层级联，尚未将语义需求完全内化至特征编码阶段，在面临极端光照或显著模态差异时，仍存在关键目标语义提取不足的风险。

12、第二类，如图1(b)所示的高级视觉任务模型引导的融合方法，这类方法通过直接调用高级视觉任务模型，有效丰富了融合图像的语义表达与认知属性。

13、例如，wu等人提出的every sam drop counts框架，利用sam提取的空间结构边界作为显式先验，有效弥补了传统融合网络语义感知能力薄弱的缺陷；yi等人提出text-if，通过锁定clip的文本编码器并引入文本提示，实现了退化感知的多模态特征对齐；wang等人利用文本语义引导机制，探索了弱监督条件下的实例级可控融合方法。

14、上述方法借助高级视觉任务模型的开集语义先验，能够有效拓宽融合图像的语义边界。虽然外部语义先验的引入显著提升了融合图像的高维表征能力，但高级视觉任务模型庞大的参数规模不可避免地带来了高昂的计算冗余，且强行对齐外部异构特征易引发局部结构失真。

技术实现思路

1、本发明的目的在于如何在不引入高级视觉任务模型的前提下，激发网络内部的自适应语义潜力，解决多模态特征交互不足与语义提取脱节的问题，提供了一种基于质量-语义协同的红外与可见光图像融合模型构建方法、红外与可见光图像融合方法及相关装置。

2、本发明的技术方案之一公开了一种基于质量-语义协同的红外与可见光图像融合模型构建方法，包括：

3、获取若干样本，并按比例划分为训练样本集和测试样本集，其中每个样本均包括一对待融合的可见光图像和红外图像，以及对应的融合图像；

4、利用训练样本集对qsfusion网络进行训练，在总损失函数的值稳定时，结束训练，得到红外与可见光图像融合模型，其中qsfusion网络包括：输入调制单元，引入自适应语义引导模块生成空间感知掩码，调制得到红外图像增强特征和可见光图像增强特征；双流编码单元，捕捉红外图像增强特征和可见光图像增强特征中跨尺度的高维内生语义特征；深度交互融合单元，引入注意力加权值聚合操作模块和多尺度跨维度交互模块，对输入的高维内生语义特征进行融合及增强，得到协同特征；解码与细化输出单元，对协同特征进行解码重构及细化，输出对应的融合图像；

5、利用测试样本集对训练完成的红外与可见光图像融合模型进行性能测试与量化指标评估，筛选满足评测指标要求的红外与可见光图像融合模型。

6、优化的，自适应语义引导模块生成空间感知掩码的过程，包括：

7、利用sobel算子分别提取红外图像与可见光图像灰度分量的高频边缘响应；

8、两路高频边缘响应通过两个独立的层级卷积支路进行空间语义融入，获取两路输出特征；

9、在获取两路输出特征后于通道维度执行拼接，通过融合卷积与压缩卷积两步逻辑生成空间感知掩码。

10、优化的，双流编码单元包括红外编码器和可见光编码器，红外编码器和可见光编码器均由四个连续的transformer模块组成，每个transformer模块均包括多头深度转置注意力和卷积前馈网络。

11、优化的，深度交互融合单元，包括注意力加权值聚合操作模块、多尺度跨维度交互模块和两路交叉注意力模块；

12、利用两路交叉注意力模块通过交叉注意力机制分别对红外高维内生语义特征和可见光高维内生语义特征进行双模态特征的初步对齐；

13、利用注意力加权值聚合操作模块对对齐后的特征执行特征注意力加权值聚合，再通过注意力加权值聚合操作对聚合特征进行自适应加权优化，实现多模态特征的深度交互与表征增强，再通过残差连接输出增强特征；

14、利用多尺度跨维度交互模块对增强特征进行深度增强，得到协同特征。

15、优选的，解码与细化输出单元，包括解码器、细化模块、输出卷积块与sigmoid激活函数；

16、解码器利用四个连续的transformer模块逐步恢复空间分辨率，得到重构特征；

17、利用细化模块对重构特征进行处理，以消除残余伪影；

18、消除残余伪影后，通过输出卷积块与sigmoid激活函数，生成融合图像。

19、优选的，总损失函数如下所示：

20、

21、其中，为融合保真度损失；为语义一致性对齐损失；为质量引导损失；为正则化损失；、、均为各项损失的加权系数。

22、本发明的技术方案之二公开了一种红外与可见光图像融合方法，包括：

23、获取一对待融合的可见光图像和红外图像；

24、将一对待融合的可见光图像和红外图像输入至红外与可见光图像融合模型，得到对应的融合图像，其中红外与可见光图像融合模型是通过基于质量-语义协同的红外与可见光图像融合模型构建方法构建得到。

25、本发明的技术方案之三公开了一种基于质量-语义协同的红外与可见光图像融合模型构建装置，包括：

26、样本获取单元，获取若干样本，并按比例划分为训练样本集和测试样本集，其中每个样本均包括一对待融合的可见光图像和红外图像，以及对应的融合图像；

27、训练单元，利用训练样本集对qsfusion网络进行训练，在总损失函数的值稳定时，结束训练，得到红外与可见光图像融合模型，其中qsfusion网络包括：输入调制单元，引入自适应语义引导模块生成空间感知掩码，调制得到红外图像增强特征和可见光图像增强特征；双流编码单元，捕捉红外图像增强特征和可见光图像增强特征中跨尺度的高维内生语义特征；深度交互融合单元，引入注意力加权值聚合操作模块和多尺度跨维度交互模块，对输入的高维内生语义特征进行融合及增强，得到协同特征；解码与细化输出单元，对协同特征进行解码重构及细化，输出对应的融合图像；

28、测试单元，利用测试样本集对训练完成的红外与可见光图像融合模型进行性能测试与量化指标评估，筛选满足评测指标要求的红外与可见光图像融合模型。

29、本发明的技术方案之四公开了一种红外与可见光图像融合装置，包括：

30、基础数据获取单元，获取一对待融合的可见光图像和红外图像；

31、融合单元，将一对待融合的可见光图像和红外图像输入至红外与可见光图像融合模型，得到对应的融合图像。

32、本发明的技术方案之五公开了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现基于质量-语义协同的红外与可见光图像融合模型构建方法或红外与可见光图像融合方法中的步骤。

33、本发明建立有qsfusion网络，是一个质量-语义联合监督下的内生语义驱动图像融合网络，深度挖掘网络内部语义潜力，构建了连接底层视觉与高层认知的特征桥梁，在规避高级视觉任务模型参数冗余的同时，实现了自适应的语义感知，具体的：

34、在输入调制单元设置有自适应语义引导模块，通过自适应语义引导模块生成空间感知掩码，精准强化目标的内生语义特征；

35、在双流编码单元设置有多头深度转置注意力机制和卷积前馈网络的transformer模块，确保了网络在高效建模通道间全局关联的同时，能够显著增强层级特征对图像局部高频细节与边缘结构的判别力；

36、在深度交互融合单元设置有多尺度跨维度交互模块和两路交叉注意力模块，建立深层的跨模态交互机制，实现多尺度特征的动态交互与协同，从源头上动态过滤冗余干扰，有效弥补了深层语义流失，由此在不引入高级视觉任务模型的前提下，解决多模态特征交互不足与语义提取脱节的问题，激发网络内部的自适应语义潜力，在规避高级视觉任务模型参数冗余的同时，有效推高了感知性能上限，实现高维语义反向指导底层像素生成；

37、进一步的，本发明设置有质量-语义联合监督机制，该机制将像素级保真度与高维隐空间特征的余弦距离相耦合，利用内生语义反向指导底层像素的生成，确保了融合图像在视觉重构与高级语义层面的一致性。