基于语义引导的小波域红外可见光图像融合方法及系统

摘要: 本发明涉及图像处理,具体是基于语义引导的小波域红外可见光图像融合方法及系统。背景技术:1、红外与可见光图像融合旨在将红外传感器捕获的热辐射信息与可见光传感器捕获...
基于语义引导的小波域红外可见光图像融合方法及系统

本发明涉及图像处理,具体是基于语义引导的小波域红外可见光图像融合方法及系统。

背景技术:

1、红外与可见光图像融合旨在将红外传感器捕获的热辐射信息与可见光传感器捕获的纹理细节信息进行互补结合,生成兼具目标显著性高和场景纹理清晰的高质量融合图像,可广泛应用于安防监控、自动驾驶、军事侦察、遥感探测等领域。然而,现有红外与可见光图像融合方法仍然存在以下技术问题:

2、现有融合方法主要分为三类:

3、基于深度学习的空间域融合方法,训练完成后融合策略被固定于网络参数中,推理时只能按照训练时学到的固定模式执行融合,无法根据场景语义描述动态切换融合行为,例如,夜间场景需要增强红外权重以突出热目标,白天场景需要优先保留可见光纹理,现有方法无法在同一模型内自动适配这种差异化需求;

4、基于频率域多尺度分析的融合方法,采用预设的固定融合规则(如绝对值最大值、区域能量等),不具备语义自适应能力;

5、文本引导融合的初步尝试,虽然引入了文本描述作为条件信号,但文本仅作为附加条件特征输入空间域网络,缺乏从语义到具体融合参数的可解释映射,也未能利用频率域不同频带的物理特性实现差异化调制。

6、现有深度学习方法大多在空间域进行像素级或特征级融合,未能利用图像在不同频率子带上的信息特性差异:红外热目标信息集中在低频分量,可见光纹理细节集中在高频分量,空间域方法无法对这两个频带设计针对性融合策略;红外高频分量伴随传感器噪声,等权融合会放大噪声。

7、现有方法缺乏融合与语义分割等辅助任务之间的显式特征交互机制,两个任务无法协同提升;同时缺乏模态特有信息与跨模态共享信息的解耦机制,导致某一模态信息被过度抑制或产生跨模态干扰伪影。

8、综上所述,迫切需要一种能够将文本语义描述与频率域融合参数进行可解释性关联,实现语义驱动的频率域差异化融合的红外与可见光图像融合方法。

技术实现思路

1、本发明的目的在于提供基于语义引导的小波域红外可见光图像融合方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、基于语义引导的小波域红外可见光图像融合方法,所述方法包括:

4、获取红外图像和可见光图像以及场景描述文本;

5、对所述红外图像和所述可见光图像分别进行多尺度特征提取,得到红外特征图和可见光特征图,对所述红外特征图和所述可见光特征图进行跨模态特征融合得到融合特征,对所述融合特征进行解码得到第一融合图像;

6、利用预训练的视觉-语言模型的文本编码器对所述场景描述文本进行编码,得到语义嵌入向量,根据所述语义嵌入向量与预存的至少两个参考文本嵌入之间的语义相似度,生成可见光偏向比;

7、并行地,对所述红外图像和所述可见光图像分别进行离散小波变换,得到对应的低频子带和高频子带,根据所述可见光偏向比调制低频融合权重函数的至少一个控制参数,利用经调制的所述低频融合权重函数对所述低频子带进行融合得到融合低频子带,基于有界压缩加权融合策略对高频子带对进行融合得到融合高频子带,所述融合低频子带以及融合高频子带进行逆离散小波变换得到第二融合图像;

8、将所述第一融合图像和所述第二融合图像进行混合,得到最终融合图像。

9、作为本发明更进一步的方案,多尺度特征提取过程采用双路编码器,所述双路编码器包括红外编码器和可见光编码器,所述红外编码器和所述可见光编码器具有相同的网络拓扑结构且参数相互独立。

10、作为本发明更进一步的方案,所述至少两个参考文本嵌入包括热成像倾向参考嵌入和可见光倾向参考嵌入。

11、作为本发明更进一步的方案,所述低频融合权重函数为以归一化红外低频系数为自变量的指数函数。

12、作为本发明更进一步的方案,所述控制参数包括所述指数函数的过渡陡峭度参数和红外增强强度参数;

13、所述过渡陡峭度参数用于控制所述低频融合权重函数从冷区到热区的过渡陡峭程度,其中所述可见光偏向比越小所述过渡陡峭度参数越小,所述可见光偏向比越大所述过渡陡峭度参数越大;

14、所述红外增强强度参数用于控制红外信息在融合中的贡献强度,其中所述可见光偏向比越小所述红外增强强度参数越大,所述可见光偏向比越大所述红外增强强度参数越小。

15、作为本发明更进一步的方案,所述对所述融合特征进行解码得到第一融合图像步骤包括:

16、从所述融合特征中提取语义判别特征;

17、通过多头自注意力机制对拼接后的所述融合特征和所述语义判别特征进行跨任务全局上下文交互,得到交叉增强的融合特征和交叉增强的语义特征;

18、通过多头交叉注意力机制,以所述融合特征和所述语义判别特征各自为查询、以所述交叉增强的融合特征和所述交叉增强的语义特征对应为键和值,进行定向特征精炼,分别得到精炼融合特征和精炼语义特征;

19、基于模态解耦块空间注意力引导的特征减法操作,从精炼融合特征中显式分离出红外特有特征和可见光特有特征;

20、解耦后的红外特有特征和可见光特有特征分别送入共享解码器进行独立重建,以对应的原始红外图像和可见光图像为自监督目标进行重建约束,得到第一融合图像。

21、作为本发明更进一步的方案,基于模态解耦块空间注意力引导的特征减法操作,从精炼融合特征中显式分离出红外特有特征和可见光特有特征步骤具体包括:

22、对所述精炼融合特征,利用空间注意力分别从所述可见光特征图和所述红外特征图中提取模态显著区域;

23、从所述精炼融合特征中减去经所述空间注意力加权的可见光分量,得到红外特有特征;

24、从所述精炼融合特征中减去经所述空间注意力加权的红外分量,得到可见光特有特征。

25、作为本发明更进一步的方案,将所述第一融合图像和所述第二融合图像进行混合,包括:根据所述红外图像的热显著性分布生成空间自适应混合权重,在热显著区域增大所述第二融合图像的混合权重,在冷背景区域增大所述第一融合图像的混合权重;

26、对不同热显著性的区域采用不同的动态范围映射参数,热显著区域采用宽的动态范围映射以释放红外热目标的内部对比度,冷背景区域采用窄的动态范围映射以确保可见光亮度的准确再现;

27、从原始红外图像和可见光图像中分别提取高频细节残差,按热显著性分布自适应注入红外细节残差或可见光细节残差。

28、本发明还提供一种基于语义引导的小波域红外可见光图像融合系统,所述系统包括:

29、图像获取模块,用于获取红外图像和可见光图像以及场景描述文本;

30、特征提取融合模块,用于对所述红外图像和所述可见光图像分别进行多尺度特征提取,得到红外特征图和可见光特征图,对所述红外特征图和所述可见光特征图进行跨模态特征融合得到融合特征,对所述融合特征进行解码得到第一融合图像;

31、可见光偏向比生成模块,用于利用预训练的视觉-语言模型的文本编码器对所述场景描述文本进行编码,得到语义嵌入向量,根据所述语义嵌入向量与预存的至少两个参考文本嵌入之间的语义相似度,生成可见光偏向比;

32、离散小波变换模块,用于对所述红外图像和所述可见光图像分别进行离散小波变换,得到对应的低频子带和高频子带,根据所述可见光偏向比调制低频融合权重函数的至少一个控制参数,利用经调制的所述低频融合权重函数对所述低频子带进行融合得到融合低频子带,基于有界压缩加权融合策略对高频子带对进行融合得到融合高频子带,所述融合低频子带以及融合高频子带进行逆离散小波变换得到第二融合图像;

33、图像融合模块,用于将所述第一融合图像和所述第二融合图像进行混合,得到最终融合图像。

34、与现有技术相比,本发明的有益效果是:本发明首次建立了从自然语言场景描述到频率域融合参数的完整可解释控制链,控制链的每个环节均具有明确的物理含义和数学可追溯性,用户在推理阶段仅需输入场景描述文本,即可通过语义偏向估计自动调制低频融合参数,实现不同场景下的最优融合策略切换,无需重新训练模型参数。

35、通过在低频子带进行语义调制而在高频子带保持固定策略,实现了全局感知质量(低频)的可控性和局部细节保真(高频)的稳定性之间的最优平衡。低频子带的指数动态权重函数在语义调制下,实现了从冷背景到热目标的平滑渐进融合过渡,避免了硬阈值分割的边界伪影问题。

36、通过自注意力和交叉注意力的级联机制(ctf+ctq),融合和语义分割任务实现了双向特征精炼。融合特征为语义任务提供多模态上下文,语义特征反向引导融合特征关注场景语义结构。ctq以原始特征为query的非对称交叉注意力设计,使精炼输出为语义增强的特征版本而非全新生成的特征,天然具备残差稳定性。

37、通过空间注意力引导的特征减法实现模态特有信息的显式分离,无需互信息损失、对抗网络或正交约束等复杂解耦手段,仅依赖可学习的轻量级注意力层和基础张量减法操作。自监督重建信号为解耦提供有效的学习驱动,无需额外的模态解耦标注数据。