基于掩码引导流匹配的无监督红外与可见光图像融合方法与流程

本发明属于计算机视觉与深度学习，涉及基于掩码引导流匹配的无监督红外与可见光图像融合方法。

背景技术：

1、目前，与本专利相关的技术主要包括两方面：第一是无监督红外与可见光图像融合技术（ivif）；第二是生成式流匹配（flow matching）技术。

2、红外与可见光图像融合（infrared and visible image fusion, ivif）是多模态感知领域的核心技术之一。红外成像传感器通过捕捉场景热辐射信息成像，可在夜间、雾霾、强光遮挡等恶劣光照条件下清晰凸显热目标，但其存在纹理细节缺失、空间分辨率低的固有缺陷；可见光成像传感器可捕捉丰富的场景纹理、色彩与结构细节，成像效果符合人眼视觉习惯，但在低光照、恶劣天气下性能急剧下降。红外与可见光图像融合技术旨在将两种模态的互补信息整合到同一幅图像中，生成同时具备热目标显著性与纹理细节完整性的融合结果，为后续目标检测、语义分割、场景理解等高层视觉任务提供更可靠的输入。

3、由于现实场景中不存在物理意义上可定义的“真值（ground truth）”融合图像，现有深度学习融合模型普遍采用无监督学习范式，仅依靠源图像自身约束完成特征提取、信息解耦与图像重构，其凭借无需人工标注、适应真实场景的优势，成为主流研究方向。早期无监督融合方法以传统机器学习为主，例如传统多尺度分解、稀疏表示、低秩表示等，这类方法依赖手工特征，泛化能力弱，在复杂场景、低光照与强干扰条件下容易出现边缘模糊、纹理丢失、伪影严重等问题。随着深度学习兴起，基于卷积神经网络（cnn）的无监督融合方法成为主流，以自编码器（ae）、变分自编码器（vae）为基础的架构成为无监督融合的核心骨架。典型方法如u2fusion提出统一无监督框架，通过自适应度量损失动态平衡不同模态的信息保留强度；swinfusion基于transformer建模长程依赖，提升全局结构一致性；densefuse提出端到端无监督融合策略，利用梯度与强度损失驱动网络学习模态互补信息。这类方法在无监督约束下取得了显著进步，但普遍存在深层特征解耦不彻底、模态信息易发生不平衡倾倒、细节高频分量保持能力不足等问题。尽管基于cnn与transformer的无监督融合方法在特征表达上优于传统算法，但它们本质上仍属于判别式模型，缺乏对图像整体分布的建模能力，难以完成真正意义上的“信息创造与增强”。

4、基于上面这些问题，生成式模型凭借强大的分布建模与特征映射能力，成为当前图像融合领域的研究热点。其中，生成对抗网络（gan）是最早应用于图像融合的生成式模型，通过生成器与判别器的对抗博弈实现融合图像的生成，经典方法有fusiongan、双鉴别器gan等，但gan存在训练不稳定、模式崩溃、细节生成能力不足的缺陷。扩散模型（diffusion model）凭借渐进式去噪的生成机制，在生成质量与多样性上实现了突破，现有技术如ddfm、dif-fusion、diff-if等已将扩散模型应用于图像融合任务，但其依赖数十至数百步的迭代去噪过程，推理速度慢，难以满足实时性应用需求。

5、流匹配（flow matching）作为新一代生成式建模范式，通过直接学习从源模态分布到目标融合分布的连续确定性向量场，将图像生成过程建模为平滑的常微分方程（ode）轨迹演化。与扩散模型需要逐步迭代去噪不同，流匹配以更简洁、更稳定的方式学习数据间的精确映射，具备训练稳定、单步快速生成、轨迹可控性强等优势，使其成为实时多模态图像融合的理想选择。在此基础上，修正流匹配（rectified flow）进一步对流动轨迹进行拉直优化，使一步生成即可达到接近最优的融合效果，显著提升了实际工程部署中的推理效率与稳定性。现有方法fusionfm首次将流匹配引入多模态融合，通过直接学习源图像到融合图像的概率传输过程，大幅提升了生成效率，但该方法仍依赖伪标签监督，没有实现真正意义上的无监督学习。

6、流匹配是通过学习连续时间确定性向量场，将图像生成过程建模为一段平滑的常微分方程（ode）求解过程，其天然具备前向演化与逆向重构双向可逆的特性。从原理上看，流匹配定义了一条从初始状态到目标状态的可微变换路径，并由向量场驱动以下ode演化：，由于该向量场在时间区间t∈[0,1]上处处连续、可倒推，因此天然具备前向演化与逆向重构双向可逆特性。只要学到正确的向量场，就可以从沿ode正向推至，也可以从沿同一ode反向时间积分精确回到，无需额外网络、不引入额外误差。这种强可逆性使流匹配非常适合无监督红外与可见光图像融合，可以将双模态图像编码为隐变量，在前向ode演化中得到融合特征，再通过逆向ode重构回原始模态，形成自监督闭环学习。

7、尽管流匹配的可逆性为无监督融合提供了天然框架，但直接将其应用于红外与可见光融合仍面临关键挑战：在无监督约束下，模型容易利用可逆特性进行简单的通道特征备份，形成“只保存不复用”的平凡解，无法实现双模态信息的有效融合；同时，不合理的残差处理方式会破坏可逆ode轨迹的连续性，导致逆向重构不稳定。因此，如何充分发挥流匹配可逆生成、精准映射、快速推理的固有优势，在完全无监督的前提下实现稳定、解耦、高质量的融合，成为当前亟待解决的核心问题。

技术实现思路

1、针对无监督红外与可见光图像融合任务中依赖人工定义的融合损失、生成式模型难以收敛等问题，本发明提出一种基于掩码引导流匹配的无监督融合方法。该方法充分利用流匹配方法中的ode求解的双向可逆特性，以自监督循环重构为核心闭环，不引入任何人工定义的融合损失，仅依靠流匹配模型自身的可逆映射完成端到端无监督融合。在此基础上，本发明创新性引入由轻量级网络提取的物理先验掩码（红外显著性掩码与可见光纹理掩码），通过掩码引导的重构损失对可逆流空间进行精准约束，迫使流匹配模型在有限容量的融合通道中，自动保留红外热目标与可见光纹理两类最具物理价值的互补信息。此外，本发明引入信息瓶颈技术，将信息通道划分为融合通道和残差通道，并将冗余信息压制为无意义分布，通过信息瓶颈过滤掉冗余特征。整个融合过程完全由流匹配逆向过程的重构约束驱动，无需外部监督、无需手工融合规则，从根本上解决了无监督生成式融合易塌缩、难收敛、模态信息失衡的难题。

2、本发明的技术方案：

3、一种基于掩码引导流匹配的无监督红外与可见光图像融合方法，步骤如下：

4、（1）物理先验掩码提取；

5、利用轻量级预训练网络分别对输入的红外图像和可见光图像提取红外显著性软掩码和可见光纹理软掩码，构建空间化的定向重构约束，其中，h、w分别为红外图像和可见光图像的高度和宽度；

6、对于红外显著性软掩码提取，利用预训练的显著性目标检测网络对红外图像进行处理，输出sigmoid激活函数归一化后的红外显著性软掩码，软掩码值与像素热辐射强度正相关，提取红外图像中的热目标区域，定位红外图像的核心语义信息；对于可见光纹理软掩码提取，利用预训练的边缘检测网络pidinet对可见光图像进行处理，提取可见光图像的高频边缘与纹理特征，输出sigmoid激活函数归一化后的可见光纹理软掩码，掩码值与像素梯度幅值正相关，提取可见光图像中的纹理细节与结构边缘区域，锁定可见光图像的核心视觉信息；最后，对红外显著性软掩码与可见光纹理软掩码执行min-max归一化处理，将掩码值约束至[0,1]区间；

7、（2）基于可逆欧拉方程（ode）的前向-逆向循环流演化；

8、将红外图像与可见光图像映射至统一隐空间，通过修正流匹配方法（rectifiedflow）完成红外模态和可见光模态联合特征的ode前向演化与通道切分，并通过流匹配的ode逆向过程执行逆向重构，形成自监督闭环；整个过程无需人工设计融合损失，仅依靠修正流匹配方法的ode双向可逆性来重构源图像，结合后续的信息瓶颈与掩码引导，用重构损失实现无监督特征对齐与信息解耦，rectified flow提供稳定的向量场基础。具体步骤如下：

9、2.1）红外图像和可见光图像特征编码：由于红外图像与可见光图像来源于不同成像机理，在像素域存在显著模态差异与分布鸿沟，首先将红外图像与可见光图像投影至统一的隐空间，实现红外模态和可见光模态在隐空间内的初步对齐与传输；采用权重冻结的预训练变分自编码器，分别将可见光图像与红外图像映射至隐空间，得到维度一致的可见光模态和红外模态隐特征与，使红外模态和可见光模态在同一向量空间内进行交互、传输与融合，最后沿通道维度对可见光模态和红外模态隐特征与进行拼接，得到联合隐特征：

10、

11、其中，c为可见光模态和红外模态隐特征的通道数，h′、w′为可见光模态和红外模态隐特征的空间尺寸；

12、2.2）修正流匹配前向演化：修正流匹配方法是一种用于学习两个分布在连续时间内的运动轨迹的方法，需一个向量场预测网络计算两个分布的速度变化量，再通过欧拉方程来拟合演化轨迹，其中t∈[0,1]为扩散模型的时间步，为t时刻的隐变量状态，为预测网络的训练参数；使用单流扩散transformer（dits）作为向量场预测网络，用来预测从联合隐特征到目标隐特征的速度场，基于修正流匹配方法，对联合隐特征执行前向流推导，求解常微分方程，其中，是时间步的变化量；

13、前向过程的线性插值路径为：

14、

15、其中，为前向演化的起点状态，为前向演化的终点状态，为极小正则化方差，为加入的高斯噪声，为标准正态分布；

16、为训练速度场预测网络，根据修正流匹配方法计算的从联合隐特征到目标隐特征的速度变化量的理论值为：

17、

18、最后，流匹配损失用于约束速度场预测网络拟合速度场的理论值：

19、

20、其中，训练开始时目标隐特征的前后c个通道都初始化为可见光模态和红外模态隐特征与的均值；

21、2.3）特征通道切分：对目标隐特征执行等通道切分，前c个通道定义为融合特征，后c个通道定义为残差特征：

22、

23、其中，；

24、2.4）基于可逆ode的逆向流重构：为实现无监督的自监督闭环，对目标隐特征执行“残差丢弃”操作得到丢弃冗余信息的目标隐特征；以目标隐特征为逆向演化的起点，执行ode逆向过程，为，将向量场预测网络得到的速度场代入，执行逆向速度场求解，推导至t=0时刻，反推回重构的联合隐特征，将重构的联合隐特征按通道前后拆分为红外模态和可见光模态隐特征和；最后，通过预训练变分自编码器的解码器，分别将红外模态和可见光模态隐特征与映射回像素空间，得到重构的红外图像与重构的可见光图像；

25、将上面的变分自编码器和单流扩散transformer当作一个整体，由于使用了流匹配方法训练，本发明将这个整体简称为流匹配模型；

26、（3）基于高斯先验的信息瓶颈构建与残差特征分布约束；

27、3.1）kl损失约束构造信息瓶颈：流匹配模型对数据分布具有极强的拟合与感知能力，而标准正态分布n(0,i)是无结构、无确定性信息的最简分布；将残差特征定义为信息垃圾桶，对残差特征进行高斯分布建模，计算其通道维度的均值与方差，通过kl散度损失约束其逼近标准正态分布n(0,i)，从训练层面剥夺残差特征承载确定性结构信息的能力，kl散度损失如下：

28、

29、3.2） 逆向起点的高斯替换：对于步骤（2）中得到的目标隐特征，直接丢弃前向过程得到的残差特征，并以从标准正态分布中采样的噪声n(0,i)构造新的目标隐特征作为逆向演化的起点：

30、

31、（4）基于掩码引导的多准则损失优化；

32、构建多约束联合损失函数，实现信息瓶颈约束与掩码引导重构的博弈优化，通过损失函数更新向量场预测网络的速度场，驱动流匹配模型完成红外模态和可见光模态的提纯与融合；

33、多约束联合损失函数由四部分组成：流匹配损失、全局重构保底损失、掩码引导重构损失以及约束残差特征的kl散度损失；

34、全局重构保底损失采用l1损失约束流匹配模型输出的重构图像与输入的源图像的全局像素一致性，让重构图像在整体亮度、对比度、全局结构、能量分布上与原图像保持一致，具体如下：

35、

36、掩码引导重构损失基于步骤（1）提取的红外显著性软掩码和可见光纹理软掩码，强制流匹配模型精准还原红外热目标与可见光纹理细节，从而实现真正的跨模态信息融合；具体如下：

37、

38、其中，为哈达玛乘积；

39、多约束联合损失函数为：

40、

41、其中，、、为平衡各损失的权重超参数；掩码引导重构损失和kl散度损失博弈迫使流匹配模型最大化互补信息量，将可见光纹理细节和红外热目标挤入，实现真正的物理特征解耦与融合；

42、最后，采用adamw优化器对多约束联合损失函数进行端到端优化，更新向量场预测网络的可训练参数，自编码器的权重全程冻结；

43、（5）推理阶段实施流程；

44、当流匹配模型完成训练后，推理阶段无需执行逆向重构与损失计算，仅需前向过程即可输出融合图像，具体步骤如下：首先，将对待融合的红外图像与可见光图像输入流匹配模型，通过预训练的变分自编码器编码得到红外图像隐特征和可见光图像隐特征，拼接获得联合隐特征；经训练好的单流扩散transformer执行前向流演化，得到目标隐特征，直接取前c个通道特征作为融合特征，将融合特征输入变分自编码器的解码器，解码输出最终的融合图像，推理阶段使用的解码器和训练阶段重构图像的解码器共享。

45、本发明的有益效果：基于掩码引导流匹配的无监督红外与可见光图像融合方法实现了不依赖人工定义的融合损失的红外和可见光图像融合，利用流匹配方法中ode求解的双向可逆性实现无监督融合。该发明可生成同时具备红外热目标显著性与可见光纹理完整性的高质量融合图像，为自动驾驶、安防监控等下游感知任务提供更可靠的输入数据。