基于动态区域引导的高效多模态视频融合方法及设备

摘要: 本技术涉及多模态视觉融合,特别是涉及一种基于动态区域引导的高效多模态视频融合方法及设备。背景技术:1、在现实场景中,通常需要使用不同模态的传感器对目标场景进行检...
基于动态区域引导的高效多模态视频融合方法及设备

本技术涉及多模态视觉融合,特别是涉及一种基于动态区域引导的高效多模态视频融合方法及设备。

背景技术:

1、在现实场景中,通常需要使用不同模态的传感器对目标场景进行检测和感知。可见光传感器能够在良好环境下提供高清晰度高分辨率的图像信息,但其抗干扰能力较弱。红外传感器通过热辐射识别物体,在复杂环境下能够较好地检测热目标信息,但其提供的图像空间分辨率较低,成像场景的细节信息较少。多模态视频融合技术可以从不同传感器拍摄的源序列中提取有效信息并消除冗余信息,以生成信息量更丰富、感知能力更强的融合结果,从而增强视觉系统对真实场景的理解。该技术能够辅助多种高级视觉任务和人类执行实际任务,包括目标追踪、无人驾驶和军事侦察等。

2、然而,现有的视频融合方法通常依赖光流估计和显式特征扭曲来实现跨帧信息建模和严格的时序对齐。这类基于光流的方法存在两个根本性瓶颈:其一,光流估计的计算效率较低;其二,融合质量对光流估计的精度高度敏感。在复杂动态场景中,光流的可靠估计往往难以实现,且长视频序列中的累积误差可能进一步传播至后续融合过程。另一方面,若舍弃光流预测方式转而采用基于全局自注意力的transformer直接进行时空信息聚合,则会引入更大的计算开销。由于传统全局注意力在建立相关性时具有二次复杂度,计算成本随序列长度增加而迅速增长,难以扩展至长视频序列。上述问题严重制约了多模态视频融合技术在资源受限边缘设备上的实际部署,而这类设备通常要求具备实时推理能力和较低的功耗。

3、因此,亟需一种能够实现高效多模态视频融合的技术方案,既能够在动态场景下实现稳定且具有时序一致性的融合表现,又能在资源受限的边缘设备上实现高效推理,从而促进多模态视频融合任务在真实场景下的推广应用。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种基于动态区域引导的高效多模态视频融合方法及设备。

2、第一方面,本技术提供了一种基于动态区域引导的高效多模态视频融合方法。所述方法包括:

3、构建多模态视频融合模型,所述模型包括特征编码阶段、特征融合阶段和特征解码阶段;

4、利用训练数据集对所述模型进行训练;

5、获取第一源视频序列和第二源视频序列;

6、将所述第一源视频序列和所述第二源视频序列输入训练后的所述模型,在所述特征编码阶段,对所述第一源视频序列和所述第二源视频序列分别执行局部特征提取、全局特征提取和时序特征建模,得到第一模态局部特征、第二模态局部特征、第一模态全局特征、第二模态全局特征、第一模态时序特征和第二模态时序特征;在所述特征融合阶段,对所述第一模态全局特征与所述第二模态全局特征进行融合得到全局融合特征,并对所述第一模态时序特征与所述第二模态时序特征进行融合得到时序融合特征;在所述特征解码阶段,对所述全局融合特征和所述时序融合特征进行特征解码,生成融合视频序列。

7、可选的,在本技术的一个实施例中,所述局部特征提取包括:

8、将所述第一源视频序列和所述第二源视频序列分别输入卷积模块,得到第一局部特征和第二局部特征;

9、将所述第一局部特征和所述第二局部特征沿通道维度拼接后通过卷积操作降维,再经平均池化得到池化特征;

10、将所述池化特征依次经第一卷积层、激活函数、第二卷积层和归一化指数函数处理后生成权重图;

11、利用所述权重图分别对所述第一局部特征和所述第二局部特征进行加权增强,得到第一增强局部特征和第二增强局部特征。

12、可选的,在本技术的一个实施例中,所述全局特征提取采用视觉transformer模块,所述视觉transformer模块包括全局交互分支和局部交互分支;

13、所述全局交互分支利用可学习投影矩阵将输入特征映射为查询特征、键特征和值特征,基于所述键特征和所述值特征通过点积适配目标函数对内层模型的可学习快速权重执行单次自适应更新,将更新后的内层模型作用于所述查询特征,得到全局交互输出;

14、所述局部交互分支利用可学习投影矩阵将输入特征映射为查询特征、键特征和值特征,基于所述键特征和所述值特征通过点积适配目标函数对卷积内层模型的可学习快速权重执行单次自适应更新,将更新后的卷积内层模型作用于所述查询特征,得到局部细化输出。

15、可选的,在本技术的一个实施例中,所述时序特征建模包括:

16、计算所述第一源视频序列和所述第二源视频序列各自的时序均值表征;

17、根据各帧中各图像块相对于对应时序均值表征的偏差,计算每个图像块的动态得分;

18、将所述第一源视频序列和所述第二源视频序列中对应图像块的动态得分合并,根据合并后的动态得分从每一帧中选定动态得分最高的多个图像块作为动态区域;

19、根据所述动态区域从所述源视频序列的特征中收集选定图像块的特征嵌入,对收集后的特征嵌入添加时序位置编码后进行时序交互,将交互后的特征依据所述动态区域散射回原始空间位置。

20、可选的,在本技术的一个实施例中,所述时序交互采用稀疏时序交互分支和局部交互分支;

21、所述稀疏时序交互分支仅在所述动态区域所指示的选定图像块上执行跨帧时序交互,所述跨帧时序交互采用简化门控线性单元结构作为内层模型,并基于所述内层模型的可学习快速权重通过点积适配目标函数执行单次自适应更新;

22、所述局部交互分支在完整特征网格上执行局部空间细化,所述局部空间细化采用深度卷积操作对每一帧的全局特征进行空间维度上的局部信息建模。

23、可选的,在本技术的一个实施例中,所述对所述第一模态全局特征与所述第二模态全局特征进行融合,以及对所述第一模态时序特征与所述第二模态时序特征进行融合,均采用线性融合层实现,所述线性融合层将两个输入特征沿通道维度拼接后通过线性变换映射至目标通道维度;

24、所述特征解码包括将所述全局融合特征和所述时序融合特征叠加后依次输入上采样模块和卷积模块,通过逐步恢复空间分辨率并调整通道数,生成所述融合视频序列。

25、可选的,在本技术的一个实施例中,所述利用训练数据集对所述模型进行训练,包括采用目标损失函数约束训练过程;

26、所述目标损失函数包括像素级损失函数和特征级损失函数;

27、所述像素级损失函数包括强度损失和梯度损失,所述强度损失用于约束所述融合视频序列各帧的像素强度趋近于所述第一源视频序列和所述第二源视频序列对应帧逐像素强度的最大值,所述梯度损失用于约束所述融合视频序列各帧的梯度幅值趋近于所述第一源视频序列和所述第二源视频序列对应帧逐像素梯度幅值的最大值;

28、所述特征级损失函数包括时序一致性损失、转置时序损失和蒸馏损失中的至少一项。

29、可选的,在本技术的一个实施例中,所述时序一致性损失通过预训练编码器分别提取所述融合视频序列、所述第一源视频序列和所述第二源视频序列中各帧的图像特征,计算各序列相邻帧之间的图像特征差异,约束所述融合视频序列的相邻帧图像特征差异方向与所述第一源视频序列和所述第二源视频序列的相邻帧图像特征差异方向一致;

30、所述转置时序损失将所述第一源视频序列和所述第二源视频序列沿时间轴反转后输入所述模型得到反转融合序列,将所述反转融合序列沿时间轴再次反转恢复原排列顺序,提取恢复后融合序列各帧的图像特征并计算相邻帧图像特征差异,约束所述恢复后融合序列的相邻帧图像特征差异与原始正向处理所得融合序列的相邻帧图像特征差异一致;

31、所述蒸馏损失利用预训练编码器提取多模态编码特征,将全局特征提取阶段的中间输出特征通过投影头映射至所述预训练编码器的输出特征维度,约束映射后的中间输出特征与所述多模态编码特征对齐。

32、可选的,在本技术的一个实施例中,所述获取第一源视频序列和第二源视频序列之后,还包括:

33、获取相邻的第一帧图像和第二帧图像;

34、基于所述第一帧图像和所述第二帧图像估计二者之间的时间对应关系;

35、根据所述时间对应关系在所述第一帧图像与所述第二帧图像之间生成至少一帧中间过渡帧;

36、将所述中间过渡帧按时间顺序插入所述第一帧图像与所述第二帧图像之间,形成帧间连续的更新后的视频序列。

37、第二方面,本技术还提供了一种基于动态区域引导的高效多模态视频融合设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行上述各个实施例所述方法的步骤。

38、上述基于动态区域引导的高效多模态视频融合方法及设备,与现有技术相比,具有以下有益效果:

39、第一,本技术提出了一种高效的多模态视频融合框架,采用线性复杂度的序列建模方式进行时序交互,避免了传统光流估计的高计算开销和全局自注意力的二次复杂度问题,并结合动态区域引导策略,将帧间建模聚焦于具有动态信息的内容区域,进一步降低了计算成本,使得模型能够在资源受限的边缘设备上实现实时推理。

40、第二,本技术提出了一种特征级时序一致性约束,利用预训练的掩码自编码器表征对齐融合视频与源视频的时序变化,有效抑制了多模态视频融合中的帧间闪烁现象,保证了融合视频序列在时间维度上的流畅性和一致性。

41、第三,本技术通过引入测试时训练机制,使模型能够在推理阶段根据输入数据自适应调整内部参数,提升了模型在复杂动态场景下的泛化能力和融合稳定性。

42、第四,本技术通过转置时序损失约束,使模型在正向和反向时序处理方向上保持一致的时序变化表征,降低了模型对特定时序处理方向的依赖,进一步增强了时序建模的鲁棒性。