信息密度路由与注视聚焦的红外视频超分辨率方法及系统

本发明涉及红外图像处理，尤其是涉及信息密度路由与注视聚焦的红外视频超分辨率方法及系统。

背景技术：

1、红外成像系统通常受传感器尺寸、像元间距、成像距离、光学系统和采集成本等因素限制，采集到的视频普遍存在空间分辨率不足、边缘轮廓模糊、热纹理较弱、局部对比度低以及热噪声干扰等问题，在自动驾驶、安防监控、工业检测、海上目标观测等应用场景中，低分辨率红外视频会直接影响目标边界辨识、细小目标保留和后续视觉任务的可靠性，红外视频超分辨率技术的目标便是基于低分辨率红外视频恢复出高分辨率结果，同时保证帧间热结构的一致性。

2、随着深度学习技术的发展，当前视频超分辨率方法多通过卷积网络、循环传播、可变形对齐、transformer时序建模等方式挖掘相邻帧的有效信息；近年来扩散模型与扩散transformer也被应用于视频超分辨率领域，借助生成式先验和长程时空建模能力提升细节重建效果，同时也已有研究尝试将扩散模型引入热红外域，优化单帧红外图像的纹理与边缘重建表现。

3、但当前红外视频超分辨率相关技术仍存在诸多缺陷与不足：其一，现有方法大多对所有空间区域、时间帧或视觉token采取近似均匀的处理策略，未充分区分红外视频内目标边缘、热异常区域、运动目标与大面积平滑背景的信息量差异，而红外视频中多数背景区域随时间变化较为平缓，真正需要高强度恢复的结构往往仅占较小的空间比例，均匀计算模式容易造成算力冗余。其二，扩散式视频超分辨率方法虽能在一定程度上提升重建质量，但多步采样会带来较高的推理时延，即便采用一步或少步求解方案，若依旧对全token执行密集三维注意力，也会产生较高的显存占用、计算量与运行时长，制约了红外视频增强在实时或近实时场景中的部署落地。其三，现有的transformer或dit视频恢复网络多侧重全局时空混合建模，并未充分契合红外视频“背景平滑、信息区域稀疏”的成像特点，缺乏依据局部与全局热分布差异自适应划定重点恢复区域的机制；面对动态目标、低对比度目标、热边界及局部高信息密度区域时，已有方法容易出现细节恢复不充分、边缘过度平滑、局部热结构不稳定等问题，而单纯增加全局密集注意力层数又会大幅推高推理成本。其四，部分方法虽采用稀疏注意力或固定窗口注意力降低计算量，但其稀疏区域多由固定规则或通用视觉先验确定，无法随红外视频内容的信息密度变化自适应调整聚焦token的比例，也难以同时兼顾平滑背景的时序稳定性与高信息区域的细节增强效果。

技术实现思路

1、本发明的目的是提供信息密度路由与注视聚焦的红外视频超分辨率方法及系统，解决现有红外视频超分辨率方法全域均匀计算冗余度高、扩散式推理时延大，未利用红外视频信息稀疏的特性自适应聚焦关键区域，导致目标边缘与热异常区细节恢复不足、背景时序稳定性差，难以兼顾重建质量与实时部署效率的技术问题。

2、为实现上述目的，本发明提供了信息密度路由与注视聚焦的红外视频超分辨率方法，包括以下步骤：

3、s1、对低分辨率红外视频进行空间上采样并映射至潜在空间，生成低分辨率潜在表示；

4、s2、通过局部-全局信息密度路由模块lgdr生成信息密度图和二值聚焦掩码；

5、s3、注视-聚焦协同恢复模块gfc依据信息密度图和二值聚焦掩码对token进行协同恢复，生成潜在特征；

6、s4、在信息密度感知调制与监督模块idgc中，利用lgdr输出的信息密度图，对潜在特征进行密度感知调制；

7、s5、通过视频变分自编码器vae的解码器对调制后的潜在特征进行解码，得到高分辨率红外视频。

8、优选的，s1中生成低分辨率潜在表示的具体过程为：

9、s11、输入低分辨率红外视频，对进行空间上采样，使其在空间尺寸上与目标高分辨率视频对齐；

10、s12、通过视频变分自编码器vae将空间上采样后的视频映射至潜在空间，得到低分辨率潜在表示。

11、优选的，s2中生成信息密度图的具体过程为：

12、s21、将低分辨率潜在表示在序列视图与时空网格视图之间进行重排，表示实数集合，表示序列视图中的token总数，且，表示潜在网格的时间维度，、均表示潜在网格的空间维度，和分别表示潜在网格的高和宽，表示token的特征维度；

13、s22、计算低分辨率潜在表示中独立特征单元token的标量能量，表达式为：

14、；

15、式中，表示第帧中位于空间位置处的token；表示第帧中位于空间位置处的token的标量能量；为稳定项；

16、s23、将同一视频片段内的能量值进行归一化后，转换为个固定区间上的可微软直方图分布；

17、s24、统计每个token在局部邻域内软直方图的平均值，得到局部分布，通过局部分布反映token的局部热结构；同时，计算整个视频片段中所有token的软直方图的平均值，得到全局分布，通过全局分布反映整段视频的总体热响应；通过比较局部分布与全局分布之间的差异，计算空间位置处的token相对于全局背景的信息密度分数并生成信息密度图，信息密度分数采用kl散度表示为：

18、；

19、式中，表示软直方图的分箱索引，取值为1至k；表示全局软直方图分布在第k个分箱上的概率；表示第i帧空间位置处token的局部软直方图分布在第k个分箱上的概率；表示局部分布相对于全局分布的kl散度，用于度量局部热结构与视频整体热响应之间的差异，kl散度为库尔贝克-莱布勒散度。

20、优选的，s2中生成二值聚焦掩码的具体过程为：

21、s25、提取信息密度图的统计特征，将输入mlp网络，经sigmoid激活自适应计算当前视频片段聚焦token比例，表达式为：

22、；

23、式中，和分别表示预设的最小路由比例和最大路由比例；表示sigmoid激活函数，用于将轻量预测网络的输出映射到0至1区间；表示轻量预测网络；表示统计特征；

24、s26、对于视频片段中的每帧，通过top-k筛选单帧内信息密度最高的若干空间位置，得到每帧选中的空间位置集合，表达式为：

25、；

26、式中，表示第帧中被选中的top-k空间位置集合；表示top-k索引选择算子，用于返回信息密度图中数值最大的个空间位置的索引；表示第帧的信息密度图；其中，和分别为该潜在帧空间网格的高和宽，表示向上取整；

27、s27、基于每帧选中位置集合生成二值聚焦掩码，表达式为：

28、；

29、式中，表示示性函数，当括号内条件成立时取1，否则取0。

30、优选的，s3中生成潜在特征的具体过程为：

31、s31、通过全局注视热稳定路径gts对时空网格内全部token执行运算，生成全局热画布，并通过自适应时间混合方式更新全局热画布；

32、s32、局部聚焦稀疏三维注意力路径fs3a依据二值聚焦掩码筛选高信息密度的token作为聚焦token，由聚焦token构造查询，由完整token序列提供键和值，执行高容量三维注意力增强，得到增强后的聚焦token；高容量三维注意力增强的具体操作为：聚焦token经线性映射形成查询矩阵，完整token序列经线性映射形成键矩阵和值矩阵，利用缩放点积注意力对与进行匹配，并以所得注意力权重对进行加权，增强结果仅写入聚焦索引位置；

33、s33、掩码回填融合：将增强后的聚焦token按原始时空位置散射回完整token序列，并通过掩码写回至gts生成的全局热画布，得到回填特征；

34、s34、通过全token密集一致性修正块对回填特征进行修正，得到潜在特征。

35、优选的，s31中更新全局热画布的表达式为：

36、；

37、式中，和分别表示当前帧和上一帧的注视状态；表示当前潜在帧；表示依据帧间潜在漂移自适应得到的时间混合权重。

38、优选的，s33中掩码回填融合的表达式为：

39、；

40、式中，表示第l个gfc模块完成掩码回填后的完整token序列，并作为下一模块的输入；表示全局热画布；为由展平得到的二值掩码；表示散射回完整token序列后的聚焦增强效果；表示逐元素乘法。

41、优选的，s4中的具体过程为：

42、s41、对信息密度图进行归一化，得到取值范围为的归一化密度图；

43、s42、根据信息密度图的统计特征，通过轻量预测网络生成调制参数和，并对gfc输出的潜在特征进行仿射调制，得到调制后的潜在特征，表达式为：

44、；

45、式中，表示经信息密度感知仿射调制后的潜在特征，并作为启用idgc时的视频vae解码器输入；和分别表示idgc生成的缩放调制参数和偏移调制参数。

46、本发明还提供了信息密度路由与注视聚焦的红外视频超分辨率方法的系统，包括输入模块、视频变分自编码器、局部-全局信息密度路由模块lgdr、注视-聚焦协同恢复模块gfc、信息密度感知调制与监督模块idgc及解码器：

47、输入模块，用于接收低分辨率红外视频并执行空间上采样操作；

48、视频变分自编码器，用于将空间上采样后的视频映射至潜在空间，生成低分辨率潜在表示；

49、局部-全局信息密度路由模块lgdr，用于生成信息密度图和二值聚焦掩码；

50、注视-聚焦协同恢复模块gfc，用于生成潜在特征，包括全局注视热稳定路径gts、局部聚焦稀疏三维注意力路径fs3a及掩码回填融合；

51、全token密集一致性修正块，用于修正回填特征；

52、信息密度感知调制与监督模块idgc，用于对潜在特征进行密度感知调制；

53、解码器，用于对调制后的潜在特征进行解码。

54、因此，本发明采用上述信息密度路由与注视聚焦的红外视频超分辨率方法及系统，具有以下有益效果：

55、（1）根据红外视频内容自适应分配计算资源。通过lgdr估计连续信息密度图并预测聚焦比例，模型可根据每段视频的热结构复杂度和信息稀疏程度选择聚焦token数量，使高成本恢复计算更多作用于目标、边缘和局部热异常区域。

56、（2）减少对平滑背景区域的冗余计算。红外视频中大面积背景通常热纹理较弱且随时间变化平缓，本发明通过gts对完整时空网格进行轻量全局稳定建模，同时仅对高信息密度token执行fs3a增强，有助于降低全token密集三维注意力带来的计算开销。

57、（3）有助于增强目标、边缘和热边界等关键区域。lgdr基于局部分布与全局分布的差异识别相对突出的热结构，fs3a对这些聚焦token执行高容量三维注意力恢复，可改善低对比度目标、细小目标、局部热异常和运动边界处的细节表现。

58、（4）能够改善红外视频恢复的时间稳定性。gts通过自适应时间混合维护全局热画布，可在背景区域和低信息密度区域降低帧间闪烁，并在存在相机运动或热漂移时保留必要的当前帧信息。

59、（5）通过gfc协同机制兼顾全局一致性和局部细节恢复。掩码回填融合使非聚焦区域保持全局热稳定表示，使聚焦区域写入稀疏三维注意力增强结果；末端少量全token一致性修正块进一步缓解局部增强可能导致的边界不连续或上下文割裂问题。

60、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。