基于时空特征融合的红外视频超分辨率重建方法及系统与流程

本发明涉及视频超分辨率重建，具体涉及基于时空特征融合的红外视频超分辨率重建方法及系统。

背景技术：

1、随着安防监控、工业热检、无人机侦察、自动驾驶及消防救援等领域对红外视觉感知需求持续提升，红外成像设备已大规模落地应用。受探测器尺寸、硬件成本、光学系统限制，实拍红外视频普遍存在分辨率低、边缘模糊、噪声、条纹、热漂移等多重复合退化问题；为低成本提升图像细节识别能力，红外超分辨率重建成为主流技术路径。现阶段主流研究分为单帧红外重建、可见光引导单帧重建、多帧红外视频重建三大方向，大量深度学习类方案通过特征融合、注意力网络提升视觉清晰度，但真实场景下设备动态退化、跨模态错位、热信息失真、视频重影等痛点仍未得到系统性解决。在此情形下，行业持续开展兼顾细节增强与红外热物理特性的算法研发。

2、中国专利（公开号cn120495087a）公开了一种多层次注意力可见光引导红外超分辨率方法，该方法提取红外与可见光多尺度特征，通过交叉注意力实现双向特征融合，通过多尺度解码输出高清红外图像；然而该方法采用固定融合权重直接叠加可见光纹理，未区分可见光纹理与红外热结构的匹配程度，极易将衣物纹路、标线等无温度对应关系的虚假纹理生成至重建结果中，同时缺少对红外各类复合退化的针对性处理。

3、中国专利（公开号cn121563780a）公开了一种融合可见光高频信息的红外超分辨重建方法，该方法提取两种模态高频特征通道拼接，通过级联感知模块完成细节增强，搭配多损失函数优化图像平滑度；然而该方法仅通过简单插值完成模态配准，未评估局部配准误差与遮挡区域，存在目标轮廓偏移、双重伪影问题，且未设置专门约束保护原始红外冷热排序、热点分布。

4、中国专利（公开号cn118279148a）公开了可见光自适应双流引导热红外超分辨率方法，该方法构建双流网络提取最优匹配可见光特征，通过多维注意力完成重建；然而该方法仅针对单幅静态红外图像处理，无法通过视频相邻帧亚像素信息提升细节，同时未区分帧间几何运动与目标热状态变化，直接复用历史帧易产生拖尾、时序闪烁。

5、综上，现有红外超分辨率方案难以同时兼顾真实复合退化适配、跨模态可信引导、视频时序稳定、红外热物理信息保真、重建结果校验的需求，无法适配工业检测、军事侦察等对热真实性、结果可解释性要求严苛的复杂实景，亟需一种完整、闭环、多约束协同的红外视频超分辨率重建方案。

技术实现思路

1、基于上述技术问题，本技术公开了基于时空特征融合的红外视频超分辨率重建方法及系统，其所述方法具体为：

2、获取红外相机和可见光相机的标定参数，采集待重建的低分辨率红外视频帧序列以及高分辨率可见光图像；

3、对红外图像中的模糊、噪声、非均匀性退化、行列条纹、坏点、热漂移及局部饱和退化信息进行分析，构建与红外图像空间位置对应的退化分布图，并根据所述退化分布图对红外图像进行退化区域识别及特征增强处理，得到退化补偿后的红外特征；

4、基于所述红外图像与高分辨率可见光图像之间的结构特征对应关系，进行空间映射，生成跨模态可信度图，并根据所述跨模态可信度图提取可见光结构特征；

5、基于所述可见光结构特征分析红外重建过程中的注入位置和注入强度，并结合所述退化补偿后的红外特征、可见光结构特征以及相邻红外视频帧的特征，构建融合重建特征；

6、基于所述融合重建特征进行重建，重建过程中通过热辐射一致性约束保持重建图像中的热分布关系、热梯度趋势及热点位置一致性；

7、基于重建得到的高分辨率红外图像，进行退化回投影验证，并根据验证结果修正重建结果，得到高分辨率红外重建图像及对应区域级可信度图。

8、优选的，所述构建与红外图像空间位置对应的退化分布图，具体为：通过适配真实红外成像场景的复合退化算法，对输入红外图像开展多维度特征解析，分别提取多尺度红外基础特征、频域退化特征、空间异常退化特征以及时序退化特征；通过预设退化参数融合算法对多维度特征进行融合建模，输出覆盖全类型退化的空间退化分布图；将各类型退化分布图按通道拼接，生成统一空间退化张量，基于所述空间退化张量生成逐位置、逐通道调制参数，对红外基础特征进行退化条件调制，得到退化补偿后的红外特征。

9、优选的，所述生成跨模态可信度图，具体为：基于双传感器标定参数确定全局变换矩阵，生成初始映射关系；

10、在初始映射关系的基础上，估计局部残差位移场，修正全局映射误差，得到目标空间映射场；

11、基于所述目标空间映射场，将高分辨率可见光图像及可见光结构特征采样映射至红外图像坐标系，完成双模态空间对齐；

12、通过正反向位移场一致性验证生成遮挡掩膜，计算双模态特征一致性误差与边缘方向误差，生成配准可信度图，公式为：

13、

14、其中，为时刻坐标位置处的双模态配准可信度图，为遮挡掩膜，为正反向映射一致性误差，为特征一致性误差，为边缘方向误差，为时空同步误差，为预设权重系数。

15、优选的，所述提取可见光结构特征，具体为：可见光结构特征至少包括可见光图像质量、跨模态边缘一致性、区域结构一致性、时序结构支持度及红外退化补偿需求；

16、其中，可见光图像质量评价的计算公式为：

17、

18、其中，为时刻像素位置对应的可见光图像综合质量可信度，为曝光可信度，为清晰度可信度，为对比度可信度，为有效可视度可信度；

19、跨模态边缘方向一致性的计算公式为：

20、

21、其中，为第层特征下时刻位置的红外-可见光边缘方向一致性可信度，为红外图像第层特征在像素处的边缘梯度向量，为可见光图像第层特征在像素处的边缘梯度向量，为向量内积运算，为二范数运算，为极小常数；

22、区域结构一致性的计算公式为：

23、

24、其中，为时刻位置双模态区域结构一致性可信度，为红外图像像素位置的局部结构特征向量，为可见光图像像素位置的局部结构特征向量；

25、时序结构支持度的计算公式为：

26、

27、其中，为时刻位置的时序结构支持度，为参与时序计算的相邻帧索引集合，为相邻帧总数量，为当前时刻红外图像位置的结构特征响应值，为相邻第帧经帧间对齐后映射至当前帧的红外结构响应值，为时序平滑尺度系数；

28、融合多维度评价指标、配准可信度及退化可信度，生成区域级跨模态可信度图，并结合红外退化补偿需求，得到目标可见光特征门控权重，公式为：

29、

30、其中，为跨模态可信门控权重图，为时刻区域级跨模态可信度图，为红外退化补偿需求度图，为特征图的高、宽尺寸，为像素级逐点相乘哈达玛积算子；

31、基于所述门控权重分尺度、分频段筛选可信可见光结构特征。

32、优选的，所述分析红外重建过程中的注入位置和注入强度，具体为：基于所述跨模态门控权重，定位可见光特征注入位置，在门控权重大于预设阈值的区域注入可见光结构特征；对不同频段可见光特征设置差异化注入强度，其中，中频结构特征采用全域门控权重调控，高频结构特征叠加边缘一致性与配准可信度双重阈值约束；采用残差式融合方式完成可见光特征与红外特征的受控融合。

33、优选的，所述构建融合重建特征，具体为：采集当前帧前后连续红外视频帧序列，对相邻帧特征进行退化调制预处理，抑制噪声、条纹、坏点干扰；通过全局运动补偿与局部稠密运动场估计完成帧间对齐，基于双向运动一致性验证生成遮挡掩膜；结合几何可信度、热稳定度、退化可靠性及时间距离衰减因子，生成区域级时序可信度；基于时序可信度完成相邻帧权重归一化，自适应聚合多帧亚像素特征，提取时序细节残差，将时序补偿特征、退化补偿红外特征、可信可见光结构特征融合，得到融合重建特征。

34、优选的，所述热辐射一致性约束，具体为：包括区域平均热响应约束、热排序一致性约束、热梯度一致性约束及热点位置一致性约束，其中，区域平均热响应一致性约束的公式为：

35、

36、其中，为区域热均值一致性损失函数，为图像局部分块区域总数量，为第个局部统计图像子区域，为区域像素均值求解运算，为重建输出的时刻高分辨率红外图像，为原始低分辨率红外图像对应第个子区域的真实平均热响应参考值；

37、热排序一致性约束公式为：

38、

39、为热排序一致性损失函数，为像素区域对比样本对集合，为样本对总数量，为预设热排序间隔裕度，为原始图像冷热关系符号标识，、为重建高分辨率图像中第、区域的热响应温度特征值；

40、热梯度一致性约束公式为：

41、

42、其中，为热梯度一致性损失函数，为空间梯度求解算子，为重建高分辨率红外图像的低频热梯度特征图，为原始低分辨率红外图像上采样匹配分辨率后的低频热梯度参考特征图，为一范数约束运算；

43、热点位置与范围一致性约束公式为：

44、

45、其中，为热点一致性损失函数，为原始低分辨率红外图像上采样后得到的真实热点掩膜区域，为重建高分辨率红外图像预测得到的热点掩膜区域，为极小常数。

46、优选的，所述退化回投影验证，具体为：基于退化分布图对应的退化参数构建实时退化算子；将初步重建的高分辨率红外图像退化投影至低分辨率空间，得到重构低分辨率图像，其中，为时刻实时动态退化算子，为退化映射运算函数，为当前时刻估计得到的完整红外图像综合退化参数集合，为经退化回投影推演得到的重构低分辨率红外图像，为经退化回投影推演得到的重构低分辨率红外图像；

47、计算原始低分辨率红外图像与重构图像的回投影误差，基于回投影误差迭代修正高分辨率图像；重复迭代修正，直至回投影误差低于预设误差阈值或迭代次数达到最大预设次数，终止迭代优化，输出精度最高、残余失真最小的最优高分辨率红外图像。

48、优选的，所述区域级可信度图，具体为：提取退化估计可信度、跨模态门控可信度、时序融合可信度、回投影误差及双分支重建差异多维度不确定性指标；

49、通过指数衰减函数计算区域级重建可信度，公式为：

50、

51、其中，为区域级重建可信度，分别为预设权重系数，为上采样回投影误差图，为双分支重建差异，为退化估计可信度图，为跨模态可见光特征门控权重，为像素级时序综合可信度，为红外自身特征保真度可信度；

52、基于可信度标记图像区域类型，包括原始红外观测支持区域、相邻帧补偿区域、可信可见光引导区域及模型先验低可信区域，得到区域级可信度图。

53、其所述系统包括数据采集模块、红外成像退化自感知模块、红外—可见光动态配准模块、跨模态可信门控模块、红外视频时序一致性融合模块、热辐射一致性约束重建模块，具体如下：

54、所述数据采集模块采集低分辨率红外视频帧序列、高分辨率可见光图像、双传感器标定参数以及实时设备状态数据；

55、所述红外成像退化自感知模块解析多维度退化特征，生成综合退化参数集合与全局空间退化张量，输出退化补偿后的红外特征、退化估计可信度图；

56、所述红外—可见光动态配准模块基于全局变换矩阵与局部残差位移场生成亚像素级目标空间映射场，输出配准可信度图与遮挡掩膜；

57、所述跨模态可信门控模块融合多维度可信度评价指标生成跨模态可信度图与跨模态可信门控权重，并筛选输出可信可见光结构特征；

58、所述红外视频时序一致性融合模块计算帧间几何对齐可信度、热状态稳定度得到像素级时序综合可信度，自适应聚合多帧特征生成时序补偿特征；

59、所述热辐射一致性约束重建模块输出高分辨率红外重建图像与区域级重建可信度图。

60、相对于现有技术，本技术的技术方案具有以下技术效果：

61、本发明可同步识别噪声、非均匀性、行列条纹、坏点、局部饱和、运动模糊、热漂移等多类空间非均匀退化，生成逐区域退化分布图动态调制红外特征，大幅降低不同相机、复杂环境下重建失真。

62、本发明综合配准精度、边缘与结构一致性、可见光成像质量、遮挡、时序稳定度生成区域级融合权重，分频段可控注入可见光结构，配准失效、可见光质量低下时自动降低甚至关闭引导，避免直接拼接融合带来的虚假热边缘、目标轮廓偏移问题。

63、本发明同步计算帧间几何对齐可信度和热状态稳定度，热剧烈变化、新目标、遮挡区域降低历史帧权重，复用可信亚像素细节，提升红外视频时域连续性；并设置区域均值、冷热排序、热梯度、热点范围四类专属约束，将重建拆分为热信息保持与结构细节双分支，仅以受控残差补充细节，适配测温、故障检测等高可靠场景。

64、本发明基于估计退化构建实时退化算子，将初版高分辨率图像反向投影至低分辨率空间比对残差并迭代优化，形成完整自校验，保障重建结果贴合原始观测；并在可见光遮挡、过曝欠曝、配准完全失效或相邻帧可信度过低时，自动切换纯红外单帧/多帧重建模式，具备引导失效自适应回退能力，系统鲁棒性更强。

65、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，从而可依照说明书的内容予以实施，并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂，以下以本技术的较佳实施例并配合附图详细说明如后。

66、根据下文结合附图对本技术具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述及其他目的、优点和特征。