一种基于深度学习的红外图像超分辨率的方法与系统与流程

本发明涉及红外图像处理，具体涉及一种基于深度学习的红外图像超分辨率的方法与系统。

背景技术：

1、随着红外成像技术在各个领域的广泛应用，对图像分辨率的要求日益提高。然而，主流红外摄像头多采用640×512分辨率的探测器，若直接升级至1280×1024等高分辨率硬件，系统成本将急剧增加。因此，在软件算法层面利用超分辨率技术提升红外图像的空间分辨率，成为突破硬件制造成本限制、获取高清晰度红外视觉信息的关键手段。

2、现有超分辨率重建算法在应用于红外场景时面临多重难题：传统双三次插值法会导致重建图像边缘模糊与细节丢失；基于重建的迭代法虽能保留部分结构，但计算耗时且需要手动设计复杂先验，泛化能力有限；直接迁移可见光深度学习模型则会因成像机理不同而引发严重域适应问题，重建结果常伴有边缘噪点与结构失真。

3、此外，如公开号cn121258789a提出的单像素成像系统，其采集耗时较长且解卷积过程对噪声极敏感；再如公开号cn120953066a提出的可见光引导融合方案，需要双摄像头配置且跨模态精确配准困难；以span为代表的轻量化模型基于合成数据集训练，面对真实传感器噪声与非理想点扩散函数时易产生严重伪影，且高-低分辨率红外配对训练数据的极度匮乏，进一步限制了现有深度学习模型的实际部署。

4、因此，需要提出一种基于深度学习的红外图像超分辨率的方法与系统，解决现有红外超分技术依赖成对数据、真实场景退化适应能力差、重建图像噪点与伪影较多以及无法在嵌入式边缘设备上实时部署的问题。

技术实现思路

1、有鉴于此，本发明提供一种基于深度学习的红外图像超分辨率的方法及系统，用以解决红外成像系统硬件升级成本高、配对训练数据匮乏，现有超分方法计算量大且难以在嵌入式平台实时运行，以及真实场景超分重建易出现噪点等技术问题。

2、第一方面，本发明提供了一种基于深度学习的红外图像超分辨率的方法，包括：

3、获取多个高分辨率红外图像，构成原始图像数据集；

4、构建红外图像物理级联退化模型，基于所述红外图像物理级联退化模型对所述原始图像数据集中的高分辨率红外图像进行在线多阶段退化处理，生成对应的低分辨率退化红外图像，以构建训练图像对；

5、构建以低分辨率红外图像为输入、以超分辨率红外图像为输出的轻量化超分辨率生成器网络，以及用于判别超分辨率重建结果真实性和退化一致性的退化感知判别器网络；

6、以所述训练图像对为训练数据，基于生成对抗网络框架和红外退化复合损失函数对所述生成器网络和判别器网络进行联合优化，得到训练完成的超分辨率生成模型；

7、将训练完成的超分辨率生成模型部署于嵌入式处理单元，对输入的低分辨率红外图像进行实时超分辨率重建。

8、进一步的，所述红外图像物理级联退化模型包括串行连接的第一阶段粗退化模型和第二阶段细退化模型；

9、所述第一阶段粗退化模型和第二阶段细退化模型均包括随机空域模糊、随机重采样、复合噪声注入和图像压缩处理，且第二阶段细退化模型的退化参数独立于第一阶段粗退化模型设置；

10、其中，第一阶段粗退化模型用于模拟光学系统成像及探测器采样过程产生的退化，第二阶段细退化模型用于模拟图像读出、传输及后处理过程产生的残余退化。

11、进一步的，所述随机模糊包括：以第一概率选用sinc核模拟振铃效应，以第二概率从预设的高斯衍生核集合中选取一种卷积核进行模糊处理；

12、其中，所述高斯衍生核集合包括：各向同性高斯核、各向异性高斯核、广义高斯核、平台高斯核、环形高斯核和十字形高斯核。

13、进一步的，所述复合噪声注入操作包括：以第一预设概率触发高斯噪声或泊松噪声，以第二预设概率独立触发用于模拟固定模式噪声的非均匀性噪声。

14、进一步的，所述第二阶段细退化中的随机空域模糊操作存在以第三预设概率跳过的设置，以模拟显示端或二次处理中的不连续微扰。

15、进一步的，所述生成器网络采用全卷积架构，通过多个卷积层堆叠作为骨干网络，且所述生成器的末端采用pixelshuffle层实现图像上采样，并通过最近邻残差连接机制将输入的低分辨率红外图像特征与上采样后的特征进行融合。

16、进一步的，所述退化感知判别器网络采用u-net结构，包括编码器和解码器，所述编码器包括多个级联的下采样模块，所述解码器包括多个上采样模块，并通过跳跃连接将编码器对应层的特征图与解码器对应层的特征图进行融合。

17、进一步的，所述红外退化复合损失函数包括红外亮度保真损失、红外细节感知损失和退化感知对抗损失，生成器网络的总损失为三者加权求和。

18、进一步的，所述红外亮度保真损失采用l1范数计算生成图像与真实高分辨率图像之间的平均绝对误差；所述红外细节感知损失采用预训练的vgg网络提取高层特征并计算特征图的欧氏距离；所述退化感知对抗损失采用相对平均判别器形式的对抗损失。

19、第二方面，本发明提供了一种基于深度学习的红外图像超分辨率的系统，用于实现上述技术方案的方法，包括：

20、图像获取模块，用于获取多个高分辨率红外图像，构成原始图像数据集；

21、退化数据生成模块，用于构建红外图像物理级联退化模型，基于所述红外图像物理级联退化模型对所述原始图像数据集中的高分辨率红外图像进行在线多阶段退化处理，生成对应的低分辨率退化红外图像，以构建训练图像对；

22、网络生成模块，用于构建以低分辨率红外图像为输入、以超分辨率红外图像为输出的轻量化超分辨率生成器网络，以及用于判别超分辨率重建结果真实性和退化一致性的退化感知判别器网络；

23、联合训练模块，用于以所述训练图像对为训练数据，基于生成对抗网络框架和红外退化复合损失函数对所述生成器网络和判别器网络进行联合优化，得到训练完成的超分辨率生成模型；

24、图像重建模块，用于将训练完成的超分辨率生成模型部署于嵌入式处理单元，对输入的低分辨率红外图像进行实时超分辨率重建。

25、相比于现有技术，本发明提出的基于深度学习的红外图像超分辨率的方法及系统具有以下优势：

26、（1）本发明实现了无监督范式下的免配对数据训练，无需采集任何真实场景中的低分辨率-高分辨率红外图像对，仅需单一高分辨率红外图像集即可完成模型训练，有效规避了红外超分辨率任务中成对数据极其难以获取的问题。

27、（2）本发明通过轻量化架构设计，将生成网络的参数量控制在约数十万级别，极大地降低了计算开销与存储需求；同时，配合多损失联合优化策略，确保重建图像边缘清晰、纹理自然。可直接部署于无人机、车载红外系统等边缘计算平台，满足实时超分推理的工程需求兼顾重建质量与计算效率的轻量化部署。

28、（3）针对红外图像信噪比低、边缘对比度弱、细节模糊等固有成像缺陷，本发明通过构建专用的红外图像退化模型，并在训练过程中对输入图像概率性地施加多种噪声扰动，促使生成网络自主习得噪声分布特征，实现了在有效抑制多种类型噪声的同时，精准保持物体的边缘轮廓与高频细节信息，具备鲁棒的去噪与边缘保持能力。