一种多空间知识蒸馏的遥感图像超分辨率方法

本发明涉及一种遥感图像超分辨率方法，具体涉及一种多空间知识蒸馏的遥感图像超分辨率方法，属于深度学习图像处理。

背景技术：

1、遥感图像在军事侦察、城市规划、环境监测、灾害评估等领域具有重要应用价值。受成像距离和传感器硬件限制，获取的遥感图像空间分辨率往往不足。图像超分辨率（super-resolution，sr）技术旨在从低分辨率（low-resolution，lr）图像重建高分辨率（high-resolution，hr）图像。实际应用中，不同场景对放大需求各不相同，连续尺度超分辨率能够以单一模型覆盖多种需求，避免为每个固定倍率单独训练模型。

2、此外，遥感 sr 常部署于资源受限的边缘设备，如无人机、在轨卫星等，对模型体积和推理速度有严格要求。边缘计算平台通常受到功耗、显存和实时性约束，参数规模较大的扩散模型难以在此类设备上长期高效运行。

3、在将预训练潜在扩散连续尺度超分辨率教师模型压缩为由生成对抗网络（generative adversarial network，gan）训练目标约束的轻量学生模型以用于遥感图像连续尺度超分辨率的场景下，现有蒸馏方法通常只在像素空间或单一特征空间进行师生对齐，导致教师模型在变分自编码器（variational autoencoder，vae）隐变量空间、条件去噪u型网络（u-shaped network，u-net）噪声预测空间和去噪扩散概率模型（denoisingdiffusion probabilistic model，ddpm）干净隐变量重建空间中的监督信号未被充分利用，蒸馏后的轻量模型容易出现结构保真度下降、纹理变平滑和高倍率尺度泛化不足的问题。同时，若直接将ddpm一步逆推得到的干净隐变量作为所有时间步的蒸馏目标，高噪声时间步中的噪声预测误差会在除以累积保留系数时被放大，从而污染学生模型训练梯度。

技术实现思路

1、本发明的目的在于提供一种多空间知识蒸馏的遥感图像超分辨率方法，以解决现有连续尺度遥感图像超分辨率中扩散模型虽然感知质量高但推理耗时长、显存和功耗开销大，轻量模型推理效率高但难以保持扩散模型纹理生成能力，单空间知识蒸馏难以完整迁移教师模型多层表征知识，以及高噪声时间步干净隐变量逆推监督不稳定的技术问题。本发明通过在学生模型训练阶段，从预训练扩散教师模型的多个表征空间获取监督信号，包括隐变量空间、噪声预测空间和干净隐变量重建空间。通过联合重建损失和对抗损失对轻量学生模型进行参数更新，并在干净隐变量重建空间引入选择性门控机制，避免高噪声时间步的不准确重建污染梯度，从而降低蒸馏退化并提高感知质量与推理效率。

2、为实现上述目的，本发明提供一种多空间知识蒸馏的遥感图像超分辨率方法，包括如下步骤：

3、步骤1：获取高分辨率遥感图像训练样本，对所述高分辨率遥感图像训练样本进行裁剪、增强和归一化处理，并按照训练尺度生成对应的低分辨率遥感图像训练样本；

4、步骤2：构建轻量学生模型、训练阶段辅助判别器和预训练扩散教师模型；

5、步骤3：将遥感图像训练样本输入轻量学生模型和预训练扩散教师模型，通过隐变量空间、噪声预测空间和干净隐变量重建空间对轻量学生模型进行联合训练，得到训练后的学生模型；

6、步骤4：将待处理低分辨率遥感图像输入训练后的学生模型，并给定目标尺度和目标输出尺寸，得到高分辨率遥感图像。

7、进一步地，所述步骤2中，轻量学生模型为由生成对抗网络（generativeadversarial network，gan）训练目标约束的生成式超分辨率网络，包含先验编码器、生成器和连续尺度上采样模块（continuous scale upsampling module，csum）；判别器为训练阶段辅助网络，仅用于提供对抗监督，不属于推理部署阶段的学生模型。教师模型采用潜在扩散连续尺度超分辨率模型，包括变分自编码器（variational autoencoder，vae）的第一阶段图像编码器和图像解码器、条件去噪u型网络（u-shaped network，u-net）、条件构造模块、连续尺度上采样模块以及差分先验编码器和差分先验解码器。

8、进一步地，所述步骤3包括：

9、将遥感图像训练数据输入至学生模型和教师模型进行处理，得到学生超分结果和教师超分结果；

10、将学生超分辨率结果和教师超分辨率结果分别输入至教师模型中的变分自编码器第一阶段图像编码器进行处理，得到学生隐变量和教师隐变量，并计算第一蒸馏损失；

11、通过教师模型中的条件去噪u型网络分别对施加噪声后的学生隐变量和教师隐变量进行处理，得到学生预测噪声和教师预测噪声，并计算第二蒸馏损失；

12、基于预测噪声、施加噪声后的隐变量以及扩散过程累积保留系数，通过去噪扩散概率模型的一步逆推公式分别恢复学生干净隐变量和教师干净隐变量，并结合选择性门控机制计算第三蒸馏损失；

13、基于生成端总损失，对学生模型进行训练与参数更新，得到训练后的学生模型；所述生成端总损失包括重建损失、生成端对抗损失以及各个蒸馏损失，判别器损失仅用于更新训练阶段辅助判别器。

14、进一步地，所述重建损失表示为：

15、，

16、，

17、，

18、，

19、其中，sr表示学生模型输出的超分辨率图像，hr表示高分辨率真值图像，表示重建损失总项，表示像素重建损失，表示感知重建损失，表示纹理统计损失。charbonnier表示夏尔博尼耶鲁棒像素损失，其内部平滑常数取；、、分别表示预训练视觉几何组网络第c34层、第c44层以及第c54层的特征；gram表示由特征通道内积构成的格拉姆矩阵；表示l1范数。公式中的2.0、0.1、20.0分别为像素、感知和纹理统计的权重，括号内的0.5和1.0分别为vgg第c34层和第c54层特征差异项的层内权重，用于调节两层特征的相对贡献。

20、进一步地，所述蒸馏损失包括第一蒸馏损失、第二蒸馏损失和第三蒸馏损失；

21、所述第一蒸馏损失表示为：，

22、其中，表示教师扩散模型多次采样结果的逐像素均值；表示教师模型中冻结的变分自编码器第一阶段图像编码器；sg表示停止梯度操作，使教师侧隐变量只作为监督目标而不参与梯度回传；smoothl1表示平滑l1损失；系数1.0为该蒸馏项的损失权重。该损失的梯度经冻结编码器传回学生超分辨率结果，但不更新教师编码器参数。

23、所述第二蒸馏损失表示为：，

24、其中，表示第二蒸馏损失，即噪声预测空间蒸馏损失；表示与时间步t对应的损失权重；表示教师条件去噪u型网络对学生含噪隐变量预测的噪声残差，表示停止梯度后的教师分支噪声残差；系数0.4为噪声预测蒸馏项的损失权重。

25、所述第三蒸馏损失表示为：，

26、其中，表示第三蒸馏损失，即干净隐变量重建空间蒸馏损失；表示由学生含噪隐变量和学生预测噪声通过去噪扩散概率模型一步逆推得到的学生干净隐变量估计值；表示由教师含噪隐变量和停止梯度后的教师预测噪声恢复得到的教师干净隐变量估计值；表示干净隐变量重建空间的时间步门控阈值。当t≤时计算0.2倍的平滑l1损失，当t>时该项置为0。该门控用于避免高噪声时间步的一步逆推误差污染学生模型梯度。

27、进一步地，所述选择性门控机制的实现过程包括：

28、首先从教师扩散模型的时间步集合中采样时间步t，并根据噪声调度计算累计信号保留系数、累计噪声方差比例及信噪比。其中，表示第t个时间步的噪声方差系数，由噪声调度确定；中，表示单步信号保留系数；，表示截至时间步t 的累计信号保留系数，表示连乘运算中的时间步索引；表示累计噪声方差比例；

29、随后，将学生隐变量和教师隐变量在相同时间步下加入同一噪声，并通过冻结的教师条件去噪u型网络得到学生预测噪声和教师预测噪声；然后判断时间步是否小于或等于预设低噪声时间步阈值，或者判断信噪比是否高于预设信噪比阈值；若判断结果为是，则按照去噪扩散概率模型的一步逆推公式分别恢复学生干净隐变量和教师干净隐变量，并计算第三蒸馏损失；若判断结果为否，则跳过第三蒸馏损失的计算，将该项损失置为不产生梯度的零值，并继续执行后续训练步骤。

30、本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行所述的方法的步骤。

31、本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令在计算机上运行时，执行所述的方法的步骤。

32、与现有技术相比，本发明的有益效果为：

33、1、本发明通过隐变量空间、噪声预测空间和干净隐变量重建空间的联合蒸馏，将扩散教师模型中的结构先验、去噪动力学、干净隐变量重建能力和感知纹理信息同时迁移至轻量学生模型。上述技术手段避免了单一像素空间蒸馏只学习平均化结果的问题，使学生模型在保持轻量推理路径的同时获得接近扩散模型的结构恢复和纹理生成能力；其理论依据在于不同表征空间分别约束图像的压缩语义、扩散轨迹、低噪声重建和视觉感知统计，监督信号互补。

34、2、本发明在干净隐变量重建空间引入选择性门控机制，仅在低噪声时间步或高信噪比条件下使用一步逆推得到的干净隐变量作为蒸馏目标。该技术手段能够避免高噪声时间步中噪声预测误差被逆推公式放大，从而降低错误梯度对学生模型的影响；其理论依据在于扩散过程的信噪比随时间步变化，高噪声时间步的干净样本估计不稳定，不宜作为强监督目标。

35、3、本发明将扩散教师模型和判别器限定在训练阶段使用，推理部署阶段仅保留由先验编码器、生成器和连续尺度上采样器组成的学生模型。该技术手段消除了推理阶段的变分自编码器编码解码、条件去噪u型网络多步采样和判别器计算，使单一轻量模型即可覆盖多个连续放大尺度，降低模型体积、显存占用和响应延迟，适用于无人机、移动测绘平台和边缘计算节点等资源受限场景。