一体式图像修复模型基于动态数据流的蒸馏方法及系统

本发明涉及大数据模型领域，尤其涉及一种一体式图像修复模型基于动态数据流的蒸馏方法及系统。

背景技术：

1、从物理成像模型来看，雾霾颗粒会对光线产生散射作用，导致图像对比度大幅下降、色彩偏色并伴随严重的细节模糊；降雨会在图像中形成不同方向与密度的雨纹，对局部纹理产生物理性遮挡；降雪则表现为复杂的雪瓣与雪条，其形态的不规则性不仅遮挡了背景细节，还引入了高频噪声。这种退化现象不仅极大地破坏了图像的视觉真实感，更给下游的高级视觉任务带来了严峻挑战。例如，在目标检测任务中，模糊的边缘会导致区域提取网络难以精准定位；在语义分割任务中，天气的干扰项常被误识为有效纹理，从而引发严重的误判与漏判。因此，恶劣天气下的图像修复已成为提升视觉系统鲁棒性的关键前置任务。

2、为了提高图像修复模型的通用性，一体式恶劣天气修复模型逐渐成为研究热点，旨在通过一个统一的网络处理多种退化类型。然而，现有的一体式模型大多依赖于静态的联合训练范式，即默认所有类型的退化数据在训练前均已收集完毕。这与现实场景中数据随时间动态到达的流式特性严重不符。在动态数据流的环境下，若简单地使用新任务数据对模型进行微调，网络极易遭遇灾难性遗忘现象，即模型在学习新天气修复任务后，对旧任务的修复性能会急剧衰退。现有的持续学习尝试引入正则化或简单的重放机制，但仍面临以下显著局限：

3、（1）特征细节丢失：现有的特征级约束多依赖于全局降维或静态压缩，忽视了通道间的语义差异，导致关键的高频细节信息在蒸馏过程中丢失。

4、（2）样本关注无差异：传统的蒸馏范式通常对所有回放样本施加固定的监督权重，忽视了不同样本间遗忘难度的异质性，难以对易遗忘的难样本进行针对性巩固。

5、（3）数据回放效率低：传统的随机采样策略难以有效覆盖旧任务的特征分布边界，导致记忆缓冲区存在严重的语义冗余，浪费了有限的存储资源。

6、因此，亟需一种能够有效克服上述缺陷，在动态数据流中实现高效知识转移与历史知识留存的持续一体式图像修复方法。

技术实现思路

1、本发明目的在于公开一种一体式图像修复模型基于动态数据流的蒸馏方法及系统，以在新任务学习过程中自适应兼顾知识转移与历史知识留存。

2、为达上述目的，本发明公开的一体式图像修复模型基于动态数据流的蒸馏方法包括：

3、步骤s1、构建当前学习新任务的数据集，所述数据集由采用空间感知代表性回放策略筛选后添加历史代表性样本标识的回放样本与当前学习新任务的新样本组成；

4、步骤s2、通过回放样本与新样本混合训练直至图像修复模型符合当前学习新任务的收敛指标；其中，在根据历史代表性样本标识识别到任一回放样本训练新任务过程中，至少包括以下子步骤：

5、步骤s21、通过量化回放样本在教师模型与学生模型之间的特征漂移程度，动态调节回放样本各通道的权重，以实现不同回放样本的差异化知识保留；所述教师模型为上一任务收敛后被冻结的旧模型且不参与新样本的训练，所述学生模型与所述教师模型的网络结构一致并以上一任务收敛模型的参数副本为初始值进行再训练；

6、步骤s22、基于联合优化目标函数进行反向传播以迭代一体式图像修复模型的可学习参数，所述联合优化目标函数综合响应级蒸馏损失和特征级蒸馏损失，所述特征级蒸馏损失根据所述各通道的权重、及所述教师模型与所述学生模型在对应通道投影特征之间的差异值计算得出，所述响应级蒸馏损失由所述教师模型与所述学生模型所分别预测图像之间的差异值计算得出。

7、优选地，所述图像修复模型被应用于修复至少两种恶劣天气下的图像，且各恶劣天气之间逐一按次序学习。

8、优选地，所述量化回放样本在教师模型与学生模型之间的特征漂移程度的处理过程包括：

9、步骤s211、分别通过两个通道自适应投影模块计算教师模型与学生模型在特征提取网络同一节点所提取特征图各通道的统计向量，然后再将各通道统计向量组成的向量矩阵与通道压缩映射矩阵及通道恢复映射矩阵生成自适应通道权重；具体计算公式为：；其中，为各通道统计向量组成的向量矩阵，表示生成的自适应通道权重矩阵，表示能学习的通道压缩映射矩阵，表示能学习的通道恢复映射矩阵，表示relu激活函数，表示sigmoid激活函数；

10、步骤s212、利用各通道的自适应权重对输入特征进行通道级重标定，得到教师模型与学生模型在一致通道子空间所分别对应投影特征和；

11、步骤s213、计算回放样本的特征漂移程度：；其中，表示特征图的通道数，表示特征图的高度，表示特征图的宽度，表示范数；

12、步骤s214、通过sigmoid函数将特征漂移程度映射为样本的动态自适应权重，以表征样本在持续学习过程中的遗忘风险：；其中，表示区分遗忘风险高低的漂移参考阈值，表示控制权重变化敏感度的权重敏感系数。

13、优选地，在图像修复模型完成当前学习新任务的收敛指标后，采用空间感知代表性回放策略从当前新任务的新样本中筛选回放样本包括：

14、步骤s11、从当前新任务的新样本中先随机筛选候选集，再将候选集内样本输入当前训练好的学生模型在特征提取网络同一节点得到深层特征图，再对各深层特征图进行自适应区域池化，然后将池化结果展平为特征向量；

15、步骤s12、对候选集内各样本的特征向量进行归一化处理得到代表图像特征空间分布的样本表征；

16、步骤s13、在候选集内随机选择一个样本构成初始的已选集，再将与当前已选集在图像特征空间分布上欧式距离最远的样本纳入已选集中以实现已选集的逐一新增直至已选集的样本规模符合终止数量。

17、优选地，本发明方法还包括：

18、步骤s14、设置样本特征存储库存储按任务顺序持续累积的各回放样本；并判断累积的样本总数是否超过预置的存储上限；如果是，基于当前训练好的学生模型对样本特征存储库中的各样本执行与步骤s11至步骤s13相同的筛选处理，然后对未被筛选的样本做剪枝处理。

19、优选地，针对所述回放样本的所述联合优化目标函数具体为：；其中，；；

20、针对新样本的损失函数具体为：；

21、其中，表示范数；表示对回放图像样本的预测图像，表示教师模型对回放样本的预测图像，表示学生模型对回放样本的预测图像；表示学生模型对新样本的预测图像，表示真实的清晰图像；表示新任务学习中对比正则化项的权重系数，表示对比正则化项；表示响应级蒸馏中对比正则化项的权重系数；表示当前回放批次的样本集合，表示批次中的样本总数；表示响应级蒸馏项的权重系数，表示特征级蒸馏项的权重系数。

22、为达上述目的，本发明公开一种一体式图像修复模型基于动态数据流的蒸馏系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

23、本发明通过量化回放样本在教师模型与学生模型之间的特征漂移程度，动态调节回放样本各通道的权重，具有以下有益效果：

24、1、能够根据输入图像的特征内容自适应判断各通道的重要性。例如：对于包含边缘、纹理和结构信息的有效通道，赋予较高权重；对于主要包含雨纹、雾霾、雪花等干扰或冗余背景信息的通道，赋予较低权重。因此在进行知识蒸馏时能够尽量保留图像的高频结构和关键纹理细节。

25、2、突破了传统蒸馏方法中样本权重固定的局限，实现不同回放样本的差异化知识保留，本质即精准量化并评估每个样本的遗忘风险，例如：通过为高特征漂移的困难样本赋予更大的蒸馏权重，实现了细粒度、差异化的知识巩固，在确保模型可塑性的同时大幅增强了其抗遗忘的稳定性。

26、3、通过回放样本与新样本混合训练，在可学习参数迭代更新时动态平衡新旧任务的特征分布，从而在新任务学习过程中自适应兼顾知识转移与历史知识留存，有效缓解灾难性遗忘并显著提升持续一体式图像修复精度。

27、下面将参照附图，对本发明作进一步详细的说明。