基于动态特征融合与扩散优化的遥感阴影去除方法及系统

本发明涉及遥感影像阴影去除的，具体涉及基于动态特征融合与扩散优化的遥感阴影去除方法及系统。

背景技术：

1、阴影去除对于保障无人机遥感影像的场景解译精度及下游视觉任务的有效性具有重要意义。由于无人机影像中光照条件复杂、场景结构多样，阴影区域会引入局部辐射畸变，严重降低图像质量。现有方法往往难以在全局光照校正与细粒度纹理恢复之间取得一致平衡，导致在复杂场景中出现结果过度平滑或局部伪影等问题。

2、传统阴影去除方法主要依赖于基于光照、梯度或色度信息构造的人工先验。代表性方法通过抑制阴影梯度或将其建模为重光照问题来恢复无阴影区域。然而，这类方法通常建立在关于光照和场景结构的简化假设之上，在面对材质多样、视角多变的无人机场景时鲁棒性不足。

3、随着深度学习的发展，有监督方法通过利用成对数据学习从阴影图像到无阴影图像的映射，显著提升了恢复性能。然而，这类方法大多采用确定性的单步恢复框架，难以同时兼顾全局光照一致性与局部纹理细节。同时，其性能高度依赖于大规模成对数据集，而无人机影像的此类数据采集成本较高，限制了其在实际应用中的推广。

4、为减轻对成对标注的依赖，研究者进一步探索了无监督和弱监督方法，提升了数据灵活性，但由于阴影区域缺乏显式的监督先验，高频结构的准确恢复依然困难，常以牺牲局部纹理保真度为代价换取全局平滑。

5、近年来，扩散模型凭借其在真实纹理和光照恢复方面的生成能力，为阴影去除提供了新的技术路径。现有扩散模型方法，如shadowdiffusion、des3和bcdiff等，通过掩膜感知框架、自适应注意力机制或边界感知策略，在阴影检测与去除方面取得了一定进展。然而，现有基于扩散的方法仍然面临一个共同的技术瓶颈：即光照校正、结构恢复与细节增强等环节缺乏统一的阶段协调机制，各阶段以相对松散的方式耦合，缺乏跨阶段的统一控制。这导致现有方法难以在恢复过程中实现从全局光照校正到局部纹理增强的渐进式协调，在复杂无人机场景中容易产生结构过平滑或局部细节不一致的问题。

技术实现思路

1、为了克服现有技术的不足，本发明的目的之一在于提供基于动态特征融合与扩散优化的遥感阴影去除方法，其通过自监督预训练降低数据依赖，并通过共享时间步引导的渐进式恢复，实现全局光照校正与局部纹理增强的协调统一。

2、为实现本发明的目的之一，采用如下方案：

3、基于动态特征融合与扩散优化的遥感阴影去除方法，包括以下步骤：

4、s1：获取用于训练的无阴影影像、用于训练及推理的阴影影像及对应的阴影掩膜；利用所述无阴影影像通过自监督图像修复预训练初始化双分支编码器网络，得到预训练编码器参数；

5、s2：将所述阴影影像与所述阴影掩膜分别输入由所述预训练编码器参数初始化的背景编码器和纹理编码器，提取非阴影区域的全局光照特征与阴影区域的高频纹理特征；

6、s3：在共享时间步的引导下，对所述全局光照特征与所述高频纹理特征进行动态加权融合，经解码生成粗去阴影结果；

7、s4：将所述粗去阴影结果输入轻量级条件扩散细化网络，在所述共享时间步调度下进行迭代去噪，以所述无阴影影像为监督目标训练扩散模型，得到训练好的扩散模型；

8、s5：将待处理遥感影像输入所述训练好的扩散模型，输出最终去阴影结果。

9、进一步地，步骤s1中，利用所述无阴影影像通过自监督图像修复预训练初始化双分支编码器网络，具体为：

10、从所述无阴影影像中随机生成不规则的二值掩膜来模拟缺失区域，将无阴影影像与掩膜的反码逐元素相乘，得到受损输入影像；

11、预训练网络以受损输入影像和掩膜为输入，根据可见的上下文区域重建原始无阴影影像，并以重建影像与所述无阴影影像之间的绝对值误差作为损失函数进行优化；

12、预训练完成后，将编码器的参数迁移至后续阴影去除框架中的双分支特征编码器，并舍弃解码器。

13、进一步地，步骤s2中，所述提取非阴影区域的全局光照特征与阴影区域的高频纹理特征，具体为：

14、采用两个并行的编码器，即纹理编码器和背景编码器，来提取互补特征；

15、所述纹理编码器以阴影影像与阴影掩膜的拼接结果作为输入，保留阴影区域内部的高频细节，生成纹理特征图；

16、所述背景编码器处理的是阴影影像与阴影掩膜的反码逐元素相乘后的影像，从非阴影区域捕获全局颜色和光照信息，生成背景特征图。

17、进一步地，步骤s3中，在共享时间步的引导下，对光照特征与纹理特征进行动态加权融合，具体为：

18、引入一个时间步，用于表示恢复阶段的阶段变量，将该时间步通过正弦位置嵌入结合多层感知机进行编码，得到阶段表征，再将所述阶段表征映射为一个偏置项；

19、将所述纹理特征图和所述背景特征图沿通道拼接后输入卷积层，得到静态融合信息，将所述静态融合信息与所述偏置项逐元素相加，再经sigmoid激活函数映射，生成两个时间步感知的动态融合权重；

20、将所述纹理特征图和所述背景特征图分别与对应的动态融合权重逐元素相乘后相加，再经卷积层融合，得到当前时间步下的融合特征；

21、由八个残差块、两个转置卷积和一个标准卷积层组成的轻量级解码器对所述融合特征进行上采样，生成粗略的无阴影预测结果。

22、进一步地，步骤s4中，将所述粗去阴影结果输入轻量级条件扩散细化网络进行迭代去噪，具体为：

23、将所述粗去阴影结果作为结构化初始状态，与所述阴影影像、所述阴影掩膜共同构建条件信号，输入轻量级条件扩散细化网络；

24、采用预测干净影像的扩散模型框架，前向扩散过程通过逐步向粗预测结果中添加高斯噪声来获得带噪状态；

25、所述扩散细化网络以带噪状态、条件信号和时间步为输入，输出细化后的无阴影影像；

26、训练过程中，冻结粗预测网络的参数，仅优化所述扩散细化网络，损失函数采用扩散重建损失与感知损失的加权组合，其中扩散重建损失为细化结果与真实无阴影影像之间的均方误差，感知损失为两者之间的感知相似度损失。

27、进一步地，步骤s4中，所述共享时间步调度，具体为：

28、将特征融合阶段与扩散细化阶段对齐到同一单调递减的时间步调度序列下，满足融合阶段的时间步与扩散细化阶段的时间步相等；

29、在所述共享时间步的协调下，较大的时间步使融合过程偏向全局光照校正、去噪过程偏向大幅结构恢复，较小的时间步使融合过程偏向纹理细节增强、去噪过程偏向局部微调，从而实现从全局光照校正到局部纹理增强的渐进式恢复。

30、进一步地，步骤s5具体为：

31、将待处理遥感影像输入训练好的粗预测网络，得到粗预测结果；

32、将所述粗预测结果输入训练好的扩散模型，执行确定性去噪扩散隐式模型采样，并将所述粗预测结果作为与最大采样时间步相对应的低噪声初始化状态；

33、所述粗预测网络仅在初始时间步执行一次，生成时间步感知的初始化结果，之后按时间步递减顺序执行确定性采样，逐步细化预测结果；

34、在每个采样步骤中，所述扩散细化网络预测当前时间步下的干净估计，并按照确定性去噪更新规则，结合当前时间步的带噪样本、当前时间步的干净估计以及前后时间步的信号保留比率，计算得到下一个时间步的细化样本，最终得到细化后的无阴影影像。

35、进一步地，所述遥感影像包括无人机遥感影像。

36、进一步地，所述自监督图像修复预训练仅利用无阴影影像及随机掩膜完成，仅需少量成对的阴影-无阴影训练数据即可完成后续训练。

37、本发明的目的之二在于提供基于动态特征融合与扩散优化的遥感阴影去除系统，其其通过自监督预训练降低数据依赖，并通过共享时间步引导的渐进式恢复，实现全局光照校正与局部纹理增强的协调统一。

38、为实现本发明的目的之二，采用如下方案：

39、基于动态特征融合与扩散优化的遥感阴影去除系统，包括：

40、数据获取与预训练模块，用于获取用于训练的无阴影影像、用于训练及推理的阴影影像及对应的阴影掩膜；利用所述无阴影影像通过自监督图像修复预训练初始化双分支编码器网络，得到预训练编码器参数；

41、特征提取模块，用于将所述阴影影像与所述阴影掩膜分别输入由所述预训练编码器参数初始化的背景编码器和纹理编码器，提取非阴影区域的全局光照特征与阴影区域的高频纹理特征；

42、动态融合模块，用于在共享时间步的引导下，对所述全局光照特征与所述高频纹理特征进行动态加权融合，经解码生成粗去阴影结果；

43、扩散细化模块，用于将所述粗去阴影结果输入轻量级条件扩散细化网络，在所述共享时间步调度下进行迭代去噪，以所述无阴影影像为监督目标训练扩散模型，得到训练好的扩散模型；

44、推理模块，用于将待处理遥感影像输入所述训练好的扩散模型，输出最终去阴影结果。

45、相比现有技术，本发明的有益效果在于：

46、1.本发明通过自监督图像修复预训练初始化双分支编码器网络，使编码器在预训练阶段无需任何成对标注数据即可学习到图像结构与纹理的先验知识。在后续阴影去除训练中，该预训练机制大幅降低了对成对阴影-无阴影训练数据的需求，有效缓解了遥感影像成对数据采集成本高、获取难度大的问题，显著提升了方法在实际应用中的部署可行性。

47、2.本发明通过共享时间步机制统一调度特征融合阶段与扩散细化阶段，使两者在同一时间步的协调下分别承担全局光照校正与局部细节恢复任务，实现了从粗粒度结构恢复到细粒度纹理增强的渐进式恢复。该协调机制有效克服了现有单步恢复框架难以兼顾全局光照一致性与局部纹理保真度的缺陷，显著提升了复杂场景下阴影去除结果的视觉一致性与真实感。

48、3.本发明采用双分支编码器分别提取非阴影区域的全局光照特征和阴影区域的高频纹理特征，实现了光照信息与纹理信息的分离提取，避免了两种信息在单一编码过程中的相互干扰与特征混叠，为后续融合阶段提供了质量更高的特征输入。

49、4.本发明在共享时间步的引导下对全局光照特征与高频纹理特征进行动态加权融合，使得融合权重能够根据当前恢复进度自动调整，在恢复初期侧重光照校正、恢复后期侧重细节增强，实现了从全局光照到局部纹理的自适应平滑过渡，避免了固定融合权重导致的过平滑或细节丢失问题。

50、5.本发明以粗去阴影结果作为轻量级条件扩散细化网络的输入，通过迭代去噪方式对粗预测结果进行逐步精化，有效消除了单步确定性恢复框架中难以避免的残留伪影，提升了阴影去除结果的清晰度与纹理真实感。

51、6.本发明采用共享时间步调度将特征融合与扩散细化统一在同一渐进恢复框架下，使整个阴影去除过程在统一的控制信号下完成从光照校正到纹理恢复的协调过渡，无需依赖复杂的后处理步骤即可获得高质量的去阴影结果，简化了处理流程，降低了计算开销。