一种基于链式条件引导的卫星图像生成方法

摘要: 本发明属于遥感图像及深度学习扩散模型,具体涉及一种基于链式条件引导的卫星图像生成方法。背景技术:1、扩散模型通过将图像合成过程建模为逐步去噪过程,在文本到图像生...
一种基于链式条件引导的卫星图像生成方法

本发明属于遥感图像及深度学习扩散模型,具体涉及一种基于链式条件引导的卫星图像生成方法。

背景技术:

1、扩散模型通过将图像合成过程建模为逐步去噪过程,在文本到图像生成、条件图像合成和视觉内容编辑等任务中取得了广泛应用。潜空间扩散模型进一步将去噪过程转移到自编码器潜空间中,降低了图像生成的计算成本,并通过文本编码器、交叉注意力和时间步嵌入等结构将文本条件与图像生成过程连接起来。对于卫星图像生成任务而言,潜空间扩散模型能够生成具有俯视视角、纹理重复和场景类别特征的遥感图像,因此具有构建遥感数据增强、模拟卫星观测和辅助下游模型训练的应用潜力。

2、然而,卫星图像不同于一般自然图像。卫星图像通常包含小尺度目标、重复地块、道路网络、设施边界和受采集条件影响的外观变化。地理位置、地面采样距离、采集时间和云量等元数据往往会影响图像纹理、清晰度、光照或遮挡情况,而这些信息难以完全由单一句子提示表达。现有卫星图像扩散生成方法可以联合使用文本提示和元数据,但文本提示通常被作为一个整体编码,元数据也多通过全局时间步嵌入路径注入模型。在这种方式下,场景类别、空间布局和成像属性会竞争同一文本token空间和同一交叉注意力位置,模型难以明确区分哪些词语用于描述场景身份、哪些词语用于描述空间关系、哪些词语用于描述采集外观。

3、同时,现有元数据条件控制方式通常将不同类型的元数据视为同质数值向量。经度和纬度描述地理上下文,地面采样距离和云量影响成像外观,年份、月份和日期体现采集时间信息,上述信息的语义作用并不相同。如果仅将所有元数据维度分别映射后累加至全局时间步表示,难以对去噪网络不同层级的特征图进行局部调制,也不利于增强模型对云量、分辨率和时间变化等变量的可控响应。

4、此外,传统扩散模型训练目标主要是噪声预测误差。该目标能够训练模型学习基本去噪轨迹,但对于卫星成像元数据的局部扰动缺少显式约束。当经度、地面采样距离、云量或时间等元数据发生轻微变化时,模型的噪声预测结果可能出现不稳定波动,进而影响生成图像的条件一致性和成像属性响应。因此,亟需一种能够同时处理文本条件分解、元数据局部调制以及元数据扰动稳定约束的可控卫星图像生成方法。

技术实现思路

1、本发明的目的是提供一种基于链式条件引导的卫星图像生成方法,以解决现有技术中单一文本提示难以区分异质遥感控制条件、元数据全局注入难以精细调制不同去噪阶段和特征块、普通扩散损失缺少对元数据扰动稳定性约束的问题。

2、为实现上述目的,本发明提供了一种基于链式条件引导的卫星图像生成方法,包括:

3、获取原始遥感文本提示、卫星成像元数据以及扩散模型在当前时间步的待去噪潜变量;

4、将所述原始遥感文本提示转换为场景语义链、空间布局链和成像属性链,其中,场景语义链用于描述遥感场景类别和主要目标,空间布局链用于描述目标之间的排列、邻接、方向、道路连接和重复结构,成像属性链用于描述地面采样距离、云量、季节和采集视角等成像属性;

5、分别通过文本编码器对所述场景语义链、空间布局链和成像属性链进行编码,得到对应的链式隐藏状态;

6、根据当前扩散时间步计算时间步感知链式权重,使高噪声阶段更关注场景身份和粗略布局,中间噪声阶段更关注空间组织,低噪声阶段更关注成像细节;

7、将所述场景语义链和所述成像属性链对应的隐藏状态进行均值池化和线性映射后加入去噪网络的全局时间步表示,将所述空间布局链对应的隐藏状态与基础文本隐藏状态长度对齐后融合至交叉注意力条件;

8、将所述卫星成像元数据划分为地理分组、成像分组和时间分组,通过分组多层感知机和融合多层感知机生成元数据调制条件,并由各特征块对应的调制头生成尺度参数和偏移参数,对去噪网络的隐藏特征图进行film调制;

9、在训练阶段对元数据进行单变量扰动,并基于扰动前后噪声预测结果构建元数据扰动一致性损失。

10、可选的,所述链式提示条件支持自动解析、显式输入和标签解析三种方式。自动解析方式根据原始遥感文本提示和元数据自动推断空间布局链和成像属性链;显式输入方式允许用户直接提供三条链;标签解析方式从包含场景标签、布局标签和成像标签的结构化提示中解析三条链。

11、可选的,所述时间步感知链式权重包括分段调度和连续平滑调度。分段调度中,高噪声阶段的场景语义链权重和空间布局链权重较高,中间噪声阶段的空间布局链权重最高,低噪声阶段的成像属性链权重最高。连续平滑调度中,场景语义链权重随时间步比例增大而增大,成像属性链权重随时间步比例减小而增大,空间布局链权重在中间噪声阶段达到峰值。

12、可选的,所述空间布局链融合至交叉注意力条件时,对布局隐藏状态进行长度裁剪或末位复制填充,使其与基础文本隐藏状态长度一致;随后通过零初始化的残差适配器学习布局token差值的校正项,从而在微调初期保持与已有去噪网络权重的兼容性,并在训练过程中学习面向布局的条件修正。

13、可选的,所述元数据调制支持三种模式:在全局路径模式下,仅保留原始元数据到时间步表示的注入方式;在局部路径模式下,仅使用基于分组元数据film的局部特征调制方式;在双路径模式下,同时保留全局元数据注入路径和局部分组元数据film路径。

14、本发明还提供了一种基于链式条件引导的卫星图像生成方法,包括:输入获取模块、链式提示构造模块、链式编码模块、时间步感知注入模块、分组元数据调制模块、元数据一致性训练模块和去噪生成模块。

15、所述输入获取模块用于获取原始遥感文本提示、卫星成像元数据和待去噪潜变量;所述链式提示构造模块用于生成场景语义链、空间布局链和成像属性链;所述链式编码模块用于分别编码三条链;所述时间步感知注入模块用于将场景和成像条件注入全局时间步表示,并将布局条件融合至交叉注意力条件;所述分组元数据调制模块用于将元数据按语义分组并生成film参数;所述元数据一致性训练模块用于构建元数据扰动一致性损失;所述去噪生成模块用于迭代预测噪声残差并生成卫星图像。

16、本发明的技术效果为:

17、本发明通过将单一遥感文本提示分解为场景语义链、空间布局链和成像属性链,使原本混合在同一句提示中的异质控制信息被显式区分。场景语义链和成像属性链通过全局时间步表示影响整体去噪轨迹,空间布局链通过交叉注意力路径直接作用于文本条件隐藏状态,从而使去噪网络能够分别利用场景身份、空间拓扑和采集外观信息,提高卫星图像生成的语义一致性和布局可控性。

18、本发明通过时间步感知链式权重,将不同链式条件与扩散去噪阶段对应起来。高噪声阶段强调场景和粗略布局,中间噪声阶段强调空间组织,低噪声阶段强调成像细节。该设计符合扩散模型从粗结构到细节逐步生成的特点,避免所有条件在整个去噪过程中以相同强度竞争模型容量。

19、本发明通过分组元数据film模块,将经纬度、地面采样距离、云量、时间等不同类型的卫星成像元数据按语义分组编码,并映射为不同去噪特征块的尺度参数和偏移参数。相较于单一全局元数据注入方式,所述局部调制路径能够让元数据直接作用于隐藏特征图;双路径模式同时保留原始全局元数据路径和局部film路径,有利于兼顾宽泛成像上下文和局部特征控制。

20、本发明通过元数据扰动一致性约束,在训练过程中对单个元数据维度进行扰动,并约束扰动前后的噪声预测保持平滑响应,从而提高模型对元数据变化的稳定性,降低轻微元数据变化导致预测异常波动的风险。