布局自适应的目标控制遥感图像生成方法与流程

本发明属于深度学习，涉及一种布局自适应的目标控制遥感图像生成方法。

背景技术：

1、随着深度学习技术的快速发展，图像生成领域在近年取得了突破性进展。目前该领域的主流方法可归纳为四类代表性框架：（1）流模型（flow-based models）通过可逆变换实现精确概率密度估计；（2）生成对抗网络（gan, generative adversarial networks）利用对抗训练机制进行数据分布匹配；（3）扩散模型（diffusion models）基于渐进去噪过程实现高质量样本生成；（4）自回归模型（autoregressive models）采用序列建模方式逐像素生成图像。这些方法在建模能力、生成质量和计算效率等方面各具优势，共同推动了生成式人工智能的技术革新。其中扩散模型是一类基于概率扩散过程的生成模型，它们在图像生成、图像修复、数据去噪等任务中取得了卓越的性能。扩散模型的基本思想是通过添加噪声来系统地扰动数据中的分布，然后通过学习反向扩散过程恢复数据的分布实现数据生成，这样就了产生一个高度灵活且易于计算的生成模型。

2、条件控制的图像生成技术以给定的控制条件输入为先验，生成与条件输入具有对应关系的映射结果。依照控制条件的作用范围，额外条件可以进一步被划分为额外全局条件和局部条件。全局条件提供对生成图像全局空间的限制性约束和引导，具体可以表现为较为粗略的目标包围框、语义掩码图等。例如，yang等人将生成模型的输入扩展到具有目标级位置和文本描述的预训练文本到图像模型，从而获得一个区域控制的文本输入以供生成参考。区别于全局条件，局部条件为生成过程提供了实例级别的条件引导，包括目标的类别、属性、特征等。例如chen等人提出了一种无需额外训练的目标控制策略，通过在模型推理过程中对生成中间特征进行操控实现目标语义引导；wang等人将不同形式的目标控制条件投影到相同的特征空间，并将目标位置和对应的描述注入到生成中间特征中。zhou等人使用分而治之结构来首先处理逐个目标，随后通过利用布局注意力生成融合模板对不同目标与背景进行整合，从而实现对多个目标同时控制。在本发明当中，通过从扩散去噪过程的中间特征中揭示蕴含的潜在布局，进一步根据预测得到的潜在布局对不同类别的目标进行特征增强。

3、文本条件引导的图像生成技术是指输入一段文字描述，由模型生成一张或多张符合相关描述语义的图。2020年ho等人提出的ddpm首次展现了扩散模型在生成任务中的巨大潜力，自此之后基于扩散模型的图像生成研究呈井喷式出现。dhariwal等人提出的guideddiffusion通过在逆向扩散过程中引入分类器的方式，基于生成图像的分类损失计算梯度引导后续生成采样，以此实现条件对扩散生成的引导。传统扩散生成模型直接在像素层面进行加噪训练和去噪推理，这直接导致了随图像分辨率提升而激增的计算开销。为了能在成本相对可控的情况下进一步提升扩散模型对高分辨率图像生成场景的适配。rombach等人提出将扩散去噪过程迁移至图像的潜空间（latent space）中进行的扩散生成方法ldm（latent difffusion model）。具体来说，首先通过预训练的变分自编码器（vae）将图像映射到低维潜空间，随后在潜空间进行扩散，最后再次利用vae将去噪后的潜空间图像特征重新映射回图像。由于潜在空间的维度远小于像素空间，ldm扩散过程计算更快，推理和训练成本都得到了显著降低。此外，在潜在空间中去噪不但可以保留全局特征，避免扩散模型过度关注局部细节，同时还实现了对生成过程中语义构筑和细节补全的解耦。最后，ldm通过交叉注意力机制实现了文本向去噪生成过程的引入。在本发明当中，通过交叉注意力机制将目标条件有机地整合到既有的扩散生成过程中，如此一来，不同的目标条件可以很容易地被分配到它们对应的空间位置而不需要额外的空间限制，从而实现对各种随机布局的自适应目标控制。

技术实现思路

1、针对目标控制遥感图像生成任务，本发明的目标是在无需其他额外布局限制条件介入的情况下实现了对生成图像的目标控制。目前的大多数模型常引入额外的控制措施，使生成过程更加可控，可以概括为提示图像整体空间布局的全局条件（如简短草图和分割图），或提供关键目标语义细节的局部条件（如实例描述和参考对象）。然而采用全局限制不仅会阻止模型合成具有不同布局的图像，还会增加实际应用中推理的复杂性。至于局部条件，为了增强特定的图像区域之前的方法通常更倾向于同时指定它们的位置进行空间对齐，忽略了文本提示和噪声输入中的固有位置信息，导致图像质量和布局多样性较差。为了解决这些问题，本发明提出了一种布局自适应的目标控制遥感文本-图像生成方法，它从生成中间的含噪特征中揭示其中蕴含的潜在的布局，进一步根据预测得到的潜在布局对不同类别的目标进行特征增强，通过交叉注意力机制将目标条件有机地整合到既有的文本条件生成过程中，从而实现对各种随机布局的自适应目标控制。

2、本发明的技术方案：

3、一种布局自适应的目标控制遥感图像生成方法，步骤如下：

4、（1）布局自适应的目标控制遥感图像生成方法整体框架：

5、布局自适应的目标控制遥感图像生成方法基于潜空间扩散生成模型构筑，包括一组用于建立图像和图像潜空间的vae编码器和解码器，一个用于执行去噪扩散的u-net模型，一个用于预测图像中物体位置关系的布局适配器，一个目标感知注意力模块联合图像编码器；

6、vae图像编码器e是由多个残差网络块和下采样层组成，每个残差网络块由一个分组归一化层、非线性激活函数和3×3核的卷积层组成，下采样层使用最近邻下采样操作以压缩图像维度；解码器d是由多个残差网络块和上采样层组成，解码器d的残差网络块与vae图像编码器e的残差网络块相同，上采样层使用最近邻上采样操作以提高图像维度；u-net模型是由编码块(d)、中间块(m)和解码块(u)组成；编码块是由残差网络块、注意力网络块和下采样层组成，其中，注意力网络块是由自注意力层和交叉注意力层组成，自注意力层是由线性矩阵q、k、v以及一个1×1的卷积层构建，交叉注意力层的结构和自注意力层的结构区别是线性矩阵k和v来自于文本条件；中间块只采用残差网络块和注意力网络块，解码块是由残差网络块、注意力网络块和上采样层组成，与编码器的区别是将下采样层替换为上采样层；联合图像编码器是由归一化层、多个注意力网络层和多个多层感知机网络构建；上述所有的残差块网络和注意力网络块结构都是一致的；

7、vae图像编码器将图像转换为其对应的图像潜空间特征；其中，c、h、w分别是图像的通道、高度和宽度；对于图像潜空间特征，结合随机采样的时间步添加的随机噪声，得到纯噪声特征；然后，u-net模型直接基于纯噪声特征，通过预测添加的随机噪声，学习图像潜空间特征的分布以得到去噪后的潜空间特征；其中，文本条件结合添加的随机噪声的时间步t一起注入到u-net模型用于引导图像中内容的生成，利用解码器将潜空间特征映射回图像，得到图像；

8、（2）布局适配器：

9、为了利用生成过程中潜在的分布信息针对性引入的目标条件，提出一个布局适配器，以u-net模型中下采样层的多个不同尺寸的去噪中间特征为输入，预测一个输出图像的像素级语义布局；

10、布局适配器是由多个独立映射器和整合映射器构建，每个独立映射器由前馈层和上采样层组成，整合映射器由降维度层和预测层组成，降维层和下采样层相同；布局适配器以来自u-net模型中下采样层的共计个不同尺寸的去噪中间特征为输入，将其结合并用于预测一个输出图像的像素级语义布局；、是像素级语义布局的高度和宽度，是目标语义类别数，代表包括背景在内的所有语义类别；对于每个来自下采样层的去噪中间特征，布局适配器首先通过一个独立映射器对去噪中间特征的尺寸进行统一；独立映射器的操作表示如公式（1）：

11、       (1)

12、其中，为全连接层，为的通道数，为中间通道数；为上采样操作；

13、进一步，将全部经独立映射器映射得到的单级特征沿通道维度进行特征拼接得到整合特征；将整合特征输入整合映射器得到预测的语义布局：整合特征首先通过一个降维层降低通道数，表示如公式（2）：

14、            (2)

15、其中，是高斯误差线性单元激活函数，是组归一化，是卷积，是降维后的维度；最后，整合映射器的预测层输出图像的像素级语义布局，操作如公式(3)：

16、              (3)

17、其中，为归一化指数函数；

18、（3）目标感知注意力模块：

19、提出一个目标感知注意力模块，用于实现目标条件对于生成图像的注入；目标感知注意力模块主要是交叉注意力层(ca)组成，用于实现目标条件的注入；对于每个目标条件，利用联合图像编码器提取目标嵌入，提取u-net模型中间块或上采样层的潜在特征，利用一个可训练的交叉注意力层将目标条件注入，计算如公式（4）：

20、                  (4)

21、其中，是的维度，由潜在特征计算得到，与则通过计算获得，计算如下：

22、        (5)

23、其中，、和是三个可学习的映射矩阵；

24、随后，利用预测得到的图像的像素级语义布局将于当前目标无关的区域从潜在特征中过滤掉，确保目标条件只作用于潜在特征存在对应语义目标的位置，操作如下：

25、              (6)

26、其中，为目标条件所属类别对应的图像的像素级语义布局预测，i=0时记为背景掩码；为超参数，用于调节目标控制的强度；针对背景区域只通过预测的背景掩码对潜在特征进行过滤，操作如下：

27、                         (7)

28、其中，为中对应的背景区域掩码预测；

29、最后，将所有语义类别的目标感知增强结果进行整合，得到目标感知注意力的输出，操作如下：

30、                   (8)

31、其中，为逐元素求和；潜在特征经目标感知注意力运算后得到，进一步作为去噪扩散网络后续结构的输入；

32、（4）损失函数：

33、布局适配器的目标是从去噪中间特征中预测输出图像的像素级语义布局，因而采用交叉熵损失进行训练，表示如下：

34、                    (9)

35、其中，是由真实图像语义布局转换得到的one-hot编码，是布局适配器对于类别的布局预测；

36、对于u-net模型，使用去噪扩散的均方误差损失，表示如下：

37、         (10)

38、其中，是冻结的预训练的去噪扩散u-net模型的参数，是目标感知注意力模块和布局适配器的权重参数，因此，网络整体损失由布局预测损失和扩散损失相加获得，表示如下：

39、                      (11)。

40、本发明的有益效果：布局自适应的目标控制遥感图像生成方法解决了复杂遥感场景中布局多样性和图像质量较差的问题，该发明可以无需其他额外布局限制条件介入的情况下实现了对生成图像的多目标控制，同时该模型可以作为一个高质量的数据驱动，为遥感下游任务（分类，分割，检测等）提供高质量的数据。