一种基于场景图的可控遥感图像生成方法及相关装置

本发明属于可控遥感图像生成，具体涉及一种基于场景图的可控遥感图像生成方法及相关装置。

背景技术：

1、遥感图像生成是遥感数据增强、遥感场景仿真、遥感目标检测辅助训练以及地理空间智能解译中的重要技术。遥感数据采集通常依赖卫星、航空平台或无人机平台，受天气、时间、地域、传感器条件和标注成本限制，特定类别、特定布局或复杂场景的高质量样本往往不足。生成式模型能够根据给定条件合成具有目标标注和场景语义的图像，从而缓解遥感监督学习任务中的数据稀缺问题。近年来，扩散模型在自然图像和遥感图像生成领域表现出较强的高保真图像合成能力，为可控遥感图像生成提供了新的技术基础。

2、遥感图像的可控生成不同于一般自然图像生成。首先，遥感图像大多为俯视视角，目标可呈任意方向分布，因此仅使用水平边界框或粗粒度布局难以充分表达目标几何属性。其次，遥感场景中目标与背景之间存在强语义耦合，例如船舶通常与港口、泊位或河流相关，飞机通常与跑道、机场或机库区域相关，桥梁通常跨越河流或道路。再次，遥感图像的实用价值不仅取决于单个目标是否清晰，还取决于目标数量、位置、方向、背景类型和关系逻辑是否共同成立。因此，可控遥感图像生成需要同时满足空间几何可控、关系语义一致和背景上下文合理三个层面的要求。

3、目前现有的遥感图像生成方法包括以下几类：

4、1.基于文本到图像的遥感生成方法

5、该类方法将自然语言描述作为条件输入，通过文本编码器获得全局语义条件，再引导扩散模型或其他生成模型合成图像。其优点是输入简单、表达灵活，能够描述总体场景类别和少量对象关系。

6、该类方法存在的问题：文本提示难以明确约束每个目标的精确位置、旋转方向和空间拓扑，尤其在多目标遥感场景中容易出现目标数量错误、位置偏差和关系模糊。

7、2.基于布局到图像的遥感生成方法

8、该类方法以类别标签和边界框作为条件，能够显式指定前景目标的位置，因而在目标空间定位方面优于纯文本方法。

9、该类方法存在的问题：边界框本身只表达几何占位，不表达目标之间的语义关系和功能关系，也不能充分控制背景上下文。因此，模型可能生成在几何上满足布局但在语义上不合理的遥感场景。

10、3.基于场景图到图像的通用生成方法

11、该类方法使用图结构表示对象节点及对象之间的关系边，通常通过图神经网络将场景图编码为条件特征后输入生成器。该类方法虽然能够描述对象关系，但该类方法倾向于将图表示聚合为全局条件向量，导致单个节点与图像中对应区域之间的联系被削弱，难以保证节点级空间控制和区域级语义对齐。

12、4.基于扩散模型的结构化可控生成方法

13、该类方法通过交叉注意力、条件注入、掩码约束或区域控制策略，将文本、布局或图结构条件输入扩散模型。

14、该类方法存在的问题：如果没有专门面向场景图节点和图像区域的解耦机制，扩散模型中的注意力层仍可能混合多个节点条件，使不同对象或背景的语义信息相互干扰。

15、5.基于遥感数据增强的生成方法

16、该类方法关注生成图像对下游目标检测或分类任务的增益，通常强调图像视觉真实性和目标可检测性。但若生成过程缺乏对场景关系和背景上下文的控制，则生成图像虽然视觉上较真实，却未必具有足够的语义一致性和训练可用性。

技术实现思路

1、本发明的目的在于提供一种基于场景图的可控遥感图像生成方法及相关装置，用于解决现有技术中文本提示难以明确约束每个目标的精确位置、旋转方向和空间拓扑，导致可控遥感图像生成的准确性不高的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种基于场景图的可控遥感图像生成方法，包括以下步骤：

4、获取输入场景图，将输入场景图表示为有向图，所述有向图包括节点、有向边和全局文本描述，所述节点包括语义信息和几何信息，所述有向边包括语义信息；

5、构建关系-几何场景图编码器，所述关系-几何场景图编码器包括几何流和关系流；

6、利用几何流对节点的几何信息进行编码，得到节点几何特征，并基于节点几何特征，得到几何条件矩阵；

7、利用关系流对节点的语义信息和有向边的语义信息以及全局文本描述进行编码，得到节点关系特征和全局文本嵌入；

8、基于节点关系特征，得到视觉对齐节点特征，并基于视觉对齐节点特征构建区域解耦掩码注意力机制，利用区域解耦掩码注意力机制，基于输入场景图，生成背景区域掩码与对象区域掩码，利用背景区域掩码与对象区域掩码，得到区域解耦后的输出特征图；

9、将区域解耦后的输出特征图、全局文本嵌入和几何条件矩阵共同输入到扩散模型中进行扩散生成，得到可控遥感图像。

10、本发明进一步的改进在于，所述有向图的计算公式为：

11、

12、其中，为有向图，为若干个节点的集合，为有向边的集合，为全局文本描述。

13、本发明进一步的改进在于，所述若干个节点的集合的计算公式为：

14、

15、其中，为第

i个节点，为节点的总个数；

16、第

i个节点的计算公式为：

17、

18、其中，为类别，为旋转边界框；

19、旋转边界框的计算公式为：

20、

21、其中，为四个顶点坐标，为8个实数的格式。

22、本发明进一步的改进在于，所述有向边的集合的计算公式为：

23、

24、其中，为节点到节点的边的表示。

25、本发明进一步的改进在于，所述视觉对齐节点特征的计算公式为：

26、

27、其中，为视觉对齐节点特征，为缩放参数，为偏移参数，为节点关系特征，为逐元素乘法。

28、本发明进一步的改进在于，所述区域解耦后的输出特征图的计算公式为：

29、

30、其中，为区域解耦后的输出特征图，为特征图中的背景区域，为逐元素乘法，为交叉注意力算子，为输入场景图中的一张图片前景目标的个数，为输入场景图中的一张图片的第

i个前景目标的特征。

31、本发明进一步的改进在于，所述可控遥感图像的计算公式为：

32、

33、其中，为可控遥感图像，为区域解耦后的输出特征图，为全局文本嵌入，为几何条件矩阵，为影响系数，用于平衡全局文本嵌入和几何条件矩阵的影响，为交叉注意力算子。

34、第二方面，本发明提供一种基于场景图的可控遥感图像生成系统，包括：

35、数据获取模块，用于获取输入场景图，将输入场景图表示为有向图，所述有向图包括节点、有向边和全局文本描述，所述节点包括语义信息和几何信息，所述有向边包括语义信息；

36、编码器构建模块，用于构建关系-几何场景图编码器，所述关系-几何场景图编码器包括几何流和关系流；

37、第一编码模块，用于利用几何流对节点的几何信息进行编码，得到节点几何特征，并基于节点几何特征，得到几何条件矩阵；

38、第二编码模块，用于利用关系流对节点的语义信息和有向边的语义信息以及全局文本描述进行编码，得到节点关系特征和全局文本嵌入；

39、输出特征图获取模块，用于基于节点关系特征，得到视觉对齐节点特征，并基于视觉对齐节点特征构建区域解耦掩码注意力机制，利用区域解耦掩码注意力机制，基于输入场景图，生成背景区域掩码与对象区域掩码，利用背景区域掩码与对象区域掩码，得到区域解耦后的输出特征图；

40、扩散生成模块，用于将区域解耦后的输出特征图、全局文本嵌入和几何条件矩阵共同输入到扩散模型中进行扩散生成，得到可控遥感图像。

41、第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述介绍的基于场景图的可控遥感图像生成方法的步骤。

42、第四方面，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的基于场景图的可控遥感图像生成方法的步骤。

43、与现有技术相比，本发明具有如下有益效果：

44、本发明提出的基于场景图的可控遥感图像生成方法，一方面构建关系-几何场景图编码器，所述关系-几何场景图编码器包括几何流和关系流，可见本发明通过几何流和关系流分别进行建模，该操作有利于增强生成可控遥感图像的全局一致性和局部控制能力，另一方面利用关系流对节点的语义信息和有向边的语义信息以及全局文本描述进行编码，得到节点关系特征和全局文本嵌入，该操作可以减少目标与场景关系不匹配的情况，而且本发明将区域解耦后的输出特征图、全局文本嵌入和几何条件矩阵共同输入到扩散模型中进行扩散生成，得到可控遥感图像，可见本发明在进行扩散生成时，考虑了几何条件矩阵，几何条件矩阵可以使扩散模型能够更好地保持前景目标与输入场景图布局之间的一致性。上述一系列技术手段，有效地解决了文本提示难以明确约束每个目标的精确位置、旋转方向和空间拓扑，导致可控遥感图像生成的准确性不高的问题。