基于结构与布局双重引导的室内场景图像生成方法及系统

本发明涉及计算机视觉，特别是一种基于结构与布局双重引导的室内场景图像生成方法及系统。

背景技术：

1、随着深度学习和生成式人工智能技术的发展，以扩散模型为代表的图像生成方法已成为当前高质量图像合成的重要技术路线。其中，潜在扩散模型通过在潜空间中进行噪声建模与逐步去噪，不仅显著降低了计算开销，还能够结合文本、分割图、边缘图等多种条件信息实现图像生成，因此在图像重建、图像编辑、风格迁移和条件生成等任务中得到了广泛应用。

2、然而，在室内设计、建筑空间生成等具有强结构约束的应用场景中，现有图像生成模型仍存在明显局限。这类场景通常同时包含两类语义信息：一类是墙体、门窗、家具轮廓、透视关系等几何结构语义，其要求生成结果在空间位置、形状和比例上保持稳定；另一类是光照渐变、色温分布、材质纹理和环境氛围等连续布局语义，其要求生成结果在视觉表现上自然平滑、具备良好的整体一致性。由于现有潜在扩散模型通常采用高度集成的端到端建模方式，往往将几何结构、空间布局和纹理风格共同编码到统一的隐式潜在分布中，导致不同类型语义信息之间存在较强耦合。

3、在这种耦合机制下，当用户试图仅调整场景风格、光影氛围或局部视觉效果时，模型往往会连带改变原本应被严格保持的空间结构，容易出现墙体形变、家具轮廓漂移、透视关系失真以及背景区域被误修改等问题。特别是在家装设计、空间改造预览和局部编辑等实际任务中，用户通常希望在保持原有结构不变的前提下，仅对风格、材质、色彩或光照进行调整，而现有技术难以同时兼顾“结构严格锁定”和“风格灵活迁移”两类需求。

4、现有技术主要是基于深度生成模型尤其是潜在扩散模型的条件图像生成和可控图像编辑技术。这类技术通常以预训练扩散模型为基础，通过向模型输入文本提示、边缘图、分割图、参考图像或其他控制信号，引导模型生成符合条件约束的目标图像；尽管现有基于潜在扩散模型的条件图像生成技术，已经能够在一定程度上实现图像编辑、风格迁移和条件控制，但在室内设计等复杂空间场景下，相关技术仍存在以下缺陷：

5、（1）结构语义与布局语义高度耦合，导致控制精度不足。现有技术通常采用端到端方式对图像进行统一建模，将几何结构、空间布局、光影氛围和材质纹理等信息共同编码在同一潜在分布中，缺乏对不同语义成分的显式分离机制。当用户仅希望调整图像风格、光照或局部视觉效果时，模型往往会同步改变原有的墙体位置、家具轮廓、空间透视等几何结构，难以实现结构保持前提下的灵活编辑。其根本原因在于现有模型内部缺少独立的结构控制链路和连续布局控制链路，不同语义信息在生成过程中相互干扰。

6、（2）对复杂空间场景的结构保持能力不足，容易出现结构漂移或透视失真。在室内设计场景中，墙体、门窗、柜体、家具以及消失点关系共同构成严格的空间骨架，对生成结果的一致性要求很高。现有方法即使引入边缘图、分割图等条件信号，也往往只能提供较浅层、局部性的轮廓约束，难以稳定表达复杂场景中的空间层级关系、区域连通关系和全局透视关系。因此，在生成或编辑过程中，容易出现边界错位、局部形变、家具比例异常、遮挡关系混乱等问题。造成该问题的原因在于，现有结构条件通常过于稀疏或低层，无法提供足够丰富的中高层结构语义。

7、（3）外部控制信号的注入方式较为粗糙，容易破坏预训练主干的稳定分布。现有方法为了增强可控性，会将边缘、分割或参考图像特征直接拼接或叠加到主干网络特征中，或者直接对整个预训练扩散模型进行微调。这类做法虽然能够引入外部条件，但由于缺乏柔性的渐进式接入机制，训练初期容易对主干模型已经形成的稳定特征分布造成较大扰动，进而引发梯度震荡、训练不稳定甚至灾难性遗忘。

8、（4）泛化组合能力不足，难以支持跨图像的结构—风格自由组合。现有技术大多更擅长在单一条件输入下完成生成任务，例如依据单张参考图进行重建，或依据单一控制图完成条件约束；但当用户希望将一张图像中的空间结构与另一张图像中的光影风格、材质氛围进行组合时，现有技术往往难以稳定完成跨语义融合。其原因在于现有方法大多没有在模型层面对“结构锁定”和“布局渲染”进行明确分工，导致来自不同来源的控制信号在特征空间中相互竞争，最终影响生成质量和控制准确性。

9、因此，亟需一种基于结构与布局双重引导的室内场景图像生成方法及系统，来解决现有图像生成技术中结构语义与布局语义高度耦合，导致在调整风格、光照或氛围时无法稳定保持几何结构一致性的技术问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于结构与布局双重引导的室内场景图像生成方法及系统，旨在图像生成过程中有效解耦结构语义与连续布局语义，建立一种既能够稳定保留空间几何骨架，又能够灵活迁移环境氛围和视觉风格的可控生成技术，以提升复杂空间场景下生成结果的结构一致性、布局连续性和整体可控性。

2、为实现上述目的，本技术提出一种基于结构与布局双重引导的室内场景图像生成方法，包括：

3、获取结构流图像和布局流图像；

4、将所述布局流图像输入至冻结的布局语义主干网络（kandiff），由所述冻结的布局语义主干网络对所述布局流图像进行前向传播处理，提取用于描述连续布局语义的布局特征，所述连续布局语义至少包括光照、色彩和材质信息；

5、将所述结构流图像输入至结构特征提取分支，由所述结构特征提取分支对所述结构流图像进行处理，提取用于描述几何结构语义的多尺度结构特征，所述几何结构语义至少包括物体轮廓、边缘和空间位置关系；

6、将所述多尺度结构特征输入至可训练副本模块，由所述可训练副本模块对所述多尺度结构特征进行多尺度编码，生成与所述布局语义主干网络中多个解码层级相对应的多尺度结构控制信号；

7、采用渐进式注入机制，将所述多尺度结构控制信号以残差相加的方式分别注入至所述冻结的布局语义主干网络的对应解码层级；

8、由所述冻结的布局语义主干网络根据所述布局特征和注入的所述多尺度结构控制信号进行解码，生成目标室内场景图像，以使所述目标室内场景图像继承所述结构流图像的几何结构语义并融合所述布局流图像的连续布局语义。

9、作为更进一步的解决方案，所述渐进式注入机制为双重零卷积注入机制，所述双重零卷积注入机制包括：

10、在将所述多尺度结构特征输入至所述可训练副本模块之前，先通过第一零卷积层对所述多尺度结构特征进行维度映射，并与所述布局语义主干网络的输入特征进行加和融合；再通过第二零卷积层对融合后的特征进行门控处理，以在训练初期使结构控制信号的增量为零，之后将处理后的特征输入至所述可训练副本模块。

11、作为更进一步的解决方案，所述结构特征提取分支包括一个冻结的视觉感知网络；所述提取用于描述几何结构语义的多尺度结构特征，包括：

12、将所述结构流图像输入至所述冻结的视觉感知网络，并提取所述视觉感知网络中多个不同深度的中间层的激活特征，作为所述多尺度结构特征；

13、其中，浅层激活特征用于描述边缘和纹理结构，深层激活特征用于描述物体轮廓和空间透视关系。

14、作为更进一步的解决方案，所述视觉感知网络为vgg网络，所述多个不同深度的中间层至少包括第一中间层、第二中间层、第三中间层和第四中间层，分别对应所述vgg网络中relu1_1、relu2_1、relu3_1和relu4_1层的激活输出。

15、作为更进一步的解决方案，所述冻结的布局语义主干网络为预训练的潜空间扩散模型的u-net主干网络；所述可训练副本模块复制了所述u-net主干网络的编码器部分的拓扑结构，其参数在训练过程中与所述冻结的布局语义主干网络的参数独立更新。

16、作为更进一步的解决方案，所述可训练副本模块对所述多尺度结构特征进行多尺度编码，生成多尺度结构控制信号，包括：

17、所述可训练副本模块沿其下采样路径逐层提取特征，并将各下采样层级输出的特征图，作为用于注入至所述冻结的布局语义主干网络对应上采样解码层级的所述多尺度结构控制信号。

18、作为更进一步的解决方案，所述将所述多尺度结构控制信号以残差相加的方式分别注入至所述冻结的布局语义主干网络的对应解码层级，包括：

19、将各层级的所述多尺度结构控制信号以逐元素相加的方式注入至对应解码层级的特征图中。

20、作为更进一步的解决方案，在模型训练阶段，所述布局流图像为带噪图像，其对应的输入条件为空掩码占位；所述结构流图像为与所述带噪图像对应的室内场景值图像；

21、所述方法通过将所述生成的目标室内场景图像与所述室内场景值图像进行损失计算，对所述结构特征提取分支、所述可训练副本模块以及实现所述渐进式注入机制的参数进行更新，所述冻结的布局语义主干网络的参数保持不变。

22、作为更进一步的解决方案，所述结构流图像和所述布局流图像为同一张室内场景图像，以使生成的所述目标室内场景图像在保持所述结构流图像中几何结构语义不变的条件下，实现对连续布局语义的风格迁移或局部编辑。

23、另一方面，本发明还提供一种基于结构与布局双重引导的室内场景图像生成系统，用于实现如上任一项所述的一种基于结构与布局双重引导的室内场景图像生成方法，包括：

24、至少一个处理器；以及

25、与所述至少一个处理器通信连接的存储器；其中，

26、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述系统能够执行以下操作：

27、获取结构流图像和布局流图像；

28、将所述布局流图像输入至冻结的布局语义主干网络，由所述冻结的布局语义主干网络对所述布局流图像进行前向传播处理，提取用于描述连续布局语义的布局特征，所述连续布局语义至少包括光照、色彩和材质信息；

29、将所述结构流图像输入至结构特征提取模块，由所述结构特征提取模块对所述结构流图像进行处理，提取用于描述几何结构语义的多尺度结构语义特征，所述几何结构语义至少包括物体轮廓、边缘和空间位置关系；

30、将所述多尺度结构语义特征输入至可训练副本模块，由所述可训练副本模块对所述多尺度结构语义特征进行多尺度编码，生成多尺度结构控制信号，其中所述可训练副本模块的拓扑结构与所述布局语义主干网络的至少一部分编码器结构对应；

31、通过渐进式注入模块，将所述多尺度结构控制信号以渐进式方式注入至所述布局语义主干网络的对应解码层级，以使生成的目标室内场景图像继承所述结构流图像的几何结构语义和所述布局流图像的连续布局语义。

32、与相关技术相比较，本发明能提供的一种基于结构与布局双重引导的室内场景图像生成方法及系统具备如下优势：

33、1、本发明将复杂空间场景中的图像语义拆分为几何结构语义与连续布局语义两类，通过构建“冻结的布局语义主干网络+可训练副本模块”的双流架构，使结构语义与布局语义在模型中分别建模、协同作用。其中，冻结的布局语义主干网络负责光照、色彩和材质等连续布局语义的建模与渲染，可训练副本模块负责物体轮廓、边缘和空间位置关系等几何结构语义的提取与编码，并通过多尺度结构控制信号将结构约束注入解码过程。由此，本发明避免了现有端到端模型中不同语义信息相互干扰的问题，能够在保持空间结构稳定的前提下，灵活调整场景风格、光影和环境氛围，实现“结构锁定”与“布局渲染”的分工协同。

34、2、本发明通过结构特征提取分支中的冻结视觉感知网络，提取多个不同深度的中间层的激活特征作为多尺度结构特征，其中浅层激活特征描述边缘和纹理结构，深层激活特征描述物体轮廓和空间透视关系。相比于现有技术仅依赖canny边缘图等低层轮廓约束，本发明能够为生成过程提供包含空间层级关系、区域连通关系和全局透视关系在内的更丰富的中高层结构语义约束，从而有效减少家具形变、边界错位和空间漂移等问题，增强复杂室内场景生成结果的结构保真度。

35、3、本发明在将多尺度结构特征输入可训练副本模块之前，先通过第一零卷积层进行维度映射并与布局语义主干网络的输入特征进行加和融合，再通过第二零卷积层对融合后的特征进行门控处理。由于第二零卷积层的参数初始为零，在训练初期结构控制信号的增量为零，不会对冻结的布局语义主干网络造成突兀扰动；随着训练进行，零卷积参数逐步学习合适的注入强度，实现结构控制信号的渐进式稳定接入。该设计有效避免了传统直接拼接或直接微调方式带来的梯度震荡和灾难性遗忘问题，在保持原有高质量生成先验的同时，稳步增强模型的结构控制能力。

36、4、本发明在推理阶段能够分别接收结构流图像和布局流图像，将结构流图像中的家具几何形态、空间位置和透视关系作为几何结构语义输入，将布局流图像中的光照氛围、色温风格和材质质感作为连续布局语义输入，通过可训练副本模块生成多尺度结构控制信号并注入冻结的布局语义主干网络的解码过程，最终生成同时继承前者结构特征和后者风格氛围的目标室内场景图像。这种跨图像语义重组能力使本发明不仅能够完成单一图像条件下的生成和编辑，还能够支持不同来源图像的结构与风格自由组合，扩展了模型在室内设计预览、风格迁移和交互式辅助设计等场景中的应用空间。

37、5、本发明在训练过程中仅更新结构特征提取分支（包括kandiff可训练副本模块以及双重零卷积模块）的参数，冻结的布局语义主干网络（kandiff）的参数始终保持不变。这种设计在不需要整体重训大规模扩散模型的前提下，仅通过新增控制分支和特征注入模块即可实现功能增强，有利于降低训练成本和部署难度，也便于在已有生成模型基础上进行模块化扩展。