一种融合扩散模型与超像素超图卷积的风格自适应图像编辑方法

本发明涉及计算机视觉与图像生成技术，具体涉及一种基于扩散模型的跨风格个性化图像编辑方法。

背景技术：

1、个性化图像编辑（personalized image editing）旨在将参考图像中的特定前景主体、结构信息或风格属性迁移至目标背景图像中，同时保持目标图像整体语义布局、视觉协调性以及前景主体的细粒度结构与纹理特征，从而生成自然融合且风格一致的编辑图像。其中，跨风格图像融合（cross-style image composition）是通用实体个性化图像编辑中的典型任务，其目标是将真实或艺术化前景物体自然融入到具有不同艺术风格或语义域的背景图像中，例如将真实前景物体融合至油画、水墨、素描、动漫、抽象派等背景场景中。该技术在数字内容创作、广告设计、影视特效制作、虚拟现实、增强现实以及艺术化图像合成等场景中具有广泛应用价值。

2、早期的跨风格图像融合研究主要依赖传统图像处理与图形学技术，代表性工作如泊松图像编辑（pérez patrick, gangnet michel, and blake andrew. 2003. poissonimage editing, acm siggraph 2003 papers. 313-318.）和拉普拉斯金字塔融合（burtpeter j. and adelson edward h. 1983. a multiresolution spline withapplication to image mosaics, acm transactions on graphics. 2(4): 217-236.）等。此类方法通常通过梯度域融合、多频段融合或颜色迁移等方式缓解前景与背景之间的边界突兀和色彩不一致问题。尽管这类方法在简单真实图像拼接任务中能够取得一定效果，但其主要依赖低层像素统计和梯度信息，缺乏对高层语义结构与艺术风格的建模能力。当目标背景具有强烈艺术风格或前景与背景之间存在显著域差异时，传统方法往往无法对前景主体进行有效风格适配，容易产生明显的粘贴感、边界伪影以及风格割裂现象。

3、随着深度学习的发展，基于卷积神经网络（cnn）和生成对抗网络（gan）的图像编辑方法逐渐被用于风格迁移、图像和谐化以及跨域图像合成任务，代表性工作包括神经风格迁移方法（gatys leon a., ecker alexander s., and bethge matthias. 2016. imagestyle transfer using convolutional neural networks, ieee conference oncomputer vision and pattern recognition. 2414-2423.）、cyclegan（zhu jun-yan,park taesung, isola phillip, and efros alexei a. 2017. unpaired image-to-image translation using cycle-consistent adversarial networks, ieeeinternational conference on computer vision. 2223-2232.）、dovenet（cong wenyan,zhang jianfu, niu li, et al. 2020. dovenet: deep image harmonization viadomain verification, ieee/cvf conference on computer vision and patternrecognition. 8394-8403.）以及artopih（niu li, cao junyan, hong yan, et al.2024. painterly image harmonization by learning from painterly objects, aaaiconference on artificial intelligence. 4343-4351.）等。此类方法通过学习前景与背景之间的颜色、光照、纹理或风格映射关系，提升了图像编辑结果的真实感和风格化表现。然而，现有基于cnn或gan的方法仍存在明显不足：首先，其生成能力和泛化能力高度依赖训练数据分布，在未见过的艺术风格或复杂跨域场景下容易出现结构扭曲和纹理伪影；其次，此类方法通常难以同时兼顾前景主体结构保持与背景风格适配，容易在增强风格表达的同时破坏主体轮廓、局部部件和细粒度纹理；此外，部分图像和谐化方法仍依赖输入掩码进行局部区域处理，导致前景与背景过渡区域存在明显边缘痕迹和拼接感。

4、近年来，扩散模型（diffusion model）凭借其训练过程稳定、生成质量高及具备丰富通用视觉先验等优势，逐渐被引入图像编辑与跨域图像合成领域。现有的扩散式跨风格图像融合方法，如 paint by example（yang bin, gu shuyang, zhang bo, et al. 2023.paint by example: exemplar-based image editing with diffusion models, ieee/cvf conference on computer vision and pattern recognition. 18381-18391.）、tf-icon（lu shilin, liu yufei, and kong adams wai-kin. 2023. tf-icon: diffusion-based training-free cross-domain image composition, ieee/cvf internationalconference on computer vision. 2294-2305.）、tale（pham khoi thanh, chen jiahui,and chen qifeng. 2024. tale: training-free cross-domain image composition viaadaptive latent manipulation and energy-guided optimization, acminternational conference on multimedia. 3160-3169.）以及 aicomposer（li h., fanz., wen z., zhu z., li y. 2025. aicomposer: any style and content imagecomposition via feature integration, proceedings of the ieee/cvfinternational conference on computer vision. 16840-16850.）等，通常利用预训练扩散模型的生成先验，通过参考图像特征注入、注意力控制、潜在空间优化或特征融合等方式实现前景主体与背景图像之间的跨域融合。其中，aicomposer进一步提出了一种无需文本提示的跨域图像合成框架，通过轻量级多层感知机融合前景图像与背景图像的clip图像特征，并结合局部交叉注意力机制控制扩散生成过程，以实现前景内容保持和背景风格迁移。相比传统方法，扩散模型能够生成更加真实和多样化的图像内容，并在一定程度上提升跨风格图像融合质量。

5、然而，现有基于扩散模型的跨风格个性化图像编辑方法仍面临显著技术瓶颈。首先，现有方法多依赖clip等预训练编码器提取的高层语义特征表征前景主体，该类语义特征虽然能够描述物体类别和整体语义，但往往难以完整保留前景主体的细粒度纹理、几何轮廓和特定局部细节。例如，paint by example虽然能够生成语义一致的物体，但难以精确保留参考图像中特定主体的细节纹理和结构特征。其次，现有特征注入、局部交叉注意力或潜在空间优化方法虽然能够在一定程度上提升前景与背景的融合效果，但缺乏对前景与背景之间区域级结构关系的显式建模，在强风格化或复杂几何背景中仍容易出现前景边缘模糊、主体结构变形或局部细节丢失等问题。例如，tf-icon虽然能够在无需训练的情况下实现跨域图像合成，但其特征注入策略对复杂风格背景的自适应能力有限；aicomposer通过融合前景与背景的clip图像特征改善了跨域合成效果，但其主要在高层语义特征层面实现内容与风格融合，仍缺乏对超像素区域、局部边界和高阶结构关系的精细建模；tale虽然通过潜在空间优化增强了前景对背景风格的适应能力，但其优化过程计算成本较高，且过强的风格化约束可能破坏前景主体原有结构，导致过度风格化和细节失真。

6、现有跨风格个性化图像编辑方法在实际应用中主要面临以下问题：（1）前景主体细粒度结构保持不足，容易在强风格化过程中出现轮廓模糊、纹理细节丢失、局部部件扭曲等问题；（2）前景与背景之间缺乏有效的区域级结构建模，导致边界过渡不自然，容易产生拼接痕迹、矩形伪影或视觉割裂感；（3）结构保持与风格迁移之间难以平衡，过强的风格迁移会破坏主体结构，而过强的内容保持又会削弱前景与背景之间的风格协调性；（4）现有方法缺少对生成结果结构一致性的自评估约束，难以及时抑制编辑过程中产生的结构漂移。

7、综上，现有技术难以满足高精度、高自然度的跨风格个性化图像编辑需求。

技术实现思路

1、本发明的目的在于针对现有扩散模型图像编辑方法中主体结构易退化、细粒度纹理丢失、前景背景风格融合不协调、编辑结构漂移等问题，提供一种融合扩散模型与超像素超图卷积的风格自适应图像编辑方法，通过多模块协同优化，大幅提升跨风格图像编辑的结构保真度、细节完整性与视觉协调性。

2、为实现上述发明目的，本发明提供以下技术方案：

3、本发明所述的一种融合扩散模型与超像素超图卷积的风格自适应图像编辑方法，包括以下步骤：

4、a. 设计基于扩散模型的潜在空间初始化模块：

5、a1. 对输入的前景图像与背景图像分别进行去噪扩散隐式反演（ddiminversion），获得对应的潜在表示；

6、a2. 在扩散模型的去噪过程中，根据编辑区域将前景潜在表示与背景潜在表示进行融合，生成用于后续编辑的初始潜在表示；

7、b. 设计基于超像素超图卷积的结构增强模块：

8、b1. 利用超像素分割算法对融合图像进行区域划分，并通过注意力池化生成区域级语义表示；

9、b2. 构建包含监督超边与语义超边的跨图像超图结构，并利用超图卷积网络进行高阶结构信息传播；

10、b3. 将增强后的结构特征重新注入扩散模型去噪过程，实现主体结构细节增强与前景背景边界优化；

11、c. 设计基于风格自适应变换的风格对齐模块：

12、c1. 执行白化-着色风格变换：在扩散模型unet的中间模块中，分别提取当前编辑图像对应的编辑特征图和背景图像对应的背景特征图，将编辑特征作为内容特征，将背景特征作为风格特征；通过白化操作去除编辑特征中的原始风格统计信息，再通过着色操作将背景图像的风格统计信息注入编辑特征，实现主体与背景之间的风格自适应对齐；

13、c2. 执行自适应风格融合策略：引入可学习的自适应权重因子，将风格变换后的编辑特征与原始编辑特征进行加权融合，控制风格迁移强度，在保持前景主体结构信息的同时生成风格协调的个性化编辑图像。

14、d. 设计自评估结构一致性约束模块，将生成结果通过反向风格化映射回原始前景风格空间，计算反向风格化结果与原始前景图像之间的结构一致性误差利用所述结构一致性误差约束生成过程，抑制编辑过程中的结构漂移，提高主体细节保真度；

15、e. 图像解码生成：控制扩散模型执行剩余全部去噪迭代流程，对最终潜在特征进行解码，输出完成跨风格融合、结构保真且风格协调的编辑图像。

16、在公开跨风格个性化图像编辑数据集及本发明构建的artcompose数据集上选取测试样本，将前景图像、背景图像及文本提示作为输入，利用所述融合扩散模型与超像素超图卷积的风格自适应图像编辑方法生成融合图像；通过计算背景感知距离（lpips forbackground）评估背景保留能力，计算前景感知距离（lpips for foreground）评估前景主体结构与细节保持能力，计算图像语义一致性得分（clip image score）评估生成图像与前景主体之间的语义一致性，并计算文本语义一致性得分（clip text score）评估生成图像与文本提示之间的语义一致性。

17、本发明通过设计“潜在初始化—结构增强—风格对齐—自评估约束”的协同框架，利用超像素超图卷积模块建模前景与背景之间的高阶结构关系，增强主体结构细节并优化边界过渡；结合风格自适应变换模块，通过白化-着色机制实现编辑特征与背景特征之间的风格统计对齐；进一步引入自评估结构一致性约束，通过反向风格化验证生成结果与原始前景之间的结构一致性，从而有效抑制结构漂移，显著提升跨风格个性化图像编辑结果的结构保真度、风格协调性与整体视觉自然度。

18、与现有技术相比，本发明的突出技术效果和优点在于：

19、1、本发明采用超像素结合超图卷积建模区域高阶结构，补充细节信息并优化前景、背景衔接边界，借助残差方式将增强特征融入扩散网络。实验表明，本发明方法前景细节留存能力优于全部对比方法，有效改善传统算法容易出现的主体变形、纹理丢失、拼接伪影等问题。

20、2、本发明依托白化-着色完成前景与背景的风格统计对齐，搭配可学习权重灵活调控风格迁移程度，既可以让前景色调、纹理适配背景艺术风格，保证画面整体协调，又能够避免过度风格化损毁主体轮廓细节，解决风格融合与内容保真难以兼顾的普遍难题；同时搭配反向风格化自评估约束，训练过程抑制主体结构漂移，进一步稳固细节效果，推理阶段无需启用约束，不会拖累生成效率。

21、3、本发明对背景原有纹理、色彩的保留程度最优，非编辑区域改动极小。方案以模块化形式接入通用预训练扩散模型，无需大规模重新训练，适配油画、水墨、动漫、写实等多种艺术风格，在复杂画面、陌生艺术风格下稳定性优于现有主流算法，适用场景更广。

22、4、本发明语义匹配精度高，图像、文本双向语义匹配指标整体最优，生成画面既能和原始前景保持语义统一，也可精准匹配文本编辑要求，适配多类个性化创作场景。整体架构模块化可插拔，无需改动扩散主干网络，训练、推理可灵活区分，支持微调优化与快速生成，适配云端、本地各类部署环境，工程迭代便捷。