基于锯齿路径采样的图像生成方法

摘要: 本发明属于流匹配图像生成领域,具体涉及一种基于锯齿路径采样的图像生成方法。背景技术:1、随着深度学习技术的发展,扩散模型和流匹配模型在图像生成领域取得了显著成功...
基于锯齿路径采样的图像生成方法

本发明属于流匹配图像生成领域,具体涉及一种基于锯齿路径采样的图像生成方法。

背景技术:

1、随着深度学习技术的发展,扩散模型和流匹配模型在图像生成领域取得了显著成功。这些模型能够根据文本提示生成高质量、高分辨率的图像,广泛应用于各个领域。

2、然而,现有的流匹配模型在推理过程中往往存在模式坍塌问题,即多次生成的结果在语义和结构上高度相似,缺乏多样性。为解决这一问题,研究人员提出了多种方法:一是通过修改初始噪声向量进行独立同分布采样,但该方法计算冗余且难以探索局部模式;二是通过修改文本提示嵌入来引导生成,如ruan等人在《promptmog: enhancingdiversity in long-prompt image generation via prompt embedding mixture-of-gaussian sampling》一文中提出通过混合高斯建模优化文本提示嵌入以促进多样性生成,但该方法容易触发全局语义漂移,导致非目标区域的视觉内容也发生不期望的改变;三是通过联合采样策略同时生成多个样本,如corso等人在《particle guidance: non-i.i.d.diverse sampling with diffusion models》一文中提出通过粒子间势能引导多个样本联合生成,但该方法显存开销大,难以在消费级gpu上部署。

技术实现思路

1、本发明提出了一种基于锯齿路径采样的图像生成方法,通过锯齿形,即前向-反向-前向采样路径,在保持全局结构的前提下实现局部多样化生成。

2、实现本发明的技术解决方案为:一种基于锯齿路径采样的图像生成方法,步骤如下:

3、步骤s1、根据输入的原始文本提示生成原始彩色图像,获取原始彩色图像的二进制掩码矩阵作为目标掩码区域,用于表示原始彩色图像中需要进行多样化生成的区域,转入步骤s2。

4、步骤s2、构建流匹配模型:

5、所述流匹配模型包括速度预测函数和图像解码器,速度预测函数用于计算引导速度场,图像解码器用于生成目标图像。

6、将流匹配模型的正向生成过程的时间区间划分为n个离散时间步;从预设先验概率分布中随机采样得到初始噪声潜变量;以初始噪声潜变量作为生成起点,以输入的原始文本提示作为条件输入,执行正向生成过程,得到当前时间步t对应的生成潜变量,保存各时间步对应的生成潜变量作为一条原始生成轨迹,同时作为后续步骤中背景保持项的参考基准;转入步骤s3。

7、步骤s3、根据当前时间步t对应的生成潜变量和步骤s1中的目标掩码区域,构建能量函数,计算当前时间步t对应的能量函数值;若当前时间步的能量函数值相较于上一时间步的能量函数值未下降,则判定不满足预设优化条件,转入步骤s4;若下降,则判定满足优化条件,进入下一时间步,令t=t+1,并得到当前时间步对应的生成潜变量,重新执行步骤s3。

8、步骤s4、构造随机化提示,随机化提示由原始文本提示与至少一个随机词汇组合而成,基于随机化提示,流匹配模型执行反向擦除过程:

9、利用速度预测函数计算一个反向引导速度场,用于引导当前时间步t对应的生成潜变量沿时间步回溯预设步数,利用随机化提示对目标掩码区域对应的生成内容进行擦除,得到回溯后的生成潜变量,转入步骤s5。

10、步骤s5、将回溯后的生成潜变量作为新的生成起点,基于原始文本提示执行前向重绘过程构建修正后的前向速度场,利用重新生成至时间步t,前向重绘过程中仅对目标掩码区域进行重新生成,保持非目标掩码区域与原始生成轨迹一致,得到更新后的生成潜变量,转入步骤s6。

11、步骤s6、重复步骤s3到步骤s5,直至达到预设总离散时间步数n,得到最终生成潜变量,将最终生成潜变量输入图像解码器,生成目标图像。

12、本发明与现有技术相比,其显著优点在于:

13、(1)首次提出了锯齿路径采样的图像生成方法。现有流匹配模型均采用确定性直路径常微分方程采样,每次生成结果高度相似。本发明突破这一范式,通过交替执行反向擦除与前向重绘,使生成轨迹呈现锯齿形,在保持全局结构的前提下显著提升局部多样性。

14、(2)首次提出了基于能量函数的擦除-重绘机制。现有方法通过修改初始噪声或文本提示来增加多样性,前者计算冗余且难以探索局部模式,后者容易触发全局语义漂移。本发明通过构建包含背景保持项和多样性驱动项的能量函数,在单一生成过程中同时兼顾全局一致性与局部多样性。

15、(3)首次提出了基于随机化提示的反向擦除策略。现有技术中常微分方程系统的可逆性导致反向过程无法偏离原始生成轨迹,本发明通过向原始文本提示中添加随机词汇构造随机化提示,并计算反向引导速度场,使反向路径产生受控语义偏移,从而实现目标区域内容的定向擦除。

1.一种基于锯齿路径采样的图像生成方法,其特征在于,步骤如下:

2.根据权利要求1所述的基于锯齿路径采样的图像生成方法,其特征在于,步骤s1中,获取目标掩码区域通过以下至少一种方式:

3.根据权利要求2所述的基于锯齿路径采样的图像生成方法,其特征在于,流匹配模型执行正向生成过程完成n个离散时间步后,将第n个时间步对应的生成潜变量作为一个历史生成结果。

4.根据权利要求3所述的基于锯齿路径采样的图像生成方法,其特征在于,步骤s3中,根据当前时间步t对应的生成潜变量和目标掩码区域构建能量函数,计算当前时间步对应的能量函数值;其中,能量函数包括背景保持项和多样性驱动项,背景保持项用于约束非目标掩码区域和原始生成轨迹中对应时间步的原始生成潜变量保持一致,多样性驱动项用于约束目标掩码区域和历史生成结果产生差异,具体如下:

5.根据权利要求4所述的基于锯齿路径采样的图像生成方法,其特征在于,步骤s3中,若当前时间步的能量函数值相较于上一时间步的能量函数值未下降,则判定不满足预设优化条件,具体如下:

6.根据权利要求5所述的基于锯齿路径采样的图像生成方法,其特征在于,步骤s4中,构造随机化提示,具体如下:

7.根据权利要求6所述的基于锯齿路径采样的图像生成方法,其特征在于,步骤s4中,利用速度预测函数计算一个反向引导速度场,引导当前时间步t对应的生成潜变量沿时间步回溯预设步数,利用随机化提示对目标掩码区域对应的生成内容进行擦除,得到回溯后的生成潜变量,具体如下:

8.根据权利要求7所述的基于锯齿路径采样的图像生成方法,其特征在于,步骤s5中,将回溯后的生成潜变量作为新的生成起点,基于原始文本提示执行前向重绘过程:    构建修正后的前向速度场,利用重新生成至时间步t,过程中仅对目标掩码区域进行重新生成,保持非目标掩码区域与原始生成轨迹一致,得到更新后的生成潜变量,具体如下:

9.根据权利要求8所述的基于锯齿路径采样的图像生成方法,其特征在于:步骤s6中生成的目标图像大小为,其中h表示图像高度,w表示图像的宽度。