图像生成方法、装置、计算机设备及存储介质与流程

摘要: 本申请涉及人工智能,适用于金融科技领域和医疗科技领域,尤其涉及一种图像生成方法、装置、计算机设备及存储介质。背景技术:1、图像生成技术可以以自然语言文本描述为提...
图像生成方法、装置、计算机设备及存储介质与流程

本申请涉及人工智能,适用于金融科技领域和医疗科技领域,尤其涉及一种图像生成方法、装置、计算机设备及存储介质。

背景技术:

1、图像生成技术可以以自然语言文本描述为提示生成对应的视觉图像。图像生成技术可以应用于多个应用场景。例如在金融科技场景中,可以根据金融机构提供的提示文本生成理财宣传海报、保险产品介绍图、社交媒体配图、虚拟客服形象等;在医疗科技场景中,可以根据医生的描述生成医学科普配图、医学知识教育素材等。

2、目前,基于提示的图像生成技术采用对提示文本进行处理生成像素级生成条件的方式指导图像生成。然而,由于图像生成过程中通过分离高低维潜在空间实现分辨率缩放,像素级生成条件无法在不同分辨率下同步调控特征表达的一致性,影响了生成图像的自然度与细节表达准确性。

技术实现思路

1、本申请实施例提供一种图像生成方法、装置、计算机设备及存储介质,以解决由于图像生成过程中像素级生成条件无法在不同分辨率下同步调控特征表达的一致性,影响了生成图像的自然度与细节表达准确性的技术问题。

2、第一方面,提供了一种图像生成方法,包括:

3、获取多模态合成提示信息;

4、对所述多模态合成提示信息进行编码处理,得到图像生成提示嵌入;

5、基于所述图像生成提示嵌入进行分层映射,得到多层级图像调制参数;

6、基于所述多层级图像调制参数进行逐级图像合成,得到目标图像合成特征;

7、基于所述目标图像合成特征进行图像重建,得到目标合成图像。

8、第二方面,提供了一种图像生成装置,包括:

9、多模态合成提示信息模块,用于获取多模态合成提示信息;

10、提示信息编码处理模块,用于对所述多模态合成提示信息进行编码处理,得到图像生成提示嵌入;

11、提示分层映射模块,用于基于所述图像生成提示嵌入进行分层映射,得到多层级图像调制参数;

12、逐级图像合成模块,用于基于所述多层级图像调制参数进行逐级图像合成,得到目标图像合成特征;

13、图像重建模块,用于基于所述目标图像合成特征进行图像重建,得到目标合成图像。

14、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述图像生成方法的步骤。

15、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述图像生成方法的步骤。

16、上述图像生成方法、装置、计算机设备及存储介质所实现的方案中,可用于金融科技和医疗科技的图像生成场景,首先获取多模态合成提示信息,能够融合文本、图像等多种输入,提升提示表达的丰富性与灵活性,并对多模态合成提示信息进行编码处理,得到图像生成提示嵌入,有效消除模态间语义差异,增强跨模态对齐能力。接着,基于图像生成提示嵌入进行分层映射,得到多层级图像调制参数,实现从全局布局到局部细节的细粒度分层控制。进一步地,基于多层级图像调制参数进行逐级图像合成,得到目标图像合成特征,由粗到细逐步构建,显著提升生成质量与结构一致性。最后,基于目标图像合成特征进行图像重建,得到目标合成图像,确保输出结果具有多模态语义准确性,能够解决由于图像生成过程中像素级生成条件无法在不同分辨率下同步调控特征表达的一致性,影响了生成图像的自然度与细节表达准确性的技术问题,提升生成图像的自然度与细节表达准确性。

1.一种图像生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的图像生成方法,其特征在于,所述多层级图像调制参数包括多个图像合成尺度的图像合成参数,所述基于所述多层级图像调制参数进行逐级图像合成,得到目标图像合成特征,包括:

3.根据权利要求2所述的图像生成方法,其特征在于,所述基于所述当前合成尺度的所述图像合成参数对预设的基准噪声数据进行条件图像生成,得到原始图像合成特征,包括:

4.根据权利要求2所述的图像生成方法,其特征在于,所述对所述原始图像合成特征和所述下层图像合成特征进行注意力计算,得到初始图像合成特征,包括:

5.根据权利要求2所述的图像生成方法,其特征在于,所述对所述初始图像合成特征进行噪声注入,得到所述目标图像合成特征,包括:

6.根据权利要求1所述的图像生成方法,其特征在于,所述多层级图像调制参数包括多个图像合成尺度的图像合成参数,所述基于所述图像生成提示嵌入进行分层映射,得到多层级图像调制参数,包括:

7.根据权利要求1至6任一项所述的图像生成方法,其特征在于,所述多模态合成提示信息包括文本型提示条件、标签型提示条件和图像型提示条件,所述对所述多模态合成提示信息进行编码处理,得到图像生成提示嵌入,包括:

8.一种图像生成装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图像生成方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像生成方法的步骤。