图像生成方法、装置、设备、存储介质及计算机程序产品与流程

本公开涉及图像处理领域，尤其涉及图像生成方法、装置、设备、存储介质及计算机程序产品。

背景技术：

1、随着人工智能(artificialintelligence，ai)技术的发展，多种ai模型被广泛应用在各类应用场景中。例如，在图像生成场景中，可以基于文本到图像生成模型(text-to-image generator)进行图像生成。

2、相关技术中，基于给定的文本或参考图像，生成包含参考图像中部分特征，并且与给定文本语义相近的图像是一种图像生成方式。但在基于上述图像生成方式生成过程中，并不能准确生成用户所需要的图像。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种图像生成方法、装置、设备、存储介质及计算机程序产品。

2、根据本公开一些实施例，提供一种图像生成方法，包括：获取输入图像、输入文本和参考图像，其中，所述输入图像用于以图像形式描述目标图像的内容，所述输入文本用于以文本形式描述目标图像的内容，所述参考图像用于确定所述目标图像的风格；获取输入图像的第一特征、输入文本的第二特征和参考图像的第三特征；将所述第二特征和第三特征进行特征融合，得到图文融合特征；基于所述第一特征和所述图文融合特征，生成所述目标图像。

3、根据本公开一些实施例，所述参考图像的第三特征通过如下方式获取：提取所述参考图像中抑制语义信息的图像内容特征，作为第三特征，所述抑制语义信息表示参考图像中的语义信息不参与特征提取。

4、根据本公开一些实施例，所述提取所述参考图像中抑制语义信息的图像内容特征，包括：将所述参考图像分割为多个子块，对所述子块随机排序并对每个所述子块进行图像特征提取，得到子块内容特征；基于所述子块内容特征，确定所述抑制语义信息的图像内容特征。

5、根据本公开一些实施例，基于所述子块内容特征，确定所述抑制语义信息的图像内容特征，包括：对每个所述子块进行编码，得到图像编码特征；将所述图像编码特征与随机重排后的所述子块内容特征进行随机插值融合，得到随机插值融合的子块内容特征；基于所述随机插值融合的子块内容特征，确定所述抑制语义信息的图像内容特征。

6、根据本公开一些实施例，基于所述随机插值融合的子块内容特征，确定所述抑制语义信息的图像内容特征，包括：将属于同一参考图像的所述随机插值融合的子块内容特征进行全局特征提取，得到全局特征；基于所述全局特征，确定所述抑制语义信息的图像内容特征。

7、根据本公开一些实施例，将所述第二特征和第三特征进行特征融合，包括：通过交叉注意力整合第二特征的信息，得到第一控制条件，以及通过交叉注意力整合第三特征的信息得到第二控制条件；对所述第一控制条件和所述第二控制条件进行卷积计算和最大池化，得到第三控制条件；基于所述第一控制条件、所述第二控制条件和所述第三控制条件，通过编码器进行特征融合，得到所述图文融合特征。

8、根据本公开一些实施例，所述基于所述第一特征、第二特征和第三特征，生成所述目标图像，包括：确定扩散生成模型和所述扩散生成模型的初始噪声，其中，所述扩散生成模型用于进行目标图像生成；基于所述图文融合特征和所述第一特征获取所述扩散生成模型的控制条件；基于所述扩散生成模型的控制条件和所述图文融合特征，对所述初始噪声进行去噪，生成所述目标图像。

9、根据本公开一些实施例，所述扩散生成模型包括用于生成控制条件的控制模型，和用于根据所述控制条件生成图像的主干模型；通过如下方式训练所述扩散生成模型：获取第一训练数据和第二训练数据，其中，第一训练数据包括输入文本训练数据和参考图像训练数据，所述第二训练数据集包括输入图像训练数据、输入文本训练数据和参考图像训练数据；将所述第一训练数据输入待训练的扩散生成模型中的主干模型，调整所述扩散生成模型的参数，直至待训练的扩散生成模型生成的目标图像满足设定的第一条件；将所述第二训练数据输入待训练的扩散生成模型中的主干模型和控制模型，调整所述扩散生成模型的参数，直至待训练的扩散生成模型生成的图片满足设定的第二条件，得到训练完成的扩散生成模型。

10、根据本公开一些实施例，提供一种图像生成装置，包括：获取单元，被配置为用于获取输入图像、输入文本和参考图像，其中，所述输入图像用于以图像形式描述目标图像的内容，所述输入文本用于以文本形式描述目标图像的内容，所述参考图像用于确定所述目标图像的风格；提取单元，被配置为用于获取输入图像的第一特征、输入文本的第二特征和参考图像的第三特征；还用于将所述第二特征和第三特征进行特征融合，得到图文融合特征；生成单元，被配置为用于基于所述第一特征和所述图文融合特征，生成所述目标图像。

11、根据本公开一些实施例，所述提取单元通过如下方式获取所述参考图像的第三特征：提取所述参考图像中抑制语义信息的图像内容特征，作为第三特征，所述抑制语义信息表示参考图像中的语义信息不参与特征提取。

12、根据本公开一些实施例，所述提取单元通过如下方式提取所述参考图像中抑制语义信息的图像内容特征：将所述参考图像分割为多个子块，对所述子块随机排序并对每个所述子块进行图像特征提取，得到子块内容特征；基于所述子块内容特征，确定所述抑制语义信息的图像内容特征。

13、根据本公开一些实施例，所述提取单元通过如下方式基于所述子块内容特征，确定所述抑制语义信息的图像内容特征：对每个所述子块进行编码，得到图像编码特征；将所述图像编码特征与随机重排后的所述子块内容特征进行随机插值融合，得到随机插值融合的子块内容特征；基于所述随机插值融合的子块内容特征，确定所述抑制语义信息的图像内容特征。

14、根据本公开一些实施例，所述提取单元通过如下方式基于所述随机插值融合的子块内容特征，确定所述抑制语义信息的图像内容特征：将属于同一参考图像的所述随机插值融合的子块内容特征进行全局特征提取，得到全局特征；基于所述全局特征，确定所述抑制语义信息的图像内容特征。

15、根据本公开一些实施例，所述生成单元通过如下方式将所述第二特征和第三特征进行特征融合，得到图文融合特征：通过交叉注意力整合第二特征的信息，得到第一控制条件，以及通过交叉注意力整合第三特征的信息得到第二控制条件；对所述第一控制条件和所述第二控制条件进行卷积计算和最大池化，得到第三控制条件；基于所述第一控制条件、所述第二控制条件和所述第三控制条件，通过编码器进行特征融合，得到所述图文融合特征。

16、根据本公开一些实施例，所述生成单元通过如下方式基于所述第一特征和所述图文融合特征，生成所述目标图像：确定扩散生成模型和所述扩散生成模型的初始噪声，其中，所述扩散生成模型用于进行目标图像生成；基于所述图文融合特征和所述第一特征获取所述扩散生成模型的控制条件；基于所述扩散生成模型的控制条件和所述图文融合特征，对所述初始噪声进行去噪，生成所述目标图像。

17、根据本公开一些实施例，所述扩散生成模型包括用于生成控制条件的控制模型，和用于根据所述控制条件生成图像的主干模型；通过如下方式训练所述扩散生成模型：获取第一训练数据和第二训练数据，其中，第一训练数据包括输入文本训练数据和参考图像训练数据，所述第二训练数据集包括输入图像训练数据、输入文本训练数据和参考图像训练数据；将所述第一训练数据输入待训练的扩散生成模型中的主干模型，调整所述扩散生成模型的参数，直至待训练的扩散生成模型生成的目标图像满足设定的第一条件；将所述第二训练数据输入待训练的扩散生成模型中的主干模型和控制模型，调整所述扩散生成模型的参数，直至待训练的扩散生成模型生成的图片满足设定的第二条件，得到训练完成的扩散生成模型。

18、根据本公开一些实施例，提供另一种图像生成设备，包括：处理器；用于存储处理器可执行的计算机程序或指令的存储器；其中，所述处理器被配置为：执行所述计算机程序或指令，以实现本公开一些实施例中任一项所述的图像生成方法的步骤。

19、根据本公开一些实施例，提供一种存储介质，包括：所述存储介质存储有计算机程序或指令，当所述存储介质中的所述计算机程序或指令由图像生成设备的处理器执行时，使得图像生成设备能够执行本公开一些实施例中任一项所述的图像生成方法。

20、根据本公开一些实施例，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开一些实施例中任一项所述的图像生成方法。

21、本公开的实施例提供的技术方案可以包括以下有益效果：一方面由于输入图像和参考图像均为视觉数据，并且通过将参考图像的特征与输入文本的特征进行融合后，与输入图像的特征生成控制条件，使得依据控制条件生成目标图像生成带有参考图像的图像内容特征的目标图像时，能够保留参考图像中丰富的视觉信息，进而提高了生成的目标图像的精度。另一方面，由于将参考图像作为生成控制条件的输入信息，以使生成的目标模型具有参考图像的风格特征，增加了能够生成目标图像的风格类型。

22、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。