一种系列图提示词生成模型训练方法和系列图生成方法与流程
本发明涉及图像生成领域,具体而言,涉及一种系列图提示词生成模型训练方法和系列图生成方法。
背景技术:
1、在当前人工智能和图像生成技术快速发展的背景下,基于文本生成图像的技术已经在多个领域展现出应用潜力。随着应用场景的不断拓展,用户对生成图像的一致性、主题连贯性和视觉风格统一性提出了更高要求。尤其是在需要多张图像协同呈现同一主题的场景下,比如宣传展示、视觉设计等,往往涉及多种构图类型和不同的画面布局,若每张图像都是单独生成,极易出现主题偏离或视觉风格割裂等问题,影响整体表达效果。
2、目前对于系列化图像的处理,通常依赖于人工干预或后处理手段来协调多图之间的关联性,处理效率低且难以规模化。
技术实现思路
1、有鉴于此,本发明实施例提供了一种系列图提示词生成模型训练方法和系列图生成方法,以通过提升系列图提示词的一致性和可用性,提高系列图生成效率和系列化呈现效果。
2、第一方面,提供了一种系列图提示词生成模型训练方法,所述方法包括:
3、获取同一系列主题下多种构图类型分别对应的训练图像;
4、调用图生文模型分别生成各所述训练图像对应的初始提示词;
5、将多个所述训练图像和各所述训练图像对应的初始提示词关联为一个系列图提示词组;
6、分别从各所述系列图提示词组中提取核心对象实体;
7、分别以所述核心对象实体为约束条件,指示大语言视觉模型对对应系列图提示词组中的其他初始提示词进行语义一致性校正,生成结构化提示词序列,所述语义一致性校正包括跨构图类型的系列主题描述校正、视觉风格描述校正和文本内容校正;
8、基于所述系列图提示词组中的训练图像和对应的结构化提示词序列,构建微调样本集合;
9、根据所述微调样本集合,对经过预训练的多模态模型进行监督微调,获得第一提示词生成模型;
10、根据强化学习策略优化所述第一提示词生成模型,获得目标提示词生成模型;
11、其中,所述强化学习的奖励信号由提示词质量评估模型提供,所述提示词质量评估模型根据系列图提示词对系列图生成能力的预测表现输出对应的量化评分。
12、第二方面,提供了一种系列图生成方法,所述方法包括:
13、获取目标系列信息,所述目标系列信息包括系列主题;
14、将所述目标系列信息输入目标提示词生成模型,生成对应的结构化提示词序列,所述结构化提示词序列包含分别适配于多种预设的构图类型的多条提示词,且各所述提示词在系列主题、视觉风格和文本特征上保持跨构图类型的一致性;
15、将所述结构化提示词序列输入文生图模型,生成对应的系列图像,所述系列图像包含各所述构图类型分别对应的图像;
16、其中,所述目标提示词生成模型根据第一方面所述的方法训练得到。
17、第三方面,提供了一种系列图提示词生成模型训练装置,所述装置包括:
18、图像获取模块,用于获取同一系列主题下多种构图类型分别对应的训练图像;
19、提示词生成模块,用于调用图生文模型分别生成各所述训练图像对应的初始提示词;
20、提示关联模块,用于将多个所述训练图像和各所述训练图像对应的初始提示词关联为一个系列图提示词组;
21、对象提取模块,用于分别从各所述系列图提示词组中提取核心对象实体;
22、序列生成模块,用于分别以所述核心对象实体为约束条件,指示大语言视觉模型对对应系列图提示词组中的其他初始提示词进行语义一致性校正,生成结构化提示词序列,所述语义一致性校正包括跨构图类型的系列主题描述校正、视觉风格描述校正和文本内容校正;
23、样本构建模块,用于基于所述系列图提示词组中的训练图像和对应的结构化提示词序列,构建微调样本集合;
24、监督微调模块,用于根据所述微调样本集合,对经过预训练的多模态模型进行监督微调,获得第一提示词生成模型;
25、强化学习模块,用于根据强化学习策略优化所述第一提示词生成模型,获得目标提示词生成模型;
26、其中,所述强化学习的奖励信号由提示词质量评估模型提供,所述提示词质量评估模型根据系列图提示词对系列图生成能力的预测表现输出对应的量化评分。
27、第四方面,提供了一种系列图生成装置,所述装置包括:
28、信息获取模块,用于获取目标系列信息,所述目标系列信息包括系列主题;
29、提示词生成模块,用于将所述目标系列信息输入目标提示词生成模型,生成对应的结构化提示词序列,所述结构化提示词序列包含分别适配于多种预设的构图类型的多条提示词,且各所述提示词在系列主题、视觉风格和文本特征上保持跨构图类型的一致性;
30、图像生成模块,用于将所述结构化提示词序列输入文生图模型,生成对应的系列图像,所述系列图像包含各所述构图类型分别对应的图像;
31、其中,所述目标提示词生成模型根据第一方面所述的方法训练得到。
32、第五方面,提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如上述第一方面或第二方面所述的方法。
33、第六方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面或第二方面所述的方法。
34、第七方面,提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如上述第一方面或第二方面所述的方法。
35、本发明实施例的系列图提示词生成模型训练方法首先获取多种构图类型的系列图像,并基于图像分别反推其初始提示词,并从中提取核心对象实体,随后,以该核心对象实体为约束,利用多模态大语言模型对各初始提示词进行跨构图类型的语义一致性校正,确保多个提示词在系列主题、视觉风格和文本特征的统一,形成结构化提示词序列,基于系列图像和结构化提示词序列构建微调样本集合,对预训练多模态模型进行监督微调,并进一步结合强化学习策略进行优化,得到系列图提示词生成模型,其中强化学习的奖励信号由提示词质量评估模型提供,该模型根据系列图提示词对系列图生成能力的预测表现输出对应的量化评分。上述方法通过引入核心对象约束与多维度语义校正机制,显著提升系列图提示词的一致性和可用性,有效解决了现有图像生成工具难以自动生成风格统一、具备系列感的多类型图像的问题,基于上述系列图提示词生成模型生成的结构化提示词序列强调系列感,使用该结构化提示词序列驱动文生图模型生成的多张图像具有统一主题、视觉风格,整体呈现系列感。
1.一种系列图提示词生成模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述分别从各所述系列图提示词组中提取核心对象实体,包括:
3.根据权利要求2所述的方法,其特征在于,所述构图类型至少包括对象主体图;
4.根据权利要求3所述的方法,其特征在于,所述对象主体图为核心对象实体占图像总面积超过预设比例的图像,所述构图类型还包括多种尺寸和构图结构的海报图和招贴图。
5.一种系列图生成方法,其特征在于,所述方法包括:
6.一种系列图提示词生成模型训练装置,其特征在于,所述装置包括:
7.一种系列图生成装置,其特征在于,所述装置包括:
8.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-5中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现如权利要求1-5中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com