一种基于多模态大模型的AIGC图像批量生产方法与系统与流程

摘要: 本发明涉及人工智能内容生成,尤其涉及一种基于多模态大模型的aigc图像批量生产方法与系统,具体应用于提示词库的智能构建、多模型动态路由、图文协同生成及风格一致性...
一种基于多模态大模型的AIGC图像批量生产方法与系统与流程

本发明涉及人工智能内容生成,尤其涉及一种基于多模态大模型的aigc图像批量生产方法与系统,具体应用于提示词库的智能构建、多模型动态路由、图文协同生成及风格一致性控制。

背景技术:

1、随着生成式人工智能技术的发展,基于文生图模型的图像生成已广泛应用于电商推广、内容运营、营销素材制作等场景。现有技术中,用户通常通过手动编写提示词并调用单一文生图模型接口逐张生成图像,生成后再借助图像编辑软件手动叠加推广文案,以完成最终的营销素材制作。

2、然而,现有aigc图像生产方式在实际应用中存在以下不足:

3、第一,提示词管理分散,难以复用。提示词通常以文档或表格形式分散存储,缺乏结构化的存储与检索机制,无法按照内容类型、利益点、功能点等维度进行标签化管理与快速检索,导致已验证有效的提示词难以被后续生产任务直接调用,重复编写工作量大。

4、第二,模型调用方式固定,算力资源配置不合理。不同文生图模型在生成质量、单次推理显存占用、响应速度方面存在差异,现有方案通常固定调用某一模型,无法根据生产任务的规模、交付时限及质量要求在多个可用模型之间进行动态选择,既可能因所选模型算力消耗高而造成资源浪费,也可能因所选模型故障而导致生产任务中断。

5、第三,文案生成与图像生成相互独立,缺乏协同。推广文案的制作与图像的生成分别由不同系统处理,图像生成完成后需人工将文案嵌入图像并调整版式,生产效率低,且不同批次图像的文案位置、字体、排版难以保持一致。

6、第四,大规模批量生成缺乏可靠的调度机制。当单次生产任务包含大量提示词时,若一次性全部提交至模型推理服务,容易超出模型单次推理上限,导致显存溢出或推理队列阻塞,现有方案缺乏分批处理、异步执行与失败重试的完整调度机制,难以保障百级乃至千级提示词批量生成任务的稳定执行。

7、第五,系列化图像的风格一致性依赖人工调整。在系列化图像生产中,为保持角色面部结构、画风、色彩体系跨图一致,通常需要逐张人工调整提示词或后期修图,现有方案缺乏通过提示词模板固化与参考图约束相结合的自动化风格控制手段,批量生产中风格漂移问题突出。

8、综上所述,现有aigc图像生产方式在提示词资产管理、模型资源优化配置、图文协同生产、批量任务调度以及风格一致性控制等方面均存在改进空间,难以满足大规模、高质量、风格统一的aigc图像批量生产需求。

技术实现思路

1、本发明的目的在于提供一种基于多模态大模型的aigc图像批量生产方法与系统,以解决现有aigc图像生产方式中提示词管理分散难以复用、固定调用单一模型导致算力资源配置不合理且缺乏容灾能力、文案制作与图像生成相互独立导致协同效率低且版式不一致、大规模批量生成缺乏分批异步调度与重试机制易引发显存溢出或队列阻塞,以及系列化图像生产缺乏自动化约束导致风格一致性难以维持的技术问题;通过构建提示词结构化标签管理机制、多模型动态路由策略、图文自动化协同渲染流程、分批异步任务调度体系以及基于多模态大模型的模板固化与参考图特征约束,实现大规模、高质量、高并发且风格高度统一的aigc图像自动化批量生产。

2、为实现上述目的,本发明第一方面提供一种基于多模态大模型的aigc图像批量生产方法,包括以下步骤:

3、s1,响应于提示词构建请求,判断构建模式为ai生成模式或批量导入模式;若为ai生成模式,调用本地部署的大语言模型基于主题、风格及数量参数批量生成提示词,对生成结果执行前n条预览,根据用户确认结果将剩余提示词分页异步入库,其中n为预设正整数;若为批量导入模式,解析数据表格文件并对提示词列执行非空校验与重复性校验后直接入库;

4、s2,接收包含提示词总量、交付时限及质量等级的生产任务,根据预设规则判定策略模式为吞吐量优先模式、质量优先模式或均衡模式;基于所述策略模式为质量评分、单次推理显存占用及历史平均响应时间分配差异化动态权重以计算各可用本地部署的文生图模型的综合决策分值,选取综合决策分值最大且未处于局部过载状态的文生图模型作为目标模型;当首选本地部署的文生图模型在预设时长内持续返回异常时,自动切换至备用本地部署的文生图模型并发送告警通知;其中,局部过载是指模型的推理队列长度超过预设队列上限或gpu显存剩余率低于预设安全阈值;

5、s3,当单次生产任务的提示词数量超过预设阈值时,将所述生产任务拆分为多个生产子批次,确保单个生产子批次的提示词数量不超过所述目标模型的单次推理上限,通过异步队列依次分发执行各生产子批次并持久化记录批次状态,以实现异常中断后的断点续传与失败重试;

6、s4,在调用所述目标模型对各生产子批次中的提示词进行批量图像推理生成的过程中,执行多模态特征协同约束与冲突消解:通过图文对比模型将所述风格锚定词与参考图分别映射至统一向量空间并计算相似度,在视觉维度提取参考图中角色面部关键特征点与背景色彩分布;若检测到风格语义冲突,则提升文本引导系数并压低参考图的风格特征权重;若检测到背景视觉冲突,则通过背景掩膜算法分离参考图的前景角色区域,仅将前景角色区域的特征向量输入模型,以约束系列化图像的面部结构一致性;

7、s5,基于版式控制参数执行图文协同渲染:在调用所述目标模型生成底图之前,解析版式控制参数以提取文案区与主体区的空间范围约束,并在提示词中追加构图约束指令以引导视觉主体避开所述文案区;在底图生成后通过图像分割算法检测视觉主体的实际空间分布,若视觉主体偏离预设主体区则触发提示词修正与二次生成,直至生成的底图与版式控制参数匹配后,将推广文案嵌入所述文案区并输出图文合成图像;

8、其中,提示词库输出的标签化提示词作为步骤s2中策略模式判定的任务特征输入,步骤s4中提取的参考图特征约束嵌入步骤s5的图像生成请求,各步骤通过数据接口协同配合实现批量图像的自动化生产。

9、进一步的,步骤s2中所述综合决策分值的计算公式为:

10、

11、其中,为综合决策分值,、、分别为质量评分、单次推理显存占用、历史平均响应时间对应的动态权重,、、分别为经归一化处理后的质量评分、显存占用量及响应时间;

12、所述策略模式的判定规则包括:当提示词总量大于等于预设数量阈值且交付时限小于等于预设时间阈值时,判定为吞吐量优先模式,此时低于和;当提示词总量小于预设数量阈值且质量等级为精细或超精细时,判定为质量优先模式,此时高于和;其余场景判定为均衡模式。

13、进一步的,步骤s2还包括:实时监测各本地部署的文生图模型的推理队列长度与gpu显存剩余率,当目标模型的推理队列长度超过预设队列上限或gpu显存剩余率低于预设安全阈值时,将所述目标模型的综合决策分值按预设惩罚系数折减并重新排序,选取次优模型;采用滑动窗口平均法动态更新各本地部署的文生图模型的质量评分、显存占用量及响应时间。

14、进一步的,步骤s5中解析版式控制参数以提取文案区与主体区的空间范围约束之后,还包括:根据文案区与主体区的空间范围约束差异化设置背景虚化强度,使文案区的背景虚化程度高于主体区;根据版式参数将推广文案按预设字体、位置与排版规则嵌入所述文案区。

15、进一步的,步骤s4中,当同时检测到风格语义冲突与背景视觉冲突时,启动双重锁定控制:第一重将文本引导系数提升至最高档位并重复强化风格锚定描述词;第二重对参考图执行前景精确分割,以仅编码面部几何结构信息的低维结构化特征向量输入模型,作为角色一致性的硬约束条件。

16、进一步的,步骤s3中对各生产子批次进行状态跟踪与持久化记录,包括:为每个生产子批次分配唯一的批次标识并绑定初始状态标记;在生产子批次执行过程中,实时更新所述批次标识对应的状态标记并持久化存储至存储实体中;若生产任务发生异常中断,在系统恢复后读取所述存储实体中记录的状态标记,识别出未完成状态的生产子批次,并基于所述未完成状态的生产子批次触发断点续传。

17、本发明第二方面提供一种基于多模态大模型的aigc图像批量生产系统,包括:

18、提示词库管理模块,用于接收提示词构建请求,判断构建模式为ai生成模式或批量导入模式;若为ai生成模式,调用本地部署的大语言模型基于主题、风格及数量参数批量生成提示词,并执行前n条预览与分页异步入库,其中n为预设正整数;若为批量导入模式,解析数据表格文件并对提示词列执行非空校验与重复性校验后直接入库;所述提示词库管理模块还用于对提示词条目进行多维标签标注与逻辑删除管理;

19、多模型动态路由模块,用于接收包含提示词总量、交付时限及质量等级的生产任务,根据预设规则判定策略模式为吞吐量优先模式、质量优先模式或均衡模式;基于所述策略模式为质量评分、单次推理显存占用及历史平均响应时间分配差异化动态权重以计算各可用本地部署的文生图模型的综合决策分值,选取综合决策分值最大且未处于局部过载状态的文生图模型作为目标模型;当首选本地部署的文生图模型在预设时长内持续返回异常时,自动切换至备用本地部署的文生图模型并发送告警通知;其中,局部过载是指模型的推理队列长度超过预设队列上限或gpu显存剩余率低于预设安全阈值;

20、异步分页调度模块,用于当单次生产任务的提示词数量超过预设阈值时,将所述生产任务拆分为多个生产子批次,确保单个生产子批次的提示词数量不超过所述目标模型的单次推理上限,通过异步队列依次分发执行各生产子批次并持久化记录批次状态,以实现异常中断后的断点续传与失败重试;

21、风格一致性控制模块,用于在调用所述目标模型进行批量图像推理生成的过程中,执行多模态特征协同约束与冲突消解:通过图文对比模型将所述风格锚定词与参考图分别映射至统一向量空间并计算相似度,在视觉维度提取参考图中角色面部关键特征点与背景色彩分布;若检测到风格语义冲突,则提升文本引导系数并压低参考图的风格特征权重;若检测到背景视觉冲突,则通过背景掩膜算法分离参考图的前景角色区域,仅将前景角色区域的特征向量输入模型,以约束系列化图像的面部结构一致性;

22、图文协同生成模块,用于基于版式控制参数执行图文协同渲染:在调用所述目标模型生成底图之前,解析版式控制参数以提取文案区与主体区的空间范围约束,并在提示词中追加构图约束指令以引导视觉主体避开所述文案区;在底图生成后通过图像分割算法检测视觉主体的实际空间分布,若视觉主体偏离预设主体区则触发提示词修正与二次生成,直至生成的底图与版式控制参数匹配后,将推广文案嵌入所述文案区并输出图文合成图像;

23、其中,所述提示词库管理模块输出的标签化提示词作为所述多模型动态路由模块的任务特征输入,所述风格一致性控制模块提取的参考图特征约束嵌入所述图文协同生成模块的图像生成请求,各模块通过数据接口协同配合实现批量图像的自动化生产。

24、进一步的,所述提示词库管理模块的ai生成模式包括:接收用户输入的主题、风格、数量参数,调用本地部署的大语言模型生成批量提示词;对生成结果进行前n条预览;根据用户确认结果,将剩余提示词按每批次不超过预设数量划分为异步任务依次入库。

25、进一步的,所述多模型动态路由模块包括:本地模型配置表,用于记录各本地部署的文生图模型的标识、推理服务地址、单次推理显存占用、质量评分、可用状态及最近一次错误时间;多指标联动决策单元,用于按照公式计算综合决策分值,并在目标模型的推理队列长度超过预设队列上限或gpu显存剩余率低于预设安全阈值时,将所述目标模型的综合决策分值按预设惩罚系数折减并重新排序选取次优模型。

26、进一步的,所述异步分页调度模块包括:任务拆分单元,用于将大规模提示词按每批次不超过本地部署的文生图模型单次推理上限进行拆分;异步数据传递机制,用于存储各生产子批次并依次执行;状态日志单元,用于为每个生产子批次分配唯一标识并持久化记录执行状态,支持失败重试与断点续传。

27、进一步的,所述风格一致性控制模块包括:提示词模板单元,用于固化风格锚定字段,仅开放角色、服饰、动作、背景为可变参数;参考图输入单元,用于将参考图作为视觉条件输入后续本地部署的文生图模型推理请求,约束角色面部结构一致性;背景层次控制单元,用于通过自然语言指令约束背景细节权重。

28、进一步的,所述风格一致性控制模块还包括多模态冲突消解单元,用于在同时检测到风格语义冲突与背景视觉冲突时启动双重锁定:第一重将文本引导系数提升至最高档位并强化风格锚定描述词,第二重对参考图执行前景精确分割并仅将编码面部几何结构信息的低维结构化特征向量输入模型作为硬约束条件。

29、进一步的,所述图文协同生成模块包括:版式渲染引擎,用于根据横版或竖版、带文案或无文案的版式参数选择对应的渲染模板;文案叠加单元,用于将推广文案按预设字体、位置与排版规则嵌入图像指定区域。

30、进一步的,所述图文协同生成模块还包括版式反向约束单元,用于根据文案区与主体区的空间范围约束差异化设置背景虚化强度使文案区的背景虚化程度高于主体区,并在生成底图后通过图像分割算法检测视觉主体实际空间分布,若视觉主体偏离预设主体区则反馈修正提示词并触发二次生成。

31、进一步的,所述提示词库管理模块的批量导入模式包括:接收数据表格文件并解析提示词列;执行非空校验与重复性校验;校验通过后直接将提示词写入数据存储组件,跳过预览环节。

32、进一步的,还包括:生成任务执行日志记录单元,用于记录各生产子批次的执行时间、模型标识、显存消耗及生成结果;异常告警单元,用于在模型故障或任务失败时通过即时通讯工具发送通知;图像元数据管理单元,用于将生成图像的存储地址与对应的提示词、标签、模型标识关联存储。

33、与现有技术相比,本发明具有以下有益效果:

34、通过提示词库管理模块的双轨构建模式,ai生成模式调用本地部署的大语言模型基于主题、风格及数量参数批量生成提示词并执行前n条预览与分页异步入库,批量导入模式解析数据表格文件并校验后直接入库,结合多维标签标注与逻辑删除管理,使分散存储于文档或表格中的提示词转化为可按内容类型、利益点、功能点等维度检索与调用的结构化数字资产,减少提示词重复编写工作量,提升提示词复用效率。

35、多模型动态路由模块根据生产任务的提示词总量、交付时限及质量等级判定策略模式,为质量评分、显存占用及响应时间分配差异化动态权重并计算综合决策分值,在吞吐量优先模式下优先选择显存占用低、推理速度快的模型以避免gpu集群显存溢出或队列阻塞,在质量优先模式下优先选择生成质量高的模型以满足精细输出需求;结合局部过载检测与惩罚系数折减机制,在多任务并发场景下将任务分流至负载较低的模型,实现gpu集群整体吞吐量的最大化;当首选模型在预设时长内持续返回异常时自动切换至备用模型并发送告警通知,避免单一模型故障导致生产任务中断。

36、图文协同生成模块在调用文生图模型生成底图之前即解析版式控制参数,提取文案区与主体区的空间范围约束并修正提示词,引导视觉主体避开文案区,同时根据文案区与主体区差异化设置背景虚化强度,使文案区背景虚化程度高于主体区;底图生成后通过图像分割算法检测视觉主体实际空间分布,若偏离预设主体区则反馈修正提示词并触发二次生成,直至底图与版式参数匹配后再将推广文案按预设字体、位置与排版规则嵌入文案区,实现从提示词修正、底图生成到文案嵌入的全流程自动化处理,减少人工排版介入,保障不同批次图像的版式一致性。

37、异步分页调度模块将超过预设阈值的提示词拆分为多个生产子批次,确保单个子批次不超过目标模型的单次推理上限,通过异步队列依次分发执行并持久化记录各批次状态;为每个生产子批次分配唯一标识并绑定状态标记,在生产任务异常中断后可读取持久化记录识别未完成批次并触发断点续传,支持百级乃至千级提示词批量生成任务的稳定执行,避免本地推理服务因并发请求过载而崩溃。

38、风格一致性控制模块通过提示词模板固化风格锚定字段,仅开放角色、服饰、动作、背景为可变参数,确保批量生成图像的画风、色彩体系跨图一致;在系列化角色图像生产中,将参考图作为视觉条件输入模型以约束角色面部结构一致性;当提示词模板与参考图存在风格语义冲突或背景视觉冲突时,通过冲突预检识别冲突类型并执行差异化权重配比,在双重冲突场景下启动双重锁定机制,以仅编码面部几何结构信息的低维结构化向量作为角色一致性的硬约束条件,彻底隔离参考图中冲突风格与杂乱背景对生成结果的干扰,减少后期人工修图工作量。