一种电商生图多智能体协同方法、装置、设备和介质与流程

摘要: 本发明涉及人工智能与计算机视觉,特别涉及一种电商生图多智能体协同方法、装置、设备和介质。背景技术:1、在跨境电商服装类目的图像规模化生产场景中,a+图、卖点图、...
一种电商生图多智能体协同方法、装置、设备和介质与流程

本发明涉及人工智能与计算机视觉,特别涉及一种电商生图多智能体协同方法、装置、设备和介质。

背景技术:

1、在跨境电商服装类目的图像规模化生产场景中,a+图、卖点图、listing主图等套图的生产存在大量重复性工作。近年来,为规避各大电商平台对图片中文字面积、合规文案的硬性限制,并降低多语言适配成本、提升品牌视觉调性的一致性,无文字版式(即画面完全不叠加任何文字、字母、数字、营销文案、品牌标语,且严格禁止出现任何图标、符号、徽章等图形元素,仅以纯摄影内容传达商品卖点)逐渐成为重要的视觉呈现形式。

2、随着扩散模型(diffusion model)等生成式人工智能技术的快速发展,利用大模型直接生成上述套图已成为行业通用做法,用以替代传统的人工拍摄、设计排版及后期制作流程,以降低人力成本、缩短上新周期。

3、针对上述无文字版式的电商图像生产需求,目前本领域通常采用以下几种技术方案:

4、1、通用提示词加大模型直接生成方案

5、该方案采用一条通用提示词模板,通过设置负面提示词(如"no text"、"noicon")对扩散模型进行约束,由模型自行处理"无文字"、"无图标"、"模特姿态"、"留白布局"等所有约束条件后直接输出图像。各版式共用同一套模板,不区分版式拓扑类型与画布类型。

6、2、人工反复调试提示词方案

7、该方案由美工或运营人员观察生成图像,当发现图像中出现文字泄漏(ai在画面上生成"wearable fine art"等装饰性文字)、图标泄漏(生成温度计、水滴、对勾等功能性图标)、画面被切割(不同画布区域视觉割裂)等问题时,凭个人经验在提示词中临时增加禁用词或调整表述,反复生成直至获得勉强可用的图像。

8、3、单一模板加后置人工筛选方案

9、该方案在前端仅采用单套提示词模板进行批量生成,生成后不进行自动化质量检测,完全由人工在数百张生成图中目视挑选可用图像,废片率极高。

10、上述现有技术方案在实际应用中存在以下显著缺陷:

11、1、复合硬约束无法稳定收敛

12、无文字版式必须同时满足"零文字+零图标+版式神似+留白连续+模特五要素+品牌色不撞产品色"六重硬约束。现有通用提示词模板中一条"no text, no icon"无法使所有约束同时稳定收敛。具体表现为:ai在画面上生成装饰性文字(如"wearable fineart")、生成功能可视化图标(如温度计、水滴、对勾等)、把单帧场景渲染成双联画切片、留白区域与主体区域被处理成视觉割裂的独立画布块等。

13、2、版式拓扑在模型生成时隐式判定导致下游控制失效

14、现有技术方案中,图像的帧拓扑结构(单帧/双区域/多块拼图)与画布类型(满版场景/影棚白底/纯色/质感纹理)完全依赖大模型在生成时进行隐式判定。该判定一旦与预期不符,下游提示词中用于控制主体位置与留白延续性的空间指令以及用于禁止区域化效果的句式禁令会立刻失效,留白区域被处理成与主图割裂的独立画布块,即本领域技术人员所公知的"画面被肉眼可见地切开"问题。上述由拓扑误判引发的衍生问题,是单次生成范式的固有结构性缺陷。

15、3、异常诊断缺乏规则定位能力

16、现有技术方案中的质检结论均为自然语言描述(如"图片有文字"、"图片色调不一致"),只能告知"出了什么问题",无法逆向回链到提示词模板中导致该异常的具体规则段落——例如无法区分"文字泄漏"是由rule 2(禁止在画面中出现字母/数字/品牌名称等文字元素)被违反所致,还是由rule 15(留白区域需与主体区域保持视觉连续性)被违反所致,亦或是由rule 20.b(禁止出现将画面切割为多个语义块的效果)被违反所致。这使得每次提示词优化只能凭感觉整体重写,无法实施定向加固。

17、4、提示词模板演化过程不可审计

18、现有技术中,提示词模板的调整完全依赖人工凭经验修改,缺乏版本号管理、变更日志记录以及与具体规则编号的绑定机制。经过半年以上的维护后,任何操作人员均无法追溯某条规则"为何写成当前形态",导致知识流失和重复踩坑。

19、5、功能词诱导图标泄漏的风险无拦截机制

20、现有方案中,商品卖点中的功能名词(如"breathable"、"透气"、"四面弹")未经处理直接写入提示词,极易触发大模型生成对应的功能说明图标(如透气对应水滴/气流符号、四面弹对应拉伸箭头等),形成"功能词→图标"的因果泄漏路径,而现有技术方案对此缺乏专门拦截与翻译转换机制。

21、6、缺乏端到端的工程化调度能力

22、现有脚本工具无法被大语言模型主控智能体直接调度,运营人员无法用一句自然语言指令触发"拓扑路由→批量跑批→结构化质检→定向修补→复跑"的全自动端到端流水线。

23、综上所述,现有技术在无文字版式电商生图场景中,由于将全部约束交由大模型在单次生成中隐式处理,且缺乏版式拓扑前置路由、规则编号绑定式诊断与定向修补的闭环机制,导致六重硬约束无法稳定收敛、版式漂移与画面割裂频发、提示词优化无定向性且不可审计、功能词诱导图标泄漏无法拦截,严重制约了无文字版式图像的规模化生产效率与合格率。因此,亟需一种能够实现"拓扑路由→双模板并行跑批→规则绑定式诊断→按规则编号定向加固→模板版本号自增"全闭环的电商生图多智能体协同方法。

技术实现思路

1、本发明要解决的技术问题,在于提供一种电商生图多智能体协同方法、装置、设备和介质,实现了无文字版式电商生图的闭环迭代与规则可审计。

2、第一方面,本发明提供了一种电商生图多智能体协同方法,包括以下步骤:

3、步骤s1、主控智能体调用版式拓扑路由子智能体对候选版式库进行离线解析,生成包含各版式的帧拓扑结构与画布类型的版式拓扑映射表;在每次跑批前,所述路由子智能体根据目标商品的参考图与卖点关键词对候选版式进行匹配度评分,选取评分最高的设定个候选版式作为路由结果;

4、步骤s2、所述主控智能体根据所述路由结果调用批量生图执行模块,所述批量生图执行模块调用外部文生图模型,加载预设的无文字版式提示词模板,执行批量图像生成,所述无文字版式提示词模板包含多个带规则编号的约束规则段落;

5、步骤s3、质检子智能体利用视觉语言模型对生成图进行结构化异常检测,识别异常类型及对应的违反规则编号,并输出包含所述违反规则编号、证据信息以及所述提示词模板中责任片段的三段式可追溯诊断链条;

6、步骤s4、优化子智能体根据所述违反规则编号定位所述提示词模板中对应的规则段落,对该规则段落执行叠加式定向加固,并递增版本号;

7、步骤s5、所述主控智能体判断是否满足迭代终止条件,若否,则使用更新后的提示词模板对命中异常的商品重新执行步骤s2的批量图像生成并进入下一轮迭代;若是,则输出最终生成图像及结构化报告。

8、第二方面,本发明提供了一种电商生图多智能体协同装置,包括:

9、生成映射表单元,主控智能体调用版式拓扑路由子智能体对候选版式库进行离线解析,生成包含各版式的帧拓扑结构与画布类型的版式拓扑映射表;在每次跑批前,所述路由子智能体根据目标商品的参考图与卖点关键词对候选版式进行匹配度评分,选取评分最高的设定个候选版式作为路由结果;

10、加载生成图像单元,所述主控智能体根据所述路由结果调用批量生图执行模块,所述批量生图执行模块调用外部文生图模型,加载预设的无文字版式提示词模板,执行批量图像生成,所述无文字版式提示词模板包含多个带规则编号的约束规则段落;

11、质检结果单元,质检子智能体利用视觉语言模型对生成图进行结构化异常检测,识别异常类型及对应的违反规则编号,并输出包含所述违反规则编号、证据信息以及所述提示词模板中责任片段的三段式可追溯诊断链条;

12、修改模板单元,优化子智能体根据所述违反规则编号定位所述提示词模板中对应的规则段落,对该规则段落执行叠加式定向加固,并递增版本号;

13、优化智能体单元,所述主控智能体判断是否满足迭代终止条件,若否,则使用更新后的提示词模板对命中异常的商品重新执行加载生成图像单元的批量图像生成并进入下一轮迭代;若是,则输出最终生成图像及结构化报告。

14、第三方面,本发明提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。

15、第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法。

16、本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:

17、1、本发明将版式的帧拓扑结构(单帧/双区域/多块拼图)与画布类型(满版场景/影棚白底/纯色/质感纹理/双区域/多拼混合)由传统“模型运行时隐式判定”重构为离线确定性查表,并为下游“主体位置+场景延续”句式与“区域化”句式禁令提供稳定的硬路由信号。实验证明,该机制能够有效避免因拓扑误判导致的留白区域与主体区域视觉割裂问题,从根本上解决了本领域公知的“画面被肉眼可见地切开”的技术难题。

18、2、本发明通过质检子智能体输出包含“违反规则编号+证据信息+提示词责任片段”的三段式可追溯诊断链条,使每次异常均可精准逆向回链至提示词模板中导致该异常的具体规则段落——例如能够区分“文字泄漏”是由哪一条具体编号的规则被违反所致。区别于现有技术中“图片有文字”等自然语言质检结论无法定位具体规则的缺陷,本发明将提示词优化从“凭感觉整体重写”升级为“按规则编号定向加固”。在此基础上,本发明采用叠加式定向加固策略,仅追加与已发生异常类型对应的禁用词或约束表述,保留规则段落原有内容,不删除、不改写既有规则。该策略确保规则累积具有单调性,避免传统整体重写方式下原有约束可能被意外削弱或丢失,保证了模板优化的稳定性和可预期性。同时,提示词模板采用主版本号.次版本号.补丁版本号的格式逐次递增,并在文件头部记录包含违反规则编号、追加内容及操作时间戳的变更日志。经过长期维护后,任何操作人员均可从版本变迁路径与变更日志中追溯每条规则的演化原因,有效解决了现有技术中知识流失和重复踩坑的问题。

19、3、本发明设置三重迭代终止条件:异常清零收敛、迭代轮次达上限、模板长度超阈值触发饱和逃生。主控智能体在满足任一条件时即终止迭代,且后续轮次仅对命中异常的商品复跑,避免全量重跑造成的计算资源浪费。该机制在保证图像质量的前提下有效控制迭代成本,具有良好的工程实用性。

20、4、本发明将版式拓扑映射表的构建以离线方式一次性执行,多次跑批任务共享复用该映射表;每次跑批前的匹配度评分以在线方式执行。离线阶段完成计算密集型的版式库全量解析,在线阶段仅执行轻量化的匹配评分,该分阶段设计显著降低了每次跑批前的路由计算开销,提升了整体流水线的运行效率。

21、5、本发明通过批量生图执行模块同时加载无文字版和带文字版两套模板变体并行跑批,两套模板在迭代过程中各自独立接受质检与修补,并通过加权评分与仲裁机制推选胜者作为最终交付变体。该机制避免单一模板范式过早收敛于次优解,使系统能够在两套模板的竞争演化中自动发现更优方案,提升了最终交付图像的整体质量。

22、6、本发明采用视觉语言模型对生成图进行结构化异常检测,可同步识别文字泄漏、图标泄漏、帧接缝伪影、画布割裂、版式漂移、姿态抽象化及品牌色冲突共七类异常。相较于现有技术中分别调用ocr识别文字、分类器检测图标、人工判断版式的多阶段检测方案,本发明单次视觉语言模型推理即可输出全部异常类型及其证据信息,显著降低了检测延迟与系统复杂度。在此基础上,本发明针对图标泄漏异常,进一步建立“功能词→图标泄漏”的反向因果溯源能力:当检测到图标泄漏时,追溯提示词责任片段中导致该图标泄漏的功能命名词(如“breathable”、“四面弹”等卖点词),输出功能词与图标泄漏之间的反向因果证据链,并在后续修补中将这些功能词翻译为纯摄影描述语。该机制精准拦截了现有技术中因功能名词直接写入提示词而触发模型生成对应功能说明图标(如温度计、水滴、对勾等)的因果泄漏路径,消除了无文字版式独有的生成风险。

23、7、本发明设定更新后提示词模板长度超过原始版本1.3倍时触发模板饱和逃生机制,停止修补并标记为“需重构”。该机制是工程上承认“达到本范式能力上限”的明确信号,避免了提示词越加越乱、规则间互相打架的问题。在此基础上,本发明在终止迭代时若仍存在未解决异常,输出结构化错题集并标注每条异常所对应的建议人工动作(如“建议切换到image-editing模式手工补充几何约束”或“建议重选不依赖特定纹理的版式”)。同时,每轮迭代输出包含路由结果、批量生成摘要、质检报告、修补记录、版本号变迁路径及收敛状态的结构化报告,若存在未解决异常还包含带人工建议的错题集。该机制将超出系统范式能力的问题结构化交还人工,形成清晰的工程化escalate路径,避免了无限轮询造成的资源浪费,同时为运营人员提供了完整的决策依据与审计线索,便于事后复盘分析与a/b测试对比,显著提升了系统的可运维性。

24、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。