基于多智能体协同的AIGC提示词闭环迭代优化方法、装置、设备和介质与流程

摘要: 本发明涉及人工智能,特别涉及一种基于多智能体协同的aigc提示词闭环迭代优化方法、装置、设备和介质。背景技术:1、随着大语言模型和扩散模型等生成式人工智能技术的...
基于多智能体协同的AIGC提示词闭环迭代优化方法、装置、设备和介质与流程

本发明涉及人工智能,特别涉及一种基于多智能体协同的aigc提示词闭环迭代优化方法、装置、设备和介质。

背景技术:

1、随着大语言模型和扩散模型等生成式人工智能技术的快速发展,aigc已广泛应用于图像生成、文本创作、代码生成等多个领域。在电商商品图批量生成等典型业务场景中,提示词(prompt)的设计质量直接决定了aigc模型的输出效果,提示词工程因此成为该技术领域的关键环节。

2、目前,提示词的测试与调优主要采用人工编写与人工审核相结合的工作流。具体而言,由提示词工程师根据参考图特征编写初始提示词,将提示词输入aigc模型进行批量图像生成,再由人工逐张比对生成图与参考图以判断生成质量,最后根据审核结果由人工修改提示词后重新生成,如此循环往复直至达到满意的生成效果。

3、然而,上述现有技术方案存在以下显著缺陷:

4、第一,测试效率低下,难以满足大规模批量化生产需求。现有技术下,提示词的每一次迭代优化都需要人工逐张审核生成图像的质量,当面对成百上千的商品sku时,人工比对的工作量呈线性增长,耗时耗力,无法适应电商场景下大规模商品图片的批量生成需求。当前依赖提示词工程的aigc应用构建方式“脆弱、不透明且无法从经验中演化”,人工试错式的迭代模式严重制约了生产效率。

5、第二,问题定位不精准,难以将生成异常与提示词段落进行有效关联。当生成图片出现商品样式偏差、场景不合理或尺寸比例失调等问题时,现有技术缺乏将异常图片与提示词中对应描述片段进行精准关联的机制。由于提示词通常包含商品外观描述、场景设定、风格约束等多个语义段落,异常可能源于其中任意一个或多个部分,仅凭人工凭经验判断难以快速定位问题根因,导致优化方向不明确、修正效率低下。

6、第三,缺乏自动化闭环优化能力,无法实现迭代过程的自动化执行。现有技术方案中,从生图到质检再到提示词修改的全流程高度依赖人工介入,各个环节之间缺乏自动化的反馈与联动机制。特别是当质检发现异常后,现有系统无法自动将异常信息反馈至提示词优化环节,更无法实现多轮迭代测试的自动化执行与版本管理。研究表明,让大模型自身参与提示词的自动迭代优化已成为行业趋势,但现有方案仍主要停留在单轮或离线优化层面,尚未形成可工程化部署的闭环系统。在多智能体系统中,各agent的提示词配置是影响系统性能的关键因素,但由于评估代价高昂和组合搜索空间爆炸等挑战,高效的多智能体提示词联合优化仍然是亟待解决的技术难题。

7、第四,版本追溯困难,缺乏系统的产物保存与迭代记录机制。在多轮人工优化迭代过程中,现有方案缺乏对历史提示词模版、生成图像、质检结果等产物的系统保存与版本管理机制,导致历史测试数据易丢失,无法进行有效的效果对比与问题溯源,严重影响了优化过程的科学性和可复现性。

8、综上所述,现有aigc提示词测试与优化技术在效率、精准性、自动化程度和工程化水平等方面均存在明显不足,亟需一种能够实现提示词自动化闭环迭代优化的系统性解决方案。

技术实现思路

1、本发明要解决的技术问题,在于提供一种基于多智能体协同的aigc提示词闭环迭代优化方法、装置、设备和介质,实现了提示词测试与优化的全自动闭环迭代,大幅提升了aigc批量生图场景下的测试效率和优化精准度。

2、第一方面,本发明提供了一种基于多智能体协同的aigc提示词闭环迭代优化方法,包括下述步骤:

3、步骤1、主控智能体接收测试任务指令,初始化配置参数,所述配置参数至少包括参考图输入路径、生成图输出根路径、提示词模版所在脚本文件的绝对路径以及最大迭代轮次阈值;

4、步骤2、所述主控智能体派发批量执行智能体,所述批量执行智能体读取当前版本的提示词模版,同步阻塞调用底层生图脚本完成本轮批处理任务,并向所述主控智能体返回本轮生成图的输出路径;

5、步骤3、所述主控智能体派发异常解析智能体,并将所述输出路径作为参数传递至所述异常解析智能体,所述异常解析智能体遍历所述输出路径下的各子文件夹,逐张比对生成图与对应的参考图,评估生成图像在商品样式一致性、场景合理性以及尺寸比例三个维度是否存在异常,若存在异常则将异常生成图、参考图、错误类型及对应的提示词段落进行关联绑定,并向所述主控智能体返回结构化异常报告;

6、步骤4、若所述结构化异常报告显示不存在异常,则所述主控智能体终止迭代并输出当前的提示词模版,结束步骤;若所述结构化异常报告显示存在异常,则执行步骤5;

7、步骤5、所述主控智能体派发智能优化重构智能体,所述智能优化重构智能体基于所述结构化异常报告中的异常信息,按照预设的错误类型与修改策略的映射关系对当前提示词模版进行定向修复,生成新版提示词模版字符串并返回修改记录;

8、步骤6、所述主控智能体提取所述新版提示词模版字符串,将其回写覆盖至所述提示词模版所在脚本文件的对应参数中,并对本轮生成产物与日志进行版本归档;

9、步骤7、所述主控智能体更新迭代计数器,判断当前迭代轮次是否达到所述最大迭代轮次阈值,若未达到则返回步骤2开始下一轮迭代;若已达到所述最大迭代轮次阈值且仍存在异常,则触发熔断机制,停止自动迭代,输出包含多轮次修改记录的错题集报告。

10、进一步地,所述步骤3中,所述错误类型包括:

11、第一类错误,记为“style”,表征生成图像中商品的样式、结构或材质与参考图不一致;

12、第二类错误,记为“scene”,表征生成图像中的场景设定不符合商品的实际使用场景;

13、第三类错误,记为“size”,表征生成图像中商品的视觉尺寸与预期尺寸比例不符;

14、所述步骤5中,所述预设的错误类型与修改策略的映射关系包括:

15、针对所述“style”类型的错误,定位提示词模版中对应的商品外观描述片段,补充或修正物理几何特征描述;

16、针对所述“scene”类型的错误,定位提示词模版中对应的场景设定片段,新增正向场景约束条件;

17、针对所述“size”类型的错误,在提示词模版中补充尺寸锚点词或要求引入比例参照物。

18、进一步地,所述步骤2中,所述批量执行智能体不进行语义分析,仅负责按照当前版本的提示词模版执行批处理生图任务,所述同步阻塞调用确保所述批量执行智能体在底层生图脚本全部执行完毕后方才向所述主控智能体返回所述输出路径。

19、进一步地,所述步骤7中,所述错题集报告至少包含:每一轮迭代的异常描述、每一轮迭代的提示词模版修改内容与修改原因、经过全部迭代轮次后仍无法解决的顽固问题列表,以及人工介入处理建议。

20、第二方面,本发明提供了一种基于多智能体协同的aigc提示词闭环迭代优化装置,包括:

21、主控调度模块,主控智能体接收测试任务指令,初始化配置参数,所述配置参数至少包括参考图输入路径、生成图输出根路径、提示词模版所在脚本文件的绝对路径以及最大迭代轮次阈值;

22、批量执行模块,所述主控智能体派发批量执行智能体,所述批量执行智能体读取当前版本的提示词模版,同步阻塞调用底层生图脚本完成本轮批处理任务,并向所述主控智能体返回本轮生成图的输出路径;

23、异常解析模块,所述主控智能体派发异常解析智能体,并将所述输出路径作为参数传递至所述异常解析智能体,所述异常解析智能体遍历所述输出路径下的各子文件夹,逐张比对生成图与对应的参考图,评估生成图像在商品样式一致性、场景合理性以及尺寸比例三个维度是否存在异常,若存在异常则将异常生成图、参考图、错误类型及对应的提示词段落进行关联绑定,并向所述主控智能体返回结构化异常报告;

24、报告处理模块,若所述结构化异常报告显示不存在异常,则所述主控智能体终止迭代并输出当前的提示词模版,结束步骤;若所述结构化异常报告显示存在异常,则执行修复重构模块;

25、修复重构模块,所述主控智能体派发智能优化重构智能体,所述智能优化重构智能体基于所述结构化异常报告中的异常信息,按照预设的错误类型与修改策略的映射关系对当前提示词模版进行定向修复,生成新版提示词模版字符串并返回修改记录;

26、优化重构模块,所述主控智能体提取所述新版提示词模版字符串,将其回写覆盖至所述提示词模版所在脚本文件的对应参数中,并对本轮生成产物与日志进行版本归档;

27、迭代处理模块,所述主控智能体更新迭代计数器,判断当前迭代轮次是否达到所述最大迭代轮次阈值,若未达到则返回批量执行模块开始下一轮迭代;若已达到所述最大迭代轮次阈值且仍存在异常,则触发熔断机制,停止迭代,输出包含多轮次修改记录的错题集报告。

28、进一步地,所述异常解析模块中,所述错误类型包括:

29、第一类错误,记为“style”,表征生成图像中商品的样式、结构或材质与参考图不一致;

30、第二类错误,记为“scene”,表征生成图像中的场景设定不符合商品的实际使用场景;

31、第三类错误,记为“size”,表征生成图像中商品的视觉尺寸与预期尺寸比例不符;

32、所述修复重构模块中,所述预设的错误类型与修改策略的映射关系包括:

33、针对所述“style”类型的错误,定位提示词模版中对应的商品外观描述片段,补充或修正物理几何特征描述;

34、针对所述“scene”类型的错误,定位提示词模版中对应的场景设定片段,新增正向场景约束条件;

35、针对所述“size”类型的错误,在提示词模版中补充尺寸锚点词或要求引入比例参照物。

36、进一步地,所述批量执行模块中,所述批量执行智能体不进行语义分析,仅负责按照当前版本的提示词模版执行批处理生图任务,所述同步阻塞调用确保所述批量执行智能体在底层生图脚本全部执行完毕后方才向所述主控智能体返回所述输出路径。

37、进一步地,所述迭代处理模块中,所述错题集报告至少包含:每一轮迭代的异常描述、每一轮迭代的提示词模版修改内容与修改原因、经过全部迭代轮次后仍无法解决的顽固问题列表,以及人工介入处理建议。

38、第三方面,本发明提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。

39、第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法。

40、本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:

41、1、本发明通过主控智能体统一调度批量执行智能体、异常解析智能体、智能优化重构智能体,构建了“执行→检测→分析→修复→回写→再执行”的完整自动化闭环。与传统方案中人工编写提示词、人工审核生图结果、人工修改提示词的单向工作流相比,本发明无需人工逐轮介入,实现了提示词测试与迭代优化的全自动执行,有效降低了人力成本,提升了整体工作效率。

42、2、本发明在异常质检步骤中预先定义了商品样式一致性(style)、场景合理性(scene)、尺寸比例(size)三类标准化的错误类型,异常解析智能体在检测到异常时,将异常生成图、参考图、错误类型及对应的提示词段落进行关联绑定,实现了从“生成异常”到“提示词根因”的精准映射。在此基础上,智能优化重构智能体按照错误类型与修改策略的映射关系进行定向修复(style类错误定位并修正商品外观描述、scene类错误新增场景约束、size类错误补充尺寸锚点词),避免了传统方案中无针对性泛化修改导致的问题反复出现或引入新问题,大幅提升了迭代收敛速度和生成稳定性。

43、3、本发明通过主控智能体设计了两级迭代控制机制:一是在正向路径上,每轮迭代后异常解析智能体即进行质检判断,一旦检测到无异常则立即终止迭代并输出最终模版,避免不必要的算力消耗;二是在反向路径上,设置了固定迭代轮次阈值(优选为3轮)作为熔断上限,即使经过多轮优化后异常仍未完全消除,系统也会自动停止迭代并输出错题集报告转交人工处理。上述两级机制既保障了自动化迭代的效率,又有效控制了算力成本,避免了无限循环发散的风险,确保了系统在商业生产环境中的高可用性。

44、4、本发明在每轮迭代的回写步骤中,主控智能体在对提示词模版脚本文件进行覆盖更新的同时,对本轮生成产物(生成图、提示词文本)与日志进行版本归档,并在迭代终止时输出包含全部修改记录的错题集报告,实现了每一轮迭代的输入(提示词版本)、输出(生成图)、判定(质检结果)、修改(优化记录)的完整保存。这使得技术人员可以清晰追溯每一轮优化的全过程,便于效果对比、问题溯源和后续分析,克服了传统方案中历史测试数据易丢失、无法复现的缺陷。

45、5、本发明将传统方案中高度依赖人工的提示词编写、图像审核、提示词修改环节全部交由多智能体系统自动化完成,在电商商品图大规模批量生成的业务场景下,可节省大量提示词工程师和美工审核人员的人力投入,实现了降本增效。

46、6、传统方案中一轮提示词优化通常需要数小时甚至数天的人工处理时间,本发明通过自动化闭环迭代,单轮迭代可在分钟级甚至秒级内完成(取决于底层生图引擎的推理速度),大幅缩短了从初始提示词到可商用模版的迭代周期,加速了电商商品的上架流程。

47、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。