基于多模态大模型的AI生成商品图自动化质检方法、装置、设备和介质与流程

本发明涉及图像处理与人工智能，特别涉及一种基于多模态大模型的ai生成商品图自动化质检方法、装置、设备和介质。

背景技术：

1、随着生成式人工智能技术的快速发展，ai图像生成技术已广泛应用于电商内容生产领域。通过结合扩散模型和可控生成技术，ai能够为商品自动生成高质量的场景图、模特图等营销素材，显著提升了电商内容的生产效率。例如，京东“京点点”aigc平台已覆盖电商运营涉及的20余个核心场景，帮助超过35万商家实现商品图片、营销文案的智能化生成，内容制作效率从传统的“天级”提升至“秒级”。

2、然而，尽管生成模型具备创造高质量图像的潜力，实际应用中发现其生成的商品图仍普遍存在以下质量问题：商品样式与实物不一致、背景场景不合理、商品空间尺寸比例失调、ai典型生成瑕疵（如人体肢体扭曲、物体穿模等）。这些有缺陷的图片可能误导消费者，带来不良购物体验，因此需要大量人工进行逐张审核筛选。研究数据显示，仅依赖人工审核生成图像不仅成本高昂，且严重限制了ai生成技术在电商广告生产中的规模化应用。

3、针对上述问题，现有技术中已出现一些自动化的图像质量评估方案。其中一类方案基于图像分布统计指标进行评估，例如fid（fréchet inception distance）和cmmd（cumulative maximum mean discrepancy）等，这些指标侧重于评估生成图像集的整体分布特征，但通常难以捕捉单张图像中商品样式的细微偏差和场景不合理性问题。另一类方案通过收集人类偏好数据训练奖励模型来预测生成图像的质量评分，但现有模型与电商场景下“图片是否适合上架”的实际评估标准之间存在较大差距。此外，还有方案通过分割模型对原图与生成图中的商品主体进行分割比对，以检测商品一致性问题，但该方法仅能识别商品丢失或明显变形等极端情况，无法理解“构图留白是否满足排版需求”、“使用场景是否符合买家预期”等高阶商业设计语言。

4、综合上述分析，现有技术在ai生成商品图质检方面存在以下显著缺陷：

5、第一，缺乏面向电商商用的场景化评估标准。现有图像质量评估方法多从通用视觉质量或像素级一致性角度出发，未能将“该图能否直接用在我的商品链接上”这一电商美工的专业判断标准转化为机器可执行的评估规则。具体而言，现有方案无法对“构图是否预留了添加促销标签的留白空间”、“场景是否符合该商品的目标使用情境”、“商品在画面中的尺寸比例是否符合实际尺寸描述”等电商特有的商业设计维度进行有效评估。

6、第二，质检结果与生成过程无法关联溯源。当生成图片存在质量问题时，现有技术无法将异常图片与生成该图片的具体提示词进行精准关联。这导致即便质检环节发现了问题，后续的修正工作仍缺乏明确的优化“靶点”，难以指导生成模型或提示词模板的针对性改进。

7、第三，缺乏闭环迭代优化机制。现有质检方案多为“单次评估”，无法将质检结果自动反馈至生成端进行提示词模板优化，更无法实现“生成→质检→优化→再生成”的多轮自动化迭代。这使得优化过程依赖人工分析异常案例并手动调整提示词，效率低下且难以系统化。

8、第四，多轮迭代的版本管理缺失。在需要多轮优化迭代的场景下，现有技术缺乏对各轮次生成产物、质检结果及提示词版本的系统化记录与追溯机制，导致历史数据丢失，难以进行效果对比和问题溯源分析。

技术实现思路

1、本发明要解决的技术问题，在于提供一种基于多模态大模型的ai生成商品图自动化质检方法、装置、设备和介质，实现了生成图缺陷的自动检测与提示词精准溯源，可有效提升电商ai生成商品图的质检效率与优化迭代速度。

2、第一方面，本发明提供了一种基于多模态大模型的ai生成商品图自动化质检方法，包括以下步骤：

3、步骤s1、接收质检输入参数，所述质检输入参数包括参考图父目录路径、本轮生成图的输出目录路径以及当前迭代轮次编号；遍历所述输出目录路径所指向的输出目录下的所有子文件夹，筛选出包含生成图文件的子文件夹作为待检文件夹集合；

4、步骤s2、针对每个待检文件夹，分别执行以下操作：

5、读取所述待检文件夹对应的参考图文件夹中的参考图片集，所述参考图文件夹与所述待检文件夹具有相同的文件夹名称；

6、读取所述待检文件夹中的生成图片集，所述生成图片包括按照生成顺序命名的第1至第n张生成图；

7、读取所述待检文件夹中的提示词记录文件，所述提示词记录文件中包含n个提示词段落，第n个提示词段落与第n张生成图一一对应关联；

8、步骤s3、将所述参考图片集与所述生成图片集输入多模态大模型，由所述多模态大模型按照预设的质检规则逐张对每张生成图片进行异常检测，所述质检规则包括：

9、商品样式一致性检测：检测生成图中商品的结构、形状、核心设计元素、材质表面特征与参考图中对应商品是否一致；

10、使用场景合理性检测：检测生成图的使用场景是否符合该商品的正常使用方式和目标使用情境；

11、构图排版适配性检测：检测生成图是否预留有用于后期添加文案信息的留白区域，以及商品主体与画面整体的空间占比是否合理；

12、ai生成瑕疵检测：检测生成图中是否存在肢体结构畸形、物体穿模、漂浮异物或乱码文字中的至少一种生成缺陷；

13、对于检测到的每项异常，记录该异常对应的生成图路径、参考图路径、该生成图所对应的提示词段落、异常类型以及异常描述，生成结构化异常报告；

14、步骤s4、输出所述结构化异常报告。

15、进一步地，步骤s3中所述质检规则还包括尺寸比例核对检测：

16、读取所述参考图文件夹中的商品尺寸描述文件，所述商品尺寸描述文件中记录有该商品的尺寸描述信息；

17、若所述商品尺寸描述文件存在且包含尺寸描述信息，则检测生成图中商品与参照物的视觉比例关系是否符合所述尺寸描述信息所对应的实际尺寸感知，以及商品在场景空间中的尺度是否自洽；所述参照物包括画面中的人体部位或家具物体；

18、步骤s3中所述异常类型包括样式异常、场景异常、尺寸异常、排版异常和生成瑕疵异常；所述异常描述中包含所述生成图与所述参考图之间具体差异的位置信息以及所述差异在结构、形状、材质或空间尺度方面的表现信息；

19、步骤s3还包括：按照预设的缺陷等级判断标准，为每项检测到的异常标注缺陷等级，所述缺陷等级包括：

20、致命缺陷：异常表现为商品核心结构发生改变、画面中存在人体肢体数量或关节形态异常、或生成内容导致商品功能呈现与事实不符的误导性展示；

21、严重缺陷：异常表现为商品使用场景与商品品类不符导致商品功能展示不清、商品在画面中的视觉尺寸与参照物比例存在明显偏差、或画面中无可用留白区域；

22、轻微缺陷：异常表现为光照方向不一致、背景中存在干扰物体、或非主体区域存在轻度视觉失真；

23、所述缺陷等级判断标准记录于所述预设的质检规则中，所述结构化异常报告中记录所述缺陷等级。

24、进一步地，步骤s3中所述将所述参考图片集与所述生成图片集输入多模态大模型之前，还包括：

25、将包含所述质检规则的提示词文本与所述参考图片集、所述生成图片集及所述提示词段落进行组装，构造为多模态大模型的输入数据。

26、进一步地，所述结构化异常报告为json格式，包括迭代轮次编号、待检文件夹总数、异常标记状态以及异常记录列表，所述异常记录列表中每条异常记录包含文件夹名称、生成图绝对路径、参考图绝对路径列表、对应的提示词内容、异常类型和异常描述。

27、第二方面，本发明提供了一种基于多模态大模型的ai生成商品图自动化质检装置，包括：

28、参数接收及目录枚举模块，接收质检输入参数，所述质检输入参数包括参考图父目录路径、本轮生成图的输出目录路径以及当前迭代轮次编号；遍历所述输出目录路径所指向的输出目录下的所有子文件夹，筛选出包含生成图文件的子文件夹作为待检文件夹集合；

29、数据读取模块，针对每个待检文件夹，分别执行以下操作：

30、读取所述待检文件夹对应的参考图文件夹中的参考图片集，所述参考图文件夹与所述待检文件夹具有相同的文件夹名称；

31、读取所述待检文件夹中的生成图片集，所述生成图片包括按照生成顺序命名的第1至第n张生成图；

32、读取所述待检文件夹中的提示词记录文件，所述提示词记录文件中包含n个提示词段落，第n个提示词段落与第n张生成图一一对应关联；

33、多模态质检模块，将所述参考图片集与所述生成图片集输入多模态大模型，由所述多模态大模型按照预设的质检规则逐张对每张生成图片进行异常检测，所述质检规则包括：

34、商品样式一致性检测：检测生成图中商品的结构、形状、核心设计元素、材质表面特征与参考图中对应商品是否一致；

35、使用场景合理性检测：检测生成图的使用场景是否符合该商品的正常使用方式和目标使用情境；

36、构图排版适配性检测：检测生成图是否预留有用于后期添加文案信息的留白区域，以及商品主体与画面整体的空间占比是否合理；

37、ai生成瑕疵检测：检测生成图中是否存在肢体结构畸形、物体穿模、漂浮异物或乱码文字中的至少一种生成缺陷；

38、对于检测到的每项异常，记录该异常对应的生成图路径、参考图路径、该生成图所对应的提示词段落、异常类型以及异常描述，生成结构化异常报告；

39、报告生成模块，输出所述结构化异常报告。

40、进一步地，多模态质检模块中所述质检规则还包括尺寸比例核对检测：

41、读取所述参考图文件夹中的商品尺寸描述文件，所述商品尺寸描述文件中记录有该商品的尺寸描述信息；

42、若所述商品尺寸描述文件存在且包含尺寸描述信息，则检测生成图中商品与参照物的视觉比例关系是否符合所述尺寸描述信息所对应的实际尺寸感知，以及商品在场景空间中的尺度是否自洽；所述参照物包括画面中的人体部位或家具物体；

43、多模态质检模块中所述异常类型包括样式异常、场景异常、尺寸异常、排版异常和生成瑕疵异常；所述异常描述中包含所述生成图与所述参考图之间具体差异的位置信息以及所述差异在结构、形状、材质或空间尺度方面的表现信息；

44、多模态质检模块还包括：按照预设的缺陷等级判断标准，为每项检测到的异常标注缺陷等级，所述缺陷等级包括：

45、致命缺陷：异常表现为商品核心结构发生改变、画面中存在人体肢体数量或关节形态异常、或生成内容导致商品功能呈现与事实不符的误导性展示；

46、严重缺陷：异常表现为商品使用场景与商品品类不符导致商品功能展示不清、商品在画面中的视觉尺寸与参照物比例存在明显偏差、或画面中无可用留白区域；

47、轻微缺陷：异常表现为光照方向不一致、背景中存在干扰物体、或非主体区域存在轻度视觉失真；

48、所述缺陷等级判断标准记录于所述预设的质检规则中，所述结构化异常报告中记录所述缺陷等级。

49、进一步地，多模态质检模块中所述将所述参考图片集与所述生成图片集输入多模态大模型之前，还包括：

50、将包含所述质检规则的提示词文本与所述参考图片集、所述生成图片集及所述提示词段落进行组装，构造为多模态大模型的输入数据。

51、进一步地，所述结构化异常报告为json格式，包括迭代轮次编号、待检文件夹总数、异常标记状态以及异常记录列表，所述异常记录列表中每条异常记录包含文件夹名称、生成图绝对路径、参考图绝对路径列表、对应的提示词内容、异常类型和异常描述。

52、第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

53、第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

54、本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

55、1、现有图像质量评估方法多从通用视觉质量或像素级一致性角度出发，无法理解“构图留白是否满足添加促销标签的需求”、“使用场景是否符合买家预期”等电商特有的商业设计语言。本发明通过将包含商品样式一致性检测、使用场景合理性检测、构图排版适配性检测和ai生成瑕疵检测的多维度质检规则封装为系统提示词，利用多模态大模型的视觉推理能力，使机器具备了理解电商“构图留白”“场景匹配”“空间占比”等复杂商业设计语言的评估能力，实现了从“像素级比对”到“商用适配性判断”的跨越。相较于现有依赖fid、cmmd等图像分布统计指标的方案仅能评估整体图像质量，以及基于分割模型的方案仅能识别商品丢失或明显变形等极端情况，本发明能够精准识别“商品结构细微偏差”“背景与商品品类不匹配”“画面无排版留白空间”等现有技术无法检测的商用水准缺陷，显著提升了质检结果对于电商上架场景的实用价值。

56、2、本发明通过建立生成图片文件命名序号与提示词记录文件段落序号之间的强绑定机制，使得任意由多模态大模型视觉捕捉到的画面异常，均能立刻通过该序号关联定位至生成该图片的具体提示词段落。现有技术中，当生成图片存在质量问题时，质检结果仅停留在“该图不合格”层面，无法追溯异常产生的指令来源，后续修正工作缺乏明确抓手。本发明则突破了这一局限，实现了“异常图→对应提示词”的精准溯源，将质检结果从单纯的“筛选信号”升级为具备指导优化方向的“定位信号”，为后续大模型提示词的针对性优化重构提供了清晰无误的文本上下文，使得ai生成工作流从“盲调”转变为“靶向优化”。

57、3、现有质检方案多为“单次评估”，无法将质检结果自动反馈至生成端，优化过程依赖人工分析异常案例并手动调整提示词，效率低下且难以系统化。本发明通过将结构化异常报告与提示词溯源机制相结合，实现了“异常检出→病因定位→报告输出”的全自动化流程。进一步的，本发明通过迭代控制模块实现了多轮自动化迭代的版本管理——每轮质检完成后自动归档该轮次生成产物、提示词记录及质检报告，达到预设迭代轮数后自动转交人工审核。该闭环机制将传统依赖人工逐张审图、手动追溯提示词、反复试错的低效流程，转变为系统自动化执行的标准化工作流，显著降低了人力成本，缩短了ai生成商品图从“生成”到“可用”的优化周期。

58、4、本发明输出的结构化异常报告采用json格式，包含迭代轮次编号、异常标记状态以及每条异常的生成图路径、参考图路径、关联提示词内容、异常类型、缺陷等级和具体异常描述。相较于现有方案输出的简单“合格/不合格”标记或非结构化文本，本发明的报告格式能够无缝集成至大型aigc工作流或agent系统中，为后续的提示词自动优化、算力资源分配、人工介入时机判断等下游任务提供了可直接解析和使用的标准化数据输入，具备良好的工业实用性和系统可扩展性。

59、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。