一种基于多特征融合的包装图像智能分类系统及方法

本发明涉及智能图像分类和包装设计数字化，具体为一种基于多特征融合的包装图像智能分类系统及方法。

背景技术：

1、随着包装设计行业数字化转型，企业与设计平台积累了海量包装设计素材。传统素材管理依赖人工打标签分类，存在效率低、标准不统一、检索精度差等问题；同时现有ai图像分类与生成技术在包装领域应用存在诸多技术缺陷：

2、分类依赖全局特征，粒度粗精度低：现有主流图像分类算法（如cnn、vit）均基于rgb全局视觉特征提取，无法识别包装图像中logo、字体、图案、背景的分层语义；分类仅能输出“食品包装”“日化包装”等粗粒度大类，无法按logo风格、字体类型、图案元素细分，无法满足设计素材精准检索的需求。

3、无法处理透明通道，分层特征提取失效：包装设计素材多为带alpha透明通道的png/psd格式，传统vae仅支持rgb三通道输入，无法有效编码透明层信息；更无法实现文本、图形、背景的图层级解耦，难以提取分层语义特征用于精细化分类。

4、分类与生成脱节，无法形成闭环：现有分类系统仅输出标签，无法联动生成对应类别的设计素材；而现有生成式ai生成的包装图多为扁平位图，无法输出分层可编辑的psd文件，设计师需二次拆分，效率极低。

5、分层生成技术未落地分类场景：现有基于dit的扩散生成技术多用于图像生成，未将分层潜空间特征应用于图像分类任务；分层生成与智能分类两个环节相互独立，未形成技术协同，无法发挥1+1>2的效果。

6、目前，在公开技术中尚无将rgbavae分层解耦、dit深度编码、多特征融合分类、分层生成联动整合为一体的包装图像智能分类方案，难以满足包装设计行业数字化、智能化的发展需求。

7、因此，本领域技术人员提供了一种基于多特征融合的包装图像智能分类系统及方法，以解决上述背景技术中提出的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于多特征融合的包装图像智能分类系统及方法，解决了以下问题：

2、1.解决传统分类依赖全局rgb特征、无法解耦分层元素、分类粒度粗、精度低的问题；

3、2.解决传统vae无法处理alpha透明通道、包装分层特征提取精度差的问题；

4、3.解决分类与生成脱节、无法输出可编辑分层文件的问题；

5、4.构建分类驱动生成的闭环体系，提升包装素材管理与设计效率；

6、5.实现多维度精细化分类，支持按行业、logo、字体、图案多维度组合检索。

7、为实现以上目的，本发明通过以下技术方案予以实现：

8、一种基于多特征融合的包装图像智能分类系统，包括包装图像预处理模块、分层特征提取模块、多特征融合编码模块、智能分类输出模块、分层生成联动模块；

9、所述包装图像预处理模块用于对输入的带透明通道的包装设计图像进行格式归一化、去噪、通道对齐处理，输出标准化rgba格式图像；

10、所述分层特征提取模块基于rgba四通道变分自编码器rgbavae构建，用于将标准化包装图像解耦为文本层潜特征、图形对象层潜特征、背景层潜特征三组相互独立的分层潜空间特征；

11、所述多特征融合编码模块基于扩散变换器dit构建，用于对三组分层潜特征分别进行深度语义编码，再通过跨注意力机制完成多特征融合，输出全局融合特征向量；

12、所述智能分类输出模块基于多级分类器网络，根据全局融合特征向量输出多维度分类结果，至少包含包装行业大类、logo风格类别、字体类型类别、图案元素类别；

13、所述分层生成联动模块用于根据分类结果反向调用dit与rgbavae，生成对应类别的可编辑分层包装设计图像，实现分类与生成的闭环联动。

14、进一步地，所述rgbavae网络包含对称的编码器与解码器；

15、所述编码器将rgba四通道图像映射至高维潜空间，解码器从潜空间重建原始rgba图像；

16、所述训练阶段通过文本擦除、对象擦除、分层重建三重约束损失，强制潜空间分别对应文本语义、图形对象、背景纹理三类独立特征空间，实现图层级特征解耦。

17、进一步地，所述dit扩散transformer采用分层条件注入机制，分别接收文本标记ct、噪声潜在令牌、条件令牌三类分层提示词；在不同transformer块中对应注入文本语义条件、图形结构条件、背景纹理条件，对各层潜特征进行逐通道自注意力编码，捕捉不同图层的细粒度语义特征。

18、进一步地，所述多特征融合编码模块采用跨层注意力融合策略：先对文本层、图形层、背景层的编码特征进行两两交叉注意力计算，挖掘图层间的关联语义；再通过全连接层将三路特征拼接映射为维度统一的全局融合特征向量，保留分层语义的同时强化全局关联。

19、进一步地，所述智能分类输出模块包含三级分类器：一级分类器输出食品、文创、工业、日化包装行业大类；二级分类器输出logo风格、字体类型、图案元素子类标签；三级分类器输出整体设计风格标签；分类结果支持按单一维度或多维度组合检索，自动生成结构化标签。

20、进一步地，所述分层生成联动模块支持两种推理模式：图像到psd推理模式将输入位图像自动拆分为文本、图形、背景分层可编辑psd文件；文本到psd推理模式根据自然语言提示词生成对应分类的分层包装设计图，输出文件保留透明通道与分层结构。

21、进一步地，一种基于多特征融合的包装图像智能分类方法，包括以下步骤：

22、步骤s1.图像预处理

23、对输入的包装图像进行格式转换、alpha通道对齐、尺寸归一化与去噪处理，生成标准化rgba四通道图像；

24、步骤s2.分层特征提取

25、将标准化图像输入预训练完成的rgbavae网络，通过编码器映射至潜空间，解耦得到文本层、图形对象层、背景层三组独立潜空间特征；

26、步骤s3.分层深度编码：将三组分层潜特征输入dit网络，通过分层提示词引导分别进行深度语义编码，输出各层高维语义特征；

27、步骤s4.跨层特征融合

28、采用跨注意力机制对三层编码特征进行两两交叉计算与全局拼接，生成统一维度的全局融合特征向量；

29、步骤s5.多级智能分类

30、将全局融合特征向量输入三级分类器网络，依次输出行业大类、元素子类、设计风格多维度分类结果；

31、步骤s6.分类生成联动

32、根据分类结果反向驱动dit扩散生成与rgbavae解码，生成对应类别的分层可编辑包装设计图像。

33、进一步地，所述步骤s2中，rgbavae的训练损失函数由三部分组成：图像重建损失、分层解耦约束损失、潜空间正则化损失；训练过程中通过文本擦除、对象擦除的对比学习方式优化分层约束损失，确保潜空间特征可精准区分文本、图形、背景三类元素。

34、进一步地，所述步骤s3中，dit网络采用渐进式分层条件注入：浅层transformer块注入全局结构条件，中层注入图形对象条件，深层注入文本精细条件；通过分层注入提升各层特征的语义区分度，避免不同图层特征相互干扰。

35、进一步地，所述方法应用于食品包装、文创礼品包装、工业产品包装的素材库智能分类、设计素材精准检索、批量风格生成场景；分类准确率≥95%，素材检索效率提升80%以上，生成的分层文件可直接用于设计编辑。

36、本发明提供了一种基于多特征融合的包装图像智能分类系统及方法。具备以下有益效果：

37、1、本发明提供了一种基于多特征融合的包装图像智能分类系统及方法，将rgbavae分层解耦技术应用于包装图像分类，突破传统全局分类的粒度瓶颈，实现图层级细粒度特征提取，且原生支持rgba四通道输入，完美适配带透明层的包装设计素材，填补了传统vae无法处理alpha通道的空白。

38、2、本发明提供了一种基于多特征融合的包装图像智能分类系统及方法，采用dit分层条件注入和跨注意力多特征融合，既保留分层语义，又强化全局关联，分类精度大幅提升，分类结果直接驱动分层生成，输出可编辑psd文件，实现“分类-检索-生成-编辑”全链路闭环。

39、3、本发明提供了一种基于多特征融合的包装图像智能分类系统及方法，能够批量自动打标签，人工复核工作量减少90%，素材检索效率提升80%以上，模型可部署于云端平台或本地工作站，兼容现有设计软件生态，构建行业-元素-风格三级分类体系，满足包装设计素材精准检索与精细化管理需求。