多模态今日穿搭的生成方法及装置与流程

本发明涉及人工智能内容生成、计算机视觉、服饰图像处理、多模态理解及跨境电商智能运营，具体涉及一种多模态今日穿搭的生成方法及装置。

背景技术：

1、现有的服饰电商内容生产通常依赖真人模特拍摄、后期修图及达人二次创作，虽然能够呈现较真实的穿搭效果，但存在制作周期长、拍摄成本高、内容风格不稳定和跨地区复用能力差等问题。随着aigc（artificial intelligence generated content，人工智能生成内容）的技术发展，可以通过如文本生图、图像编辑、虚拟试衣或短视频等生成等单点能力辅助服饰内容制作，或者利用推荐算法输出单品组合建议。

2、但在跨境社媒带货场景中，kol（key opinion leader，关键意见领袖）内容不仅要求单品展示真实，还要求整体穿搭具备风格一致性、人物身份连续性、场景审美匹配及可直接用于如各种社交平台分发的图文视频形态。现有单点式aigc工具大多仅能解决“生成一张图”或“试穿一件衣服”的局部问题，尚未形成从选品、搭配、试穿、内容生成、挂链分发到转化反馈优化的一体化技术方案，现有技术普遍存在以下不足：

3、1、仅依赖文本提示或单一生成模型，难以同时保证服装款式、材质、颜色和结构细节的一致性；

4、2、虚拟试衣方案多聚焦单件服装上身，缺乏整套ootd（outfit of the day，今日穿搭）组合生成能力，难以支持上装、下装、鞋包及配饰的协同搭配；

5、3、在人物姿态变化、遮挡关系复杂、服装边界细节丰富的场景下，容易出现服装形变、人体结构错位、边缘破损和身份漂移；

6、4、图像生成、视频生成和商品挂链通常彼此割裂，无法形成可直接用于达人发布和平台转化优化的闭环；

7、5、新风格、新品牌和新地区审美接入时，扩展效率低，难以兼顾质量、可控性与规模化运营。

技术实现思路

1、鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的多模态今日穿搭的生成方法及装置。

2、根据本发明实施例的一个方面，提供了一种多模态今日穿搭的生成方法，方法包括：

3、数据接入步骤，接收目标用户侧的第一数据、平台侧的第二数据以及商品与素材数据；

4、商品理解步骤，对商品与素材数据进行识别编码，得到商品条件信息；

5、用户画像步骤，根据第一数据和第二数据得到风格约束向量、场景约束向量和推荐约束条件；

6、人体解析步骤，对人物图像中的人物进行结构解析，得到人体结构信息、人体关键点坐标、姿态参数以及服装区域信息；

7、结构约束步骤，根据人体结构信息、人体关键点坐标、姿态参数和服装区域信息得到结果控制条件，以约束生成结果中服装与人体之间的贴合关系及遮挡关系；

8、组合生成步骤，将多个候选单品根据分属的不同服装类目进行组合筛选和/或由候选单品对已生成图像中部分单品进行替换更新，并通过预设生成骨干网络根据人体结构信息、结果控制条件、商品条件信息以及场景约束向量生成由候选单品组合得到的整体穿搭图像；候选单品根据风格约束向量获取人体结构信息中各部位区域对应的服装各类目，并基于推荐约束条件筛选预设数量的服装各类目的候选商品作为候选单品；

9、内容生成步骤，基于整体穿搭图像生成对应的图文内容和/或视频内容；

10、分发步骤，将图文内容和/或视频内容分发至目标平台；其中，将图文内容和/或视频内容与整体穿搭图像中对应的商品绑定；

11、反馈优化步骤，采集目标平台对分发的图文内容和/或视频内容的反馈数据，并根据反馈数据对图文内容和/或视频内容以及整体穿搭图像的生成进行优化调整；反馈数据包括对图文内容和/或视频内容以及整体穿搭图像中对应的商品的反馈信息。

12、可选地，商品理解步骤进一步包括：

13、对商品与素材数据进行编码，得到包含商品语义标签、视觉特征向量、商品词元的商品条件信息；以及，得到价格约束与库存约束；

14、用户画像步骤进一步包括：

15、根据第一数据的目标用户数据和达人风格数据进行向量提取和加权融合，得到风格约束向量；

16、根据第一数据的各场景数据字段拼接映射得到场景约束向量；

17、根据第一数据和第二数据确定结构化过滤条件集合，得到推荐约束条件。

18、可选地，人体解析步骤进一步包括：

19、对人物图像进行人体识别，得到对应的人体框；

20、利用预设语义分割网络对人体框进行分割解析，得到包含人体前景掩码和人体各部位区域掩码的人体结构信息；

21、根据人体结构信息利用预设自顶向下姿态估计模型进行关键点识别与姿态估计，得到预设数目的人体关键点坐标及姿态参数；

22、对人体结构信息基于预设人体解析网络，得到包括上装、下装、鞋靴、和/或包袋的服装区域信息；

23、结构约束步骤进一步包括：

24、将预设数目的人体关键点坐标和姿态参数渲染为姿态骨架图，根据人体结构信息和服装区域信息编码得到空间掩码图，并基于视觉特征向量和商品词元得到商品轮廓编码，一并输入至条件控制分支注入扩散生成网络的各分辨率层得到结果控制条件，以引导从姿态骨架到整体穿搭图像的逐步姿态对齐；以及，根据服装区域信息限制各商品词元作用于对应区域，以约束服装与人体之间的贴合关系及遮挡关系；以及，单品替换时对非替换区域执行潜变量保留；条件控制分支注入扩散生成网络与预设生成骨干网络采用相同网络结构，并复制预设生成骨干网络中经零初始化卷积层逐层接入主干各分辨率层的各权重。

25、可选地，组合生成步骤进一步包括：

26、根据不同服装类目槽位，以风格约束向量进行服装单品检索，并经推荐约束条件过滤，得到包含各服装类目槽位的各候选单品的候选单品集合；

27、根据预设匹配模型对候选单品组合进行评分，预设匹配模型根据候选单品的商品词元与风格约束向量的匹配度、视觉特征向量与风格约束向量的余弦相似度、商品语义标签中场景信息与场景约束向量的匹配度、商品的价格约束与库存约束和推荐约束条件的历史转化表现得分确定评分；

28、根据候选单品组合的评分，利用预设学习排序模型进行组合排序，并基于排序在先的候选单品组合，将各单品的视觉特征向量与商品属性嵌入拼接，经预设映射网络压缩为定长单品词元，将各单品的定长单品词元、人体结构信息、风格约束向量和场景约束向量共同输入至预设生成骨干网络，经跨注意力机制生成整套穿搭图像；其中，整套穿搭图像将其中包含的服装几何对齐至人体姿态，将人物图像的头部区域潜变量冻结，得到呈现虚拟试衣的整套穿搭图像；以及，对单品替换时，将待替换单品对应区域的潜变量重新进行采样去噪，非替换区域潜变量冻结，输出单品替换更新后的整套穿搭图像；

29、和/或，对整套穿搭图像进行实例分割以定位目标单品区域，将人体各部分区域掩码与目标单品区域的重叠区域执行扩散修复以去除人物，对目标单品区域执行边界感知的局部重绘和纹理恢复处理，将处理后的目标单品区域执行抠图处理，生成标准化商品图像，并进行商品属性识别，得到商品条件信息。

30、可选地，内容生成步骤进一步包括：

31、基于整体穿搭图像、第一数据和第二数据生成对应的得到图文内容，或者，由预设大语言模型根据图文内容生成分镜脚本，和/或对整体穿搭图像生成动态片段，组装得到视频内容。

32、分发步骤进一步包括：

33、将图文内容和/或视频内容与整体穿搭图像中对应的商品绑定，以获取反馈数据；

34、生成分发任务经平台开放接口或发布编排队列定时或不定时发布。

35、可选地，反馈优化步骤进一步包括：

36、根据埋点与平台数据回传接口采集目标平台的反馈数据；

37、根据反馈数据对预设学习排序模型进行优化调整、更新生成图文内容和/或视频内容的模板和/或对预设生成骨干网络进行局部增量训练。

38、根据本发明实施例的另一方面，提供了一种多模态今日穿搭的生成装置，其包括：

39、数据接入模块，适于接收目标用户侧的第一数据、平台侧的第二数据以及商品与素材数据；

40、商品理解模块，适于对商品与素材数据进行识别编码，得到商品条件信息；

41、用户画像模块，适于根据第一数据和第二数据得到风格约束向量、场景约束向量和推荐约束条件；

42、人体解析模块，适于对人物图像中的人物进行结构解析，得到人体结构信息、人体关键点坐标、姿态参数以及服装区域信息；

43、结构约束模块，适于根据人体结构信息、人体关键点坐标、姿态参数和服装区域信息得到结果控制条件，以约束生成结果中服装与人体之间的贴合关系及遮挡关系；

44、组合生成模块，适于将多个候选单品根据分属的不同服装类目进行组合筛选和/或由候选单品对已生成图像中部分单品进行替换更新，并通过预设生成骨干网络根据人体结构信息、结果控制条件、商品条件信息以及场景约束向量生成由候选单品组合得到的整体穿搭图像；候选单品根据风格约束向量获取人体结构信息中各部位区域对应的服装各类目，并基于推荐约束条件筛选预设数量的服装各类目的候选商品作为候选单品；

45、内容生成模块，适于基于整体穿搭图像生成对应的图文内容和/或视频内容；

46、分发模块，适于将图文内容和/或视频内容分发至目标平台；其中，将图文内容和/或视频内容与整体穿搭图像中对应的商品绑定；

47、反馈优化模块，适于采集目标平台对分发的图文内容和/或视频内容的反馈数据，并根据反馈数据对图文内容和/或视频内容以及整体穿搭图像的生成进行优化调整；反馈数据包括对图文内容和/或视频内容以及整体穿搭图像中对应的商品的反馈信息。

48、根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

49、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述多模态今日穿搭的生成方法对应的操作。

50、根据本发明实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述多模态今日穿搭的生成方法对应的操作。

51、根据本发明实施例的还一方面，提供了一种计算机程序产品，包括至少一可执行指令，所述可执行指令使处理器执行如上述多模态今日穿搭的生成方法对应的操作。

52、根据本发明实施例的提供的多模态今日穿搭的生成方法及装置，将商品与素材数据进行识别编码，结合目标用户侧的第一数据、平台侧的第二数据提取得到的风格约束向量、场景约束向量和推荐约束条件，共同编码作为后续生成整体穿搭图像的多模态联合条件表示，从而实现对今日穿搭内容生成过程的多维协同控制，使生成过程不再仅由文本prompt提示词驱动，实现多模态共同约束，基于人物图像识别提取人体结构信息、人体关键点坐标及姿态参数、服装区域信息等，共同输入条件控制分支注入扩散生成网络得到结果控制条件，通过结构约束保证服装贴合关系、遮挡关系和边缘连续性及局部纹理分布进行约束，从而在保证人物身份稳定的同时，提高服装生成结果的结构真实性，无需在后处理阶段修补，同时也稳定保持了人物结构、服装细节和整套穿搭风格的一致性，显著提升商业可用性。对于商品采用商品词元化和局部重生成机制，既可以对如上装、下装、外套、鞋履、包袋及配饰不同服装区域分别编码为可独立控制的单品词元，结合类目槽位约束、风格一致性约束、场景约束等，得到整体穿搭候选组合、筛选、排序等，又可以支持对单一单品进行局部替换和区域级重生成等细粒度编辑，避免每次调整均需整体重生成。在整套穿搭图像的基础上，还可以实现虚拟试衣、商品去衣重构等，实现内容资产向商品资产反向结构化转换机制，将内容素材自动转化为可复用的商品资产，而不仅仅是图像分割或简单抠图，通过人物去除、遮挡修复、边缘补全、属性识别与背景标准化等处理，得到可用的商品上架、检索、复用和二次生成的标准化商品资产。生成图文内容和/或视频内容后，通过与商品绑定，收集反馈数据，实现反向更新如搭配约束、生成内容模板、预设学习排序模型和预设生成骨干网络调整等，从而实现内容生成能力与经营转化效果的联动优化，将内容生成、内容分发和交易转化反馈统一到同一处理过程中，形成持续优化闭环。进一步，针对不同品牌、不同风格、不同国家市场和不同任务类型配置，预设生成骨干网络采用插拔参数模块或轻量微调模块，实现在不整体重训的情况下，应对多场景快速迁移与扩展。进一步，在平台发布前，通过对人物一致性、服装真实性、品牌露出规范、平台发布规范和内容质量等自动校验，将生成质量控制与平台运营规则控制联动，保障内容可直接商用与发布。

53、上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。