一种基于图文联合嵌入的宣传素材智能生成方法及装置与流程

本技术涉及多模态大模型，具体涉及一种基于图文联合嵌入的宣传素材智能生成方法及装置。

背景技术：

1、随着数字营销产业的快速发展，电商平台、社交内容平台对产品宣传素材的需求量呈指数级增长，传统人工设计制作宣传海报、详情页、推广图的方式存在周期长、成本高、风格同质化严重等问题，难以满足全渠道、高频次、差异化的营销投放需求。近年来，以扩散模型、跨模态语义对齐技术为核心的ai生成内容技术逐渐应用于宣传素材制作领域，显著提升了内容生产效率，但在高端营销场景的落地应用中仍存在多重本质性技术瓶颈。

2、现有多模态宣传素材生成方案主要围绕提示词引导的文生图模型展开，通过提取产品文本描述的语义特征引导图像生成模型输出对应素材。此类方案在实际应用中存在以下技术缺陷：

3、其一，卖点表征存在系统性因果偏差，无法剥离场景混杂因素。现有跨模态对齐方案普遍基于通用语义匹配模型，通过全局特征相似度实现图文关联，无法区分产品自身的本质卖点属性与拍摄场景、背景环境、搭配物件等混杂因素的因果边界。例如当产品图处于高端拍摄场景时，模型易将场景的高端属性误关联为产品卖点，导致生成的宣传素材出现卖点夸大、属性失真、与产品真实物理特征脱节等问题，无法保障宣传内容的事实准确性。

4、其二，生成过程的分层控制能力不足，版式约束与风格适配成本高。现有扩散模型的条件注入多采用全局前缀注入方式，无法对语义主题、版式布局、像素细节进行分层级的精准控制；宣传素材所需的固定版式结构难以作为刚性约束嵌入生成过程，易出现主体错位、布局不符合投放规范的问题。同时，现有风格适配方案多依赖针对单渠道的微调训练，每新增一类渠道风格都需要重新训练适配参数，无法实现零样本风格迁移，适配周期长、算力成本高，且反复微调易破坏模型原有的事实认知，引发事实漂移风险。

5、其三，卖点传播效能归因精度不足，缺乏异质性量化支撑。现有宣传内容的卖点筛选与权重分配主要依赖人工经验或简单的相关性统计，无法科学量化单个卖点对用户转化的真实因果效应；传统因果分析方法仅能计算卖点对全体用户的平均处理效应，无法区分不同人群、不同投放渠道、不同应用场景下的卖点价值差异，也无法构造反事实样本验证因果效应的真实性，导致卖点归因结果存在混杂偏差，无法为定向内容生成提供精准的效能依据，生成的宣传内容难以匹配目标受众的核心诉求，投放转化效果不稳定。

6、其四，图文生成链路相互割裂，多模态内容一致性差。现有方案大多仅能独立生成宣传文本或图像素材，文案与配图的生成过程相互独立，无法实现卖点级的一一对应与语义联动；人工匹配图文内容不仅生产效率低下，还容易出现图文卖点错位、语义不一致的问题，难以满足高端营销场景对图文协同表达的高标准要求。

7、本技术根据四级层级化的多层因果语义本体结构搭建语义传导框架，仅设置自下而上单向因果依赖边，搭配多层因果感知图注意力网络、可学习拆分矩阵与对比学习解耦损失，能够完整剥离场景混杂因子，仅保留卖点本质因子作为生成引导，有效解决现有方案易将拍摄场景误判为产品卖点、宣传素材事实失真的缺陷；同时可基于三维卖点传播权重矩阵对卖点本质因子加权，结合人群、渠道、场景量化卖点转化价值，生成内容更贴合投放需求。

技术实现思路

1、本发明的目的在于提供一种基于图文联合嵌入的宣传素材智能生成方法来至少解决上述的一个技术问题。

2、本发明的一个方面，提供一种基于图文联合嵌入的宣传素材智能生成方法，所述基于图文联合嵌入的宣传素材智能生成方法包括：

3、步骤1：获取经过训练的图文联合嵌入引导的宣传素材生成模型；

4、步骤2：获取用户输入的宣传素材；

5、步骤3：根据用户输入的宣传素材获取用于引导生成的目标多模态联合条件嵌入向量；

6、步骤4：将所述用于引导生成的目标多模态联合条件嵌入向量输入至经过训练的图文联合嵌入引导的宣传素材生成模型，从而获取宣传素材图像。

7、可选地，所述图文联合嵌入引导的宣传素材生成模型包括：

8、多粒度跨模态条件解耦与分层注入模块，所述多粒度跨模态条件解耦与分层注入模块用于接收目标多模态联合条件嵌入向量，结合扩散迭代过程中生成的当前时间步编码，对联合嵌入向量执行多粒度语义拆解与正交解耦处理，生成对应不同生成层级的动态条件增强特征；

9、版式先验编码与注入模块，所述版式先验编码与注入模块用于从获取的用户输入宣传素材中提取版式先验掩码，对版式先验掩码执行卷积编码与分辨率对齐处理，生成布局约束特征；

10、分层去噪unet主干网络，所述分层去噪unet主干网络用于接收初始加噪隐空间特征、扩散时间步编码、动态条件增强特征以及布局约束特征作为生成引导条件，经多级条件引导的扩散去噪运算后，输出去噪完成的隐空间特征；

11、隐空间编解码模块，所述隐空间编解码模块用于接收隐空间特征，经解码运算还原为像素空间的图像数据，输出最终的宣传素材图像；所述隐空间编解码模块在训练阶段还用于对原始宣传素材图像执行编码压缩，输出用于模型训练的标准化隐空间特征。

12、可选地，所述多粒度跨模态条件解耦与分层注入模块包括条件解耦子单元与分层门控注入子单元；其中，

13、所述条件解耦子单元用于接收目标多模态联合条件嵌入向量，通过三路并行的投影网络将联合嵌入分别映射为语义表征、风格表征、细节表征三类子空间向量，并对三类子空间向量执行正交约束处理，输出全局语义嵌入、布局风格嵌入与元素细节嵌入；

14、所述分层门控注入子单元用于接收全局语义嵌入、布局风格嵌入与元素细节嵌入与扩散迭代过程中的当前时间步编码，分别计算接收全局语义嵌入、布局风格嵌入与元素细节嵌入的对应时间步的动态注入权重，并将全局语义嵌入、布局风格嵌入、元素细节嵌入分别通过交叉注意力机制对应注入分层去噪unet主干网络，结合动态注入权重生成对应层级的动态条件增强特征。

15、可选地，所述版式先验编码与注入模块包括掩码提取子单元、布局编码子单元与特征对齐融合子单元；其中，

16、所述掩码提取子单元用于对获取的用户输入宣传素材执行区域语义分割，识别素材中的产品展示区、标题文案区与留白区三类功能区域，生成二值化的版式先验掩码；

17、所述布局编码子单元用于接收所述版式先验掩码，通过多层卷积网络与残差单元提取多尺度布局结构特征，并通过空间注意力机制对核心功能区域进行特征权重增强、对留白区域进行特征权重抑制，输出强化后的布局特征图；

18、所述特征对齐融合子单元用于对强化后的布局特征图执行分辨率上采样与通道维度对齐处理，生成与分层去噪unet主干网络分辨率匹配的布局约束特征。

19、可选地，所述分层去噪unet主干网络包括语义控制层、风格布局层与细节控制层，三个层级沿特征分辨率由低到高依次衔接；

20、所述语义控制层包括下采样路径末端残差注意力块、多个瓶颈残差注意力块以及上采样路径前端残差注意力块，对应网络最低分辨率特征维度，用于接入多粒度跨模态条件解耦与分层注入模块输出的全局语义对应动态条件增强特征，结合扩散时间步编码执行全局语义维度的去噪特征运算，输出语义约束后的深层特征至风格布局层；

21、所述风格布局层包括下采样路径中段残差注意力块以及上采样路径中段残差注意力块，对应网络中分辨率特征维度，用于同时接入多粒度跨模态条件解耦与分层注入模块输出的布局风格对应动态条件增强特征、以及版式先验编码与注入模块输出的布局约束特征，结合扩散时间步编码执行风格布局维度的去噪特征运算，输出风格与布局约束后的中层特征至细节控制层；

22、所述细节控制层包括下采样路径前端残差注意力块以及上采样路径末端残差注意力块，对应网络最高分辨率特征维度，用于接入多粒度跨模态条件解耦与分层注入模块输出的元素细节对应动态条件增强特征，结合扩散时间步编码执行像素细节维度的去噪特征运算，最终输出去噪完成的隐空间特征。

23、可选地，所述隐空间编解码模块包括编码器子单元与解码器子单元；

24、所述编码器子单元用于在模型训练阶段接收原始宣传素材图像，通过多级卷积下采样单元与残差运算单元对图像执行维度压缩处理，将像素空间的图像数据映射至低维隐空间，输出标准化的隐空间特征，作为分层去噪unet主干网络的训练输入；

25、所述解码器子单元用于在素材生成阶段接收分层去噪unet主干网络输出的去噪完成的隐空间特征，通过多级转置卷积上采样单元与残差运算单元对隐特征执行维度还原处理，将低维隐空间数据映射回像素空间，输出最终的宣传素材图像。

26、可选地，所述图文联合嵌入引导的宣传素材生成模型通过多目标联合损失函数迭代训练得到，训练过程的总损失函数如下：

27、；

28、其中，为总损失，为分层噪声预测损失，为分层跨模态对齐损失，为版式约束损失，为条件正交约束损失，、、为预设的平衡权重超参数；

29、所述分层噪声预测损失为：

30、；

31、其中，、、分别为语义控制层、风格布局层、细节控制层的噪声预测均方误差，、、为对应层级的预设权重；

32、所述分层跨模态对齐损失为：

33、；

34、其中，、、分别为语义控制层、风格布局层、细节控制层输出特征的全局平均池化向量，、、分别为全局语义嵌入、布局风格嵌入、元素细节嵌入，为余弦相似度函数；

35、所述版式约束损失为：

36、；

37、其中，为生成隐特征对应的显著性主体掩码，为版式先验掩码，为交并比计算函数；

38、所述条件正交约束损失为：

39、；

40、其中，为全局语义嵌入向量与布局风格嵌入向量的内积；

41、为全局语义嵌入向量与元素细节嵌入向量的内积；

42、为布局风格嵌入向量与元素细节嵌入向量的内积。

43、可选地，所述步骤3包括：

44、步骤31：构建四级层级化的多层因果语义本体结构，所述多层因果语义本体结构自下而上依次包括像素参数层、实体层、卖点层与价值层，仅在相邻层级的节点之间设置自下而上的单向因果依赖边，反向层级以及非相邻层级的节点之间不设置关联边，从本体结构层面阻断非因果混杂信息的传递路径；

45、步骤32：提取用户输入宣传素材对应的多模态底层特征，将所有多模态底层特征作为叶子节点挂载至所述像素参数层，按照所述单向因果依赖边的连接规则构建跨模态因果异质图；

46、步骤33：采用多层因果感知图注意力网络对所述跨模态因果异质图执行沿因果正向方向的消息传递与特征聚合，通过因果指示因子掩码阻断反向与跨层的信息传递，得到每个卖点语义节点对应的初步聚合嵌入向量；

47、步骤34：通过可学习拆分矩阵将各初步聚合嵌入向量拆分为卖点本质因子与场景混杂因子，结合对比学习解耦损失进行优化约束，使同一卖点在不同场景下的本质因子特征趋近一致、场景混杂因子特征差异最大化，收敛后提取得到所有卖点对应的卖点本质因子集；

48、步骤35：将所述卖点本质因子集与用户输入的风格语义特征进行拼接与线性映射融合，生成用于引导生成的目标多模态联合条件嵌入向量。

49、可选地，在步骤34得到卖点本质因子集之后、步骤35生成目标多模态联合条件嵌入向量之前，还包括：

50、根据历史反馈预处理数据集与所述卖点本质因子集，对每条用户反馈样本分别构建卖点感知处理变量、用户反馈结果变量以及人群、渠道、场景三类混淆协变量，按单卖点维度拆分得到标准化观测数据集；

51、基于预训练的多模态条件结果预测网络，在固定全部混淆协变量与非目标卖点特征的前提下，生成仅目标卖点感知状态发生翻转的反事实反馈结果，与真实样本一一配对构成真实-反事实配对样本集；

52、采用因果森林模型拟合各卖点的异质性处理效应，以最大化节点间处理效应差异为节点分裂准则构建多棵因果树，按人群、渠道、场景三个维度进行离散化聚合与归一化处理，输出三维卖点传播权重矩阵；

53、根据当前生成任务对应的目标人群、目标渠道与目标场景，从所述三维卖点传播权重矩阵中索引各卖点对应的传播权重值，以所述传播权重值对对应卖点本质因子执行逐因子加权调整；

54、步骤35中，将加权调整后的卖点本质因子集与用户输入的风格语义特征进行拼接与线性映射融合，生成用于引导生成的目标多模态联合条件嵌入向量。

55、本技术还提供了一种基于图文联合嵌入的宣传素材智能生成装置，所述基于图文联合嵌入的宣传素材智能生成装置包括：

56、宣传素材生成模型获取模块，所述宣传素材生成模型获取模块用于获取经过训练的图文联合嵌入引导的宣传素材生成模型；

57、宣传素材获取模块，所述宣传素材获取模块用于获取用户输入的宣传素材；

58、嵌入向量获取模块，所述嵌入向量获取模块用于根据用户输入的宣传素材获取用于引导生成的目标多模态联合条件嵌入向量；

59、宣传素材图像获取模块，所述宣传素材图像获取模块用于将所述用于引导生成的目标多模态联合条件嵌入向量输入至经过训练的图文联合嵌入引导的宣传素材生成模型，从而获取宣传素材图像。

60、本技术构建价值层-卖点层-实体层-像素层多层因果语义本体结构，节点间以因果依赖边替代传统语义关联边，明确像素特征支撑实体存在、实体特征支撑卖点成立、卖点特征支撑价值传递的单向因果传导关系，杜绝反向因果与混杂关联。将图像patch特征、视频帧特征、文本token特征、结构化参数特征作为四类模态叶子节点，与本体实体层节点相连，从结构上阻断混杂信息的聚合路径。