一种多模态输入驱动的目标产品宣传内容生成方法及装置与流程

本技术涉及多模态大模型，具体涉及一种多模态输入驱动的目标产品宣传内容生成方法及装置。

背景技术：

1、现有多模态宣传内容生成方案普遍停留在跨模态语义匹配与提示词引导生成的浅层范式，在算法底层存在四大本质性瓶颈，无法满足高端营销场景对精准性、差异化、自进化能力的高阶需求：

2、现有方案普遍基于clip类通用对齐模型实现语义相似度匹配，无法区分卖点本质属性与场景混杂因素的因果关联。例如图像中高端场景下的保温杯会让模型误将高端场景归为产品卖点，导致生成内容夸大、失真，卖点表征存在系统性偏差。

3、现有lora风格适配方案需针对每个渠道单独训练，无法支持新兴渠道的零样本风格迁移；事实约束仅依赖前缀注入，缺乏生成过程中的动态符号校验，仍存在事实漂移风险；且仅能生成单一文本内容，无法实现文案-配图提示-分镜脚本的多模态内容联合生成。

4、传统因果ate（平均处理效应）仅能计算卖点对全体用户的平均影响，无法区分不同人群、不同渠道、不同场景下的卖点异质性价值；且仅基于历史观测数据计算，无法构造反事实样本验证因果效应的真实性，归因结果存在偏差。

技术实现思路

1、本发明的目的在于提供一种多模态输入驱动的目标产品宣传内容生成方法来至少解决上述的一个技术问题。

2、本发明的一个方面，提供一种多模态输入驱动的目标产品宣传内容生成方法，所述多模态输入驱动的目标产品宣传内容生成方法包括：

3、步骤1：获取经过预处理的多模态数据集；

4、步骤2：获取预设的多层因果语义本体结构；

5、步骤3：根据所述多模态数据集以及多层因果语义本体结构生成卖点本质因子集；

6、步骤4：根据多模态数据集以及卖点本质因子集生成三维卖点传播权重矩阵；

7、步骤5：根据三维卖点传播权重矩阵生成初始宣传文本以及与文本卖点一一对应的视觉生成提示词序列。

8、可选地，所述步骤1包括：

9、步骤11：采集目标产品的原始图像集，通过实例分割模型提取产品主体区域并滤除背景噪声，经视觉编码模型提取图像区域特征与全局图像特征，构建图像模态预处理数据集；

10、步骤12：采集目标产品的原始使用与宣传视频，按预设帧率提取关键帧并通过帧间相似度过滤冗余帧，对各关键帧执行主体分割与特征提取后，经时序编码模型提取视频全局时序特征与分段场景特征，构建视频模态预处理数据集；

11、步骤13：采集目标产品的结构化参数表，完成单位统一、数值标准化与复合参数拆分清洗后，经表格编码模型提取各参数项的特征向量并留存属性名-数值-单位三元组信息，构建结构化参数模态预处理数据集；

12、步骤14：采集产品说明文本、官方介绍文本与用户评论文本，执行分句去重与停用词过滤，通过命名实体识别提取产品实体与属性短语，经文本编码模型提取句子级语义特征与全局文本特征，构建文本模态预处理数据集；

13、步骤15：采集历史投放反馈数据及对应的人群、渠道、场景协变量标签，清洗异常值与缺失值并对反馈指标做归一化处理，对协变量标签执行嵌入编码，构建历史反馈预处理数据集；其中，

14、所述图像模态预处理数据集、视频模态预处理数据集、结构化参数模态预处理数据集、文本模态预处理数据集与历史反馈预处理数据集组成经过预处理的多模态数据集。

15、可选地，所述预设的多层因果语义本体结构为四级层级化语义架构，依次包括价值层、卖点层、实体层与像素参数层；

16、所述价值层包含若干用户价值语义节点，用于表征产品向用户传递的情感价值、体验价值与社交价值；

17、所述卖点层包含若干产品卖点语义节点，用于表征产品的物理属性、功能特性与感知体验卖点；

18、所述实体层包含若干产品实体节点，用于表征产品的物理组成部件、功能单元与核心构件；

19、所述像素参数层为底层特征接入层级，用于挂载多模态数据集中各模态的底层特征节点；

20、所述多层因果语义本体结构中，仅在相邻层级的节点之间设置单向因果依赖边，因果传导方向严格遵循自下而上的像素参数层指向实体层、实体层指向卖点层、卖点层指向价值层的顺序；

21、所述单向因果依赖边用于表征下层节点特征是上层节点语义成立的支撑性原因，反向层级以及非相邻层级的节点之间不设置关联边，以从本体结构层面阻断非因果混杂信息的传递路径。

22、可选地，所述步骤3包括：

23、步骤31：将多模态数据集中各模态的底层特征节点挂载至所述多层因果语义本体结构的像素参数层，按照单向因果依赖边的连接规则构建跨模态因果异质图；

24、步骤32：采用多层图注意力网络对跨模态因果异质图执行沿因果正向方向的消息传递与特征聚合，得到每个卖点语义节点对应的初步聚合嵌入向量；

25、步骤33：通过可学习拆分矩阵将各初步聚合嵌入向量拆分为本质因子与场景混杂因子，结合对比学习解耦损失进行优化训练，收敛后输出所有卖点对应的卖点本质因子集。

26、可选地，所述步骤32中，图注意力网络的注意力权重基于因果关联强度计算，计算公式为：

27、；

28、其中，为当前卖点节点特征，为相邻模态节点特征，w为线性变换矩阵，a为注意力向量，为向量拼接操作，为因果指示因子；当节点与节点的连接符合单向因果传导方向时取值为1，否则取值为0，用于从特征聚合层面阻断反向与跨层混杂信息的传递。

29、可选地，所述步骤33中，对比学习解耦损失函数为：

30、；

31、其中，、为同一卖点在不同场景样本下的本质因子，为余弦相似度损失，用于约束不同场景下同一卖点的本质因子特征趋近一致；为同一卖点在不同场景样本下的场景混杂因子，为距离损失，用于约束不同场景下的混杂因子特征差异最大化；为平衡系数，用于调节两类损失的权重占比。

32、可选地，所述步骤4包括：

33、步骤41：根据多模态数据集中的历史反馈预处理数据集与所述卖点本质因子集，构建各卖点对应的标准化观测数据集；

34、步骤42：基于条件生成模型构造与真实样本一一配对的反事实样本，得到真实-反事实配对样本集；

35、步骤43：通过因果森林模型拟合卖点的异质性处理效应，按人群、渠道、场景三个维度进行聚合，输出三维卖点传播权重矩阵。

36、可选地，所述步骤41包括：

37、对历史反馈预处理数据集中的每条用户反馈样本，通过语义匹配判定用户是否感知到对应卖点，构建处理变量；以用户情感得分、转化结果作为结果变量，以用户画像、产品价格、渠道类型、场景标签作为混淆协变量；按单卖点维度拆分，形成包含处理变量、结果变量与协变量矩阵的标准化观测数据集。

38、可选地，所述步骤43中，因果森林模型输出各细分维度下卖点的边际处理效应，计算公式为：

39、τ(x)=e[y(1)−y(0)|x=x]；

40、其中，τ(x)为协变量特征x对应的卖点异质性因果效应值，y(1)为用户感知到卖点时的结果变量取值，y(0)为用户未感知到卖点时的结果变量取值。

41、本技术还提供了一种多模态输入驱动的目标产品宣传内容生成装置，所述多模态输入驱动的目标产品宣传内容生成装置包括：

42、多模态数据集获取模块，所述多模态数据集获取模块用于获取经过预处理的多模态数据集；

43、多层因果语义本体结构获取模块，所述多层因果语义本体结构获取模块用于获取预设的多层因果语义本体结构；

44、卖点本质因子集获取模块，所述卖点本质因子集获取模块用于根据所述多模态数据集以及多层因果语义本体结构生成卖点本质因子集；

45、三维卖点传播权重矩阵获取模块，所述三维卖点传播权重矩阵获取模块用于根据多模态数据集以及卖点本质因子集生成三维卖点传播权重矩阵；

46、宣传内容生成模块，所述宣传内容生成模块用于根据三维卖点传播权重矩阵生成初始宣传文本以及与文本卖点一一对应的视觉生成提示词序列。

47、本技术构建价值层-卖点层-实体层-像素层多层因果语义本体结构，节点间以因果依赖边替代传统语义关联边，明确像素特征支撑实体存在、实体特征支撑卖点成立、卖点特征支撑价值传递的单向因果传导关系，杜绝反向因果与混杂关联。将图像patch特征、视频帧特征、文本token特征、结构化参数特征作为四类模态叶子节点，与本体实体层节点相连，从结构上阻断混杂信息的聚合路径。