一种基于多模态大模型的品牌创意广告图生成方法及系统与流程

本发明涉及图像处理，具体涉及一种基于深度学习的图像生成方法。

背景技术：

1、随着人工智能技术的发展，文生图大模型被广泛应用于各类图像创作中。然而，在将其应用于品牌创意广告图生成时，现有技术存在以下缺陷：

2、品牌资产保真度低，现有技术通常依赖文本提示词控制图像生成，无法精确重现品牌标识、标准色和特定产品包装。若采用生成后合成或图像到图像的转换方法，会导致品牌资产与背景环境的光影不自然、风格割裂。

3、缺乏广告构图语义，现有生成模型不具备广告排版逻辑，生成的图像经常出现核心产品被背景元素掩盖，或者未为广告文案预留空间的问题，导致图像不具备直接投放的商业价值，需要大量人工二次排版。

4、故此亟需开发一种基于多模态大模型的品牌创意广告图生成方法及系统来解决现有技术中的问题。

技术实现思路

1、本发明的目的在于提供一种基于多模态大模型的品牌创意广告图生成方法及系统，能够通过多模态大模型及扩散模型的结构性改进，解决现有技术的品牌资产保真度低、缺乏广告构图语义等问题,且结构简单，使用方便，以解决上述背景技术中提出的品牌资产保真度低、缺乏广告构图语义的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于多模态大模型的品牌创意广告图生成方法，包括以下步骤：

4、s1：多模态品牌资产解析与特征提取，系统接收品牌资产包及广告营销意图文本，利用多模态大语言模型解析品牌资产包，提取品牌颜色特征向量、标识形状特征向量及产品外观特征向量，拼接构建品牌特征矩阵，同时根据广告营销意图文本输出结构化布局提示文本；所述品牌资产包包含品牌标识图像、视觉识别系统色彩数值和产品实物图；所述广告营销意图文本包含产品促销描述内容；

5、s2：广告营销意图理解与空间布局图生成，系统将结构化布局提示文本输入空间布局生成模型，生成包含不同灰度或色彩掩码的空间布局先验图；

6、s3：品牌条件化扩散生成模型构建与图像生成，系统构建包含u形网络及交叉注意力层的扩散模型，将空间布局先验图输入空间条件控制网络以提取空间控制参数并注入u形网络，同时在交叉注意力层中将品牌特征矩阵与广告营销意图文本特征共同作为键值对注入，其特征在于，系统还提取空间布局先验图中的环境光照参数构建环境光照场特征，在所述u形网络的特征解码层中，将所述环境光照场特征作为光照控制条件注入，指导品牌资产区域在去噪过程中自适应匹配环境光照，通过迭代去噪生成初始创意广告图；

7、s4：多级评估与动态反馈，系统利用多模态大语言模型对初始创意广告图进行多级评估，评估指标包括视觉质量、语义一致性、商业合规性以及光影合理性，其中视觉质量指标包括品牌标识清晰度、色彩与品牌标准色的一致性以及生成图像的光影自然度，语义一致性指标包括广告营销意图与生成内容的匹配度以及广告文案与图像元素的关联性，商业合规性指标包括品牌标识使用规范以及广告内容的法律法规符合性，光影合理性指标包括品牌资产区域的光照方向、强度及反射率与背景环境的匹配度，并根据评估结果动态调整空间布局先验图或特征注入权重；

8、s5：局部修复与迭代优化，若多级评估检测到留白区被破坏或光影合理性不达标，系统输出该区域的位置坐标并生成局部修复掩码，冻结初始创意广告图中除局部修复掩码以外的所有像素，对掩码区域进行局部扩散重绘，并将修复后的图像再次输入多级评估模块进行迭代优化，直至所有评估指标均满足预设阈值，输出最终标准广告图。

9、通过采用上述技术方案，通过在扩散模型中引入环境光照场特征并在特征解码层注入，能够实现品牌资产与生成环境在光照方向、强度及反射上的物理级自适应匹配，同时结合包含光影合理性的多级评估与局部重绘，从根本上解决了生成广告图中光影割裂、不真实的合成感问题，实现了具有高度视觉真实感和商业可用性的广告图生成。

10、作为本发明进一步的方案：步骤s1中，所述多模态大语言模型由视觉编码器和语言解码器组成；所述视觉编码器将图像转化为视觉特征序列，所述语言解码器理解文本并进行逻辑推理；所述多模态大语言模型在使用前进行指令微调训练，训练数据包含人工标注的样本，每个样本包括历史品牌资产图像、对应的特征描述文本以及标准特征向量，采用自回归损失函数优化模型参数。

11、通过采用上述技术方案，通过对多模态大语言模型进行指令微调训练，提升模型对品牌视觉元素的准确识别与特征提取能力，确保后续生成的品牌资产信息精准无误。

12、作为本发明进一步的方案：步骤s2中，所述空间布局生成模型为基于条件生成对抗网络的图像生成模型；所述空间布局生成模型在使用前经过监督训练，训练数据包含优秀广告设计稿及其对应的布局掩码图和布局描述文本；在训练过程中，将布局描述文本作为条件输入，以最小化生成掩码图与真实掩码图之间的交叉熵损失为目标更新模型权重。

13、通过采用上述技术方案，通过监督训练条件生成对抗网络模型，使系统具备广告学构图逻辑，能够准确生成符合商业排版规范的空间布局先验图。

14、作为本发明进一步的方案：步骤s3中，所述扩散模型包含用于逐步去噪生成图像的unet（u型网络），所述u形网络内部包含若干个交叉注意力层；所述空间条件控制网络为与所述u形网络并行的辅助网络，用于提取所述空间布局先验图的特征并作为空间控制参数注入到所述u形网络的对应层中。

15、通过采用上述技术方案，通过构建u形网络与并行辅助网络的结构，实现对生成图像宏观构图的精准空间约束，保证生成的广告图符合预设的空间区域划分。

16、作为本发明进一步的方案：步骤s3中，在所述交叉注意力层中，图像潜空间特征生成查询矩阵；基于所述广告营销意图文本提取的文本特征生成文本键矩阵和文本值矩阵，所述品牌特征矩阵经过线性变换生成品牌键矩阵和品牌值矩阵；将所述文本键矩阵与所述品牌键矩阵拼接，所述文本值矩阵与所述品牌值矩阵拼接，然后进行注意力计算，使对应区域受到品牌色彩和形状特征级别的强化约束。

17、通过采用上述技术方案，通过在交叉注意力层对查询、键、值矩阵进行特定拼接与计算，实现品牌特征与图像特征的深度融合，确保品牌色彩和形状在生成过程中的像素级忠实度。

18、作为本发明进一步的方案：步骤s3中，系统利用预训练的光照估计网络对所述空间布局先验图进行分析，提取全局光照方向向量和环境光强度标量，并结合品牌特征矩阵中的材质反射率属性，构建所述环境光照场特征。

19、通过采用上述技术方案，通过提取全局光照方向、强度并结合材质反射率构建环境光照场特征，能够将抽象的环境光影信息转化为可计算的物理参数，为后续特征解码层的光照注入提供准确的数据基础。

20、作为本发明进一步的方案：在所述u形网络的特征解码层中，通过可学习的仿射变换模块将所述环境光照场特征与解码层的特征图进行融合，具体为根据环境光照场特征对特征图进行通道级别的缩放和偏移操作，实现光照控制条件的注入。

21、通过采用上述技术方案，通过可学习的仿射变换模块对特征图进行通道级缩放和偏移，能够以轻量级的方式将光照控制条件深度融合至特征解码过程中，确保生成图像在像素层面准确反映环境光照效果。

22、作为本发明进一步的方案：步骤s5中，若所述多模态大语言模型检测到留白区被冗余元素侵入，则输出该区域的位置坐标并生成局部修复掩码；系统冻结所述初始创意广告图中除所述局部修复掩码以外的所有像素，仅对该掩码区域进行局部扩散重绘以恢复留白区域。

23、通过采用上述技术方案，通过精准定位破坏区域并冻结非目标像素进行局部重绘，有效修复广告图中的排版缺陷，恢复留白区域，提高图像的商用转化率。

24、本发明还公开了一种基于多模态大模型的品牌创意广告图生成系统，包括：

25、品牌资产解析模块，用于接收品牌资产包和营销意图文本，利用多模态大语言模型提取品牌特征矩阵和结构化布局提示文本；

26、空间布局规划单元，用于根据所述结构化布局提示文本生成空间布局先验图；

27、双条件引导扩散生成模块，与所述品牌资产解析模块及所述空间布局规划模块连接，用于接收所述品牌特征矩阵和所述空间布局先验图，提取所述空间布局先验图中的环境光照参数构建环境光照场特征，通过空间条件控制网络、交叉注意力层的特征注入机制以及将所述环境光照场特征作为光照控制条件注入u形网络的特征解码层，生成初始创意广告图；

28、多模态评估与局部修复模块，与所述双条件引导扩散生成模块连接，用于接收所述初始创意广告图，利用多模态大语言模型进行合规性评估，并对不达标区域进行局部重绘，输出最终标准广告图；

29、通过采用上述技术方案，通过四大核心模块的协同配合，构建了一套完整的从输入到输出、集生成与修复于一体的广告图生成系统，实现自动化、高质量的创意广告图生成流程。

30、作为本发明进一步的方案：所述双条件引导扩散生成模块包括扩散模型单元、空间控制网络单元和特征注入单元；所述扩散模型单元包含u形网络及若干个交叉注意力层；所述空间控制网络单元为与所述u形网络并行的辅助网络，用于提取所述空间布局先验图的特征并作为空间控制参数注入所述unet网络（u形网络）；所述特征注入单元用于在所述交叉注意力层中将所述品牌特征矩阵作为键值对注入，以进行强化约束。

31、通过采用上述技术方案，通过细化双条件引导扩散生成模块的内部结构，明确了空间控制与特征注入的具体执行单元，提升系统在图像生成过程中的可控性与融合精度。

32、与现有技术相比，本发明的有益效果是：

33、1、本发明通过在扩散模型的交叉注意力层中注入品牌特征矩阵，能够实现品牌标识和标准色的像素级保真，解决了品牌资产保真度低及风格割裂的问题。

34、2、本发明通过生成空间布局先验图约束扩散模型的宏观构图，能够确保生成的广告图包含明确的主视觉区和文案留白区，无需人工二次排版，解决了缺乏广告构图语义无法直接投放的问题。

35、3、本发明通过多模态大语言模型进行合规性评估并定位修复区域，能够自动纠正生成过程中的排版崩坏，保证输出广告图质量的稳定性与可用性。

36、4、本发明通过并行辅助网络提取空间控制参数，能够精确引导图像的区域划分，提升生成图像与预设空间布局的一致性。

37、本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。