一种基于多模态内容的广告自动化排版方法、系统及存储介质与流程

摘要: 本发明涉及图像处理领域,具体涉及一种基于多模态内容的广告自动化排版方法、系统及存储介质。背景技术:1、当前广告自动化排版技术主要包括模板匹配类、单模态生成类和弱...
一种基于多模态内容的广告自动化排版方法、系统及存储介质与流程

本发明涉及图像处理领域,具体涉及一种基于多模态内容的广告自动化排版方法、系统及存储介质。

背景技术:

1、当前广告自动化排版技术主要包括模板匹配类、单模态生成类和弱规则驱动类。模板匹配类依赖预设固定模板库,将文字、图片等内容填充至模板空位,其灵活性差,无法适配文本、图像、视频帧、图表、logo等多模态内容的动态组合需求,易出现信息错位、留白失衡等问题。

2、单模态生成类基于gan、扩散模型等生成单一图像或文本布局,缺乏对多模态内容的语义关联解析,图文、图视频融合生硬,且输出多为像素级图像,不支持分层编辑与组件化调整。

3、弱规则驱动类依赖人工预设的简单排版规则,如左图右文,无法量化多模态元素间的语义权重、视觉显著性与品牌约束,排版结果同质化严重,难以兼顾审美与信息传递效率。

4、上述现有技术共同面临两个关键问题:

5、其一,多模态融合停留在元素拼接层面,未能解析文本语义、图像主体、视频关键帧、图表数据之间的深层关联,导致排版逻辑松散、图文呼应缺失;

6、其二,生成结果编辑可控性差;模板填充和规则驱动类无法单独调整某一元素的位置或样式,生成类方法输出静态像素图,任何修改均需全局重生成,效率低下且无法满足广告设计中频繁的局部调整需求。

7、此外,现有技术普遍缺乏对品牌vi体系即配色、字体、logo规范的绑定与强制约束,输出风格混乱,品牌一致性难以保障;同时难以快速适配社交媒体、电商详情页、户外海报等多尺寸、多比例场景,需大量人工二次调整。

技术实现思路

1、本发明的目的在于提供一种基于多模态内容的广告自动化排版方法、系统及存储介质,通过摒弃模板填充、单模态生成等传统逻辑,构建多模态语义、视觉双驱动的解耦式排版架构:通过多模态语义关联图谱量化元素间的语义权重与空间约束,替代固定规则与模板;将品牌vi特征库嵌入排版全流程,实现风格一致性强制约束;输出分层组件化文件,支持各模态元素的独立编辑与多端自适应适配,从而从底层解决多模态融合浅、编辑可控性差的技术缺陷。

2、本发明的目的可以通过以下技术方案实现:

3、一种基于多模态内容的广告自动化排版方法,包括如下步骤:

4、s1、采集多模态内容及品牌vi信息并进行预处理;

5、s2、以预处理后的各模态元素为节点,以元素间的语义关联强度为边构建动态语义关联图谱,并根据语义关联强度与语义层级对节点进行权重排序,以确定核心元素、次要元素和辅助元素;

6、s3、对图像或视频帧进行视觉显著性检测以生成显著性热力图,基于所述热力图构建势能场,并叠加基于所述品牌vi信息生成的品牌空间约束,其中显著性越高的区域势能越低;

7、s4、结合所述动态语义关联图谱的节点权重与所述势能场的约束,分阶段进行布局推理,所述分阶段布局推理包括将核心元素优先布局于势能最低的区域,随后依次布局次要元素和辅助元素;

8、s5、调用由所述品牌vi信息构成的品牌vi特征库,对布局完成后的各模态元素进行风格渲染;

9、s6、输出包含独立分层的各模态元素的分层组件化文件,并响应于场景选择指令将所述分层组件化文件适配为对应尺寸的广告排版文件;

10、s7、响应于对输出文件局部调整的用户交互指令,解析用户偏好并迭代优化后续排版过程中所依赖的策略。

11、优选的,所述步骤s1中的预处理具体包括:

12、对文本进行分词、关键词提取与语义层级标注;

13、对图像或视频帧进行主体检测、显著性区域提取与背景虚化处理;

14、对图表进行数据层级解析与关键数据标注;

15、以及将所述品牌vi信息转化为特征向量。

16、优选的,所述步骤s2中语义关联强度的计算至少融合以下维度的量化值:

17、模态内关联分量,包括文本段落中关键词的共现频次、图像内不同主体之间的空间相邻关系;

18、模态间关联分量,包括文本关键词与图像主体标签之间的语义相似度、文本数字信息与图表数值区间的匹配置信度;

19、品牌约束分量,包括元素是否包含品牌色、元素是否位于品牌logo的预设视线引导路径上;

20、将上述分量加权求和后经sigmoid函数映射至0-1区间,作为最终的关联强度值。

21、优选的,对节点进行权重排序的步骤具体包括:

22、以各节点的语义关联强度值为初始权重,迭代执行以下更新操作直至收敛:

23、对于每一节点,将与当前节点相连的所有邻居节点的当前权重乘以对应边的语义关联强度值后求和,乘以衰减因子后与该节点的初始权重进行加权平均,作为该节点的新权重;

24、将收敛后的节点权重按降序排列,并根据预设的权重区间阈值划分核心元素、次要元素和辅助元素。

25、优选的,所述步骤s3中基于所述热力图构建势能场的方法具体包括:

26、将所述显著性热力图进行高斯模糊处理以平滑显著值分布;

27、将平滑后的显著值矩阵进行负对数变换,使得显著值与势能值呈负相关;

28、对负对数变换后的矩阵进行梯度域平滑,消除局部势能突变点,得到连续的势能场函数;

29、所述叠加品牌空间约束具体包括:

30、将品牌logo的预设位置区域的势能值强制设置为全局最低值,并以该区域为中心、按照高斯衰减函数向外逐步提升势能值,形成品牌约束势能场;

31、将所述势能场函数与所述品牌约束势能场进行逐像素取最小值操作,生成最终的综合势能场。

32、优选的,将核心元素优先布局于势能最低的区域的具体方法包括:

33、采用多尺度滑动窗口对综合势能场进行扫描,对于每一候选位置与候选尺寸,计算核心元素放置后所覆盖区域的势能积分值及元素边界处的势能梯度值;

34、选择势能积分值最小且边界处势能梯度变化率低于预设阈值的候选位置与候选尺寸作为核心元素的最终布局参数。

35、优选的,随后依次布局次要元素和辅助元素的步骤中,针对次要元素采用基于引力场的布局策略,具体包括:

36、以已布局的核心元素为引力源,引力大小与次要元素相对于核心元素的语义关联强度成正比、与欧氏距离的平方成反比;

37、将次要元素在势能场和引力场的联合场中进行最速下降搜索,使次要元素沿联合场的负梯度方向移动,直至达到局部极小值点完成定位;

38、针对辅助元素采用基于泰森多边形的空间填充策略:

39、将未被核心元素和次要元素占用的空白区域分割为泰森多边形单元,将各辅助元素分配至与其语义关联强度最高的单元内,并在该单元内进行居中或角点对齐布局。

40、一种基于多模态内容的广告自动化排版系统,包括:

41、多模态采集预处理模块,用于采集多模态内容及品牌vi信息,并对所述多模态内容进行特征提取与层级标注,将品牌vi信息转化为特征向量;

42、语义关联图谱构建模块,用于以各模态元素为节点、以元素间的语义关联强度为边构建动态语义关联图谱,并对节点进行权重排序以确定核心元素、次要元素和辅助元素;

43、势能场生成模块,用于对图像或视频帧进行视觉检测以生成势能场,并叠加基于品牌vi信息生成的品牌空间约束;

44、布局推理模块,用于结合所述节点权重与所述势能场的约束,分阶段进行布局推理,并将核心元素布局于势能最低区域,随后依次布局次要元素和辅助元素;

45、风格渲染模块,用于调用由品牌vi信息构成的品牌vi特征库,对布局完成后的各模态元素进行风格一致性渲染;

46、输出适配模块,用于输出包含独立分层的各模态元素的分层组件化文件,并根据选择的场景尺寸模板将所述分层组件化文件适配为对应尺寸的广告排版文件;

47、交互反馈模块,用于响应于用户对输出文件的局部调整指令,解析用户偏好并迭代优化后续排版所依赖的策略;

48、存储模块,用于存储品牌vi特征库、排版模板库及用户偏好数据。

49、一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,实现如所述的基于多模态内容的广告自动化排版方法的步骤。

50、本发明的有益效果:

51、(1)通过构建多模态语义关联图谱,量化文本、图像、视频帧、图表等元素之间的语义关联强度,并结合视觉显著性势能场将高显著区域映射为低势能空间,使核心元素自动布局于视觉焦点区域,辅助元素自然填充于边缘空间;相比现有技术中仅做元素拼接或依赖固定模板的方式,本发明显然能够实现内容语义与视觉布局的动态协同,排版结果紧密贴合广告信息的逻辑层次与视觉阅读规律,达到提升信息传递直观性和有效性的目的;

52、(2)通过将布局推理与风格渲染分离,最终输出如svg、psd的包含独立分层的组件化文件,每个模态元素均存储为独立可编辑图层,支持用户对任一元素的位置、尺寸、样式进行单独调整,无需全局重新生成;同时,还内置多场景尺寸模板库,可一键适配社交媒体、电商详情页、户外海报等不同比例的画布,自动完成元素的等比缩放与重排,有效改变现有技术中单次生成静态图、多场景需人工二次编辑的局限,以实现广告排版全流程效率的提升;

53、(3)将品牌vi信息转化为特征向量并嵌入排版全流程,形成风格一致性强制约束,在布局推理阶段即叠加品牌空间约束,在渲染阶段自动匹配品牌配色与字体,确保多模态内容输出后风格尽肯能统一,以降低视觉混乱的概率;并且通过多轮交互反馈,能够记录用户对排版结果的局部调整行为,自动解析偏好特征并迭代优化后续排版策略,使生成结果随使用次数增加而更贴合用户个性化需求,实现从被动适配到主动进化的能力跨越。