基于深度学习的平面设计版面布局自动生成方法及系统

摘要: 本发明属于图像生成领域,特别是涉及一种基于深度学习的平面设计版面布局自动生成方法及系统。背景技术:1、随着平面设计智能化领域的发展,出现了基于深度学习的自动版面...
基于深度学习的平面设计版面布局自动生成方法及系统

本发明属于图像生成领域,特别是涉及一种基于深度学习的平面设计版面布局自动生成方法及系统。

背景技术:

1、随着平面设计智能化领域的发展,出现了基于深度学习的自动版面生成技术,该技术能够从设计图像中识别标题、正文、图片、图标等视觉元素,并通过空间关系建模自动计算它们在画布上的位置与尺寸,实现布局的自动生成与跨媒介自适应,进而引出目前的基于深度学习的版面重排方式。

2、传统技术中,版面重排主要依赖以下几种途径:一是基于模板的匹配法,系统预先维护一组不同比例的画布模板,将原始设计元素按模板占位符进行缩放与摆放,此方式实现简单,但模板覆盖有限,遇到复杂版式时适配结果生硬且缺乏美感;二是基于人工经验与规则系统,设计师借助对齐、留白、栅格等规则手动调整元素,或由程序自动执行约束求解,尽管能够保证一定设计质量,却需要投入大量专家知识进行规则维护,难以适应新媒介和个性化需求;三是基于图像几何变换的缩放裁剪法,对原始画布进行整体拉伸、等比缩放或集中裁切,虽然简单快捷,但会造成元素变形、文字截断或关键信息丢失;四是早期深度学习模型直接回归元素坐标,利用卷积网络整体预测所有框的位置,但由于没有显式建模元素的类别语义、图层关系和空间邻接,生成的布局常出现重叠、错位、层级混乱或对齐失效。

3、然而,现有的自动版面生成方法在将连续图像转化为可计算的离散图结构时,仍面临元素边界难以精确分离、语义属性表达不够充分、节点所需的信息在转换过程中容易丢失等问题,使得生成的图结构难以完整支撑后续的布局优化,最终导致跨媒介重排结果与原始设计意图之间存在明显偏差。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够构建多分支属性编码机制,提高视觉元素特征区分度;引入图节点表示,提升版面重排的准确性和还原度的基于深度学习的平面设计版面布局自动生成方法及系统。

2、第一方面,本技术提供了一种基于深度学习的平面设计版面布局自动生成方法,包括:

3、获取标准数字图像,并将标准数字图像输入到实例分割模型中,进行视觉元素实例分割,得到设计元素实例;

4、从标准数字图像中裁剪各设计元素实例对应的图像区域,得到元素局部图像,并对元素局部图像进行视觉特征提取,得到元素属性;

5、基于元素属性,计算得到各设计元素实例的空间关系,以设计元素实例为节点,以元素属性为节点特征,以空间关系为边,构建得到设计图结构;

6、将设计图结构输入到图神经网络中,进行节点特征聚合,得到更新节点特征;

7、将各更新节点特征输入到布局解码器中,进行新布局坐标预测,得到新布局坐标集合,并基于目标画布参数,对新布局坐标集合进行规则化修正,得到新设计版面布局。

8、进一步地,基于元素属性,计算得到各设计元素实例的空间关系,包括:

9、遍历设计元素实例,进行两两配对组合,得到候选元素对,并基于元素属性中的元素几何属性,对各候选元素对计算交并比,得到重叠关系;

10、基于元素几何属性,对各候选元素对计算得到元素边界最短距离,并比对元素边界最短距离和距离阈值,得到相邻关系;

11、基于元素几何属性,对各候选元素对计算得到边界坐标差值,并比对边界坐标差值和边界容差,得到对齐关系;

12、基于元素几何属性,对各候选元素对计算得到外接矩阵包含面积比值,并基于外接矩阵包含面积比值,进行包含关系判定,得到包含关系;

13、整合重叠关系、相邻关系、对齐关系和包含关系,得到空间关系。

14、进一步地,方法还包括训练布局解码器,训练布局解码器包括:

15、获取多尺寸设计稿,并基于多尺寸设计稿,构建得到监督样本;

16、以同一设计内容的监督样本在同一子集为约束,划分监督样本为训练数据集和验证数据集;

17、基于训练数据集,以损失函数值最小化为目标优化方向,对布局解码器框架进行迭代训练,得到基础布局解码器;

18、基于验证数据集,分别计算基础布局解码器对应的解码比较指标和规则引擎对应的规则比较指标;其中,解码比较指标和规则比较指标包括元素重叠率、出界率、对齐保持率和坐标误差;

19、基于解码比较指标和规则比较指标的比较结果,将基础布局解码器设置为布局解码器。

20、进一步地,基于多尺寸设计稿,构建得到监督样本,包括:

21、基于多尺寸设计稿,提取各尺寸版本的矢量源文件,并对各矢量源文件进行设计元素识别,得到多尺寸设计元素和多尺寸设计元素对应的设计元素特征;

22、基于设计元素特征,通过相似度计算,对各多尺寸设计元素进行跨尺寸版本匹配,得到多尺寸设计稿匹配数据,并将多尺寸设计稿分别设置为输入版面和目标版面;

23、基于多尺寸设计稿匹配数据,将输入版面中各多尺寸设计元素对应的设计元素特征设置为输入特征,将目标版面中各多尺寸设计元素对应的坐标尺寸数据设置为标签,得到监督样本。

24、进一步地,损失函数值的表达式为:

25、;

26、其中,为损失函数,为坐标回归损失,为广义交并比损失,为画布边界约束损失,为重叠关系匹配损失,为对齐关系保持损失,为图层顺序保持损失,、、、、和为权重系数;

27、其中,重叠关系匹配损失的计算公式为:

28、;

29、其中,为重叠关系匹配损失,为目标画布上设计元素的个数,、为元素索引,为第个元素预测的边界框,为第个元素预测的边界框,为第个元素的目标边界框,为第个元素预测的目标边界框,为交并比。

30、进一步地,对元素局部图像进行视觉特征提取,得到元素属性,包括:

31、将各元素局部图像输入到卷积神经网络中,进行通用视觉特征提取,得到通用视觉特征向量;

32、基于设计元素实例中的类别标签,提取文本类元素对应的元素局部图像,得到文本元素图像,并将文本元素图像输入到文字识别模型中,进行文字识别,得到文本属性;

33、将文本元素图像输入到字体识别模型中,进行排版属性识别,得到排版属性,对各元素局部图像进行纹理特征提取,得到元素风格属性;其中,元素风格属性包括主色调、颜色直方图和纹理特征描述;

34、整合文本属性、排版属性和元素风格属性,得到元素属性。

35、第二方面,本技术还提供了一种基于深度学习的平面设计版面布局自动生成系统,包括:

36、分割模块,用于获取标准数字图像,并将标准数字图像输入到实例分割模型中,进行视觉元素实例分割,得到设计元素实例;

37、特征模块,用于从标准数字图像中裁剪各设计元素实例对应的图像区域,得到元素局部图像,并对元素局部图像进行视觉特征提取,得到元素属性;

38、构建模块,用于基于元素属性,计算得到各设计元素实例的空间关系,以设计元素实例为节点,以元素属性为节点特征,以空间关系为边,构建得到设计图结构;

39、聚合模块,用于将设计图结构输入到图神经网络中,进行节点特征聚合,得到更新节点特征;

40、布局模块,用于将各更新节点特征输入到布局解码器中,进行新布局坐标预测,得到新布局坐标集合,并基于目标画布参数,对新布局坐标集合进行规则化修正,得到新设计版面布局。

41、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如本技术第一方面所提供方法的任一步骤。

42、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本技术第一方面所提供方法的任一步骤。

43、上述基于深度学习的平面设计版面布局自动生成方法及系统,获取标准数字图像,并将标准数字图像输入到实例分割模型中,进行视觉元素实例分割,得到设计元素实例;从标准数字图像中裁剪各设计元素实例对应的图像区域,得到元素局部图像,并对元素局部图像进行视觉特征提取,得到元素属性;基于元素属性,计算得到各设计元素实例的空间关系,以设计元素实例为节点,以元素属性为节点特征,以空间关系为边,构建得到设计图结构;将设计图结构输入到图神经网络中,进行节点特征聚合,得到更新节点特征;将各更新节点特征输入到布局解码器中,进行新布局坐标预测,得到新布局坐标集合,并基于目标画布参数,对新布局坐标集合进行规则化修正,得到新设计版面布局。能够构建多分支属性编码机制,对文本元素额外运行字符识别和字体识别,获取排版属性,对图形元素计算主色调、颜色直方图和纹理描述,提高视觉元素之间特征区分度;引入图神经网络,避免元素在转换为图节点过程中几何信息丢失、层级关系缺失和空间关系无法还原的风险,有效提升跨媒介版面重排的准确性和还原度。