界面布局方法、装置、设备及计算机程序产品与流程

1.本发明涉及数据处理技术领域，尤其涉及一种界面布局方法、装置、设备及计算机程序产品。


背景技术：

2.随着5g(5th generation mobile communication technology，第五代移动通信技术)技术的快速发展，5g新通话的应用越来越广泛，以便用户基于电话号码进行视频通话。然而，目前5g新通话的界面需要依赖于行业客户或运营商人工进行设计，由于千行百业的界面设计需求都较为个性化，使得人工设计成本增加、费时费力、效率较低。


技术实现要素：

3.本发明的主要目的在于提供一种界面布局方法、装置、设备及计算机程序产品，旨在提高界面布局效率。
4.为实现上述目的，本发明提供一种界面布局方法，所述界面布局方法包括以下步骤：
5.获取待布局界面的界面基础元素序列，所述界面基础元素序列包括若干界面基础元素节点；
6.基于所述若干界面基础元素节点，构建所述待布局界面的界面布局拓扑图；
7.基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果，以供基于所述约束关系预测结果进行界面布局。
8.可选地，所述获取待布局界面的界面基础元素序列的步骤包括：
9.获取待布局界面的界面布局需求信息；
10.基于训练后的基础元素生成模型和所述界面布局需求信息，对所述待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。
11.可选地，所述基础元素生成模型包括编码器和解码器，所述基于训练后的基础元素生成模型和所述界面布局需求信息，对所述待布局界面包含的界面基础元素进行预测，得到界面基础元素序列的步骤包括：
12.基于所述编码器，对所述界面布局需求信息进行特征提取，得到上下文向量；
13.基于所述上下文向量和所述解码器，预测所述待布局界面包含的界面基础元素，得到界面基础元素序列。
14.可选地，所述基础元素生成模型还包括嵌入层，所述基于所述编码器，对所述界面布局需求信息进行特征提取，得到上下文向量的步骤包括：
15.对所述界面布局需求信息进行文本序列化，得到索引化后的界面布局需求信息；
16.基于所述嵌入层对所述索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量；
17.基于所述编码器，对所述界面布局需求向量进行特征提取，得到上下文向量。
18.可选地，所述界面布局生成模型包括若干关系图卷积层，所述基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果的步骤包括：
19.基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征；
20.基于所述拓扑潜在特征进行张量因子分解操作，预测所述若干界面基础元素节点中两两节点约束关系的评分结果；
21.基于所述评分结果，确定所述界面布局拓扑图的约束关系预测结果。
22.可选地，所述界面布局生成模型还包括若干全连接层和若干舍弃层，每一所述关系图卷积层和每一所述全连接层和每一所述舍弃层依次排列，所述基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征的步骤包括：
23.基于所述若干关系图卷积层、所述若干全连接层和所述若干舍弃层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征。
24.可选地，所述基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果的步骤之前，还包括：
25.获取界面布局拓扑图训练数据，并对所述界面布局拓扑图训练数据进行针对于约束关系的标签标注，得到约束关系数据；
26.获取待训练模型，在所述界面布局拓扑图训练数据和所述约束关系数据中选取训练样本数据；
27.基于所述训练样本数据，对所述待训练模型进行迭代训练，得到所述界面布局生成模型。
28.此外，为实现上述目的，本发明还提供一种界面布局装置，所述界面布局装置包括：
29.获取模块，用于获取待布局界面的界面基础元素序列，所述界面基础元素序列包括若干界面基础元素节点；
30.构建模块，用于基于所述若干界面基础元素节点，构建所述待布局界面的界面布局拓扑图；
31.预测模块，用于基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果，以供基于所述约束关系预测结果进行界面布局。
32.此外，为实现上述目的，本发明还提供一种界面布局设备，所述界面布局设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的界面布局程序，所述界面布局程序被所述处理器执行时实现如上所述的界面布局方法的步骤。
33.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有界面布局程序，所述界面布局程序被处理器执行时实现如上所述的界面布局方法的步骤。
34.此外，为实现上述目的，本发明还提供一种计算机程序产品，所述计算机程序产品
包括计算机程序，所述计算机程序被处理器执行时实现如上所述的界面布局方法的步骤。
35.本发明提供一种界面布局方法、装置、设备及计算机程序产品，获取待布局界面的界面基础元素序列，界面基础元素序列包括若干界面基础元素节点；基于若干界面基础元素节点，构建待布局界面的界面布局拓扑图；基于训练后的界面布局生成模型及界面布局拓扑图，对界面布局拓扑图进行约束关系预测，得到界面布局拓扑图的约束关系预测结果，以供基于约束关系预测结果进行界面布局。通过上述方式，只需获取待布局界面所需的界面基础元素节点，然后基于界面基础元素节点构建界面布局拓扑图，之后，基于搭建并训练后的界面布局生成模型，自动预测界面布局拓扑图的约束关系，以供基于约束关系对待布局界面的所有界面基础元素节点进行布局，进而提高界面布局的效率。
附图说明
36.图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
37.图2为本发明界面布局方法第一实施例的流程示意图；
38.图3为本发明界面布局方法第二实施例的流程示意图；
39.图4为本发明实施例涉及的基础元素生成模型示意图；
40.图5为本发明实施例涉及的界面布局生成模型示意图。
41.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
42.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
43.本发明实施例的主要解决方案是：获取待布局界面的界面基础元素序列，界面基础元素序列包括若干界面基础元素节点；基于若干界面基础元素节点，构建待布局界面的界面布局拓扑图；基于训练后的界面布局生成模型及界面布局拓扑图，对界面布局拓扑图进行约束关系预测，得到界面布局拓扑图的约束关系预测结果，以供基于约束关系预测结果进行界面布局。通过上述方式，只需获取待布局界面所需的界面基础元素节点，然后基于界面基础元素节点构建界面布局拓扑图，之后，基于搭建并训练后的界面布局生成模型，自动预测界面布局拓扑图的约束关系，以供基于约束关系对待布局界面的所有界面基础元素节点进行布局，进而提高界面布局的效率。
44.本发明实施例涉及的技术术语：
45.5g新通话，进入5g时代，运营商可基于vonr/volte高清视频通话服务来升级用户的通话体验，以免app安装、基于号码、确定性网络体验保障等ott应用所不具备的优势提升流量收入，先发培养用户习惯，抢夺用户，布局未来。gsma在rcs中提出了enriched calling，在通话中引入增强能力，定义了通话前(pre-call)、通话中(in-call)、通话后(post-call)三大场景。在通话前，主叫可以给被叫发送呼叫主题、重要性、图片、位置等信息；在通话中，主被叫双方可以互相发送任意文件、发送im消息、共享位置、共享地图、共享涂鸦、实时视频等；在被叫未接通时，主叫可以给被叫发送文字留言、或语音留言。运营商可以基于通话前、通话中和通话后这三大场景升级vonr/volte高清视频通话业务。3gpp也制定了ims数据通道标准，其基于volte/vonr高清音视频通话，与webrtc技术结合，通过扩展提供数据通道ims data channel，让语音和视频通话与扩展的数据通道同步，从而能在高
清视频通话中实现屏幕共享，叠加ar，甚至是听觉、视觉、触觉、动觉等同步的全沉浸式体验。ims data channel基于udp提供高实时性的单流或多流数据交互通道，可以在通话过程中同时进行桌面共享、白板共享及发送文件等操作。通过引入实时交互通道(ims data channel)，面向垂直行业在高清实时多媒体通话过程中增加行业特色交互式应用。端到端qos保障已经不仅仅是语音、视频两种特定的qos策略和执行，还要针对不同数据业务类型进行定制化的qos策略控制，支持根据多场景协商媒体qos属性。ims data channel不关注所传递通道中内容及其格式，仅需要通信双方对于通信格式达成一致，可采用webpage javascript脚本通用方式通过ims data channel传递多样化应用内容。
46.本发明实施例考虑到，现有相关方案中，5g新通话的界面需要依赖于行业客户或运营商人工进行设计，由于千行百业的界面设计需求都较为个性化，使得人工设计成本增加、费时费力、效率较低。
47.参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
48.本发明实施例终端为界面布局设备，该界面布局设备可以为pc(personal computer，个人计算机)、微型计算机、笔记本电脑、服务器等具有处理功能的终端设备。
49.如图1所示，该终端可以包括：处理器1001，例如cpu(central processing unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
50.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
51.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及界面布局程序。
52.在图1所示的终端中，处理器1001可以用于调用存储器1005中存储的界面布局程序，并执行以下操作：
53.获取待布局界面的界面基础元素序列，所述界面基础元素序列包括若干界面基础元素节点；
54.基于所述若干界面基础元素节点，构建所述待布局界面的界面布局拓扑图；
55.基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果，以供基于所述约束关系预测结果进行界面布局。
56.进一步地，处理器1001可以用于调用存储器1005中存储的界面布局程序，还执行以下操作：
57.获取待布局界面的界面布局需求信息；
58.基于训练后的基础元素生成模型和所述界面布局需求信息，对所述待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。
59.进一步地，处理器1001可以用于调用存储器1005中存储的界面布局程序，还执行
以下操作：
60.基于所述编码器，对所述界面布局需求信息进行特征提取，得到上下文向量；
61.基于所述上下文向量和所述解码器，预测所述待布局界面包含的界面基础元素，得到界面基础元素序列。
62.进一步地，处理器1001可以用于调用存储器1005中存储的界面布局程序，还执行以下操作：
63.对所述界面布局需求信息进行文本序列化，得到索引化后的界面布局需求信息；
64.基于所述嵌入层对所述索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量；
65.基于所述编码器，对所述界面布局需求向量进行特征提取，得到上下文向量。
66.进一步地，处理器1001可以用于调用存储器1005中存储的界面布局程序，还执行以下操作：
67.基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征；
68.基于所述拓扑潜在特征进行张量因子分解操作，预测所述若干界面基础元素节点中两两节点约束关系的评分结果；
69.基于所述评分结果，确定所述界面布局拓扑图的约束关系预测结果。
70.进一步地，处理器1001可以用于调用存储器1005中存储的界面布局程序，还执行以下操作：
71.基于所述若干关系图卷积层、所述若干全连接层和所述若干舍弃层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征。
72.进一步地，处理器1001可以用于调用存储器1005中存储的界面布局程序，还执行以下操作：
73.获取界面布局拓扑图训练数据，并对所述界面布局拓扑图训练数据进行针对于约束关系的标签标注，得到约束关系数据；
74.获取待训练模型，在所述界面布局拓扑图训练数据和所述约束关系数据中选取训练样本数据；
75.基于所述训练样本数据，对所述待训练模型进行迭代训练，得到所述界面布局生成模型。
76.基于上述硬件结构，提出本发明界面布局方法的各个实施例。
77.本发明提供一种界面布局方法。
78.参照图2，图2为本发明界面布局方法第一实施例的流程示意图。
79.在本实施例中，该界面布局方法包括：
80.步骤s10，获取待布局界面的界面基础元素序列，所述界面基础元素序列包括若干界面基础元素节点；
81.在本实施例中，界面布局方法可以应用于界面布局设备，该界面布局设备可以为ims数据通道，该界面布局设备可以由运营商进行管控；还可以应用于由该ims数据通道和其他相关设备构成的界面布局系统，该界面布局系统从属于上述图1的界面布局设备。
82.在一实施例中，所述获取待布局界面的界面基础元素序列的步骤包括：
83.通过ims数据通道，获取行业客户的界面新建请求信息，所述界面新建请求信息包括界面布局需求描述信息；基于所述界面布局需求描述信息，确定待布局界面的界面基础元素序列。具体的，行业客户向ims数据通道发起新建5g新通话主界面请求，请求消息中携带行业客户界面布局需求描述。
84.在本实施例中，获取待布局界面的界面基础元素序列，界面基础元素序列包括若干界面基础元素节点。其中，界面基础元素序列中的界面基础元素节点为待布局界面中所需布局的基础元素节点，例如，按键、标题、表格、图片、视频等元素节点。
85.在本实施例中，获取待布局界面的界面基础元素序列的方式可以是：
86.方式一：接收行业客户端发送的界面新建请求，基于该界面新建请求中携带的界面布局需求描述信息，然后，基于该界面布局需求描述信息和训练后的基础元素生成模型，对行业客户所需的待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。具体的执行过程可以参照下述第二实施例，此处不再一一赘述。
87.方式二：接收行业客户端发送的界面新建请求，基于该界面新建请求中携带的界面布局需求描述信息，然后，基于该界面布局需求描述信息从存储器中获取界面基础元素序列，其中，界面基础元素序列为预先根据界面布局需求描述信息进行设定的界面基础元素集。
88.步骤s20，基于所述若干界面基础元素节点，构建所述待布局界面的界面布局拓扑图；
89.在本实施例中，基于若干界面基础元素节点，构建待布局界面的界面布局拓扑图。具体的，以确定的若干界面基础元素节点为界面布局拓扑图的节点，以元素的内容作为节点的特征，以元素之间的约束作为节点间的边，进而构建该界面布局拓扑图。
90.需要说明的是，该布局拓扑图中两两节点的约束关系需要进行重建，以供后续基于重建约束关系后的布局拓扑图进行布局。
91.步骤s30，基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果，以供基于所述约束关系预测结果进行界面布局。
92.在本实施例中，基于训练后的界面布局生成模型及界面布局拓扑图，对界面布局拓扑图进行约束关系预测，得到界面布局拓扑图的约束关系预测结果，以供基于约束关系预测结果进行界面布局，即通过约束关系来映射界面基础元素间的距离，以实现待布局界面拓扑的生成。
93.具体的，基于训练后的界面布局生成模型中的特征提取器，提取该界面布局拓扑图中的界面布局的拓扑特征信息，进而依据界面布局的拓扑特征信息和界面布局生成模型中的分类器，对界面布局拓扑图的约束关系进行预测，得到约束关系预测结果，并基于该约束关系预测结果。
94.其中，分类器的具体执行过程为获得分类概率向量，然后，确定该分类概率向量中最大的分类概率值对应的约束关系预测结果。
95.在另一实施例中，所述界面布局生成模型为关系图卷积网络模型，所述特征提取器包括若干关系图卷积层，上述步骤s30包括：
96.基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜
在特征；基于所述拓扑潜在特征进行张量因子分解操作，预测所述若干界面基础元素节点中两两节点约束关系的评分结果；基于所述评分结果，确定所述界面布局拓扑图的约束关系预测结果。具体的执行过程，参照下述第三实施例。
97.需要说明的是，可以通过约束关系预测结果中的约束关系来映射界面基础元素间的距离，进而基于界面基础元素间的距离对界面基础元素进行布局。
98.本发明实施例提供一种界面布局方法，获取待布局界面的界面基础元素序列，界面基础元素序列包括若干界面基础元素节点；基于若干界面基础元素节点，构建待布局界面的界面布局拓扑图；基于训练后的界面布局生成模型及界面布局拓扑图，对界面布局拓扑图进行约束关系预测，得到界面布局拓扑图的约束关系预测结果，以供基于约束关系预测结果进行界面布局。通过上述方式，只需获取待布局界面所需的界面基础元素节点，然后基于界面基础元素节点构建界面布局拓扑图，之后，基于搭建并训练后的界面布局生成模型，自动预测界面布局拓扑图的约束关系，以供基于约束关系对待布局界面的所有界面基础元素节点进行布局，进而提高界面布局的效率。
99.进一步地，基于上述第一实施例，提出本发明界面布局方法的第二实施例。
100.参照图3，图3为本发明界面布局方法第二实施例的流程示意图。
101.在本实施例中，上述步骤s10包括：
102.步骤s11，获取待布局界面的界面布局需求信息；
103.在本实施例中，获取待布局界面的界面布局需求信息。具体的，获取行业客户的界面新建请求信息，所述界面新建请求信息包括界面布局需求描述信息。例如，行业客户向ims数据通道发起新建5g新通话主界面请求，请求消息中携带行业客户界面布局需求描述，进而界面布局设备通过ims数据通道，获取行业客户的界面新建请求信息，所述界面新建请求信息包括界面布局需求描述信息。
104.步骤s12，基于训练后的基础元素生成模型和所述界面布局需求信息，对所述待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。
105.在本实施例中，基于训练后的基础元素生成模型和界面布局需求信息，对待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。其中，基础元素生成模型为基于深度学习构建的模型，其用于生成待布局界面所需的界面基础元素序列。
106.具体的，基于训练后的基础元素生成模型中的特征提取器，提取该界面布局需求信息中的界面布局需求特征信息，进而依据界面布局需求特征信息和基础元素生成模型中的分类器，对所述待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。
107.其中，分类器的具体执行过程为获得分类概率向量，然后，确定该分类概率向量中最大的分类概率值对应的界面基础元素序列。
108.在一实施例中，所述基础元素生成模型为编解码神经网络模型，所述基础元素生成模型包括编码器和解码器，上述步骤s12包括：
109.步骤a121，基于所述编码器，对所述界面布局需求信息进行特征提取，得到上下文向量；
110.步骤a122，基于所述上下文向量和所述解码器，预测所述待布局界面包含的界面基础元素，得到界面基础元素序列。
111.在本实施例中，基于编码器，对界面布局需求信息进行特征提取，得到上下文向
量；然后，基于上下文向量和所述解码器，预测待布局界面包含的界面基础元素，得到界面基础元素序列。
112.需要说明的是，该编码器可以由循环神经网络组成，该循环神经网络可以为lstm(long short-term memory，长短期记忆)神经网络，或者该编码器可以由深度卷积神经网络等组成。相应的，该解码器可以由循环神经网络组成，该循环神经网络可以为lstm(long short-term memory，长短期记忆)神经网络，或者该解码器可以由深度卷积神经网络等组成。
113.在一些实施例中，所述编码器包括三个lstm神经网络层，上述步骤a121包括：
114.基于所述编码器的三个lstm神经网络层，对所述界面布局需求信息进行特征提取，得到上下文向量。
115.在一些实施例中，所述解码器包括三个lstm神经网络层，上述步骤a122包括：
116.基于所述上下文向量和所述解码器的三个lstm神经网络层，预测所述待布局界面包含的界面基础元素，得到界面基础元素序列。
117.为便于理解，以下通过一具体实施例进行说明。参照图4，图4为本发明实施例涉及的基础元素生成模型示意图。第一层为输入层：输入索引化后的行业客户布局内容描述；第二层为嵌入层(embedding)：利用词嵌入(word embedding)将每个词转化为向量，输出设置为需要将词转换为128维度的空间向量，该层的作用是对输入的词进行向量映射，将每个词的索引转换为128维的固定形状向量；第三、四层为lstm编码层：含128个lstm神经元，激活函数设置为“relu”；第五、六层为lstm解码层：含128个lstm神经元,激活函数设置为“relu”；第七层全连接(dense)层(输出层)：激活函数设置为“softmax”，将softmax输出结果，送入多类交叉熵损失函数，进而得到面基础元素序列。
118.进一步地，将界面布局需求信息进行数据预处理，然后，再将数据预处理之后的界面布局需求信息输入至基础元素生成模型。
119.其中，数据预处理可以包括文本序列化处理和向量映射处理。具体的，对界面布局需求信息进行文本清洗和文本序列化，得到索引化后的界面布局需求信息，并基于词嵌入层对索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量。具体的，移除界面布局需求信息的所有标点符号，若文本为中文则对文本进行分词、若文本为英文则将字母统一为小写，同时将每个词索引化(tokenize)，使得每一段文本被转化成一段索引数字，并且对未达到最大文本长度的序列补零。例如，取界面布局需求信息的最长长度作为其索引序列长度，取其词典大小作为数据维度，然后，利用词嵌入层将每个词转化为向量，具体的，词嵌入层的输入数据维度为界面布局需求信息的词典大小，输出设置为需要将词转换为128维度的空间向量，也就是说，该词嵌入层的作用是对输入的词进行向量映射，将每个词的索引转换为128维的固定形状向量。
120.在一实施例中，所述基础元素生成模型还包括嵌入层，上述步骤a121包括：
121.步骤a1211，基于所述嵌入层对所述索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量；
122.步骤a1212，基于所述编码器，对所述界面布局需求向量进行特征提取，得到上下文向量。
123.在本实施例中，基于所述嵌入层对所述索引化后的界面布局需求信息进行向量映
射，得到界面布局需求向量；基于所述编码器，对所述界面布局需求向量进行特征提取，得到上下文向量。具体的，基于词嵌入层对索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量，利用词嵌入层将每个词转化为向量，具体的，词嵌入层的输入数据维度为界面布局需求信息的词典大小，输出设置为需要将词转换为128维度的空间向量，也就是说，该词嵌入层的作用是对输入的词进行向量映射，将每个词的索引转换为128维的固定形状向量。
124.为训练基础元素生成模型，在上述步骤s12之前，该界面布局方法还包括：
125.获取界面布局需求训练数据，并对所述界面布局需求进行针对于界面基础元素的标签标注，得到界面基础元素数据；获取待训练模型，在界面布局需求训练数据和界面基础元素数据中选取训练样本数据；基于训练样本数据，对待训练模型进行迭代训练，得到界面布局拓扑图生成器。
126.具体的，提取界面布局需求信息训练数据中的各个界面布局需求信息表示值、，进而基于各个界面布局需求信息表示值，为界面布局需求信息训练数据匹配对应的界面布局基础元素序列，进而获得界面布局基础元素序列数据。
127.其中，训练样本数据至少包括一训练样本，一训练样本包括一来自于界面布局需求信息训练数据中的界面布局需求信息。
128.在一实施例中，获取历史的界面布局请求，然后通过界面布局请求中携带的界面布局需求信息，将所有的界面布局需求信息作为界面布局需求信息训练数据。在其他实施方式中，训练数据可以人工设定，或者通过其他方式进行设定。
129.进一步地，将界面布局需求信息进行数据预处理，然后，再将数据预处理之后的界面布局需求信息输入至基础元素生成模型。
130.其中，数据预处理可以包括文本序列化处理和向量映射处理。具体的，对界面布局需求信息进行文本清洗和文本序列化，得到索引化后的界面布局需求信息，并基于词嵌入层对索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量。具体的，移除界面布局需求信息的所有标点符号，若文本为中文则对文本进行分词、若文本为英文则将字母统一为小写，同时将每个词索引化(tokenize)，使得每一段文本被转化成一段索引数字，并且对未达到最大文本长度的序列补零。例如，取界面布局需求信息的最长长度作为其索引序列长度，取其词典大小作为数据维度，然后，利用词嵌入层将每个词转化为向量，具体的，词嵌入层的输入数据维度为界面布局需求信息的词典大小，输出设置为需要将词转换为128维度的空间向量，也就是说，该词嵌入层的作用是对输入的词进行向量映射，将每个词的索引转换为128维的固定形状向量。
131.进一步地，将训练样本数据划分为训练集和测试集，例如，将训练样本数据的90％划为训练集，训练样本数据的10％划为测试集。其中，训练集用于训练模型，测试集用于测试模型。
132.具体的，在训练样本数据中选取训练样本，并将训练样本对应的界面布局需求信息训练数据输入待训练模型，执行模型预测，获得模型输出标签，进而计算模型输出标签与训练样本对应的界面布局拓扑图权限类别之间的差值，获得模型损失，进而基于模型损失，更新待训练模型，直至待训练模型的迭代次数达到预设迭代次数。
133.需要说明的是，将训练回合数设置为1000(epochs＝1000)，批处理大小设置为100
(batch_size＝100)，选择categorical crossentropy多类交叉熵作为损失函数即目标函数(loss＝'categorical_crossentropy')，梯度下降优化算法选择adam优化器用于改善传统梯度下降的学习速度(optimizer＝'adam')。神经网络通过梯度下降，可以找到使目标函数最小的最优权重值，神经网络通过训练会自主学习到权重值。模型收敛后导出该模型的权重。
134.本实施例中，基于搭建并训练后的基础元素生成模型，自动对待布局界面包含的界面基础元素进行预测，得到界面基础元素序列，从而进一步提高对界面布局的效率。
135.进一步地，基于上述第一实施例，提出本发明界面布局方法的第三实施例。
136.在本实施例中，所述界面布局生成模型包括若干关系图卷积层，上述步骤s30包括：
137.步骤a31，基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征；
138.步骤a32，基于所述拓扑潜在特征进行张量因子分解操作，预测所述若干界面基础元素节点中两两节点约束关系的评分结果；
139.步骤a33，基于所述评分结果，确定所述界面布局拓扑图的约束关系预测结果。
140.在本实施例中，基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征；基于所述拓扑潜在特征进行张量因子分解操作，预测所述若干界面基础元素节点中两两节点约束关系的评分结果；基于所述评分结果，确定所述界面布局拓扑图的约束关系预测结果。
141.进一步的，所述界面布局生成模型还包括若干全连接层和若干舍弃层，每一所述关系图卷积层和每一所述全连接层和每一所述舍弃层依次排列，上述步骤a31包括：
142.步骤a311，基于所述若干关系图卷积层、所述若干全连接层和所述若干舍弃层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征。
143.为便于理解，以下通过一具体实施例进行说明。参照图5，图5为本发明实施例涉及的界面布局生成模型示意图。第一层为关系图卷积层(r-gcn)：卷积核个数为128(即输出的维度)，激活函数设置为“relu”；第二层为全连接层(dense)：神经元个数为128，激活函数设置为“relu”；第三层为随机舍弃层(dropout)：舍弃概率设置为0.2,将在训练过程中每次更新参数时按一定概率(20％)随机断开输入神经元，dropout层用于防止过拟合；第四层为关系图卷积层(r-gcn)：卷积核个数为64，激活函数设置为“lamda”；第五层为全连接层(dense)：神经元个数为64，激活函数设置为“relu”；第六层为随机舍弃层(dropout)：舍弃概率设置为0.2；第七层为张量因子分解层(distmult factorization)：利用编码器输出的节点i和节点j的潜在空间向量表示zi和zj,解码器通过分解操作预测候选边(vi,r,vj)，激活函数设置为“softmax”。解码器通过函数g(vi,r,vj)来对可能的边(vi,r,vj)进行评分，以确定这些边属于e集合的可能性，该得分g(vi,r,vj)表示基础元素节点vi和vj通过关系r发生关联的可能性。利用编码器输出的节点i和节点j的潜在空间向量表示zi和zj,解码器通过distmult分解作为评分函数预测候选边(vi,r,vj)：
[0144][0145]
其中，rr是形状为d*d的对角矩阵，该矩阵代表zi中每个维度对关联关系r的重要
性。最终softmax(g(vi,r,vj))代表基础元素节点i和基础元素节点j之间的约束关系，取值为0-1之间，取值越大代表约束关系越强，布局距离也越近。
[0146]
本实施例中，基于关系图网络搭建并训练后的界面布局生成模型，自动预测界面布局拓扑图的约束关系，以供基于约束关系对待布局界面的所有界面基础元素节点进行布局，进而进一步提高界面布局的效率。
[0147]
进一步地，基于上述第一实施例，提出本发明界面布局方法的第四实施例。
[0148]
在本实施例中，在上述步骤s30之前，该界面布局方法还包括：
[0149]
步骤a40，获取界面布局拓扑图训练数据，并对所述界面布局拓扑图训练数据进行针对于约束关系的标签标注，得到约束关系数据；
[0150]
在本实施例中，获取界面布局拓扑图训练数据，并对所述界面布局拓扑图训练数据进行针对于约束关系的标签标注，得到约束关系数据。具体的，提取界面布局拓扑图训练数据中的各个界面布局拓扑图集表示值和投放消息训练数据中的各个消息内容表示值，进而基于各个界面布局拓扑图集表示值和各个消息内容表示值，为界面布局拓扑图训练数据和投放消息训练数据匹配对应的约束关系预测结果，进而获得约束关系预测结果数据。
[0151]
在一实施例中，获取各个行业客户对应的界面布局拓扑图集，然后，将界面布局拓扑图集作为界面布局拓扑图训练数据。在其他实施方式中，界面布局拓扑图训练数据可以人工设定，或者通过其他方式进行设定。该界面布局拓扑图训练数据至少包括一界面布局拓扑图集。
[0152]
在一实施例中，获取历史的界面布局请求，然后通过界面布局请求中携带的界面布局需求信息，将所有的界面布局需求信息作为界面布局需求信息训练数据。在其他实施方式中，训练数据可以人工设定，或者通过其他方式进行设定。
[0153]
进一步地，在所述获取界面布局拓扑图训练数据和投放消息训练数据的步骤之后，该界面布局方法还包括：
[0154]
对所述界面布局拓扑图训练数据进行整数序列化处理，得到索引化后的界面布局拓扑图训练数据，并对投放消息训练数据进行文本清洗和文本序列化，得到索引化后的投放消息训练数据，通过词嵌入层将索引化后的消息训练数据进行向量映射，得到向量化的投放消息训练数据，以供对索引化后的界面布局拓扑图训练数据和向量化的投放消息训练数据进行针对于约束关系预测结果的标签标注，得到约束关系预测结果数据。
[0155]
对投放消息训练数据进行文本清洗和文本序列化，具体的，移除投放消息训练数据的所有标点符号，若文本为中文则对文本进行分词、若文本为英文则将字母统一为小写，同时将每个词索引化(tokenize)，使得每一段文本被转化成一段索引数字，并且对未达到最大文本长度的序列补零。例如，取投放消息训练数据的最长长度作为其索引序列长度，取其词典大小作为数据维度，以便进行向量映射。
[0156]
步骤a50，获取待训练模型，在所述界面布局拓扑图训练数据和所述约束关系数据中选取训练样本数；
[0157]
在本实施例中，获取待训练模型，在所述界面布局拓扑图训练数据和所述约束关系数据中选取训练样本数。其中，训练样本数据至少包括一训练样本，一训练样本包括一来自于界面布局拓扑图训练数据中的界面布局拓扑图集。
[0158]
进一步地，将训练样本数据划分为训练集和测试集，例如，将训练样本数据的90％
划为训练集，训练样本数据的10％划为测试集。其中，训练集用于训练模型，测试集用于测试模型。
[0159]
步骤a60，基于所述训练样本数据，对所述待训练模型进行迭代训练，得到所述界面布局生成模型。
[0160]
在本实施例中，基于所述训练样本数据，对所述待训练模型进行迭代训练，得到所述界面布局生成模型。具体的，在训练样本数据中选取训练样本，并将训练样本对应的界面布局拓扑图集输入待训练模型，执行模型预测，获得模型输出标签，进而计算模型输出标签与训练样本对应的约束关系预测结果之间的差值，获得模型损失，进而基于模型损失，更新待训练模型，直至待训练模型的迭代次数达到预设迭代次数。
[0161]
需要说明的是，可以计算预测的约束关系和真实的约束关系之间的误差，训练目标是最小化该误差。目标函数选择'categorical_crossentropy'多类对数损失函数。将训练回合数设置为2000(epochs＝2000)，梯度下降优化算法选择adam优化器用于改善传统梯度下降的学习速度(optimizer＝'adam')。神经网络通过梯度下降，可以找到使目标函数最小的最优权重值，神经网络通过训练会自主学习到权重值。用训练集进行训练，使得目标函数越小越好，并在每轮训练后用测试集来评价验证模型。模型收敛后则导出该模型的权重。
[0162]
本实施例中，基于搭建并训练后的界面布局生成模型，自动预测界面布局拓扑图的约束关系，以供基于约束关系对待布局界面的所有界面基础元素节点进行布局，进而提高界面布局的效率。
[0163]
本发明还提供一种界面布局装置。
[0164]
在本实施例中，所述界面布局装置包括：
[0165]
获取模块，用于获取待布局界面的界面基础元素序列，所述界面基础元素序列包括若干界面基础元素节点；
[0166]
构建模块，用于基于所述若干界面基础元素节点，构建所述待布局界面的界面布局拓扑图；
[0167]
预测模块，用于基于训练后的界面布局生成模型及所述界面布局拓扑图，对所述界面布局拓扑图进行约束关系预测，得到所述界面布局拓扑图的约束关系预测结果，以供基于所述约束关系预测结果进行界面布局。
[0168]
进一步的，所述获取模块包括：
[0169]
信息获取单元，用于获取待布局界面的界面布局需求信息；
[0170]
元素预测单元，用于基于训练后的基础元素生成模型和所述界面布局需求信息，对所述待布局界面包含的界面基础元素进行预测，得到界面基础元素序列。
[0171]
进一步的，所述基础元素生成模型包括编码器和解码器，所述元素预测单元包括：
[0172]
特征提取子单元，用于基于所述编码器，对所述界面布局需求信息进行特征提取，得到上下文向量；
[0173]
元素预测子单元，用于基于所述上下文向量和所述解码器，预测所述待布局界面包含的界面基础元素，得到界面基础元素序列。
[0174]
进一步的，所述基础元素生成模型还包括嵌入层，所述特征提取子单元还用于对所述界面布局需求信息进行文本序列化，得到索引化后的界面布局需求信息；基于所述嵌入层对所述索引化后的界面布局需求信息进行向量映射，得到界面布局需求向量；基于所
述编码器，对所述界面布局需求向量进行特征提取，得到上下文向量。
[0175]
进一步的，所述界面布局生成模型包括若干关系图卷积层，所述预测模块包括：
[0176]
特征提取单元，用于基于所述若干关系图卷积层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征；
[0177]
张量分解单元，用于基于所述拓扑潜在特征进行张量因子分解操作，预测所述若干界面基础元素节点中两两节点约束关系的评分结果；
[0178]
结果确定单元，用于基于所述评分结果，确定所述界面布局拓扑图的约束关系预测结果。
[0179]
进一步的，所述界面布局生成模型还包括若干全连接层和若干舍弃层，每一所述关系图卷积层和每一所述全连接层和每一所述舍弃层依次排列，所述特征提取单元还用于基于所述若干关系图卷积层、所述若干全连接层和所述若干舍弃层，对所述界面布局拓扑图进行特征提取，得到拓扑潜在特征。
[0180]
进一步的，所述界面布局装置还包括：
[0181]
数据获取模块，用于获取界面布局拓扑图训练数据，并对所述界面布局拓扑图训练数据进行针对于约束关系的标签标注，得到约束关系数据；
[0182]
样本选取模块，用于获取待训练模型，在所述界面布局拓扑图训练数据和所述约束关系数据中选取训练样本数据；
[0183]
模型训练模块，用于基于所述训练样本数据，对所述待训练模型进行迭代训练，得到所述界面布局生成模型。
[0184]
其中，上述界面布局装置中各个模块的功能实现与上述界面布局方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
[0185]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有界面布局程序，所述界面布局程序被处理器执行时实现如以上任一项实施例所述的界面布局方法的步骤。
[0186]
本发明计算机可读存储介质的具体实施例与上述界面布局方法各实施例基本相同，在此不作赘述。
[0187]
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序产品被处理器执行时实现如以上任一项实施例所述的界面布局方法的步骤。
[0188]
本发明计算机程序产品的具体实施例与上述界面布局方法各实施例基本相同，在此不作赘述。
[0189]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0190]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0191]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0192]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。