基于生成对抗网络的网页显著度预测方法及系统与流程

1.本发明涉及互联网技术领域，尤其涉及一种基于生成对抗网络的网页显著度预测方法及系统。


背景技术：

2.近几十年来，随着互联网的快速发展，搜索引擎和社交网络的广泛普及，网页逐渐成为人们获取信息的一种最重要的渠道。根据internet live stats online的统计，全球现有网站的总数量已达将近17亿，互联网用户已超过40亿。有统计显示，人们一周内在浏览网页上花费的时间大约是23个小时，并且仍然在增长中。人们在浏览网页上花费时间的增加，不仅改变了人们的生活方式，也会对商业公司的市场行为产生较大的影响，比如，商业广告的投放、网页布局的设计以及网页加载的优化等。因此，研究用户在浏览网页时的注意力是如何被部署和引导的，具有重要的科学研究价值以及商业应用价值。网页显著度(webpage saliency)正是一种可以用来表示终端用户在浏览网页的时候，注意力在网页上分布情况的显著度图。
3.网页显著度对工业界和学术界都具有比较重要的意义。亚马逊进行的一项研究表明，如果网页在客户端浏览器上的加载时间能减少一秒钟，那么他们的利润可以增加约16亿美元。受此启发，kelton等人首先利用网页显著度计算出网页中最显著的一些区域，然后优先将这些内容发送给客户端浏览器，以减少网页加载时间，提高用户体验。此外，网页显著度也可以用来提升广告利润。chen等人利用网页显著度来计算哪些区域更容易被终端用户所关注，然后利用这些区域来改进个性化的在线文档、图像和视频广告推荐。类似地，xiang等人通过网页显著度来选择最合适的广告，并在他们的视频广告系统中使用它来提高收入。此外，网页设计师也可以从网页显著度中获益，他们可以利用网页显著度来改善网页的排版和布局等样式。例如，知道网页的哪些部分最可能引起用户的视觉关注，网页设计师就可以更合理地安排这些比较重要的网页元素。此外，通过这种改进同时还可以让终端用户获得更友好的用户体验。
4.目前有关预测网页的显著度图的研究工作还比较少，而且现有的网页显著度的预测方法存在着很多的弊端。比如，需要人工的进行特征选择、需要从网页的快照中重新选取像素点作为训练数据，模型对数据敏感和网页显著度的预测结果不够精确，以及预测算法不具有很好的泛化能力和扩展性等。因此，现在亟需一种基于生成对抗网络的网页显著度预测方法及系统来解决上述问题。


技术实现要素：

5.针对现有技术存在的问题，本发明实施例提供一种基于生成对抗网络的网页显著度预测方法及系统。
6.第一方面，本发明实施例提供了一种基于生成对抗网络的网页显著度预测方法，包括：
7.获取待预测网页的网页快照和网页底层特征，所述网页底层特征为所述待预测网页的网页边界特征和文本文字特征；
8.将所述网页快照和所述网页底层特征输入到训练好的网页显著度预测模型中，输出得到所述待预测网页的网页显著度预测结果；所述训练好的网页显著度预测模型是由样本网页快照和所述样本网页快照对应的样本网页底层特征，通过深度卷积神经网络训练得到的。
9.进一步地，所述训练好的网页显著度预测模型通过以下步骤训练得到：
10.获取训练样本集，所述训练样本集包括样本网页快照，及所述样本网页快照对应的样本网页底层特征和样本网页显著图；
11.根据所述样本网页快照和所述样本网页底层特征，对生成器网络进行训练，得到样本预测网页显著图；
12.根据所述样本预测网页显著图和所述样本网页显著图，对判别器网络进行训练，若训练结果满足预设条件，则得到训练好的网页显著度预测模型；若不满足，则通过反向传播算法，对生成器网络的参数和判别器网络的参数进行更新，以使得更新后的生成器网络和判别器网络进行训练，直到训练结果满足预设条件。
13.进一步地，所述生成器网络是通过残差区块和自注意力机制构建而成的。
14.进一步地，所述判别器网络的对抗性损失函数为：
[0015][0016]
所述生成器网络的对抗性损失函数为：
[0017]
l'
gan
(g,d)＝-e
f,s
[d(f,g(f,s))]；
[0018]
其中，f表示样本网页快照以及其对应的样本网页底层特征，s表示真实的样本网页显著图，g表示生成器网络，d表示判别器网络。
[0019]
进一步地，在所述根据所述样本预测网页显著图和所述样本网页显著图，对判别器网络进行训练之后，所述方法还包括：
[0020]
根据判别器网络，对样本预测网页显著图和样本网页显著图进行真伪判别，并根据判别结果构建重构损失函数，所述重构损失函数为：
[0021][0022]
根据所述重构损失函数和对抗性损失函数，构建优化目标函数，以根据所述优化目标函数得到训练好的网页显著度预测模型，所述优化目标函数为：
[0023][0024]
其中，l
gan
(g,d)表示对抗性损失函数，l
recons
(g)表示重构损失函数，j表示样本数量，sj表示第j个样本的真实网页显著图，表示第j个样本通过生成器网络生成的网页显著图；λ用于控制样本预测网页显著图和样本网页显著图所占的权重。
[0025]
进一步地，所述获取训练样本集包括：
[0026]
通过边缘检测器，对样本网页快照进行底层特征提取处理，得到所述样本网页快照对应的样本底层特征，以用于构建训练样本集，其中，所述边缘检测器包括canny滤波器、sobel滤波器和拉普拉斯滤波器。
[0027]
第二方面，本发明实施例提供了一种基于生成对抗网络的网页显著度预测系统，包括：
[0028]
获取模块，用于获取待预测网页的网页快照和网页底层特征，所述网页底层特征为所述待预测网页的网页边界特征和文本文字特征；
[0029]
预测模块，用于将所述网页快照和所述网页底层特征输入到训练好的网页显著度预测模型中，输出得到所述待预测网页的网页显著度预测结果；所述训练好的网页显著度预测模型是由样本网页快照和所述样本网页快照对应的样本网页底层特征，通过深度卷积神经网络训练得到的。
[0030]
进一步地，所述系统还包括：
[0031]
样本集构建模块，用于获取训练样本集，所述训练样本集包括样本网页快照，及所述样本网页快照对应的样本网页底层特征和样本网页显著图；
[0032]
生成器训练模块，用于根据所述样本网页快照和所述样本网页底层特征，对生成器网络进行训练，得到样本预测网页显著图；
[0033]
判别器训练模块，用于根据所述样本预测网页显著图和所述样本网页显著图，对判别器网络进行训练，若训练结果满足预设条件，则得到训练好的网页显著度预测模型；若不满足，则通过反向传播算法，对生成器网络的参数和判别器网络的参数进行更新，以使得更新后的生成器网络和判别器网络进行训练，直到训练结果满足预设条件。
[0034]
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
[0035]
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
[0036]
本发明实施例提供的一种基于生成对抗网络的网页显著度预测方法及系统，通过把完整的网页快照以及相对应的网页特征作为输入，基于深度卷积神经网络构建生成对抗网络，输出得到网页的网页显著度，能够在一定程度上解决现有的网页显著度预测算法没有考虑像素之间的空间信息的弊端，从而提高了网页显著度的预测准确性和效率。此外，由于省去了选取训练数据的过程，在一定程度的减轻过拟合，同时可以省去由于选取数据所消耗的时间。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1为本发明实施例提供的基于生成对抗网络的网页显著度预测方法的流程示意
图；
[0039]
图2为本发明实施例提供网页显著图预测模型的整体架构图；
[0040]
图3为本发明实施例提供残差区块的结构示意图；
[0041]
图4为本发明实施例提供的网页底层特征的示意图；
[0042]
图5为本发明实施例提供的自注意力机制的流程示意图；
[0043]
图6为本发明实施例提供的基于生成对抗网络的网页显著度预测系统的结构示意图；
[0044]
图7为本发明实施例提供的电子设备结构示意图。
具体实施方式
[0045]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
随着生成对抗网络的提出以及近几年相关技术的发展，图像生成领域中很多任务的效果都得到了改善。由于生成对抗网络的实现通常使用深度神经网络，因而可以很好的提取数据的潜在重要特征，省去了手工提取特征的步骤，此外，生成对抗网络还可以根据某些额外提供的条件信息，指导图像的生成过程。这些优点使得生成对抗网络可以以端到端的方式生成视觉上清晰并且真实的图像。因此，生成对抗网络也被用来完成很多计算机视觉领域中的图像生成任务，比如，图像的超分辨率重构，图像风格转换以及图像修复等。
[0047]
由于用户最终看到的是加载并展示完成的网页，所以可以把加载完成的网页看作是一个非常复杂的图片，包含文本、图片以及分割框等元素。因而，可以把网页显著图的预测看成是一种图像生成的过程，即可以使用生成对抗网络来预测网页的显著度图。但是，网页有着很多不同于纯粹的自然图片的特征，比如，网页往往存在着比较明显的拓扑布局，这导致视觉上看到的网页会有明显的“分块”特征。因此，不能仅仅把网页显著度图的预测只当作一种图像生成任务，还要考虑到一些网页所特有的结构特征，即不仅要把网页快照作为生成对抗网络的输入，还要把网页的另外的一些结构特征，比如，元素所在位置、元素所占区域大小以及元素类型等作为条件信息，输入到生成对抗网络中。为了克服现有的网页显著度的预测方法的缺陷和不足，并改善网页显著度的预测结果以及提高预测效率，本发明实施例提出了基于生成对抗网络的网页显著度的预测算法，借鉴使用不同领域的新方法和思路，来解决已有的网页显著度预测算法的不足，有效的改善了网页显著度预测的效果。
[0048]
图1为本发明实施例提供的基于生成对抗网络的网页显著度预测方法的流程示意图，如图1所示，本发明实施例提供了一种基于生成对抗网络的网页显著度预测方法，包括：
[0049]
步骤101，获取待预测网页的网页快照和网页底层特征，所述网页底层特征为所述待预测网页的网页边界特征和文本文字特征；
[0050]
步骤102，将所述网页快照和所述网页底层特征输入到训练好的网页显著度预测模型中，输出得到所述待预测网页的网页显著度预测结果；所述训练好的网页显著度预测模型是由样本网页快照和所述样本网页快照对应的样本网页底层特征，通过深度卷积神经网络训练得到的。
[0051]
在本发明实施例中，将待预测网页完整的网页快照以及相对应的网页底层特征输入到训练好的模型中，该模型是基于深度卷积神经网络构建的，而深度卷积神经网络的工作方式能够考虑到输入的空间信息。图2为本发明实施例提供网页显著图预测模型的整体架构图，可参考图2所示，网页显著图预测模型的结构大致可以分为3个算法模块，其中左侧部分的上方是遵循编码器-解码器结构的生成器网络模块，其中，编码器结构用来提取网页快照的特征，解码器结构根据提取到的网页快照特征和特征提取网络模块提取的网页底层特征，生成对应的网页显著度图；左侧部分的下方是特征提取网络模块，它被用于对事先通过滤波器等方式提取的网页的底层特征进行高层抽象，从而得到网页底层特征；右侧部分是判别器网络模块，用来对整个网络进行对抗性训练，从而来保证生成清晰且看起来真实的网页显著度图。在本发明实施例中，生成器网络模块和特征提取网络模块共同构成了生成器部分，判别器网络模块单独构成了判别器部分。
[0052]
本发明实施例提供的基于生成对抗网络的网页显著度预测方法，通过把完整的网页快照以及相对应的网页特征作为输入，基于深度卷积神经网络构建生成对抗网络，输出得到网页的网页显著度，能够在一定程度上解决现有的网页显著度预测算法没有考虑像素之间的空间信息的弊端，从而提高了网页显著度的预测准确性和效率。此外，由于省去了选取训练数据的过程，在一定程度的减轻过拟合，同时可以省去由于选取数据所消耗的时间。
[0053]
在上述实施例的基础上，所述训练好的网页显著度预测模型通过以下步骤训练得到：
[0054]
获取训练样本集，所述训练样本集包括样本网页快照，及所述样本网页快照对应的样本网页底层特征和样本网页显著图；
[0055]
根据所述样本网页快照和所述样本网页底层特征，对生成器网络进行训练，得到样本预测网页显著图；
[0056]
根据所述样本预测网页显著图和所述样本网页显著图，对判别器网络进行训练，若训练结果满足预设条件，则得到训练好的网页显著度预测模型；若不满足，则通过反向传播算法，对生成器网络的参数和判别器网络的参数进行更新，以使得更新后的生成器网络和判别器网络进行训练，直到训练结果满足预设条件。
[0057]
在本发明实施例中，生成器网络模块的网络结构对最终的算法的性能有很大的影响，但是网络结构的设计既不能太复杂，也不能太过简单。因为，如果生成器网络模块的网络结构设计的太过简单，就会导致生成器无法生成足够清晰且真实的图像；相对的，如果生成器网络模块的网络结构设计的过于复杂，就会使得整个生成器网络模块的训练变得困难，导致网络可能无法收敛。需要说明的是，本发明实施例的生成器网络模块属于生成器网络的一部分，为上述实施例中的编码器-解码器结构的生成器网络模块。为了更好的保证生成对抗网络的性能，本发明实施例提出的网页显著度预测算法设计并实现带有跳跃连接(skip connection)的网络结构。具体地，本发明实施例基于残差区块构建生成器网络模块，相对于传统的堆叠卷积层和池化层的网络结构，残差区块具有更强的学习能力，从而能够更好的提取图像特征，同时残差区块更易于训练，图3为本发明实施例提供残差区块的结构示意图，残差区块的网络结构可参考图3所示。对于使用了残差区块网络结构的生成器网络模块，各网络层的参数配置如表1所示：
[0058]
表1
[0059][0060][0061]
本发明实施例基于残差区块构建的生成器网络进行训练，训练得到的网页显著度预测算法的预测效果会相对更好。
[0062]
进一步地，由于现有的网页显著度预测算法只是通过线性组合的方法来融合网页的特征，但是这种方法过于简单而无法提取出网页的底层特征。为了解决这个问题，本发明实施例提出了一个基于深层卷积网络构建的特征提取网络模块(该特征提取网络模块和生成器网络模块共同构成了生成器网络)来对网页底层特征进行提取。在本发明实施例中，利用一个边缘检测器，它集成了canny滤波器，sobel滤波器和拉普拉斯滤波器，以用于提取网页边界特征和文本位置特征，图4为本发明实施例提供的网页底层特征的示意图。然后，将这些网页底层特征被输入到特征提取网络模块中，以编码更具有代表性的信息，并将其和网页的高层特征(即网页快照)进行特征融合，作为最终的用于表征网页的结构特征的信息；最后，把得到的用于表征网页的结构特征作为条件信息输入到生成对抗网络中，进而约束生成对抗网络的生成过程。需要说明的是，特征提取网络模块具有与生成器网络模块中的编码器相同的网络结构。此外，为了使编码器能够同时提取网页快照和网页特征的潜在互信息，对特征提取网络模块和编码器进行了参数共享。
[0063]
进一步地，由于生成器网络的更新梯度有一部分来自判别器网络，因而判别器网络的结构会对整个网络的性能产生决定性的影响。相应地，如果判别器网络结构太过简单，
就没法很好的指导生成器网络的训练；而如果判别器结构过于复杂，就会使得判别器网络很容易的判别出数据的真伪，从而导致生成器网络无法继续学习，最终整个生成对抗网络的训练崩溃。因此，本发明实施例采用patchgan结构，patchgan结构被广泛用于图像到图像的转换任务，并表现出了很有说服力的结果。对于使用了patchgan结构的判别器网络，各网络层的参数配置如表2所示：
[0064]
表2
[0065]
编号网络层参数配置输出向量1输入-512
×
512
×
32下采样卷积层1k＝3
×3×
64,p＝2,s＝2256
×
256
×
643下采样卷积层2k＝3
×3×
128,p＝2,s＝2128
×
128
×
1284下采样卷积层3k＝3
×3×
256,p＝2,s＝264
×
64
×
2565下采样卷积层4k＝3
×3×
512,p＝2,s＝232
×
32
×
5126下采样卷积层5k＝3
×3×
1024,p＝2,s＝131
×
31
×
10247下采样卷积层6k＝3
×3×
512,p＝2,s＝130
×
30
×1[0066]
其中，p表示进行卷积操作时对特征图的周围区域进行填充的元素数目。
[0067]
在上述实施例的基础上，所述生成器网络是通过残差区块和自注意力机制构建而成的。
[0068]
在本发明实施例中，在上述实施例提供的基于残差区块构建的生成器网络的基础上，将自注意力机制运用在生成器网络中，图5为本发明实施例提供的自注意力机制的流程示意图，自注意力机制的计算过程可参考图5所示。需要说明的是，本发明实施例没有将自注意力机制运用在判别器网络中，是因为将自注意力机制应用到判别器网络中会有损算法的性能。更具体地，将自注意力机制应用于特征图大小为128
×
128的网络层，在实验中取得了最好的效果。对于激活函数，生成器网络采用线性整流单元(relu)，判别器网络采用斜率为0.02的线性整流单元(leaky relu)来引入非线性元素。
[0069]
在上述实施例的基础上，所述判别器网络的对抗性损失函数为：
[0070][0071]
所述生成器网络的对抗性损失函数为：
[0072]
l'
gan
(g,d)＝-e
f,s
[d(f,g(f,s))]；
[0073]
其中，f表示样本网页快照以及其对应的样本网页底层特征，s表示真实的样本网页显著图，g表示生成器网络，d表示判别器网络。
[0074]
在本发明实施例中，对抗性损失函数包括判别器网络的对抗性损失函数和生成器网络的对抗性损失函数，用于约束生成图像的分布与目标域中的数据分布相匹配。
[0075]
在上述实施例的基础上，在所述根据所述样本预测网页显著图和所述样本网页显著图，对判别器网络进行训练之后，所述方法还包括：
[0076]
根据判别器网络，对样本预测网页显著图和样本网页显著图进行真伪判别，并根据判别结果构建重构损失函数，所述重构损失函数为：
[0077][0078]
根据所述重构损失函数和对抗性损失函数，构建优化目标函数，以根据所述优化目标函数得到训练好的网页显著度预测模型，所述优化目标函数为：
[0079][0080]
其中，l
gan
(g,d)表示对抗性损失函数，l
recons
(g)表示重构损失函数，j表示样本数量，sj表示第j个样本的真实网页显著图，表示第j个样本通过生成器网络生成的网页显著图；λ用于控制样本预测网页显著图和样本网页显著图所占的权重。
[0081]
在本发明实施例中，优化目标函数用于确保预测生成的网页显著度图和实际的网页显著图图尽可能相近。
[0082]
在本发明一实施例中，对网页显著度预测模型的算法进行具体说明。首先，输入：
[0083][0084]
其中，s表示真实网页显著度图，f表示网页快照以及网页底层特征，表示生成器预测得到的网页显著度图，θ表示网络所有的可更新参数，g
*
表示优化目标函数，l
gan
(g，d)表示对抗性损失函数，l
recons
(g)表示重构损失函数，λ用于控制对抗性损失函数与重构损失函数所占的权重，iters表示训练的迭代次数；ndis表示每更新一次生成器，对判别器的更新次数。
[0085]
输出：θ。
[0086]
上述过程的具体步骤为：
[0087]
步骤s1，通过he初始化方法，随机初始化所有的参数；
[0088]
步骤s2，for it＝0 to iters do；
[0089]
步骤s3，把f输入到生成器中，生成器根据输入生成对应的
[0090]
步骤s4，把输入到判别器中，并得到判别器的输出值l
gan
(g,d)；
[0091]
步骤s5，根据l
gan
(g,d)，s与得到l
recons
(g)，并得到优化目标函数g
*
；
[0092]
步骤s6，用梯度下降算法计算出优化目标函数g
*
对所有的参数θ的梯度值；
[0093]
步骤s7，使用反向传播算法对生成器的参数进行更新；
[0094]
步骤s8，for i＝0 to ndis do；
[0095]
步骤s9，使用反向传播算法对判别器的参数进行更新；
[0096]
步骤s10，返回θ。
[0097]
在上述实施例的基础上，所述获取训练样本集包括：
[0098]
通过边缘检测器，对样本网页快照进行底层特征提取处理，得到所述样本网页快照对应的样本底层特征，以用于构建训练样本集，其中，所述边缘检测器包括canny滤波器、sobel滤波器和拉普拉斯滤波器。
[0099]
在本发明另一实施例中，通过实验进行描述。为了缓解由于训练数据不足而可能导致的过拟合问题，采用了几种数据增强技术来扩充数据集，包括随机左右翻转和随机裁剪等。对于训练阶段的随机裁剪操作，首先将训练数据调整为572
×
57大小的分辨率，然后随机裁剪一个512
×
512的区域块作为算法的输入。在测试阶段，为了保证输出的一致性而没有使用任何形式的数据增强技术，直接将输入调整为512
×
512的分辨率并输入到算法里进行预测。
[0100]
进一步地，在训练过程中，所有的参数都是由自适应矩估计(adaptive moment estimation，简称adam)优化算法根据反向传播回来的梯度值进行更新，其中β1设置为0，β2设置为0.9，epsilon设置为1e-08。本发明实施例按照双时间尺度更新规则(two time-scale update rule，简称ttur)的方式，同步更新生成器网络和鉴别器网络，其中，生成器网络和判别器网络的初始学习率分别设置为0.0001和0.0004。对于生成器网络和判别器网络，在训练的前半个阶段，两者的学习速率保持不变，在训练的后半个阶段，采用线性衰减的方法，使训练结束时的学习速率降低为初始学习速率的一半。在所有的实验中，损失函数的超参数设置为：λ＝0.05。
[0101]
此外，在本发明实施例的所有实验中，批大小都设置为1，这是因为在gpu显存大小限制的允许范围内，增加批大小并没有使实验结果得到提升。算法完成一次训练需要在整个数据集上迭代的次数设置为200次，增加迭代次数并没有对实验效果有很好的提升。另外，本发明实施例使用深度学习框架tensorflow来实现所提出的网页显著度预测算法以及实验验证。
[0102]
本发明实施例提供的基于生成对抗网络的网页显著度预测方法，该方法最大的特点是不需要以随机采样的方式从网页快照中随机选取被标记为正例或负例的像素点作为训练数据，并且算法很好的使用了网页的空间信息来指导显著度的预测。此外，该算法不需要任何形式的预处理操作或后处理操作，即可按照端到端的方式生成给定网页的显著度图，这种方式大大的提高了网页显著度预测算法的效率。
[0103]
图6为本发明实施例提供的基于生成对抗网络的网页显著度预测系统的结构示意图，如图6所示，本发明实施例提供了一种基于生成对抗网络的网页显著度预测系统，包括获取模块601和预测模块602，其中，获取模块601用于获取待预测网页的网页快照和网页底层特征，所述网页底层特征为所述待预测网页的网页边界特征和文本文字特征；预测模块602用于将所述网页快照和所述网页底层特征输入到训练好的网页显著度预测模型中，输出得到所述待预测网页的网页显著度预测结果；所述训练好的网页显著度预测模型是由样本网页快照和所述样本网页快照对应的样本网页底层特征，通过深度卷积神经网络训练得到的。
[0104]
本发明实施例提供的基于生成对抗网络的网页显著度预测系统，通过把完整的网页快照以及相对应的网页特征作为输入，基于深度卷积神经网络构建生成对抗网络，输出得到网页的网页显著度，能够在一定程度上解决现有的网页显著度预测算法没有考虑像素之间的空间信息的弊端，从而提高了网页显著度的预测准确性和效率。此外，由于省去了选取训练数据的过程，在一定程度的减轻过拟合，同时可以省去由于选取数据所消耗的时间。
[0105]
在上述实施例的基础上，所述系统还包括样本集构建模块、生成器训练模块和判别器训练模块，其中，样本集构建模块用于获取训练样本集，所述训练样本集包括样本网页
快照，及所述样本网页快照对应的样本网页底层特征和样本网页显著图；生成器训练模块用于根据所述样本网页快照和所述样本网页底层特征，对生成器网络进行训练，得到样本预测网页显著图；判别器训练模块用于根据所述样本预测网页显著图和所述样本网页显著图，对判别器网络进行训练，若训练结果满足预设条件，则得到训练好的网页显著度预测模型；若不满足，则通过反向传播算法，对生成器网络的参数和判别器网络的参数进行更新，以使得更新后的生成器网络和判别器网络进行训练，直到训练结果满足预设条件。
[0106]
本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
[0107]
图7为本发明实施例提供的电子设备结构示意图，参照图7，该电子设备可以包括：处理器(processor)701、通信接口(communications interface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行如下方法：获取待预测网页的网页快照和网页底层特征，所述网页底层特征为所述待预测网页的网页边界特征和文本文字特征；将所述网页快照和所述网页底层特征输入到训练好的网页显著度预测模型中，输出得到所述待预测网页的网页显著度预测结果；所述训练好的网页显著度预测模型是由样本网页快照和所述样本网页快照对应的样本网页底层特征，通过深度卷积神经网络训练得到的。
[0108]
此外，上述的存储器703中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0109]
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于生成对抗网络的网页显著度预测方法，例如包括：获取待预测网页的网页快照和网页底层特征，所述网页底层特征为所述待预测网页的网页边界特征和文本文字特征；将所述网页快照和所述网页底层特征输入到训练好的网页显著度预测模型中，输出得到所述待预测网页的网页显著度预测结果；所述训练好的网页显著度预测模型是由样本网页快照和所述样本网页快照对应的样本网页底层特征，通过深度卷积神经网络训练得到的。
[0110]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0111]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0112]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。