一种信息排序方法、装置、存储介质及电子设备与流程

1.本说明书涉及互联网技术领域，尤其涉及一种信息排序方法、装置、存储介质及电子设备。


背景技术：

2.随着互联网技术的发展，通过互联网进行网络购物的优点逐渐突出，使其日益成为一种重要的购物形式。在实际生活中，用户通常通过购物应用软件(application，app)浏览各个商品的信息，从而进行网络购物。
3.购物app会将各种类型的信息(例如，商家信息、广告、用户评论等信息)进行排序，之后，按照排序结果将各信息展示在首页，以供用户浏览。
4.在现有技术中，排序方式通常是以强化学习中的深度强化网络(deep qnetwork，dqn)模型作为排序模型，将用户相关信息以及单个广告信息输入排序模型中，根据排序模型的输出，确定出该广告信息所放置在目标位置。
5.但是，现有技术中的排序模型在决策广告信息所在位置时，并未考虑广告信息与广告信息所处页面位置前后的其他信息之间的影响，从而导致最终展示的页面可能会给用户的信息浏览造成不便的情况出现。


技术实现要素：

6.本说明书提供一种信息排序方法及装置，以部分的解决现有技术存在的上述问题。
7.本说明书采用下述技术方案：
8.本说明书提供了一种信息排序方法，包括：
9.获取用户相关信息，以及获取待推荐的各第一类信息以及各第二类信息；
10.将从所述用户相关信息中提取的特征、从各第一类信息中提取出的特征以及从各第二类信息中提取出的特征输入到预先训练的排序模型中，得到综合向量；
11.针对每种展示位置组合，确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与综合向量进行融合，得到融合后的向量，其中，在不同展示位置组合下，各第一类信息在信息页面中展示的位置组合不同；
12.根据融合后的向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态，作为该展示位置组合对应的浏览状态；
13.根据各展示位置组合对应的浏览状态，从各展示位置组合中确定指定位置组合，并按照指定位置组合，将各第一类信息以及各第二类信息进行展示。
14.可选地，将从各第一类信息中提取出的特征以及各第二类信息中提取出的特征输入预先训练的排序模型中之前，所述方法还包括：
15.根据各第一类信息，对各第一类信息进行排序，得到第一信息序列，并根据各第二
类信息，对各第二类信息进行排序，得到第二信息序列；
16.将从各第一类信息中提取出的特征以及各第二类信息中提取出的特征输入预先训练的排序模型中，具体包括：
17.将从每个第一类信息提取出的特征按照第一信息序列输入预先训练的排序模型中，以及将从每个第二类信息提取出的特征按照第二信息序列输入排序模型中。
18.可选地，将该展示位置组合对应的向量与所述综合向量进行融合，得到融合后的向量，具体包括：
19.将该展示位置组合对应的向量与综合向量输入至排序模型中的特征交叉层，以通过特征交叉层，对该展示位置组合对应的向量与综合向量进行融合，得到特征交叉层输出的融合后的向量。
20.可选地，通过特征交叉层，对该展示位置组合对应的向量与综合向量进行融合，得到特征交叉层输出的融合后的向量，具体包括：
21.将该展示位置组合对应的向量，作为第一位置组合向量，并根据第一位置组合向量，确定第二位置组合向量；其中，第一位置组合向量用于表示各第一类信息在信息页面中展示的位置组合，第二位置组合向量用于表示各第二类信息在信息页面中展示的位置组合；
22.将第一位置组合向量与第一信息序列对应的信息序列向量进行融合，得到第一融合子向量，将所述各第二类信息的特征对应的向量与所述第二排序向量进行融合，得到第二融合子向量；
23.根据所述第一融合子向量以及所述第二融合子向量，得到所述交叉层输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时对应的向量。
24.可选地，根据融合后的向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态，具体包括：
25.将融合后的向量输入排序模型中的自注意力层中；
26.通过排序模型中的自注意力层的权重，对融合后的向量进行加权处理，得自注意力层输出的加权后的融合后的向量；
27.根据加权后的融合的向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态。
28.可选地，预先训练所述排序模型，具体包括：
29.获取用户相关信息样本，以及获取各第一类信息样本以及各第二类信息样本；
30.将从所述用户相关信息样本中提取出的特征样本、从各第一类信息样本中提取出的特征样本以及从各第二类信息样本中提取出的特征样本输入到排序模型中，得到样本综合向量；
31.针对每个展示位置组合，确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与所述样本综合向量进行融合，得到融合后的样本向量；
32.根据融合后的样本向量，确定排序模型输出的以该展示位置组合将各第一类信息样本插入到各第二类信息样本进行展示时，各第一类信息的浏览状态，以根据所述浏览状态，确定对应的奖励值；
33.以所述奖励值最大化为优化目标，对所述排序模型进行优化。
34.可选地，所述第一类信息包括：广告，所述第二类信息包括：商家信息、商品信息、用户评论信息中的至少一种。
35.本说明书提供了一种信息排序装置，包括：
36.获取模块，用于获取用户相关信息，以及获取待推荐的各第一类信息以及各第二类信息；
37.排序模块，用于将从所述用户相关信息中提取的特征、从各第一类信息中提取出的特征以及从各第二类信息中提取出的特征输入到预先训练的排序模型中，得到综合向量；针对每种展示位置组合，确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与综合向量进行融合，得到融合后的向量，其中，在不同展示位置组合下，各第一类信息在信息页面中展示的位置组合不同；根据融合后的向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态，作为该展示位置组合对应的浏览状态；
38.展示模块，用于根据各展示位置组合对应的浏览状态，从各展示位置组合中确定指定位置组合，并按照指定位置组合，将各第一类信息以及各第二类信息进行展示。
39.本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述信息排序方法。
40.本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述信息排序方法。
41.本说明书采用的上述至少一个技术方案能够达到以下有益效果：
42.在本说明书提供的信息排序方法中，将从用户相关信息中提取的特征、从各第一类信息中提取出的特征以及从各第二类信息中提取出的特征输入到预先训练的排序模型中，得到综合向量，再通过排序模型，将用于展示第一类信息在信息页面中展示的位置组合的每个展示组合位置对应的向量与综合向量进行融合，得到排序模型输出的以该展示组合位置将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态。之后，根据各展示位置组合对应的各浏览状态，确定出指定位置组合，并按照指定位置组合，展示各第一类信息以及各第二类信息。
43.从上述方法中可以看出，本方法将从用户信息中提取的特征、从各第一类信息中提取的特征以及各第二类信息中提取的特征作为排序模型的输入，通过排序模型得到的综合向量能够体现出各第一类信息与各第二信息之间的相互影响，从而避免了展出的页面可能出现的给用户的信息浏览造成不便的问题。
附图说明
44.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
45.图1为本说明书中一种信息排序方法的流程示意图；
46.图2为本说明书中提供的排序模型的结构示意图；
47.图3为本说明书中提供的特征交叉层的示意图；
48.图4为本说明书提供的一种信息排序装置的示意图；
49.图5为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
50.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
51.目前，在用户通过购物应用软件(application，app)浏览信息时，购物app通常会向用户展示各类信息。举例来说，用户在开启购物软件后，购物app会在信息页面(通常为app的首页)向用户展示商家信息、商品信息、其他用户评价信息以及广告等信息。
52.在向用户展示各种信息之前，会将各类信息进行排序，再按照排序结果，将各类信息展示给用户。在实际操作中，通常将广告看作一类信息，将商家信息、商品信息以及用户评论信息中的至少一种看作一类信息，对这两类信息进行排序。目前，排序方式通常使用强化学习中的深度强化网络(deep q network，dqn)模型作为排序模型，将用户相关信息以及广告信息输入至排序模型中，再根据排序模型的输出，将广告这一类信息与其他类信息进行排序后，展示给用户。但是，按照上述排序方式，未考虑广告信息与其他信息的相互影响，容易出现并不是按照最合适的排序方式将广告信息与其他信息展示给用户的问题，从而导致给用户的信息浏览造成不便。
53.本说明书所提供的信息排序方法，将广告这一类信息与其他类信息对应的综合向量作为输入，考虑了广告这一类信息与其他类信息之间的相互影响，尽量避免了展示出的各类信息对用户的信息浏览造成不便的情况。
54.以下结合附图，详细说明本说明书各实施例提供的技术方案。
55.图1为本说明书中一种信息排序方法的流程示意图，具体包括以下步骤：
56.s100：获取用户相关信息，以及获取待推荐的各第一类信息以及各第二类信息。
57.本说明书所提供的信息排序方法的核心思路为：将现有技术中用于基于dqn结构的排序模型的模型结构进行了改变，具体的，在原本的dqn模型中增加了特征交叉层，其中，特征交叉层用于将综合向量与展示位置组合进行融合，从而使排序模型能够考虑到各类信息之间的相互影响。
58.具体的，本说明书所提供的信息排序方法可由服务器执行。由于不同的用户具体不同的行为特点以及属性，在为不同用户推荐信息时，需要结合用户自身的行为特点以及属性，才能尽量避免展示的各类信息给用户的信息浏览造成不便的问题。基于此，在对信息排序时，服务器可获取用户相关信息，以及获取待推荐给用户的各第一类信息以及各第二类信息。
59.其中，用户相关信息包括用户行为、用户画像、用户所在位置、当前时刻的天气信息等信息，用户行为包括用户登录频率、登录时长、浏览信息时长等内容，用户画像包括用户性别、用户所在城市等用户信息，可以将用户画像理解为用户的各种属性集合。第一类信息包括广告，第二类信息包括商家信息、商品信息、用户评论信息中的至少一种。另外，用户相关信息、第一类信息以及第二类信息除了包括上述内容，还可根据实际需求，将其他信息作为用户相关信息、第一类信息以及第二类信息，本说明书对此不作限制。
60.s102：将从所述用户相关信息中提取的特征、从各第一类信息中提取出的特征以及从各第二类信息中提取出的特征输入到预先训练的排序模型中，得到综合向量。
61.服务器可从用户相关信息中提取出特征，并从各第一类信息中提取出特征以及从各第二类信息中提取出特征。
62.具体的，服务器可先将用户相关信息输入排序模型中的嵌入层中，得到用户相关信息对应的特征向量。同时，针对每个第一类信息，确定该第一类信息对应的特征向量，针对每个第二类信息，确定该第二类信息对应的特征向量。
63.之后，服务器可通过排序模型中的共享网络层，将用户相关信息对应的特征向量与每个第一类信息对应的特征向量进行融合，同时，将用户相关信息对应的特征向量与每个第二类信息对应的特征向量进行融合，再共享网络层输出的融合后的各特征向量输入至排序模型中的连接层，得到综合向量。其中，排序模型的结构如图2所示。
64.对于确定第一类信息以及第二类信息对应的特征向量的过程，举例来说，第一类信息为广告商家的商家信息，第二类信息为普通商家的商家信息，针对每个商家(广告商家以及普通商家)，服务器可获取该商家的不同维度下的信息，并根据该商家在不同维度下的信息，确定该商家对应的特征向量。具体的，当商家对应的维度信息包括该商家的评分以及该商家当月的销售数量时，服务器可确定该商家的评分为4.7分，该商家当月的销售数量为1038件，则该商家的特征向量为[4.7,1038]。
[0065]
s104：针对每种展示位置组合，确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与综合向量进行融合，得到融合后的向量，其中，在不同展示位置组合下，各第一类信息在信息页面中展示的位置组合不同。
[0066]
具体的，服务器可获取各种展示位置组合，其中，展示位置组合用于展示各第一类信息在信息页面中所在的位置。在本说明书中，通常用布尔值组合的形式来表示展示位置组合，举例来说，展示位置组合为0110，表示在当前用户的终端上所能显示的信息页面中，第2、3位为第一类信息所展示的位置。其中，展示位置组合为服务器对各个展示位置进行随机组合获得的。
[0067]
针对每种展示位置组合，服务器可确定该展示位置组合对应的向量，将该位置组合对应的向量与步骤s102中获得综合向量输入排序模型中的特征交叉层，以通过特征交叉层，对该展示位置组合对应的向量与综合向量进行融合，得到特征交叉层输出的融合后的向量。其中，在不同展示位置组合下，各第一类信息在信息页面中展示的位置组合不同。例如，展示位置组合为1000表示一共有4个展示位置，第一位为用于展示第一类信息的位置。展示位置组合为10100表示一共有5个展示位置，第一位以及第三位用于展示第一类信息的位置。展示位置组合对应的位置的数量可以按照实际需求进行设置，本说明书对此不作限制。另外，展示位置组合是随机生成的。
[0068]
具体的，特征交叉层的融合过程为：服务器根据各第一类信息，对各第一类信息进行排序，得到第一信息序列，同时，根据各第二类信息，对各第二类信息进行排序，得到第二信息序列。与此同时，服务器可将该展示位置组合对应的向量，作为第一位置组合向量，其中，第一位置组合向量用于表示各第一类信息在信息页面中展示的位置。而由于在本发明是要将第一类信息插入第二类信息中，即信息页面中也会向用户展示第二类信息，因此，服务器还可根据第一位置组合向量，确定第二位置组合向量，其中，第二位置组合向量用于表
示各第二类新在信息页面中展示的位置组合。
[0069]
之后，如图3所示，特征交叉层可将第一位置组合与第一信息序列对应的向量进行融合，得到第一融合子向量，第一融合子向量用于表示在信息页面中，用于展示各第一类信息的位置上所要展示的第一类信息，可以理解为，第一融合子向量用于表示在信息页面的什么位置来展示哪一个第一类信息。同理，特征交叉层可将第二位置组合与第二信息序列对应的向量进行融合，得到第二融合子向量，第二融合子向量用于表示在信息页面中，用于展示各第二类信息的位置上所要展示的第二类信息，可以理解为，第二融合子向量用于表示在信息页面中的什么位置来展示哪一个第二类信息。
[0070]
之后，服务器可将第一融合子向量以及第二融合子向量进行融合，得到特征交叉层输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时对应的向量，也就是融合后的向量。
[0071]
s106：根据融合后的向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态，作为该展示位置组合对应的浏览状态。
[0072]
具体的，服务器将融合后的向量输入排序模型中的自注意力层，通过自注意力层的权重对融合后的向量进行加权处理，得到自注意力层输出的经过加权处理的融合后的向量。其中，本说明书所提供的排序模型中包含有多个自注意力层，这些自注意力层为并列关系。
[0073]
之后，服务器可根据经过加权处理的融合后的向量，确定出排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态，作为该展示位置组合对应的浏览状态。其中，浏览状态可以包括用户对各第一类信息的点击量，或各第一类信息的点击率，其中，点击率为当前信息页面中所有点击量与当前信息页面包含的各第一类信息的点击量之间的比值，还可以是以其他指标作为浏览状态，本说明书对此不作限制。
[0074]
其中，排序模型输出的该展示位置组合对应的浏览状态相当于强化学习中的价值，即，在本说明书实施例中，各第一类信息对应的特征向量以及各第二类信息对应的特征向量相当于强化学习中的状态，该展示位置组合相当于强化学习中的动作。
[0075]
s108：根据各展示位置组合对应的浏览状态，从各展示位置组合中确定指定位置组合，并按照指定位置组合，将第一类信息以及各第二类信息进行展示。
[0076]
通过上述步骤s106，服务器可确定出各个展示位置组合对应的浏览状态。服务器可根据各展示位置组合对应的浏览状态，从各展示位置组合中确定指定位置组合，并按照指定位置组合，将第一类信息以及各第二类信息展示给用户。
[0077]
其中，当浏览状态为各第一类信息的点击量时，服务器可确定各第一类信息对应的点击量最高对应的展示位置组合作为指定位置组合。另外，还可采用其他指标作为浏览状态来确定指定位置组合，本说明对此不作限制。
[0078]
基于图1所示的信息排序方法，本说明书所提供的信息排序方法，将广告信息与其他类信息对应的综合向量作为输入，考虑了广告信息与其他类信息之间的相互影响，尽量避免了展示出的各类信息对用户的信息浏览造成不便的情况。
[0079]
对于将融合后的向量输入排序模型中的自注意力层，具体的，首先需要说明的是
融合后的向量，其实就是按照展示位置组合，将各第一类信息对应的特征向量以及第二类信息对应的特征向量进行拼接，其中，融合后的向量为向量矩阵，该向量矩阵包括第一数量的行向量和第二数量的列向量。在融合后的向量中，每一行向量为某个第一类信息对应的特征向量或者某个第二类信息对应的特征向量，而每一列向量为同一维度下的各第一类信息以及各第二类信息对应的特征向量。考虑到各第一类信息与各第二类信息之间的相互影响，可将融合后的向量平摊(flatten)，得到邻接向量，即按照展示位置组合对应的顺序，将融合后的向量中包含的各第一类信息对应的特征向量以及各第二类信息对应的特征向量首尾拼接，得到邻接向量，可以理解为，按照展示位置组合对应的顺序，将融合后的向量中的每一个行向首尾相接。其中，邻接向量有且仅有一行，其能够表示出在所有维度信息下，各第一类信息与各第二类信息之间的影响，之后，可将邻接向量输入自注意力层。考虑到同一维度下，各第一类信息与各第二类信息之间的影响，可将各个列向量分别输入至排序模型中的自注意力层中。通过自注意力层对邻接向量与不同维度下的列向量的加权，进一步建模各第一类信息与各第二类信息之间的影响。
[0080]
进一步的，在本说明书实施例中，需要预先对排序模型进行训练。具体的，服务器可获取各用户的历史数据，作为用户相关信息样本，以及获取各第一类信息样本以及各第二类信息样本。之后，将从所述用户相关信息样本中提取出的特征样本、从各第一类信息样本中提取出的特征样本以及从各第二类信息样本中提取出的特征样本输入到排序模型中，得到样本综合向量。再针对每个展示位置组合，服务器可确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与所述样本综合向量进行融合，得到融合后的样本向量。根据融合后的样本向量，确定排序模型输出的以该展示位置组合将各第一类信息样本插入到各第二类信息样本进行展示时，各第一类信息样本的浏览状态，以根据所述浏览状态，确定对应的奖励值。服务器可以以所述奖励值最大化为优化目标，对所述排序模型进行优化。
[0081]
除了用户相关信息对信息排序产生影响之外，针对每个第一类信息以及第二类信息，该第一类信息或该第二类信息的渲染信息，即，信息页面中渲染出的该第一类信息/第二类信息对应的图片、文字等信息，也会对用户的浏览造成影响，因此，还可将渲染信息对应的特性向量输入排序模型。
[0082]
由于第一类信息可以包括广告，广告则与其计费情况有关，因此，还可将各个第一类信息的计费信息对应的特性向量输入排序模型中。
[0083]
另外，对于各第一类信息以及各第二类信息排序，具体的，由于各第一类信息包括广告，因此，服务器可根据各第一类信息对应的计费高低，对各第一类信息进行排序，从而得到第一信息序列。第二类信息包括商家信息、商品信息以及用户评论信息，在实际操作中，用户更偏向于距离与自己近的商家或者商品，或者评价更好的商家或产品，因此，服务器可根据第二类信息与用户相关信息，对第二类信息进行排序，得到第二信息序列。具体的，服务器可根据第二类信息包含的位置信息与用户所在位置之间的距离，按照由远到近的顺序，对各第二类信息进行排序。除了上述对各第一类信息以及各第二类信息的排序规则，还可根据实际需求，对各第一类信息以及各第二信息进行排序，本说明书对此不作限制。
[0084]
对于根据各第一类信息，对各第一类信息进行排序，得到第一信息序列，举例来说，a商家的商家信息、b商家的商家信息、c商家的商家信息均属于第一类信息，由于从上述
说明中可知第一类信息包括广告，因此，可根据各商家所支付的用于向用户曝光自身的费用(广告费用)的高低，对这三个商家进行排序，得到第一信息序列为a商家的商家信息、b商家的商家信息、c商家的商家信息。
[0085]
对于根据各第二类信息，对各第二类信息进行排序，得到第二类信息序列，举例来说，x商家的商家信息、y商家的商家信息、z商家的商家信属于第二类信息，服务器可根据各商家与用户之间的距离远近进行排序，已知x商家距离用户1km，y商家距离用户2km，z商家距离用户1.5km，则第二类信息序列为x商家的商家信息、z商家的商家信息、y商家的商家信息。
[0086]
值得注意的是，在信息排序的过程中，第一类信息序列与第二类信息序列的相对序是不发生改变的，可以理解为，展示位置组合仅表示哪个位置用于展示第一类信息或第二类信息，服务器可按照第一类信息序列以及第二类信息序列，将对应的信息展示在对应的展示位置上。沿用上例，指定展示位置组合为101010，则最后向用户展示出的应为a商家的商家信息、x商家的商家信息、b商家的商家信息、y商家的商家信息、c商家的商家信息、z商家的商家信息。
[0087]
为了进一步提高排序模型输出的各第一类信息的浏览状态的能力，同时避免用户相关信息在提前特征中的信息缺失，在本说明书实施例中，还可在得到融合后的向量之后，将融合后的向量与从用户相关信息中提取出的特征再次进行融合，具体的，将融合后的向量以及从用户相关信息中提取出的特征输入排序模型中的全连接层，根据全连接层输出的融合后的向量以及从用户相关信息中提取出的特征，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态。
[0088]
以上为本说明书的一个或多个实施例提供的信息排序方法，基于同样的思路，本说明书还提供了相应的信息排序装置，如图4所示。
[0089]
图4为本说明书提供的一种信息排序装置示意图，具体包括：
[0090]
获取模块401、排序模块402、展示模块403，其中：
[0091]
获取模块401，用于获取用户相关信息，以及获取待推荐的各第一类信息以及各第二类信息；
[0092]
排序模块402，用于将从所述用户相关信息中提取的特征、从各第一类信息中提取出的特征以及从各第二类信息中提取出的特征输入到预先训练的排序模型中，得到综合向量；针对每种展示位置组合，确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与综合向量进行融合，得到融合后的向量，其中，在不同展示位置组合下，各第一类信息在信息页面中展示的位置组合不同；根据融合后的向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态，作为该展示位置组合对应的浏览状态；
[0093]
展示模块403，用于根据各展示位置组合对应的浏览状态，从各展示位置组合中确定指定位置组合，并按照指定位置组合，将各第一类信息以及各第二类信息进行展示。
[0094]
可选地，所述排序模块402还用于，根据各第一类信息，对各第一类信息进行排序，得到第一信息序列，并根据各第二类信息，对各第二类信息进行排序，得到第二信息序列；所述排序模块402具体用于，将从每个第一类信息提取出的特征按照第一信息序列输入预先训练的排序模型中，以及将从每个第二类信息提取出的特征按照第二信息序列输入排序
模型中。
[0095]
可选地，所述排序模块402具体用于，将该展示位置组合对应的向量与综合向量输入至排序模型中的特征交叉层，以通过特征交叉层，对该展示位置组合对应的向量与综合向量进行融合，得到特征交叉层输出的融合后的向量。
[0096]
可选地，所述排序模块402具体用于将该展示位置组合对应的向量，作为第一位置组合向量，并根据第一位置组合向量，确定第二位置组合向量；其中，第一位置组合向量用于表示各第一类信息在信息页面中展示的位置组合，第二位置组合向量用于表示各第二类信息在信息页面中展示的位置组合；将第一位置组合向量与第一信息序列对应的信息序列向量进行融合，得到第一融合子向量，将所述各第二类信息的特征对应的向量与所述第二排序向量进行融合，得到第二融合子向量；根据所述第一融合子向量以及所述第二融合子向量，得到所述特征交叉层输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时对应的向量。
[0097]
可选地，所述展示模块403具体用于，将融合后的向量输入排序模型中的自注意力层中；通过排序模型中的自注意力层的权重，对融合后的向量进行加权处理，得自注意力层输出的加权后的向量；根据加权后的融合向量，确定排序模型输出的以该展示位置组合将各第一类信息插入到各第二类信息进行展示时，各第一类信息的浏览状态。
[0098]
本说明书提供的一种信息排序装置还包括：训练模块404；
[0099]
所述训练模块404具体用于，获取用户相关信息样本，以及获取各第一类信息样本以及各第二类信息样本；将从所述用户相关信息样本中提取出的特征样本、从各第一类信息样本中提取出的特征样本以及从各第二类信息样本中提取出的特征样本输入到排序模型中，得到样本综合向量；针对每个展示位置组合，确定该展示位置组合对应的向量，并将该展示位置组合对应的向量与所述样本综合向量进行融合，得到融合后的样本向量；根据融合后的样本向量，确定排序模型输出的以该展示位置组合将各第一类信息样本插入到各第二类信息样本进行展示时，各第一类信息样本的浏览状态，以根据所述浏览状态，确定对应的奖励值；以所述奖励值最大化为优化目标，对所述排序模型进行优化。
[0100]
可选地，所述第一类信息包括：广告，所述第二类信息包括：商家信息、商品信息、用户评论信息中的至少一种。
[0101]
需要说明的是，本发明中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
[0102]
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的信息排序方法。
[0103]
本说明书还提供了图5所示的电子设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的信息排序方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0104]
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，
对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0105]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0106]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0107]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0108]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0109]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0113]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0114]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0115]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0116]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0117]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0118]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0119]
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。