一种物品推荐模型的训练方法、物品推荐方法和装置与流程

1.本技术涉及个性化推荐技术领域，尤其涉及一种物品推荐模型的训练方法、物品推荐方法和装置。


背景技术：

2.随着互联网的快速发展，数据量也与日俱增，有价值的信息逐渐被埋没在数据海洋中，极大地增加了人们获取有效信息的时间和难度，信息过载逐渐成为了一个新的机遇和挑战。为了解决信息过载的问题，作为一种过滤、提取有效信息的自动化工具，推荐系统应运而生，它可以根据人们的偏好，在海量的信息中发掘用户感兴趣的内容，从而帮助用户快速获取自己想要的信息。凭借着高效、高质地从海量数据中为用户筛选和推荐个性化内容的本领，推荐技术获得快速发展并在商品推荐、资讯推荐和媒体推荐等领域得到广泛应用。发展推荐技术是新信息时代的未来趋势，但同时机遇往往也伴随着挑战。
3.推荐系统利用动态信息(例如随时间动态变化的信息)进行推荐的过程被称为动态推荐，作为一种动态推荐方法，序列推荐是推荐系统中常见的一种应用场景，它是根据用户平时的一些购买记录来分析用户的行为偏好，从而进行推。而传统的推荐系统往往只利用了一种类型的交互信息(例如用户的购买记录)，但还有其他类型的节点或者链接对用户的兴趣的建模是有效的，对于这些信息可以使用异构信息网络进行学习，而当前的异构信息网络是采用静态推荐，没有考虑动态信息，使得推荐效果不理想。


技术实现要素：

4.本技术提供了一种物品推荐模型的训练方法、物品推荐方法和装置，用于改善现有的推荐系统存在的推荐效果不理想的技术问题。
5.有鉴于此，本技术第一方面提供了一种物品推荐模型的训练方法，包括：
6.根据用户对不同物品的历史行为记录构建训练样本，所述历史行为记录包括用户对物品的多种类型交互信息；
7.通过用户记忆网络从所述训练样本中提取物品潜在特征和用户潜在特征，所述用户潜在特征包括用户固有喜好特征和用户动态喜好特征，所述用户固有喜好特征通过所述用户记忆网络提取所述训练样本中的用户喜好信息得到；
8.根据所述用户潜在特征和所述物品潜在特征计算所述训练样本的预测得分；
9.根据所述训练样本的预测得分和标签计算得到的损失值更新所述用户记忆网络的网络参数，直至所述用户记忆网络收敛，得到物品推荐模型；
10.其中，用户记忆网络提取用户潜在特征的过程为：
11.用户记忆网络基于所述物品潜在特征对当前的用户记忆矩阵进行读操作，获取第一用户记忆特征；
12.所述用户记忆网络基于所述用户固有喜好特征和所述物品潜在特征对所述用户记忆矩阵中的记忆特征进行双层注意力处理，获取第二用户记忆特征；
13.所述用户记忆网络融合所述第一用户记忆特征和所述第二用户记忆特征，得到用户动态喜好特征；
14.所述用户记忆网络融合所述用户固有喜好特征和所述用户动态喜好特征，得到用户潜在特征。
15.可选的，所述物品潜在特征的初始化过程为：
16.对所述训练样本中的物品信息和静态属性信息进行初始化处理，得到静态属性嵌入初始值和物品嵌入初始值；
17.对所述静态属性嵌入初始值和所述物品嵌入初始值进行多层图卷积处理，得到各层物品嵌入，其中，所述物品嵌入初始值为初始层的物品嵌入；
18.基于各层所述物品嵌入获取初始物品潜在特征。
19.可选的，所述基于各层所述物品嵌入获取初始物品潜在特征，包括：
20.将各层所述物品嵌入中的最后一层物品嵌入作为初始物品潜在特征，或，对各层所述物品嵌入进行拼接或求平均，得到初始物品潜在特征。
21.可选的，所述方法还包括：
22.通过所述用户记忆网络根据当前物品的所述物品潜在特征对所述用户记忆矩阵进行写操作，以更新所述用户记忆矩阵。
23.可选的，所述用户记忆网络基于所述用户固有喜好特征和所述物品潜在特征对所述用户记忆矩阵中的记忆特征进行双层注意力处理，获取第二用户记忆特征，包括：
24.所述用户记忆网络采用打分函数对所述用户固有喜好特征与用户交互类型特征向量进行处理，得到第一注意力分数，并采用softmax函数对所述第一注意力分数进行处理，得到第一层注意力权重，所述用户交互类型特征向量通过所述训练样本得到；
25.所述用户记忆网络采用所述打分函数对所述物品潜在特征与所述用户记忆矩阵中的记忆特征进行处理，得到第二注意力分数，并采用所述softmax函数对所述第二注意力分数进行处理，得到第二层注意力权重；
26.所述用户记忆网络基于所述第一层注意力权重和所述第二层注意力权重对所述用户记忆矩阵中的记忆特征进行处理，得到第二用户记忆特征。
27.可选的，所述用户固有喜好特征和所述用户动态喜好特征的融合方式为最小池化处理、最大池化处理、平均池化处理或线性加权处理。
28.本技术第二方面提供了一种物品推荐方法，包括：
29.获取用户的若干候选物品；
30.通过物品推荐模型预测用户对各所述候选物品的喜好得分，其中，所述物品推荐模型通过第一方面任一种所述的物品推荐模型的训练方法训练得到；
31.根据各所述候选物品的喜好得分进行物品推荐。
32.本技术第三方面提供了一种物品推荐模型的训练装置，包括：
33.构建单元，用于根据用户对不同物品的历史行为记录构建训练样本，所述历史行为记录包括用户对物品的多种类型交互信息；
34.学习单元，用于通过用户记忆网络从所述训练样本中提取物品潜在特征和用户潜在特征，所述用户潜在特征包括用户固有喜好特征和用户动态喜好特征，所述用户固有喜好特征通过所述用户记忆网络提取所述训练样本中的用户喜好信息得到；
35.计算单元，用于根据所述用户潜在特征和所述物品潜在特征计算所述训练样本的预测得分；
36.更新单元，用于根据所述训练样本的预测得分和标签计算得到的损失值更新所述用户记忆网络的网络参数，直至所述用户记忆网络收敛，得到物品推荐模型；
37.其中，用户记忆网络提取用户潜在特征的过程为：
38.用户记忆网络基于所述物品潜在特征对当前的用户记忆矩阵进行读操作，获取第一用户记忆特征；
39.所述用户记忆网络基于所述用户固有喜好特征和所述物品潜在特征对所述用户记忆矩阵中的记忆特征进行双层注意力处理，获取第二用户记忆特征；
40.所述用户记忆网络融合所述第一用户记忆特征和所述第二用户记忆特征，得到用户动态喜好特征；
41.所述用户记忆网络融合所述用户固有喜好特征和所述用户动态喜好特征，得到用户潜在特征。
42.可选的，还包括：初始化单元，用于：
43.对所述训练样本中的物品信息和静态属性信息进行初始化处理，得到静态属性嵌入初始值和物品嵌入初始值；
44.对所述静态属性嵌入初始值和所述物品嵌入初始值进行多层图卷积处理，得到各层物品嵌入，其中，所述物品嵌入初始值为初始层的物品嵌入；
45.基于各层所述物品嵌入获取初始物品潜在特征。
46.本技术第四方面提供了一种物品推荐装置，包括：
47.获取单元，用于获取用户的若干候选物品；
48.预测单元，用于通过物品推荐模型预测用户对各所述候选物品的喜好得分，其中，所述物品推荐模型通过第一方面任一种所述的物品推荐模型的训练方法训练得到；
49.推荐单元，用于根据各所述候选物品的喜好得分进行物品推荐。
50.从以上技术方案可以看出，本技术具有以下优点：
51.本技术提供了一种物品推荐模型的训练方法，包括：根据用户对不同物品的历史行为记录构建训练样本，历史行为记录包括用户对物品的多种类型交互信息；通过用户记忆网络从训练样本中提取物品潜在特征和用户潜在特征，用户潜在特征包括用户固有喜好特征和用户动态喜好特征，用户固有喜好特征通过用户记忆网络提取训练样本中的用户喜好信息得到；根据用户潜在特征和物品潜在特征计算训练样本的预测得分；根据训练样本的预测得分和标签计算得到的损失值更新用户记忆网络的网络参数，直至用户记忆网络收敛，得到物品推荐模型；其中，用户记忆网络提取用户潜在特征的过程为：用户记忆网络基于物品潜在特征对当前的用户记忆矩阵进行读操作，获取第一用户记忆特征；用户记忆网络基于用户固有喜好特征和物品潜在特征对用户记忆矩阵中的记忆特征进行双层注意力处理，获取第二用户记忆特征；用户记忆网络融合第一用户记忆特征和第二用户记忆特征，得到用户动态喜好特征；用户记忆网络融合用户固有喜好特征和用户动态喜好特征，得到用户潜在特征。
52.本技术中，根据包括用户对不同物品的多种类型交互信息的历史行为记录构建的训练样本训练用户记忆网络，分析用户的行为偏好，比只采用一种类型的交互信息构建推
荐模型的方法更有效；基于用户动态喜好特征的动态信息和用户固有喜好特征的静态信息进行融合建模，丰富了用户记忆网络能学习到的静态信息，提高推荐模型效果；并且，通过在用户记忆网络的基础上增加双层注意力机制对用户和物品进行更好的建模，使得用户记忆网络在学习动态信息的过程中，同时学习用户对不同交互类型的偏好以及更深层次的物品之间的潜在联系，进一步提高推荐模型的效果，从而改善了现有的推荐系统存在的推荐效果不理想的技术问题。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
54.图1为本技术实施例提供的一种物品推荐模型的训练方法的一个流程示意图；
55.图2为本技术实施例提供的一种用户记忆网络提取用户潜在特征的流程示意图；
56.图3为本技术实施例提供的一种异构化的用户记忆网络的结构图；
57.图4为本技术实施例提供的一种具体的序列推荐场景示意图；
58.图5为本技术实施例提供的一种物品推荐方法的一个流程示意图。
具体实施方式
59.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
60.为了便于理解，请参阅图1，本技术提供的一种物品推荐模型的训练方法的一个实施例，包括：
61.步骤101、根据用户对不同物品的历史行为记录构建训练样本，历史行为记录包括用户对物品的多种类型交互信息。
62.可以根据用户对不同物品的历史行为记录构建训练样本，其中，历史行为记录包括用户对不同物品的点击、收藏、加购、购买等多种类型交互信息，可以从历史行为记录中提取用户
‑
物品
‑
交互类型对，获取行为序列三元组作为训练样本，记为<u,i,t>，其中，u∈u、i∈i、t∈t，u、i、t分别为用户集、物品集、交互类别集，例如，<用户甲，物品a，购买>、<用户乙，物品b，点击>。这些精炼的行为序列三元组可以很好地代表历史行为记录，可以通过用户记忆网络存储和更新到用户记忆矩阵中。可以根据历史行为记录对各用户对各物品的喜好进行打分，作为训练样本的标签。本技术实施例优选采用正样本和负样本联合训练的方法，正样本对应的标签为1，负样本对应的标签为0。
63.步骤102、通过用户记忆网络从训练样本中提取物品潜在特征和用户潜在特征，用户潜在特征包括用户固有喜好特征和用户动态喜好特征，用户固有喜好特征通过用户记忆网络提取训练样本中的用户喜好信息得到。
64.初始物品潜在特征和初始用户固有喜好特征可以通过用户记忆网络随机初始化
得到，然后通过用户记忆网络的反向传播进行更新，学习到物品潜在特征和用户固有喜好特征。但本技术实施例考虑到，在现实生活的场景中，用户或者物品通常都有自己的静态属性信息，比如用户的年龄、性别，物品的类别、价格等，这些静态属性往往携带了一部分重要信息，利用上这部分信息有助于学习到更好的用户或物品表示。比如一个nba主题的手机壳，它的类别属性就既属于nba产品，又属于手机壳产品，这样就可以将它与同属于某类别的物品关联起来，获得一些额外的协同信息。为了利用这些信息，本技术实施例提供了一个可选的初始化过程，该过程中主要关注类别属性。由于物品属性通常比用户属性更为丰富，这有助于学习到更好的物品潜在特征，因此，本技术实施例以学习初始物品潜在特征为例进行说明。
65.具体的，物品潜在特征的初始化过程为：
66.对训练样本中的物品信息和静态属性信息进行初始化处理，得到静态属性嵌入初始值和物品嵌入初始值；
67.对静态属性嵌入初始值和物品嵌入初始值进行多层图卷积处理，得到各层物品嵌入，其中，物品嵌入初始值为初始层的物品嵌入；
68.基于各层物品嵌入获取初始物品潜在特征，具体的，将各层物品嵌入中的最后一层物品嵌入作为初始物品潜在特征，或，对各层物品嵌入进行拼接或求平均，得到初始物品潜在特征。
69.初始化的主要思路为，利用物品和其静态属性之间的交互，通过图卷积方法，获取物品嵌入及其相应静态属性嵌入，并将该物品嵌入作为后续框架的物品嵌入，具体过程如下：
70.1、信息传播过程：在物品与其静态属性的交互二部图上，不断迭代传播静态属性嵌入以更新物品嵌入，从而丰富物品嵌入所携带的信息。需要说明的是，交互二部图的获取过程属于现有技术，在此不再进行赘述。
71.1)一阶传播与更新：
72.信息的传播：需要同时考虑静态属性信息和物品节点自身的信息，即：
[0073][0074][0075]
式中，为一阶的静态属性嵌入初始值，通过随机初始化得到，为一阶的物品嵌入初始值，即初始层的物品嵌入，通过随机初始化得到；为图的拉普拉斯范数，n
i
、n
c
分别为物品i和属性c的一阶邻居，为可训练的参数，
⊙
为逐元素乘积运算符号，分别为属性节点向物品节点传播的信息和物品节点自身的信息传播。
[0076]
物品嵌入的更新：将上面两种信息聚合更新到下一层的物品嵌入中，即：
[0077][0078]
式中，为下一层的物品嵌入，leakyrelu(
·
)为非线性激活函数。通过上述处理，物品的静态属性信息就被显示地编码进了中。
[0079]
2)高阶传播与更新：
[0080]
信息的传播：对上面一阶的情况进行扩展，即：
[0081][0082][0083]
物品嵌入的更新：同样的，对上面一阶的情况进行扩展，即：
[0084][0085]
2、最终嵌入
[0086]
在得到最后一层的物品嵌入后，可以采用如下任一种方式获取初始物品潜在特征。
[0087]
可以只选取最后一层的物品确作为初始物品潜在特征q
i
，即：
[0088][0089]
也可以将多层的物品嵌入进行拼接后作为初始物品潜在特征q
i
，即：
[0090][0091]
还可以将多层的物品嵌入求平均后作为初始物品潜在特征q
i
，即：
[0092][0093]
式中，mean(
·
)为求平均函数。可以理解的是，还可以对多层的物品嵌入进行其他池化操作(如最大池化操作、最小池化操作)来获取初始物品潜在特征。
[0094]
本技术实施例，可以通过静态初始化模块对训练样本中的物品信息和静态属性信息进行初始化处理，再经过多层图卷积处理来获取初始物品潜在特征，相比于直接随机初始化物品潜在特征，该方法可以使得户记忆网络更好利用物品本身的属性信息，有助于提高推荐模型效果。
[0095]
用户记忆网络通过反向传播对初始物品潜在特征进行更新，获取物品潜在特征，用户记忆网络同时从训练样本中提取用户潜在特征，用户潜在特征包括用户固有喜好特征和用户动态喜好特征，用户固有喜好特征通过用户记忆网络提取训练样本中的用户喜好信息得到。
[0096]
请参考图2，用户记忆网络提取用户潜在特征的过程为：
[0097]
s1、用户记忆网络基于物品潜在特征对用户记忆网络生成的用户记忆矩阵进行读操作，获取第一用户记忆特征。
[0098]
初始的用户记忆网络由于只考虑了一种交互关系，所以每个用户只有一个记忆矩阵(用户记忆矩阵由许多记忆槽组成，用来模拟用户记忆)，这并不适用于具有多种关系类型的异构信息网络。因此，本技术实施例，对用户记忆矩阵的维度进行拓展，使得每个用户有多个用户记忆矩阵，每个用户记忆矩阵只关心对应类型的交互记录，如图3所示。
[0099]
本技术实施例中预测所需的用户潜在特征p
u
由用户固有喜好特征(即用户一贯以来的喜好)和用户动态喜好特征(即用户随时间变化的喜好)构成，用户固有喜好特征通过用户记忆网络的反向传播来更新和学习，而用户动态喜好特征可以通过用户记忆矩阵计算得到，其中，l为交互类型集合t的元素个数，d为潜在特征的维度，s为记忆槽数(总列数)。在某个交互类型下的用户记忆矩阵可以记为由许多列组成，每一列都存储着某些动态的记忆特征。当采用先进先出的读写机制时，在每一轮训练中用户物品潜在特征替换掉用户记忆矩阵中最旧的一个记忆槽，本技术实施例发现该方法效果并不理想，原因为：每个用户对序列的记忆是短期且有限的，即记忆槽是有限的，如果序列长度大于记忆槽数，那么按照先进先出的方式势必会导致用户记忆矩阵无法记录到整个序列，导致丢失一些序列信息的内在联系。因此，为了考虑序列的全局信息，本技术实施例引入一个全局特征矩阵f＝{f1,f2,...,f
k
,...,f
s
}，用来协助控制用户记忆矩阵的读写操作，其维度大小与单个用户的用户记忆矩阵m
u
一致，即一致，即为全局特征矩阵中的第k个全局特征向量。其中，全局特征矩阵的初始值通过随机初始化得到。
[0100]
用户记忆矩阵的读操作采用软注意力机制，要对当前候选物品的物品潜在特征与全局特征的相关程度进行计算，目的在于在读取记忆特征时对不同特征能有所侧重，即：
[0101][0102][0103]
式中，z
ik
为软注意权重，为第一用户记忆特征。
[0104]
通过用户记忆网络根据当前物品的物品潜在特征对用户记忆矩阵进行写操作，以更新用户记忆矩阵。对于用户记忆矩阵的写操作，根据当前交互记录<u,i,t>，对应地更新用户u的关于交互类型t的用户记忆矩阵m
u,t
。为了让用户记忆矩阵有一定的遗忘能力，在更新的时候可以弱化噪声或不相关信息的影响，强化和保留关键的偏好信息。本技术实施例通过用户记忆网络先对上个状态的用户记忆矩阵进行擦除后再写入新的内容，即：
[0105]
erase
i
＝σ(q
i
)；
[0106][0107]
add
i
＝tanh(q
i
)；
[0108][0109]
式中，1为元素值全为1的列向量，σ(
·
)为sigmoid函数，erase
i
为从物品潜在特征q
i
提取的第一特征，add
i
为从物品潜在特征q
i
提取的第二特征，为进行读操作时计算出的t类型下的软注意力权重，用户记忆矩阵的元素当且仅当软注意力权重和erase
i
对应的值均为1时才会被置零，其中一个为0时会完全被保留下来，其余情况均会进行一定程度的遗忘。通过上述前两个公式的擦除之后，从当前物品i的物品潜在特征q
i
提取部分关键特征写入到用户记忆矩阵中。通过上述的写操作，可以促使用户记忆矩阵在更新的过程中一直保留关键的特征。
[0110]
需要说明的是，除了上述方式实现的读写操作，还可以采用现有的其他方式实现读写操作，例如，本技术实施例采用擦除写的机制进行写操作，还可以采用类似于遗忘门的特性来进行写操作。
[0111]
s2、用户记忆网络基于用户固有喜好特征和物品潜在特征对用户记忆矩阵中的记忆特征进行双层注意力处理，获取第二用户记忆特征。
[0112]
本技术实施例在用户记忆网络中增加双层注意力机制，第一层注意力机制模拟用户注意力，用于学习用户对不同交互类型行为的注意力权重，例如在构成用户最终记忆特征时，是购买行为影响较大，还是浏览行为影响较大。具体的，用户记忆网络采用打分函数对用户固有喜好特征与用户交互类型特征向量进行处理，得到第一注意力分数，并采用softmax函数对第一注意力分数进行处理，得到第一层注意力权重，用户交互类型特征向量通过训练样本得到。
[0113]
打分函数定义为，将用户固有喜好特征与用户交互类型特征向量x
t
进行逐元素乘积后，再通过一层全连接层(带偏置项和激活函数)和映射函数进行处理，映射函数也是一个全连接层(不带偏置项和激活函数)，用于对输入数据做一个维度变换，最终得到第一注意力分数，即：
[0114][0115][0116]
式中，为第一注意力分数，w1、b1、relu(
·
)分别为全连接层的权重、偏置、激活函数。通过打分函数可以计算得到用户固有喜好特征对所有类的特征x
t
的第一注意力分数，再通过softmax函数对该第一注意力分数进行处理，得到用户u对于交互类型t的注意力权重，即第一层注意力权重α(u,t)。
[0117]
第二层注意力机制模拟物品对物品的注意力，即物品之间的潜在关联性，用于学习当前物品的物品潜在特征q
i
与用户记忆中的物品特征m
u
的匹配程度。具体的，用户记忆网络采用打分函数对物品潜在特征与用户记忆矩阵中的记忆特征进行处理，得到第二注意力分数，并采用softmax函数对第二注意力分数进行处理，得到第二层注意力权重。由于第一层注意力权重是用户对不同交互类型t的注意力权重，相应的，第二层注意力权重的计算则
应根据不同交互类型t来分开计算，也就是关注q
i
与m
u,t
的匹配程度，即：
[0118][0119][0120]
式中，为第二注意力分数，为映射函数，β
t
(i,k)为第二层注意力权重。
[0121]
通过用户记忆网络基于第一层注意力权重和第二层注意力权重对用户记忆矩阵中的记忆特征进行处理，得到第二用户记忆特征。具体的，首先基于第二层注意力权重对用户记忆矩阵中的记忆特征进行加权求和运算，得到基于交互类型t和物品i下的用户u的记忆特征即：
[0122][0123]
然后通过第一层注意力权重对该记忆特征进行运算，得到第二用户记忆特征即：
[0124][0125]
本技术实施例考虑到，现有技术由于都是基于同构信息网络，要么只考虑用户购买的记录，要么把用户的各种行为都当成同一种类型看待，没有很好地利用到异构信息，导致推荐结果不理想。因此，本技术实施例考虑用户的多种交互行为，并且用双层注意力机制来优化它们的权重，从而提高推荐效果。为了便于理解，举例说明，例如在实际商品推荐的异构信息网络中，用户与商品的交互存在点击、收藏、购买三种类型，如图4所示。在这个场景中，该用户很喜欢看nba，经常在平台中浏览和购买nba产品，不过中间有一次偶然的机会买了手机(可能是手机坏了或是新品上市等偶然原因，不是经常性的需求)。在购买了手机后，用户通常来讲还会有购买手机壳等一些手机副产品的需求，因此用户接下来浏览了一些手机壳，不过尚未决定购买哪一款。假设我们只考虑用户最近的四个行为，则：1、对于只考虑用户购买行为的方法，用户最近的四个行为依次是(nba产品
‑
nba产品
‑
手机
‑
nba产品)；2、对于将不同类型的行为都当成一种行为的方法，用户最近的四个行为是(nba产品
‑
手机壳
‑
手机壳
‑
手机壳)；3、对于本技术实施例提出的方法，用户最近的四个行为也是(nba产品
‑
手机壳
‑
手机壳
‑
手机壳)，不同之处是本技术实施例有对行为类型进行区分，依次是(购买
‑
浏览
‑
浏览
‑
浏览)。基于上述数据，这三类方法倾向于给出的推荐结果也会不同：1、对于只考虑购买行为的方法，倾向于给出nba产品作为推荐结果，同时可能也会再推荐一些手机；2、对于把所有交互类型都当成一种的方法，倾向于给出一般的手机壳作为推荐结果，同时也可能也会再推荐一些nba产品；3、对于本技术实施例，由于考虑了不同类型的信息，会倾向于给出融合了这些信息的推荐结果，如带有nba主题的手机壳，再推荐一些nba产品。显然，带有nba主题的手机壳这种结果将会更符合用户的喜好，产生更好的推荐效果。
[0126]
s3、用户记忆网络融合第一用户记忆特征和第二用户记忆特征，得到用户动态喜
好特征。
[0127]
可以采用线性加权的方式来融合第一用户记忆特征和第二用户记忆特征，得到用户动态喜好特征即：
[0128][0129]
式中，λ1为第一加权系数，mergr(
·
)为融合函数。
[0130]
s4、用户记忆网络融合用户固有喜好特征和用户动态喜好特征，得到用户潜在特征。
[0131]
用户固有喜好特征和用户动态喜好特征的融合方式可以为最小池化处理、最大池化处理、平均池化处理或线性加权处理。本技术实施例优选采用线性加权方法对用户固有喜好特征和用户动态喜好特征进行融合，得到用户潜在特征p
u
，即：
[0132][0133]
式中，λ1为第二加权系数，用于控制用户动态喜好特征对用户潜在特征的贡献程度，mergr
′
(
·
)为融合函数。
[0134]
步骤103、根据用户潜在特征和物品潜在特征计算训练样本的预测得分。
[0135]
可以采用运算函数predict(
·
)对用户潜在特征和物品潜在特征进行预测运算，该运算函数有多种选择，本技术实施例优选采用内积运算，然后通过sigmoid函数将内积运算结果转化到[0,1]区间上，以便结合0
‑
1标签的目标优化。以内积运算为例，最终计算得到的训练样本的预测得分为：
[0136][0137]
式中，为sigmoid函数，为预测得分，即预测得到的用户u对物品i的喜好得分。
[0138]
步骤104、根据训练样本的预测得分和标签计算得到的损失值更新用户记忆网络的网络参数，直至用户记忆网络收敛，得到物品推荐模型。
[0139]
由于本技术实施例采用正样本和负样本联合训练的方法，因此可以采用二元交叉熵函数作为损失函数，进行参数优化，即：
[0140][0141]
式中，y
ui
为标签值，分别对应用户u的正样本集合、负样本集合，为正则项，用于防止模型过拟合，具体取值可以根据实际情况进行设置，在此不做具体限定。
[0142]
本技术实施例中，根据包括用户对不同物品的多种类型交互信息的历史行为记录构建的训练样本训练用户记忆网络，分析用户的行为偏好，比只采用一种类型的交互信息构建推荐模型的方法更有效；基于用户动态喜好特征的动态信息和用户固有喜好特征的静态信息进行融合建模，丰富了用户记忆网络能学习到的静态信息，提高推荐模型效果；并
且，通过在用户记忆网络的基础上增加双层注意力机制对用户和物品进行更好的建模，使得用户记忆网络在学习动态信息的过程中，同时学习用户对不同交互类型的偏好以及更深层次的物品之间的潜在联系，进一步提高推荐模型的效果，从而改善了现有的推荐系统存在的推荐效果不理想的技术问题。
[0143]
以上为本技术提供的一种物品推荐模型的训练方法的一个实施例，以下为本技术提供的一种物品推荐方法的一个实施例。
[0144]
请参考图5，本技术实施例提供的一种物品推荐方法，包括：
[0145]
步骤201、获取用户的若干候选物品。
[0146]
候选物品可以为物品集合中用户没有交互过的物品。
[0147]
步骤202、通过物品推荐模型预测用户对各候选物品的喜好得分。
[0148]
将用户和候选物品对应输入到物品推荐模型中进行打分预测，得到用户对各候选物品的喜好得分，其中，物品推荐模型通过前述方法实施例中的物品推荐模型的训练方法训练得到。
[0149]
步骤203、根据各候选物品的喜好得分进行物品推荐。
[0150]
根据用户对各候选物品的喜好得分进行降序排序，可以选择排在前若干位的候选物品推荐给该用户。
[0151]
以上为本技术提供的一种物品推荐方法的一个实施例，以下为本技术提供的一种物品推荐模型的训练装置，其特征在于，包括：
[0152]
本技术实施例提供的一种物品推荐模型的训练装置，包括：
[0153]
构建单元，用于根据用户对不同物品的历史行为记录构建训练样本，历史行为记录包括用户对物品的多种类型交互信息；
[0154]
学习单元，用于通过用户记忆网络从训练样本中提取物品潜在特征和用户潜在特征，用户潜在特征包括用户固有喜好特征和用户动态喜好特征，用户固有喜好特征通过用户记忆网络提取训练样本中的用户喜好信息得到；
[0155]
计算单元，用于根据用户潜在特征和物品潜在特征计算训练样本的预测得分；
[0156]
更新单元，用于根据训练样本的预测得分和标签计算得到的损失值更新用户记忆网络的网络参数，直至用户记忆网络收敛，得到物品推荐模型；
[0157]
其中，用户记忆网络提取用户潜在特征的过程为：
[0158]
用户记忆网络基于物品潜在特征对当前的用户记忆矩阵进行读操作，获取第一用户记忆特征；
[0159]
用户记忆网络基于用户固有喜好特征和物品潜在特征对用户记忆矩阵中的记忆特征进行双层注意力处理，获取第二用户记忆特征；
[0160]
用户记忆网络融合第一用户记忆特征和第二用户记忆特征，得到用户动态喜好特征；
[0161]
用户记忆网络融合用户固有喜好特征和用户动态喜好特征，得到用户潜在特征。
[0162]
作为进一步地改进，装置还包括：初始化单元，用于：
[0163]
对训练样本中的物品信息和静态属性信息进行初始化处理，得到静态属性嵌入初始值和物品嵌入初始值；
[0164]
对静态属性嵌入初始值和物品嵌入初始值进行多层图卷积处理，得到各层物品嵌
入，其中，物品嵌入初始值为初始层的物品嵌入；
[0165]
基于各层物品嵌入获取初始物品潜在特征。
[0166]
作为进一步地改进，装置还包括：
[0167]
更新单元，用于通过用户记忆网络基于当前物品的物品潜在特征对用户记忆矩阵进行写操作，以更新用户记忆矩阵。
[0168]
本技术实施例中，根据包括用户对不同物品的多种类型交互信息的历史行为记录构建的训练样本训练用户记忆网络，分析用户的行为偏好，比只采用一种类型的交互信息构建推荐模型的方法更有效；基于用户动态喜好特征的动态信息和用户固有喜好特征的静态信息进行融合建模，丰富了用户记忆网络能学习到的静态信息，提高推荐模型效果；并且，通过在用户记忆网络的基础上增加双层注意力机制对用户和物品进行更好的建模，使得用户记忆网络在学习动态信息的过程中，同时学习用户对不同交互类型的偏好以及更深层次的物品之间的潜在联系，进一步提高推荐模型的效果，从而改善了现有的推荐系统存在的推荐效果不理想的技术问题。
[0169]
本技术实施例还提供了一种物品推荐装置，包括：
[0170]
获取单元，用于获取用户的若干候选物品；
[0171]
预测单元，用于通过物品推荐模型预测用户对各候选物品的喜好得分，其中，物品推荐模型通过前述方法实施例中的物品推荐模型的训练方法训练得到；
[0172]
推荐单元，用于根据各候选物品的喜好得分进行物品推荐。
[0173]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0174]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0175]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0176]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通
信连接，可以是电性，机械或其它的形式。
[0177]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0178]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0179]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read
‑
only memory，英文缩写：rom)、随机存取存储器(英文全称：random access memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0180]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。