融合知识图卷积网络和用户偏好的推荐算法的制作方法

1.本发明涉及一种融合知识图卷积网络和用户偏好的推荐算法，属于推荐算法领域。


背景技术：

2.个性化推荐作为大数据时代的产物，发挥的作用越来越重要。虽然有关于推荐系统的研究以及应用已取得极大的的进展，但还是面临着诸多巨大的挑战，比如常见的数据稀疏性以及冷启动问题。
3.传统的推荐算法，主要分为基于协同过滤的推荐算法，基于内容的推荐算法以及混合推荐算法，这些算法更加侧重于挖掘用户和项目之间的静态相关性，但忽略了随着时间的推进而导致的用户兴趣的衰减以及偏好的动态变化。同时基于协同过滤的推荐算法不易于对一些特殊用户进行个性化推荐，同时还会受到冷启动问题的制约；基于内容的推荐会受到物品内容信息提取技术的限制，影响推荐结果；混合推荐无法准确分配各个推荐算法的权重。
4.基于传统推荐系统存在的问题，研究者考虑引入不同的辅助信息来提高推荐的准确度，比如用户评论的文本，社交信息以及项目属性。知识图谱旨在描述真实世界中客观存在的各种实体及其关系，构成了一张巨大的语义网络图，将各种辅助信息融入推荐算法中，便于缓解推荐的数据稀疏以及冷启动问题。同时知识图谱具有以下特征：1)精确性：丰富的语义相关信息可以发掘更深层次的隐藏关系并且提高结果的准确率；2)多样性：知识图谱中多类别的关系可以扩展用户兴趣，合理地发散推荐结果，提高推荐结果的多样性；3)可解释性：知识图谱可以连接用户的历史点击记录和推荐记录，为推荐系统提供可解释性。
5.虽然知识图谱有上述优点，但是知识图谱具有高维性以及异构性，如何高效地利用知识图谱进行推荐仍然是一个巨大的挑战。知识图谱嵌入技术将知识图谱中的实体或者关系映射到低维向量中，但一些典型的知识图谱嵌入方法，比如transe和transr等一般严格地进行语义关系建模，适合知识图谱的补全等图内应用，并不适用于推荐。
6.有鉴于此，确有必要提出一种融合知识图卷积网络和用户偏好的推荐模型，以解决上述问题。


技术实现要素：

7.本发明的目的在于提供一种融合知识图卷积网络和用户偏好的推荐算法，该方法将知识图谱视作为有权图，在用户端以及物品端同时进行特征的提取，从而进一步提升推荐的性能。
8.为实现上述目的，本发明提供了一种融合知识图卷积网络和用户偏好的推荐算法，包括以下步骤：
9.获取输入数据并对输入数据进行预处理，以得到交互矩阵和知识图谱，所述交互矩阵中包括用户和所述用户的历史点击对象，所述知识图谱包括与所述历史点击对象对应
的用户节点；
10.在所述知识图谱上对所述用户节点的邻居信息进行融合，以得到用户个性化特征；
11.所述知识图谱中还包括物品节点的邻居信息，并对所述物品节点的邻居信息进行聚合，以得到物品个性化特征；
12.对所述用户个性化特征和物品个性化特征进行联合特征提取，分别得到用户特征向量和物品特征向量；
13.对所述用户特征向量和物品特征向量进行内积运算，并通过预测函数以预测用户偏好。
14.作为本发明的进一步改进，根据所述用户节点的邻居信息计算每一个三元组的聚合权重pi，所述聚合权重pi表示为：
[0015][0016]
其中，表示所述用户u的一跳邻居集合；ri和hi是用户节点之间的关系和头实体的嵌入向量；v为给定项目的嵌入向量；
[0017]
所述用户节点的邻居信息包括尾实体ti以及与所述尾实体ti相对应的关联概率，对所述尾实体ti以及所述关联概率进行加权求和，以得到所述用户个性化特征u，具体为：
[0018][0019][0020]
其中，表示从用户u的历史点击项目偏好开始通过h阶传播，得到用户u的各阶偏好传播。
[0021]
作为本发明的进一步改进，对所述用户u进行累加，并确定所述用户u的重要程度，具体为：
[0022][0023]
其中，γ为参数，用来控制每一跳输出的权重；k为传播的阶数；所述用户u的重要程度的偏导如下公式所示：
[0024][0025]
作为本发明的进一步改进，所述物品节点的邻居信息包括物品和各物品之间的关系ri，计算用户u对所述关系ri的偏好程度具体为：
[0026][0027]
其中，ri表示连接第i个邻居的关系向量，g(.)为任意函数；
[0028]
对所述偏好程度进行归一化处理，得到规范化的用户关系评分具体为：
[0029][0030]
其中，n(v)表示物品v的一阶邻居集，然后再进一步进行加权求和操作得到特征向量
[0031][0032]
通过聚合函数进行聚合，并计算得到物品v的物品个性化特征a，具体为：
[0033][0034]
其中，σ(.)为非线性激活函数，w为线性变换矩阵，b为偏置项，表示对所述物品v进行聚合，e表示所述物品v在前一轮迭代更新产生的向量。
[0035]
作为本发明的进一步改进，所述聚合函数为求和聚合，通过对应元素位相加，然后进行非线性变换，具体为：
[0036][0037]
作为本发明的进一步改进，所述聚合函数为拼接聚合，通过连接两个表示向量，然后应用非线性变换，具体为:
[0038][0039]
作为本发明的进一步改进，所述聚合函数为邻居聚合，通过直接用作为本层输出向量，具体为：
[0040][0041]
作为本发明的进一步改进，所述联合特征提取具体为：交替进行所述用户个性化特征和物品个性化特征的运算，使得所述用户个性化特征的波形与所述物品个性化特征的波形产生干涉效应，得到所述用户特征向量和物品特征向量。
[0042]
作为本发明的进一步改进，所述预测函数为：
[0043][0044]
其中，p表示向量的内积操作，σ(x)的表达式为：
[0045][0046]
其中，σ(.)为非线性激活函数。
[0047]
作为本发明的进一步改进，所述预测函数为：
[0048]
[0049]
其中，σ(.)为非线性激活函数，w为线性变换矩阵，w∈r1×
2d
，训练过程采用负采样，并通过损失函数提高所述预测函数的准确度，所述损失函数min l具体为：
[0050][0051]
其中f是交叉熵损失函数，p是负采样分布，并且p服从均匀分布，nu是用户u的负采样数量，nu＝|{v:y
uv
＝1}|，第二项表示正则化优化。
[0052]
本发明的有益效果是：本发明的融合知识图卷积网络和用户偏好的推荐算法通过对用户端和物品端的推荐算法进行改进，通过用户在交互矩阵中的扩散过程获得用户个性化特征；通过物品在知识图谱中邻居信息的聚合或拼接聚合，得到物品个性化特征，通过知识图谱传播用户兴趣，找到用户的潜在兴趣且最终得到用户的表示，通过联合特征提取让用户兴趣传播与物品特征聚合交替进行，共享当前已知信息，从而提高推荐结果的准确性。
附图说明
[0053]
图1是本发明的整体流程图。
具体实施方式
[0054]
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
[0055]
本发明提供了一种融合知识图卷积网络和用户偏好的推荐算法，通过在用户端以及物品端同时进行个性化特征的提取，从而进一步提升推荐的性能。具体的：用户特征的提取通过用户的历史点击对象在知识图谱中的扩散过程，以获得包含更多关于用户的用户个性化特征。物品特征的提取需要考虑到物品的邻居也包含有物品本身的个性化信息，因此将物品的邻居信息聚合到物品节点中，并生成嵌入向量，因此可以包含更多物品本身的个性化特征。
[0056]
在对邻居节点进行聚合时，各个邻居节点关系的偏好程度各不相同，因此其权重与用户点击物品的邻居节点二者紧密联系，kgcn模型(基于知识图谱的推荐模型)考虑到此问题，将g(u,ri)作为权重来聚合物品的邻居节点。本文基于kgcn模型来提取物品特征向量，最后对用户特征向量以及物品特征向量进行内积来衡量用户对物品评分，以实现更深入挖掘知识图谱上用户与物品的潜在联系，从而优化推荐结果。
[0057]
如图1所示，该融合知识图卷积网络和用户偏好的推荐算法具体包括：
[0058]
步骤1：获取输入数据并对输入数据进行预处理，以得到交互矩阵和知识图谱，交互矩阵中包括用户和用户的历史点击对象，知识图谱包括与历史点击对象对应的用户节点。
[0059]
具体为：通过book-crossing数据集(图书评分数据集)作为输入进行预处理，book-crossing数据集的用户-物品交互是以评分的形式存在的，由此得到用户交互矩阵。
[0060]
对应于数据集的知识图谱数据是从kgcn公开的预处理知识图谱获得，该知识图谱信息来自microsoft satori。
[0061]
其中，交互矩阵y：
[0062][0063]
知识图谱g(实体-关系-实体(h，r，t))；其中，h∈ε,r∈r,t∈ε，ε表示知识图谱中的entity(实体集)，r表示知识图谱中的relation(关系集)。
[0064]
步骤2：在知识图谱上对用户节点的邻居信息进行融合，以得到用户个性化特征。
[0065]
交互矩阵中包括用户u和用户节点的邻居信息，根据用户节点的邻居信息计算每一个三元组(hi,ri,ti)的聚合权重pi，聚合权重pi表示为：
[0066][0067]
其中，表示用户u的一跳邻居集合；ri和hi是用户节点之间的关系和头实体的嵌入向量；v为给定项目的嵌入向量。
[0068]
用户节点的邻居信息包括尾实体ti以及与尾实体ti相互对应的关联概率，对尾实体ti以及关联概率进行加权求和，以得到用户个性化特征u，具体为:
[0069][0070][0071]
其中，表示从用户u的历史点击项目偏好开始通过h阶传播，得到用户u的各阶偏好传播。
[0072]
对用户u进行累加操作，根据该累加操作能够区分不同跳输出的重要性，并根据重要性确定用户u的重要程度，具体为：
[0073][0074]
其中，γ为参数，用来控制每一跳输出的权重；k为传播的阶数；用户u的重要程度的偏导如下公式所示：
[0075][0076]
步骤3、知识图谱中包括物品节点的邻居信息，并对物品节点的邻居信息进行聚合，以得到物品个性化特征。
[0077]
物品节点的邻居信息包括物品和各物品之间的关系ri，计算用户u对关系ri的偏好程度即经过知识图谱中ri边时消息传递的权重，因为每次进行消息传递时都加入了用户向量，所以结果比直接取关系向量ri更能体现出物品v的注意力，具体为：
[0078][0079]
其中，ri表示连接第i个邻居的关系向量，g(.)为任意函数。
[0080]
对偏好程度通过softmax操作进行归一化处理，得到规范化的用户关系评分
具体为：
[0081][0082]
其中，n(v)表示物品v的一阶邻居集，然后再进一步进行加权求和操作得到特征向量具体的，通过计算规范化的用户关系评分与物品v直接连接的节点的线性组合，也就是物品v的特征向量
[0083][0084]
通过聚合函数进行聚合，并计算得到代表物品v的物品个性化特征a，具体的，聚合过程中进行一次或多次全连接层的操作，具体表达式为：
[0085][0086]
其中，σ(.)为非线性激活函数，例如sigmoid，relu等，w为线性变换矩阵，b为偏置项，表示对物品v进行聚合，e表示物品v在前一轮迭代更新产生的向量。
[0087]
聚合函数可采取以下三种方法对物品v进行聚合：
[0088]
①
聚合函数为求和聚合，通过对应元素位相加，然后进行非线性变换，具体为：
[0089]
②
聚合函数为拼接聚合，通过连接两个表示向量，然后应用非线性变换，具体为：
[0090]
③
聚合函数为邻居聚合，通过直接用作为本层输出向量，具体为：
[0091]
步骤4、对用户个性化特征和物品个性化特征进行联合特征提取，分别得到用户特征向量和物品特征向量。
[0092]
交替进行步骤2和步骤3的运算，使得用户个性化特征的波形与物品个性化特征的波形可以进一步产生干涉效应，更深入地发掘用户的兴趣分布和物品特征的关系，得到用户特征向量和物品特征向量。
[0093]
步骤5、对用户特征向量和物品特征向量进行内积运算，并通过预测函数来预测用户的偏好，具体的，可通过以下两种预测函数中的一种来预测用户的偏好。
[0094]
①
预测函数为：
[0095][0096]
其中，p表示向量的内积操作，σ(x)的表达式为：
[0097][0098]
其中，σ(.)为非线性激活函数。
[0099]
②
预测函数为：
[0100][0101]
其中，σ(.)为非线性激活函数，w为线性变换矩阵，w∈r1×
2d
；为了优化该模型，在训练过程中采用负采样，通过损失函数提高预测函数的准确度，损失函数min l具体为：
[0102][0103]
其中，f是交叉熵损失函数，p是负采样分布，并且p服从均匀分布，nu是用户u的负采样数量，nu＝|{v:y
uv
＝1}|，第二项是正则化优化。
[0104]
需要说明的是，为了描述方便，本发明对融合知识图卷积网络和用户偏好的推荐算法的步骤进行了步骤1～步骤4的划分，在实际情况下，步骤2和步骤3没有具体的前后顺序的限制，此处不作限制。
[0105]
总的来说，本发明将知识图谱视作为有权图，通过注意力机制将用户与物品之间的关系转换为权重，即，影响用户行为的偏好程度。其中注意力机制可以描述为将query和key-value映射到输出。输出为value的加权和，其中分配给每个value的权重由query与key通过兼容性函数计算得到；然后从知识图谱的中心出发，迭代地向邻居信息进行扩张，对邻居信息进行聚合或拼接聚合，得到物品个性化特征。
[0106]
根据用户的历史记录，挖掘用户对于知识图谱实体中的潜在高阶偏好。将用户点击过的item作为“种子”，沿着知识图谱的边在知识图谱中进行扩散，此扩散是一个逐渐衰减的过程，类似于水中的涟漪，进而扩散得到的节点与用户兴趣有关，得到用户个性化特征。
[0107]
最后通过对物品个性化特征和用户个性化特征进行联合特征提取，即交替进行物品个性化特征和用户个性化特征的提取，并共享当前已知信息(即用户特征向量和物品特征向量)，通过对已知信息进行内积运算，以提高推荐结果的准确性。
[0108]
综上所述，本发明的融合知识图卷积网络和用户偏好的推荐算法通过分别对用户端和物品端的推荐模型进行改进，在交互矩阵中收集用户的历史点击对象，在知识图谱中收集物品邻居的个性知识信息来增强物品表示，找到用户的潜在兴趣并得到用户的表示；通过联合特征提取让用户兴趣传播与物品特征聚合交替进行，共享当前已知信息，从而提高推荐结果的准确性，进一步的，基于提取得到的用户特征向量以及物品特征向量二者的向量内积来衡量用户对物品评分，更深入挖掘知识图谱上用户与物品的潜在联系，从而优化推荐结果。
[0109]
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。