一种基于二阶聚合的图卷积循环神经网络的会话推荐方法与流程

1.本发明属于深度学习技术领域，更具体地，涉及基于二阶聚合的图卷积循环神经网络的会话推荐方法。


背景技术：

2.推荐系统已经被广泛应用于解决信息过载问题，并为用户推荐其可能感兴趣的内容，但是有时无法获取用户明确的喜好或者是评级打分等交互信息，甚至用户的个人身份可能都是未知的，只有当前正在进行的会话期间的用户历史点击行为，这就带来了一种冷启动问题，因此在一个会话中对有限行为进行建模并进行相应的内容推荐是有重要意义的。
3.马尔科夫链根据用户的前一个行为预测用户下一个行为进行会话推荐取得了一定的效果，但是仅仅只是将信息独立组合进行推荐，会话数据间的依赖性不能得到处理。
4.随着深度学习的引入，循环神经网络(rnn)的方法利用用户会话点击序列的输入生成推荐结果能够处理会话数据间的依赖性，但是会话间的点击项关系转换依赖性有待加强，对于会话图节点分布结构处理等问题仍然不能得到解决。
5.近年来，图卷积神经网络逐渐应用于推荐系统中，利用拓扑图传播聚合节点信息，尤其对图结构的学习推荐具有很好地优势，在会话推荐中的应用有待进一步研究。
6.图卷积神经网络根据图的性质进行卷积和池化，广泛应用于对图数据的处理，以获取会话图节点分布结构信息。但是目前大多数模型的图卷积层内部只利用一阶邻居的信号更新节点嵌入，容易受到噪声的影响，推荐的精确性有待提高。


技术实现要素：

7.为了解决上述问题，本发明提供一种基于二阶聚合的图卷积循环神经网络的会话推荐方法，该方法抗噪声能力强、准确性高。
8.为了实现以上目的，本发明采用的一种技术方案如下：
9.一种基于二阶聚合的图卷积循环神经网络的会话推荐方法，包含以下步骤：
10.步骤s0，根据会话序列构建有向会话图，所述会话图中每个节点代表一个点击项；
11.步骤s1，对每一个点击项进行编码，获得各点击项的低维嵌入向量；
12.步骤s2，将各点击项的低维嵌入向量输入到融合二阶协同信号的图卷积网络及循环神经网络中获得各点击项的潜在向量；
13.步骤s3，根据各点击项的潜在向量学习获得会话的潜在向量；
14.步骤s4，将各点击项的潜在向量和会话的潜在向量相乘，输入至softmax层得到预测点击项。
15.进一步地，所述点击项的潜在向量构建过程如下：
16.将各点击项的低维嵌入向量输入到融合二阶协同信号的图卷积网络获得各点击项的嵌入向量，接着将各点击项的嵌入向量输入循环神经网络中获得点击项的潜在向量。
17.进一步地，所述点击项的嵌入向量构建过程如下：
18.步骤s20，堆叠l个图卷积层，获得点击项的第l层二阶协同信号
[0019][0020][0021]
其中，n为点击项e
i
的所有2阶相邻点击项的集合，为点击项e
j
经过相邻点击项e
k
到点击项e
i
的第l层二阶协同信号，p
i，k，j
是图卷积网络的二阶协同信号强度系数，分别表示点击项e
i
、e
j
的第l
‑
1层嵌入向量；
[0022]
步骤s21，利用点击项的第l层二阶协同信号和l
‑
1层嵌入向量对点击项的嵌入向量进行更新：
[0023][0024]
其中，f
l
代表所有点击项的第l层嵌入向量构建的矩阵，f
l
‑1代表所有点击项的第l
‑
1 层嵌入向量构建的矩阵；relu(
·
)为激活函数；运算符表示矩阵的连接操作；s
l(1)
表示所有点击项的第l层一阶协同信号构建的矩阵；s
l(2)
表示所有点击项的第l层二阶协同信号构建的矩阵；表示第l层待学习的权重矩阵。
[0025]
进一步地，所述点击项的潜在向量h
i
构建操作如下：
[0026][0027][0028][0029][0030]
其中，z
i
、r
i
分别是重置门和更新门，代表要舍弃和保留的信息；σ(
·
)表示sigmoid函数；m
z
、m
r
、m
h
∈r
2d
×
d
；u
z
、u
r
、u
h
∈r
d
×
d
是通过模型学习后得到的参数；h
′
i
为候选隐藏状态，tan h为激活函数，
⊙
是按元素乘法符，i∈{1，2，...，n}，n是单个会话中所有点击项的总数。
[0031]
进一步地，步骤s3包含以下步骤：
[0032]
步骤s30，根据各点击项的潜在向量h
i
相加获取全局向量h
g
：
[0033]
步骤s31，将全局向量h
g
和局部向量h
n
进行拼接然后进行线性变换得到会话的潜在向量 h
c
：h
c
＝w
c
[h
g
；h
n
]；
[0034]
其中，w
c
是通过模型学习得到的参数矩阵。
[0035]
进一步地，所述图卷积的层数l＝3。
[0036]
本发明的上述技术方案相比现有技术具有以下优点：
[0037]
1、在图卷积层引入二阶协同信号和堆叠多个图卷积层，用来减少点击项嵌入时噪声的影响，同时提高学习点击项嵌入时的准确性；当l＝3时准确性最高。
[0038]
2、循环神经网络层获取用户会话的时序信息和增强会话数据间的依赖性，引入全局和局部向量去除原始嵌入向量空间中的一些噪音。
附图说明
[0039]
图1为本发明一实施例中基于二阶聚合的图卷积循环神经网络的会话推荐方法的流程图。
具体实施例
[0040]
下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
如图1所示，一种基于二阶聚合的图卷积循环神经网络的会话推荐方法，包含以下步骤：
[0042]
步骤s0，根据会话序列构建有向会话图，所述会话图中每个节点代表一个点击项；此时点击项集合e＝{e1，e2，...e
n
}；
[0043]
步骤s1，对每一个点击项进行编码，获得各点击项的低维嵌入向量e
i
：
[0044]
e
i
＝enc(x，θ)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0045]
公式(1)中，enc(
·
)是编码函数，θ是编码函数enc(
·
)的待学习参数，x代表点击项的实体特征。
[0046]
步骤s2，将各点击项的低维嵌入向量输入到融合二阶协同信号的图卷积网络及循环神经网络中获得各点击项的潜在向量；
[0047]
具体为：将各点击项的低维嵌入向量输入到融合二阶协同信号的图卷积网络获得各点击项的嵌入向量，接着将各点击项的嵌入向量输入循环神经网络中获得点击项的潜在向量。
[0048]
其中，述点击项的嵌入向量构建过程如下：
[0049]
步骤s20，堆叠l个图卷积层，获得点击项的第l层二阶协同信号
[0050][0051][0052]
公式(2)及公式(3)中，n为点击项e
i
的所有2阶相邻点击项的集合，为点击项e
j
经过相邻点击项e
k
到点击项e
i
的第l层二阶协同信号，p
i，k，j
是图卷积网络的二阶协同信号强度系数，分别表示点击项e
i
、e
j
的第l
‑
1层嵌入向量；
[0053]
步骤s21，利用点击项的第l层二阶协同信号和l
‑
1层嵌入向量对点击项的
嵌入向量进行更新：
[0054][0055]
公式(4)中，f
l
代表所有点击项的第l层嵌入向量构建的矩阵，f
l
‑1代表所有点击项的第 l
‑
1层嵌入向量构建的矩阵；relu(
·
)为激活函数；运算符表示矩阵的连接操作；s
l(1)
表示所有点击项的第l层一阶协同信号构建的矩阵；s
l(2)
表示所有点击项的第l层二阶协同信号构建的矩阵；表示第l层待学习的权重矩阵。其中，s
l(1)
具体为具体为
[0056]
公式(5)中，f
i
←
i
用于保留原始节点的特征信息；q表示点击项e
i
的第l层所有一阶邻居点击项的集合；表示相邻点击项e
k
到点击项e
i
的第l层一阶协同信号；leakyrelu(
·
) 为激活函数。
[0057]
所述点击项的潜在向量h
i
构建操作如下：
[0058][0059][0060][0061][0062]
公式(6)
‑
(9)中，z
i
、r
i
分别是重置门和更新门，代表要舍弃和保留的信息；σ(
·
)表示sigmoid函数；m
z
、m
r
、m
h
∈r
2d
×
d
；u
z
、u
r
、u
h
∈r
d
×
d
是通过模型学习后得到的参数； h
′
i
为候选隐藏状态，tan h为激活函数，
⊙
是按元素乘法符，i∈{1，2，...，n}，n是单个会话中所有点击项的总数。
[0063]
步骤s3，根据各点击项的潜在向量学习获得会话的潜在向量；
[0064]
具体地，步骤s3包含以下步骤：
[0065]
步骤s30，根据各点击项的潜在向量h
i
相加获取全局向量h
g
：
[0066]
步骤s31，将全局向量h
g
和局部向量h
n
进行拼接然后进行线性变换得到会话的潜在向量 h
c
：
[0067]
h
c
＝w
c
[h
g
；h
n
]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0068]
公式(10)中，w
c
是通过模型学习得到的参数矩阵。
[0069]
步骤s4，将各点击项的潜在向量h
i
和会话的潜在向量h
c
相乘，输入至softmax层得到预测点击项，其中，各点击项的潜在向量h
i
和会话的潜在向量h
c
相乘具体为上述参数或者参数矩阵对应的模型是由图卷积网络、循环神经网络及线性变换构建的模型，所述模型采用交叉熵损失函数进行反向更新参数进行训练，优化器采用adam优化器。所述熵损失函数具体为：
[0070][0071]
公式(11)中，y
i
表示真实点击项的one
‑
hot编码向量，y
′
i
为softmax预测的得分最高的点击项对应的编码向量。
[0072]
优选地，述图卷积的层数l＝3。
[0073]
下面以具体实施例对本发明的会话推荐方法优越性进行说明：
[0074]
模型主要参数配置：点击项的嵌入维度取为64，图卷积层的数量l取为3，优化器采用adam优化器，学习速率设置为10
‑3，最大迭代次数为1000次。
[0075]
在三个数据集(diginetica、yoochoose1/64、yoochoose1/4)上进行测试，为了评估本发明方法的效果，训练模型时与本发明提出的方法比较的方法有：neucf，gcmc，ngcf， graphrec，gcrnn这5个主流的算法模型，上述5个算法模型具体含义如下：
[0076]
neucf：采用深度神经网络代替嵌入向量的内积运算，一种基于矩阵分解推荐模型。
[0077]
gcmc：采用1个图卷积层，聚合一阶邻居的协同信号。
[0078]
ngcf：通过堆叠多个图卷积层隐式传播聚合协同信号。
[0079]
graphrec：基于gcn的协同过滤推荐模型。
[0080]
gcrnn：通过聚合一阶邻居的协同信号和循环神经网络层获得会话嵌入节点。
[0081]
本实施例采用两种评价指标p@20及mrr@20，其具体含义如下：
[0082]
p@20(精度)：表示在推荐的前20个商品(点击项)中准确预测的比例，是目前广泛采用的评价预测准确度的方法。
[0083]
mrr@20(平均倒数排名)：如果排名超过20，则将倒数排名设为0，mrr值越大表示准确推荐的商品(点击项)在推荐排名列表的越前面。
[0084]
本发明的会话推荐方法与其他五种方法在数据集上的实验结果如表1所示：
[0085]
表1：本发明的会话推荐方法与其他五种方法在数据集上的实验结果
[0086][0087]
由表1可以看出，基于图卷积神经网络的4种推荐模型的预测精确度明显优于基于矩阵分解的neucf模型，这说明在拓扑图上融合点击项实体特征和图结构特征的图卷积神经网络推荐模型能够更加准确学习点击项的嵌入表示，从而获得更好的预测结果；利用高阶协同信号的ngcf和graphrec模型预测精准度均优于使用一阶聚合的gcmc模型，这说明聚合高阶协同信号可以让推荐结果更优化；gcrnn模型在聚合一阶协同信号的同时引入循环
神经网络，使得会话间的时序信息和依赖关系进一步增强，根据数据集的训练结果显示gcrnn模型推荐结果比gcmc模型更为精准，这说明循环神经网络能够捕获用户会话间潜在信息，有助于提高推荐模型的性能。本发明的优异性在于在图卷积层引入二阶聚合和多层堆叠，增加了对更高阶协同信号的利用，并且引入循环神经网络有效地处理会话间信息的传播，捕获更为精准的用户会话间的潜在信息。
[0088]
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细但并不能因此而理解为对本技术专利范围的限制。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。