一种面向会话推荐的结构-语义融合双协同自注意力推荐方法及系统
本发明涉及计算机软件、人工智能推荐系统、数据挖掘和深度学习,具体涉及一种面向会话推荐的结构-语义融合双协同自注意力推荐方法及系统。
背景技术:
1、在信息爆炸时代,推荐系统是帮助用户进行决策的重要工具。然而,在许多真实场景(如用户匿名访问)中,系统无法获取用户的历史身份信息,只能依赖当前会话中有限的交互序列进行推断,这催生了会话推荐任务。
2、早期的会话推荐方法主要关注挖掘物品间的转移或共现关系,例如基于马尔可夫链的模型。近年来,随着深度学习的发展,循环神经网络(rnn)及其变体(如gru4rec)被用于建模会话序列。然而,rnn存在难以并行化和梯度消失等问题。随后,基于自注意力机制的transformer模型(如sasrec)因其能并行捕获序列中长距离依赖关系而展现出优越性能。
3、尽管现有方法取得了进展,但在利用跨会话的协同信息方面仍存在局限。一方面,部分方法(如csrm)通过检索语义相似的邻域会话来引入协同信号,但忽略了会话间更高阶的结构关系。另一方面,基于图神经网络的方法(如sr-gnn)虽然能通过构建会话图或全局图来捕获物品间的复杂结构依赖,但通常忽略了会话间的语义协同关系。此外,大多数方法假设物品的表示是静态的,未能考虑同一物品在不同上下文中可能具有不同语义。
技术实现思路
1、本发明旨在解决现有技术中协同信息利用不足、物品表示静态化以及难以同时捕获语义与结构协同信号的问题,提供一种面向会话推荐的结构-语义融合双协同自注意力推荐方法及系统。
2、为实现上述目的,本发明提供如下技术方案:一种面向会话推荐的结构-语义融合双协同自注意力推荐方法,包括以下步骤:
3、语义协同物品表示学习步骤:获取当前会话的按时间顺序的物品交互序列,基于所述当前会话中的物品,检索与当前会话中各物品相关的语义邻域会话,并根据所述语义邻域会话的嵌入表示构造补充语义特征,将所述补充语义特征与物品嵌入拼接,得到语义协同物品表示;
4、结构协同物品表示学习步骤:基于所有会话构建包含物品交互转移关系的全局物品图,在图神经网络的多层信息聚合过程中采用会话感知注意力机制进行信息聚合,得到结构协同物品表示;
5、双自注意力网络建模步骤:分别将所述语义协同物品表示和所述结构协同物品表示输入至参数独立的第一自注意力网络和第二自注意力网络中,捕获会话中物品的长距离依赖关系,分别得到语义协同会话嵌入和结构协同会话嵌入;
6、预测融合步骤:对所述语义协同会话嵌入和所述结构协同会话嵌入进行加权融合得到最终会话表示,并基于所述最终会话表示计算候选物品的预测得分,依据所述预测得分生成推荐结果。
7、进一步地,所述语义协同物品表示学习步骤中,检索语义邻域会话并构造补充语义特征的具体实现包括:
8、对于当前会话中的每个物品,选取与当前会话时间戳最接近的m个同样与该物品交互过的会话作为候选语义邻域会话;
9、计算当前会话与候选语义邻域会话的相似度,所述相似度的计算基于当前会话前t个物品构成的集合与候选会话包含的所有物品的集合的交集与并集的比值,作为集合匹配度;
10、根据所述相似度得分选择相似度最大的k个会话作为最终邻域会话,并将所述相似度得分作为权重,其中m大于k且均为正整数;
11、对所述k个语义邻域会话的嵌入表示按相似度权重进行加权求和,得到补充语义特征嵌入;
12、将物品的原始嵌入与所述补充语义特征嵌入进行加权向量相加,其中加权系数用于衡量所述补充语义特征嵌入的重要性,得到所述语义协同物品表示。
13、进一步地,所述结构协同物品表示学习步骤中,全局物品图的构建、会话感知注意力机制及多层信息聚合的具体实现包括:
14、将所有会话建模为全局图,以所有唯一物品作为节点,以会话中物品之间的先后交互转移关系作为有向边;
15、获取当前会话特征,所述当前会话特征由当前会话中各物品表示的平均值计算得到;
16、将当前会话特征与全局物品图中结构邻居的物品表示进行拼接,并结合全局图中对应边的权重,通过可训练参数和激活函数计算所述结构邻居的注意力系数;
17、对当前物品节点的所有结构邻居的注意力系数进行归一化处理,得到会话感知注意力得分,使与当前会话偏好一致的邻居物品获得更高的注意力权重;
18、采用多层聚合器逐层进行信息传播,挖掘高阶连通信息,使得物品第l阶的表示融合其初始表示及l跳范围内邻居物品的表示,得到所述结构协同物品表示。
19、进一步地,所述双自注意力网络建模步骤中,所述第一自注意力网络和第二自注意力网络均包括:
20、自注意力块,基于查询、键和值计算注意力加权输出,得到协同会话表示,其中所述查询、键和值均为对应的协同物品表示集合;
21、多头自注意力层,由h个具有不同参数的独立注意力模型并行构成,用于在不同位置共同关注来自不同表示子空间的信息;
22、前馈网络层,用于引入非线性并考虑不同潜在维度之间的交互;
23、残差连接与层归一化层,用于充分利用低层信息并对输入特征进行规范化;
24、多层堆叠结构,通过堆叠多个自注意力块以学习更复杂的物品转移关系;
25、所述预测融合步骤的具体实现包括:
26、通过可学习的融合权重对所述语义协同会话嵌入和所述结构协同会话嵌入进行加权求和,得到所述最终会话表示;
27、使用所述最终会话表示与物品嵌入矩阵进行矩阵乘法运算,并通过softmax激活函数计算得到候选物品的预测概率;
28、使用交叉熵损失函数对模型进行训练优化。
29、进一步地,所述当前会话为匿名用户按照时间顺序产生的点击行为序列,所述方法基于当前会话交互序列完成用户兴趣推断与物品推荐。
30、一种面向会话推荐的结构-语义融合双协同自注意力推荐系统,包括:
31、数据获取模块,用于获取当前会话的按时间顺序的物品交互序列;
32、语义协同物品表示学习模块,用于基于所述当前会话中的物品,检索与当前会话中各物品相关的语义邻域会话,并根据所述语义邻域会话的嵌入表示构造补充语义特征,将所述补充语义特征与物品嵌入拼接,得到语义协同物品表示;
33、结构协同物品表示学习模块,用于基于所有会话构建包含物品交互转移关系的全局物品图,在图神经网络的多层信息聚合过程中采用会话感知注意力机制进行信息聚合,得到结构协同物品表示;
34、语义协同自注意力模块,用于将所述语义协同物品表示输入至自注意力网络中,捕获会话中物品的长距离依赖关系,得到语义协同会话嵌入;
35、结构协同自注意力模块,用于将所述结构协同物品表示输入至自注意力网络中,捕获会话中物品的长距离依赖关系,得到结构协同会话嵌入;
36、预测融合模块,用于对所述语义协同会话嵌入和所述结构协同会话嵌入进行加权融合得到最终会话表示,并基于所述最终会话表示计算候选物品的预测得分,依据所述预测得分生成推荐结果;
37、所述语义协同自注意力模块和所述结构协同自注意力模块的内部结构相同,均包括自注意力块、多头自注意力层、前馈网络层、残差连接与层归一化层以及多层堆叠结构。
38、进一步地,所述语义协同物品表示学习模块具体用于:
39、对当前会话中的每个物品,选取与当前会话时间戳最接近的m个同样与该物品交互过的会话作为候选语义邻域会话;
40、计算当前会话前t个物品构成的集合与候选会话包含的所有物品的集合的交集与并集的比值,选择相似度最大的k个会话作为最终邻域会话,并将相似度得分作为权重;
41、对所述k个语义邻域会话的嵌入表示进行加权求和得到补充语义特征嵌入,并将其与物品的原始嵌入进行加权向量相加,得到所述语义协同物品表示。
42、进一步地,所述结构协同物品表示学习模块具体用于:
43、将所有会话建模为全局图,以所有唯一物品作为节点,以物品之间的交互转移关系作为有向边;
44、获取当前会话特征,结合结构邻居的物品表示及全局图中对应边的权重,通过可训练参数和激活函数计算会话感知注意力得分;
45、采用多层聚合器逐层进行信息传播,挖掘高阶连通信息,融合物品的初始表示及l跳范围内邻居物品的表示,得到所述结构协同物品表示。
46、进一步地,所述语义协同自注意力模块和所述结构协同自注意力模块中的自注意力块基于查询、键和值计算注意力加权输出,得到协同会话表示;所述多头自注意力层由h个具有不同参数的独立注意力模型并行构成;所述前馈网络层用于引入非线性;所述残差连接与层归一化层用于对输入特征进行规范化;
47、所述预测融合模块具体用于:
48、通过可学习的融合权重对所述语义协同会话嵌入和所述结构协同会话嵌入进行加权求和,得到所述最终会话表示;
49、使用所述最终会话表示与物品嵌入矩阵进行矩阵乘法运算,并通过softmax激活函数计算得到候选物品的预测概率;
50、使用交叉熵损失函数对系统进行训练优化。
51、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。
52、一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述所述的方法的步骤。
53、与现有技术相比,本发明的有益效果是:
54、1.协同信息利用更充分:本发明首次从语义和结构两个维度同时挖掘并利用跨会话的协同信息,弥补了单一视角方法的不足。
55、2.物品表示更动态:通过引入语义邻域会话,物品的表示不再是静态的,而是能够根据当前会话的上下文动态调整,更能反映其在特定场景下的含义。
56、3.依赖关系捕获更全面:采用双自注意力网络分别对两种协同表示进行建模,能够更有效地捕获会话内部复杂的、长距离的物品依赖关系。
57、4.推荐性能更优越:在多个真实数据集上的实验表明,本发明提出的dual-cosan方法在hit rate、ndcg、mrr等关键指标上均显著优于现有的主流会话推荐方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com