一种基于双通道协同蒸馏的时序推荐方法及系统
本技术属于推荐系统,尤其涉及一种基于双通道协同蒸馏的时序推荐方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
2、推荐系统通常依据用户与物品之间的历史交互生成个性化候选排序列表,已成为电子商务、本地生活、影音平台等业务的核心技术。随着用户规模与物品种类的持续膨胀,以及用户兴趣呈现出更强的动态性与多样性,推荐系统不仅需要在海量数据中高效建模用户偏好,更需要具备捕捉兴趣时序演化、利用多源辅助信息以及融合异构知识的能力。
3、目前,基于图神经网络的方法虽然可在用户-物品二部图上聚合高阶协同关系,但是将全部历史交互折叠为与时间无关的静态图时,不同阶段的局部行为模式容易被混合,静态图神经网络推荐存在时序信息丢失问题,难以同时保留时间区间内的协同结构和时间区间之间的偏好演化。
4、然而,传统时序或序列推荐虽然引入交互顺序或连续时间信息,但其建模重心往往放在相邻交互的转移规律上,缺乏对局部时间区间内高阶协同结构的显式保持。且固定单一时间尺度难以同时兼顾短期阶段性偏好与长期跨期变化,限制了模型对用户兴趣多尺度动态的捕捉能力,导致推荐精度衰减明显。
5、现有大语言模型语义增强推荐方法虽然可从用户交互历史、物品标题、类别和描述等文本中产生语义向量,为交互稀疏场景补充信息,但离线语义向量仅表征文本通用语义,与用户个性化偏好无法完全匹配,若将语义特征在全部用户-物品交互边上无差别传播,无关、失真的语义信息会沿图结构扩散,污染节点表征,即大语言模型引入的语义先验存在扩散风险与偏好错配问题。
6、此外,基于时序图得到的行为表示与基于文本得到的语义表示在信息来源和表示空间上存在异构性,而直接拼接、平均或强制全局对齐容易造成表示冗余、表示失真、通道干扰或通道专有信息丢失等问题,难以实现有效的信息互补。
技术实现思路
1、为克服上述现有技术的不足,本发明提供了一种基于双通道协同蒸馏的时序推荐方法及系统,通过时序动态通道和语义表征通道分别获得时序行为表示和语义偏好表示,在保持两类表示专门化的基础上执行预测级与特征级双向蒸馏,并采用实例级逐维门控进行融合,进而输出面向目标用户的top-k未见物品推荐列表。
2、为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
3、本发明的第一个方面提供了一种基于双通道协同蒸馏的时序推荐方法,包括:
4、获取用户集合、物品集合及交互三元组;
5、基于交互三元组,构建时序交互图和折叠交互图;
6、将时序交互图输入至时序动态通道,对时序交互图依次进行区间划分和时间戳感知边编码,得到编码时序子图;对编码时序子图依次进行局部快照建模和全局序列建模,得到用户时序表示和物品时序表示;
7、利用语义表征通道,对语义表征通道进行边可靠性估计和加权图传播,得到用户语义偏好和物品语义偏好表示;
8、对时序表示和语义偏好表示执行协同蒸馏和门控融合,得到最终用户表征和物品表征;
9、根据最终用户表征和物品表征计算预测得分,生成top-k未见物品推荐列表。
10、作为一种实施方式,对时序交互图依次进行区间划分和时间戳感知边编码,得到编码时序子图,具体为,将时序交互图按照时间区间划分为若干个时序子图;对时序子图的交互边进行时间戳感知边编码,得到编码时序子图。
11、作为一种实施方式,对编码时序子图进行局部快照建模,具体过程为:
12、根据时间戳将时序子图等分为若干时间窗,得到若干个局部快照图;
13、利用逐维最大聚合运算,对局部快照图中的带时间编码的邻居信息进行聚合,分别得到用户、物品时间感知邻居信息;
14、基于用户、物品时间感知邻居信息,利用多层感知机对局部时间快照图进行拼接并更新,得到用户局部表示和物品局部表示。
15、作为一种实施方式,对用户局部表示和物品局部表示进行全局序列建模,分别得到用户时序表示和物品时序表示,具体过程为:
16、根据用户局部表示和物品局部表示,组成用户和物品的区间级表示序列;
17、按照时间顺序将用户和物品的区间级表示序列输入至门控循环单元进行编码,分别得到用户、物品相邻快照间依赖关系;
18、采用多头自注意机制获得时间快照的注意权重,并聚合注意后的时间状态,分别得到用户、物品时序行为表示。
19、作为一种实施方式,对语义表征通道进行边可靠性估计和加权图传播,得到用户语义偏好表示和物品语义偏好表示,具体过程为:
20、基于用户集合、物品集合,对离线大语言模型进行语义先验初始化,得到用户、物品的初始语义状态;
21、根据用户、物品语义状态,利用多层感知机计算逐层边兼容分数,并转换为边可靠性权重;
22、根据可靠性权重执行归一化的用户-物品双向语义传播,得到各传播层的用户、物品语义状态;
23、将各传播层的用户、物品语义状态分别进行跨传播层聚合,得到语义偏好表示。
24、作为一种实施方式,对时序表示和语义偏好表示执行协同蒸馏和门控融合,得到最终用户表征和物品表征,具体过程为:
25、构建表征唯一损失,对用户时序表示、物品时序表示、用户语义偏好表示及物品语义偏好表示进行特征损失约束;
26、分别基于时序表示和语义表示,生成时序、语义预测分数分布,并采用对称kl散度进行预测级双向蒸馏;
27、分别基于时序表示和语义表示,构建双向投影桥形成双向投影,并以各投影表示与对应目标通道表示之间的均方误差进行特征级双向蒸馏;
28、通过用户自适应门控和物品自适应门控,对蒸馏后的双通道表征进行加权融合,得到最终用户表征与最终物品表征。
29、作为一种实施方式,分别基于时序表示和语义表示,生成时序、语义预测分数分布,并采用对称kl散度进行预测级双向蒸馏,具体过程为:
30、基于用户时序表示和物品时序表示,计算时序动态通道对正物品和负物品的相关得分;
31、基于用户语义表示和物品语义表示,计算语义表征通道对正物品和负物品的相关得分;
32、基于时序动态通道和语义表征通道的相关得分,利用温度softmax得到两个通道的正负候选预测分布;
33、以最小化两个预测分布的对称kl散度,进行预测级双向蒸馏。
34、作为一种实施方式,构建双向投影桥形成双向投影,其中,双向投影桥包括时序至语义投影网络和语义至时序投影网络,通过两个方向专用投影网络形成双向投影表示。
35、作为一种实施方式,在训练过程中,构建总损失函数,对模型进行训练优化,总损失函数公式为:
36、;
37、其中,表示模型总损失函数;表示bpr推荐损失;表示协同蒸馏总损失;表示总对比学习损失;表示全部可训练参数;表示对比学习和l2正则权重;表示参数的l2范数平方。
38、本发明的第二个方面提供了一种基于双通道协同蒸馏的时序推荐系统,包括:
39、获取数据模块,用于获取用户集合、物品集合及交互三元组;
40、交互图构建模块,用于基于交互三元组,构建时序交互图和折叠交互图;
41、时序动态通道模块,用于将时序交互图输入至时序动态通道,对时序交互图依次进行区间划分和时间戳感知边编码,得到编码时序子图;对编码时序子图依次进行局部快照建模和全局序列建模,得到用户时序表示和物品时序表示;
42、语义表征通道模块,用于利用语义表征通道,对语义表征通道进行边可靠性估计和加权图传播,得到用户语义偏好和物品语义偏好表示;
43、协同蒸馏与门控融合模块,用于对时序表示和语义偏好表示执行协同蒸馏和门控融合,得到最终用户表征和物品表征;
44、预测模块,用于根据最终用户表征和物品表征计算预测得分,生成top-k未见物品推荐列表。
45、本发明第三方面提供了一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的方法中的步骤。
46、本发明第四个方面目的是提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的方法中的步骤。
47、以上一个或多个技术方案存在以下有益效果:
48、本实施例中,构建时序动态通道及语义表征通道,并在时序动态通道中进行时间区间划分和时间戳感知边编码,得到编码时序子图;对编码时序子图依次进行局部快照建模和全局序列建模;利用语义表征通道,对语义表征通道进行边可靠性估计和加权图传播,并结合大模型语义先验化,解决了现有推荐系统难以兼顾局部时间区间内高阶协同结构保持与跨时间区间偏好演化刻画的问题,同时克服离线语义先验沿交互图无差别扩散导致噪声传播的缺陷。
49、本实施例中,通过对时序表示与语义表示执行协同蒸馏和自适应门控融合,解决了异构表示有效融合的问题,实现了专有信息保留与知识可控交换的平衡,并生成个性化增强的最终表征以输出精准的top-k推荐结果,提高了推荐准确度。
50、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com