基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统

1.本发明涉及个性化新闻推荐方法，特别是涉及基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统。


背景技术：

2.在线新闻平台的飞速发展使得用户能够通过在线新闻平台及时分享、搜索及浏览新闻信息，这极大地丰富了人们的信息需求，也带来了信息过载问题。推荐系统利用信息过滤技术向用户推荐其可能感兴趣的信息，成为解决信息过载问题的有效方案。
3.新闻推荐系统大致可以分为基于协同过滤的新闻推荐和基于内容的新闻推荐两类方法。在基于协同过滤方式和基于内容方式的基础上，又衍生出很多新的分支，依据其针对的问题，主要分为隐私保护的推荐系统、知识感知的推荐系统、序列感知的推荐系统和可解释的推荐系统。新闻由于具有匿名浏览的特殊性，通常以会话序列的形式存储用户的浏览记录，难以得到用户长期的浏览信息，因此，在新闻推荐中基于序列推荐的重要性尤为显著。wang等研究者在2019年系统地总结了序列推荐系统的分类，序列推荐系统按照发展的技术路线主要分为三类：传统序列推荐系统、基于隐语义模型的序列推荐系统和基于深度学习的推荐系统。
4.传统序列推荐主要分为基于序列模式挖掘的序列推荐模型和基于马尔科夫链模型的序列推荐模型。基于序列模式挖掘的方法主要是从序列数据中挖掘出一些频繁模式，然后利用挖掘出的模式指导后续的推荐。序列模式挖掘虽然简单直接，但通常会产生大量的冗余模式，增加了不必要的时间和空间开销。另一个明显的缺点是，由于频率约束，它经常丢失那些不经常出现的模式和物品，这将导致推荐结果被限制为那些流行的物品。基于马尔可夫链的推荐系统对用户-物品交互之间的转换进行序列建模，以预测下一次交互。由于马尔可夫特性假设当前的交互仅依赖于一个或多个最近的交互，所以它只能捕获短期的依赖，忽略了长期的依赖。此外，它只能捕获点对(point-wise)之间的依赖而忽略集合之间的依赖。传统的序列推荐模型利用了它们在序列中用户-物品交互之间的序列相关性建模方面的自然优势，直观简单，但是存在着众多的缺陷。
5.基于隐语义模型的序列推荐其主要使用因子分解机学习每个用户或物品的潜在表示，与协同过滤方法不同的是，需要进行因子分解的矩阵或张量是由交互作用组成的，而不是协同过滤中的评分矩阵。基于隐语义模型的序列推荐容易受到数据的稀疏性的影响，难以得到理想的推荐效果；另一方面，因子分解机本身有限的线性表达能力和包含无用的特征交叉组合对推荐结果会产生较大的影响。近年来，随着深度学习的发展，有研究者将深度学习的方法和因子分解机结合并应用与序列推荐中，提高了其线性表达能力，但是模型设计复杂，计算复杂度较高。
6.基于深度学习的序列推荐系统主要通过使用循环神经网络(rnn，recurrent neural network)和图神经网络(gnn，graphneural network)两种代表技术对用户和物品以及之间的交互关系进行建模。循环神经网络在处理序列的长期依赖中具有优势，但对于
过长的序列建模仍然是困难的，另一方面，循环神经网络难以建模序列中的高阶依赖关系且在用户浏览的新闻稀疏时难以准确表征用户偏好。近年来，从图视角考虑用户和新闻之间的交互关系的研究逐渐火热，研究者们通常将用户与物品的交互序列构建成一个有向图，其中，每个物品作为一个节点，每一个序列作为一条路径，然后基于构建的图结构使用图神经网络学习物品的表示，再结合用户的历史信息建模用户。也有研究者根据用户和物品的交互序列的时间信息，以一定的时间片进行划分，将同一时间片内的物品使用超边进行连接构建了超图，并使用超图卷积的方式学习物品的表示，利用已有的物品表示再动态地去表征用户。通过对序列之间的关系进行转换来构建图关系的数据结构，将一阶序列关系提升到高阶图关系可以更容易建模物品上下文之间的复杂依赖关系。对于用户的历史浏览新闻较少的序列，可以通过新闻序列上下文信息进行补充，缓解用户历史浏览新闻稀疏时不易建模用户偏好的问题。但现有的研究通常仅仅考虑用户与新闻的点击关系，而忽视了全局的浏览新闻序列中的内在联系，从而忽视了用户的全局兴趣迁移，导致用户兴趣描述不全面，因而无法满足用户的需求。
7.如何实现内容充分挖掘与用户全局兴趣迁移感知结合的推荐算法，是新闻推荐系统中亟待解决的问题。综合上述研究背景，本发明针对新闻推荐系统中全局信息聚合和新闻表达不足的问题，提出了一种基于用户全局兴趣迁移感知的个性化新闻推荐系统。其中，本发明的用户全局兴趣迁移感知定义为：从全局视角出发，挖掘用户与新闻之间点击行为的交互联系，同时考虑新闻序列之间前后顺序的迁移联系，建模用户和新闻之间的高阶关系。


技术实现要素：

8.发明目的：为解决现有技术的不足，本发明提供一种基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统。
9.技术方案：为实现上述发明目的，本发明采用以下技术方案：
10.1.一种基于用户全局兴趣迁移感知的个性化新闻推荐方法，该方法包括以下步骤：
11.(1)对用户历史浏览新闻和候选新闻进行数据预处理，构建全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络；
12.(2)候选新闻内容表征计算
13.使用注意力机制分别从文本视角和实体视角两个不同的视角对候选新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算获得候选新闻内容表征；
14.(3)用户内容兴趣表征计算
15.使用注意力机制分别从文本视角和实体视角两个不同的视角对用户历史浏览新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算，获得用户历史浏览新闻内容表征，然后基于注意力机制聚合用户历史浏览新闻内容表征，得到用户内容兴趣的表征；
16.(4)用户迁移兴趣表征计算
17.融合步骤(1)中构建的全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络，构建全局新闻迁移图，将全局新闻迁移图中用户节点表征和不同的邻居新闻节点表征作为输入，使用两层迁移感知的图注意网络来进行信息聚合和学习，最后得到用户迁移兴趣表征、新闻表征、迁移表征，所述迁移表征包括传播表征和影响表征；
18.(5)联合推荐模型
19.结合步骤(2)得到的候选新闻内容表征、步骤(3)得到的用户内容兴趣表征、步骤(4)得到的用户迁移兴趣表征、新闻表征、迁移表征，构建联合推荐模块并进行新闻推荐，对步骤(3)得到的用户内容兴趣表征与步骤(2)得到的候选新闻内容表征进行相似度计算，得到用户内容兴趣评分，对用户迁移兴趣表征与候选新闻表征、迁移表征进行相似度计算得到用户迁移兴趣评分；将用户内容兴趣评分和用户迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top-k新闻列表；
20.(6)系统功能展示。
21.2.根据1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，步骤(1)的具体方法是，从用户历史浏览新闻和候选新闻中提取新闻标题文本字段以及标题实体字段，分别通过glove词向量和维基百科上训练的实体向量获取对应的新闻标题词向量和实体向量作为初始向量表示；按照用户浏览新闻的时间顺序构建每个用户历史浏览新闻序列，同时构建用户和历史浏览新闻之间的点击关系网络，然后根据用户的历史浏览新闻的序列数据，将点击前后的历史浏览新闻之间连边，构建全局的新闻与新闻的顺序关系网络。
22.3、根据步骤1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，步骤(2)包括如下具体步骤：
23.(2-1)对于给定候选新闻ni，新闻的标题文本序列表示为其中ti表示第i条新闻的标题文本，w
i,j
即为第i条新闻的标题文本中的第j个单词，|ti|为标题文本中单词的总数；新闻的实体序列表示为其中ei表示第i条新闻的标题实体，e
i,j
即为第i条新闻的标题中的第j个实体，|ei|即为标题中实体的总数；利用自注意力学习新闻的标题文本序列表征矩阵其计算过程如下：
[0024][0025]
其中，为单词序列的词向量矩阵，上标t表示矩阵转置操作，dw是单词的特征维度，表示单词w
i,j
的向量表示，表示新闻ni中第j个单词的自注意力影响权重，exp(
·
)表示以自然常数e为底的指数函数，是新闻ni中第j个单词的自注意
力表征权重，k是指第k个单词，是单词的自注意力表征，将每个单词依据归一化权重向量进行更新得到文本序列表征矩阵之后，利用自注意力机制计算第i条新闻标题文本自注意表示
[0026]
对于标题中的实体也进行自注意力学习实体序列表示，得到新闻标题的实体序列表征矩阵其中表示第i个新闻的标题中的第j个实体的自注意力表征，以及得到新闻标题中的实体自注意表示
[0027]
(2-2)通过对新闻的标题文本序列表征矩阵和新闻的实体序列表示进行交叉注意得到单词与实体两两之间的关联程度，分别加和行、列作为单词和实体的权重值，再通过加权分别聚合文本集合和实体集合特征得到文本层面交叉学习表示和实体层面交叉学习表示的具体计算过程如下：
[0028][0029][0030][0031]
其中表示单词w
i,j
的自注意向量表示，表示实体e
i,k
的自注意向量表示，表示新闻ni中的第j个单词的交叉注意力表征权重，表示新闻ni中的第j个单词的交叉注意力影响权重，表示新闻ni中的第k个单词的交叉注意力影响权重，表示新闻ni中的第k个单词的交叉注意力表征权重，dw和de分别是单词和实体特征维度，实体层面交叉学习表示的计算方法同文本层面交叉学习表示
[0032]
(2-3)通过将步骤(2-1)得到的标题文本自注意表示标题实体自注意表示以及步骤(2-2)得到的文本层面交叉学习表示和实体层面交叉学习表示进行相加后进行拼接得到新闻内容表征向量，第i条新闻的多视角表征向量计算如下：
[0033][0034]
其中 表示两个向量对位相加，||表示拼接操作，第i条新闻内容表征向量计算如下：
[0035][0036]
其中是线性层权重，是线性层偏
差。
[0037]
4.根据1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其中步骤(3)包括如下具体步骤：
[0038]
(3-1)进行用户序列内容自注意力提取，通过对用户历史浏览新闻序列进行新闻内容表征计算得到新闻序列矩阵其中作为用户ui浏览的第一条新闻n1的内容表征向量，代表该用户历史浏览序列的长度，将自注意力机制应用在新闻序列向量集合构建的矩阵上更新新闻序列之间的信息得到新闻自注意力矩阵再通过的softmax函数进行归一化得到权重矩阵然后将这个权重矩阵与对应的新闻向量集合相乘实现每个新闻与其他新闻之间联系，得到用户历史浏览新闻的自注意力向量矩阵其中是用户ui对新闻nj的自注意力向量；
[0039]
(3-2)从用户层面使用注意力机制去加权聚合新闻的自注意力向量集合以表征用户的内容兴趣偏好计算如下：
[0040][0041][0042]
其中表示用户ui对历史浏览序列中的新闻nj的偏好程度，是第一层线性层的参数，其维数与新闻内容向量的维数的大小一致，通过tanh激活函数进行非线性变化后送入第二层线性层；则为第二层线性层的参数，用户实现将维数dn映射为1，由此每一个新闻向量则对应了一个权值，将所有历史浏览新闻权值进行归一化后即可得到用户对历史浏览新闻序列中的新闻的偏好分布情况，最后通过加权求和新闻自注意力向量矩阵得到用户内容兴趣表示
[0043]
5.根据1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其中步骤(4)包括如下具体步骤：
[0044]
(4-1)进行基于序列全局感知的用户迁移兴趣建模，包括全局新闻迁移图的构建和基于迁移感知的迁移兴趣表征两个部分；
[0045]
首先进行全局新闻迁移图的构建：将用户历史浏览新闻序列中新闻按照用户浏览的时间顺序串联成链，通过相同的新闻节点即可将每条链连接构成图，按照新闻原本被浏览的顺序即为新闻的传播顺序，表示从上一条新闻传播到下一条新闻，按照与浏览顺序相反的顺序即为新闻的影响顺序，表示下一条新闻受到上一条新闻的影响；同时，将用户与新闻的关系也加入进图，融合用户与新闻的点击关系，得到全局新闻迁移图其中vu代表用户节点集合，vn代表新闻节点集合，ec表示点击关系的边集合，e
p
表示传播关系的边集合，ei表示影响关系的边集合；
[0046]
(4-2)构建全局新闻迁移图后，基于全局新闻迁移图中的多种关系，从宏观上建模
用户在浏览新闻中的迁移兴趣，形式化表述为，对于用户u，在全局新闻迁移图用户在浏览新闻中的迁移兴趣，形式化表述为，对于用户u，在全局新闻迁移图上，根据点击关系得到邻居新闻集合nei(u,click)＝{n|n∈n,(u,n)∈ec}；对于新闻n，根据点击关系得到邻居用户集合nei(n,click)＝{u|u∈u,(u,n)∈ec}；根据传播关系得到邻居新闻集合nei(n,propagate)＝{n|n∈n,(n,n)∈e
p
}；根据影响关系得到邻居新闻集合nei(n,influence)＝{n|n∈n,(n,n)∈ei}；迁移兴趣学习模型通过迁移感知的图注意力网络，即transition-gat，进行信息的聚合和学习，输入的是用户节点表征和不同的邻居新闻节点表征，节点根据其边的关系分别进行聚合，得到用户迁移兴趣表征、新闻表征、迁移表征；在第一个transition-gat中对初始的用户和新闻向量进行收集，在迁移网络上主要是学习新闻与新闻之间的联系，在第二个transition-gat中对上一个学习到的用户和新闻向量进行收集，主要学习用户和新闻之间的迁移关系；
[0047]
transition-gat的输入是用户表征矩阵和新闻表征矩阵其中代表用户ui的初始表征向量，代表新闻nj的初始表征向量，对于用户ui的浏览的新闻nei(ui,click)，基于图注意力的机制对其邻居新闻进行加权聚合得到新的用户迁移兴趣表征计算公式如下：
[0048][0049][0050][0051]
其中表示邻居新闻节点nj对用户ui的注意力分数，表示邻居新闻节点nj对用户ui的影响程度，表示邻居新闻节点nk对用户ui的注意力分数，是第一层transition-gat中用户特征向量的变换矩阵参数，是第一层transition-gat中新闻特征向量的变换矩阵参数，dg是用户和新闻初始特征向量的维数，||代表拼接操作，是通过注意力权重对nei(u1,click)集合中所有的新闻进行加权聚合得到的用户迁移兴趣表征；
[0052]
对于第i个新闻节点的邻居用户节点，nei(ni,click)，其操作与用户收集新闻操作相似，通过计算注意力权重后加权得到新闻表征对于传播关系和影响关系的信息收集，同时进行传播关系和影响关系的的信息收集，再通过计算权重得到对应的新闻迁移表征，针对新闻ni，在传播关系和影响关系上分别做类似于上述图聚合的方式可以分别得到新闻传播表征和新闻影响表征通过聚合其影响表征和传播表征得到新闻的迁移表征计算如下：
[0053]
[0054][0055]
其中nei(ni,propagate)表示与新闻节点ni具有传播关系的邻居新闻集合，表示邻居新闻节点nk对新闻节点ni的注意力分数，nei(ni,influence)表示与新闻节点ni具有影响关系的邻居新闻集合，新闻传播向量和新闻影响向量分别加权聚合其传播关系和影响关系的另据节点的特征，其显示的表征了新闻间的关系。
[0056]
6.根据1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其中步骤(5)包括如下具体步骤：
[0057]
(5-1)对用户的内容兴趣表征与候选新闻的内容表征进行相似度计算，得到用户内容兴趣评分，对用户的迁移兴趣表征与候选新闻迁移表征进行相似度计算得到用户迁移兴趣评分；用户内容兴趣评分和用户迁移兴趣评分的计算如下：
[0058][0059][0060]
其中fu表示用户的内容兴趣表征，表示候选新闻i的内容表征，gfu表示用户的迁移兴趣表征，表示候选新闻迁移表征，
⊙
表示向量内积；
[0061]
(5-2)将内容兴趣评分和迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，用户u对候选新闻ci的交互概率的计算公式如下：
[0062][0063][0064][0065]
其中表示归一化计算后的用户u对候选新闻ci的内容兴趣分数，表示归一化计算后的用户u对候选新闻ci的迁移兴趣分数，k为用户u的候选新闻集合长度，θ∈[0,1]代表用户内容兴趣权重的一个超参数，通过θ将内容兴趣概率和迁移兴趣概率进行加权联合得到交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top-k新闻列表。
[0066]
7.根据1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其中步骤(6)中系统功能展示包括数据分析、实验分析和推荐分析的可视化展示，其中，数据分析包括用户浏览新闻的时间分布、新闻的主题与子主题分布的效果图展示，以及文本长度和用户浏览新闻的累积分布效果图展示；实验分析包括算法在公开数据集上进行的对比实验和消融实验结果柱状图展示，以及用户对新闻单词注意力的可视化展示；推荐分析包括在线新闻浏览界面展示、用户点击浏览新闻后进行推荐新闻列表展示、相似用户及其浏览序列展示
和新闻迁移关系展示。
[0067]
8.一种步骤1-7所述基于用户全局兴趣迁移感知的个性化新闻推荐方法所运行的基于用户全局兴趣迁移感知的个性化新闻推荐系统，该系统包括数据处理模块、业务处理模块和可视化分析模块；
[0068]
其中，数据处理模块是线下对数据集进行预处理，分为新闻标题预处理、用户浏览新闻的预处理、用户-新闻图构建和新闻关系图构建，然后将预处理后的数据分类存储；
[0069]
业务处理模块主要对接系统需求，调用预训练模型生成数据，该模块包含三个子模块，分别是用户内容兴趣挖掘模块、用户迁移兴趣挖掘模块和联合推荐模块，其中，用户内容兴趣挖掘模块基于用户浏览的历史新闻数据和新闻标题数据对用户内容兴趣建模；用户迁移兴趣挖掘模块基于用户-新闻图和新闻关系图对用户迁移兴趣建模；联合推荐模块联合用户的内容兴趣和迁移兴趣为可视化层提供推荐服务；
[0070]
可视化分析模块是系统为用户提供服务的交互界面模块，主要是为用户提供数据分析、实验分析和推荐分析的可视化结果，此外，为用户提供交互功能，使得用户可以选择新闻进行浏览，并依据用户浏览进行推荐及推荐分析。
[0071]
有益效果：与现有技术相比，本发明采用如上技术方案，具有如下优点：
[0072]
(1)在个性化新闻推荐中关注到用户浏览新闻的兴趣的迁移，本发明设计了一种基于用户全局兴趣迁移感知的个性化新闻推荐系统：从全局视角出发，基于全局用户的历史浏览序列构建新闻的全局迁移图，通过迁移感知的图注意力机制卷积点击关系和新闻迁移关系；并结合用户的内容兴趣和迁移兴趣，进行联合推荐，实现了高精准度的个性化推荐；
[0073]
(2)本发明在对新闻标题中的内容信息进行建模时，使用多视角关联的新闻内容建模方法，通过联合新闻标题和新闻实体各自的自身视角和它们之间的关联视角来表征新闻内容，能够充分挖掘新闻内容信息。
附图说明
[0074]
图1是本发明的算法总体框架图；
[0075]
图2是新闻内容部分建模的算法示意图；
[0076]
图3是全局新闻迁移图构建的示意图；
[0077]
图4是基于序列全局感知的用户迁移兴趣模型示意图；
[0078]
图5是本发明的系统架构图；
具体实施方式
[0079]
以下对本发明的技术方案进行详细说明。
[0080]
以下只是本发明一种实施例，本发明还有其他多种实施方式，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
[0081]
本发明的一种基于用户全局兴趣迁移感知的个性化新闻推荐方法，该方法包括以下步骤：
[0082]
1、对用户历史浏览新闻和候选新闻进行数据预处理，构建全局的新闻与新闻的顺
序关系网络以及用户和新闻之间的点击关系网络
[0083]
从用户历史浏览新闻和候选新闻中提取新闻标题文本字段以及标题实体字段，分别通过glove词向量和维基百科上训练的实体向量获取对应的新闻标题词向量和实体向量作为初始向量表示；按照用户浏览新闻的时间顺序构建每个用户历史浏览新闻序列，同时构建用户和历史浏览新闻之间的点击关系网络，然后根据用户的历史浏览新闻的序列数据，将点击前后的历史浏览新闻之间连边，构建全局的新闻与新闻的顺序关系网络。
[0084]
2、候选新闻内容表征计算
[0085]
使用注意力机制分别从文本视角和实体视角两个不同的视角对候选新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算获得候选新闻内容表征：
[0086]
(2-1)对于给定候选新闻ni，新闻的标题文本序列表示为其中ti表示第i条新闻的标题文本，w
i,j
即为第i条新闻的标题文本中的第j个单词，|ti|为标题文本中单词的总数；新闻的实体序列表示为其中ei表示第i条新闻的标题实体，e
i,j
即为第i条新闻的标题中的第j个实体，|ei|即为标题中实体的总数；利用自注意力学习新闻的标题文本序列表征矩阵其计算过程如下：
[0087][0088][0089][0090]
其中，为单词序列的词向量矩阵，上标t表示矩阵转置操作，dw是单词的特征维度，表示单词w
i,j
的向量表示，表示新闻ni中第j个单词的自注意力影响权重，exp(
·
)表示以自然常数e为底的指数函数，是新闻ni中第j个单词的自注意力表征权重，k是指第k个单词，是单词的自注意力表征，将每个单词依据归一化权重向量进行更新得到文本序列表征矩阵之后，利用自注意力机制计算第i条新闻标题文本自注意表示
[0091]
对于标题中的实体也进行自注意力学习实体序列表示，得到新闻标题的实体序列表征矩阵其中表示第i个新闻的标题中的第j个实体的自注意力表征，以及得到新闻标题中的实体自注意表示
[0092]
(2-2)通过对新闻的标题文本序列表征矩阵和新闻的实体序列表示进行交叉注意得到单词与实体两两之间的关联程度，分别加和行、列作为单词和实体的权重值，再
通过加权分别聚合文本集合和实体集合特征得到文本层面交叉学习表示和实体层面交叉学习表示的具体计算过程如下：
[0093][0094][0095][0096]
其中表示单词w
i,j
的自注意向量表示，表示实体e
i,k
的自注意向量表示，表示新闻ni中的第j个单词的交叉注意力表征权重，表示新闻ni中的第j个单词的交叉注意力影响权重，表示新闻ni中的第k个单词的交叉注意力影响权重，表示新闻ni中的第k个单词的交叉注意力表征权重，dw和de分别是单词和实体特征维度，实体层面交叉学习表示的计算方法同文本层面交叉学习表示
[0097]
(2-3)通过将步骤(2-1)得到的标题文本自注意表示标题实体自注意表示以及步骤(2-2)得到的文本层面交叉学习表示和实体层面交叉学习表示进行相加后进行拼接得到新闻内容表征向量，第i条新闻的多视角表征向量计算如下：
[0098][0099]
其中 表示两个向量对位相加，||表示拼接操作，第i条新闻内容表征向量计算如下：
[0100][0101]
其中是线性层权重，是线性层偏差。
[0102]
基于多视角关联的新闻内容表征计算的整体实现过程如算法1所示：
[0103][0104]
[0105]
3、用户内容兴趣表征计算
[0106]
使用注意力机制分别从文本视角和实体视角两个不同的视角对用户历史浏览新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算，获得用户历史浏览新闻内容表征，然后基于注意力机制聚合用户历史浏览新闻内容表征，得到用户内容兴趣的表征；包括如下具体步骤：
[0107]
(3-1)进行用户序列内容自注意力提取，通过对用户历史浏览新闻序列进行新闻内容表征计算得到新闻序列矩阵其中作为用户ui浏览的第一条新闻n1的内容表征向量，代表该用户历史浏览序列的长度，将自注意力机制应用在新闻序列向量集合构建的矩阵上更新新闻序列之间的信息得到新闻自注意力矩阵再通过的softmax函数进行归一化得到权重矩阵然后将这个权重矩阵与对应的新闻向量集合相乘实现每个新闻与其他新闻之间联系，得到用户历史浏览新闻的自注意力向量矩阵其中是用户ui对新闻nj的自注意力向量；
[0108]
(3-2)从用户层面使用注意力机制去加权聚合新闻的自注意力向量集合以表征用户的内容兴趣偏好计算如下：
[0109][0110][0111]
其中表示用户ui对历史浏览序列中的新闻nj的偏好程度，是第一层线性层的参数，其维数与新闻内容向量的维数的大小一致，通过tanh激活函数进行非线性变化后送入第二层线性层；则为第二层线性层的参数，用户实现将维数dn映射为1，由此每一个新闻向量则对应了一个权值，将所有历史浏览新闻权值进行归一化后即可得到用户对历史浏览新闻序列中的新闻的偏好分布情况，最后通过加权求和新闻自注意力向量矩阵得到用户内容兴趣表示
[0112]
4、用户迁移兴趣表征计算
[0113]
融合步骤(1)中构建的全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络，构建全局新闻迁移图，将全局新闻迁移图中用户节点表征和不同的邻居新闻节点表征作为输入，使用两层迁移感知的图注意网络来进行信息聚合和学习，最后得到用户迁移兴趣表征、新闻表征、迁移表征，所述迁移表征包括传播表征和影响表征；包括如下具体步骤：
[0114]
(4-1)进行基于序列全局感知的用户迁移兴趣建模，包括全局新闻迁移图的构建和基于迁移感知的迁移兴趣表征两个部分；
[0115]
首先进行全局新闻迁移图的构建：将用户历史浏览新闻序列中新闻按照用户浏览
的时间顺序串联成链，通过相同的新闻节点即可将每条链连接构成图，按照新闻原本被浏览的顺序即为新闻的传播顺序，表示从上一条新闻传播到下一条新闻，按照与浏览顺序相反的顺序即为新闻的影响顺序，表示下一条新闻受到上一条新闻的影响；同时，将用户与新闻的关系也加入进图，融合用户与新闻的点击关系，得到全局新闻迁移图其中vu代表用户节点集合，vn代表新闻节点集合，ec表示点击关系的边集合，e
p
表示传播关系的边集合，ei表示影响关系的边集合；
[0116]
(4-2)构建全局新闻迁移图后，基于全局新闻迁移图中的多种关系，从宏观上建模用户在浏览新闻中的迁移兴趣，形式化表述为，对于用户u，在全局新闻迁移图用户在浏览新闻中的迁移兴趣，形式化表述为，对于用户u，在全局新闻迁移图上，根据点击关系得到邻居新闻集合nei(u,click)＝{n|n∈n,(u,n)∈ec}；对于新闻n，根据点击关系得到邻居用户集合nei(n,click)＝{u|u∈u,(u,n)∈ec}；根据传播关系得到邻居新闻集合nei(n,propagate)＝{n|n∈n,(n,n)∈e
p
}；根据影响关系得到邻居新闻集合nei(n,influence)＝{n|n∈n,(n,n)∈ei}；迁移兴趣学习模型通过迁移感知的图注意力网络，即transition-gat，进行信息的聚合和学习，输入的是用户节点表征和不同的邻居新闻节点表征，节点根据其边的关系分别进行聚合，得到用户迁移兴趣表征、新闻表征、迁移表征；在第一个transition-gat中对初始的用户和新闻向量进行收集，在迁移网络上主要是学习新闻与新闻之间的联系，在第二个transition-gat中对上一个学习到的用户和新闻向量进行收集，主要学习用户和新闻之间的迁移关系；
[0117]
transition-gat的输入是用户表征矩阵和新闻表征矩阵其中代表用户ui的初始表征向量，代表新闻nj的初始表征向量，对于用户ui的浏览的新闻nei(ui,click)，基于图注意力的机制对其邻居新闻进行加权聚合得到新的用户迁移兴趣表征计算公式如下：
[0118][0119][0120][0121]
其中表示邻居新闻节点nj对用户ui的注意力分数，表示邻居新闻节点nj对用户ui的影响程度，表示邻居新闻节点nk对用户ui的注意力分数，是第一层transition-gat中用户特征向量的变换矩阵参数，是第一层transition-gat中新闻特征向量的变换矩阵参数，dg是用户和新闻初始特征向量的维数，||代表拼接操作，是通过注意力权重对nei(u1,click)集合中所有的新闻进行加权聚合得到的用户迁移兴趣表征；
[0122]
对于第i个新闻节点的邻居用户节点，nei(ni,click)，其操作与用户收集新闻操作相似，通过计算注意力权重后加权得到新闻表征对于传播关系和影响关系的信息收
集，同时进行传播关系和影响关系的的信息收集，再通过计算权重得到对应的新闻迁移表征，针对新闻ni，在传播关系和影响关系上分别做类似于上述图聚合的方式可以分别得到新闻传播表征和新闻影响表征通过聚合其影响表征和传播表征得到新闻的迁移表征计算如下：
[0123][0124][0125]
其中nei(ni,propagate)表示与新闻节点ni具有传播关系的邻居新闻集合，表示邻居新闻节点nk对新闻节点ni的注意力分数，nei(ni,influence)表示与新闻节点ni具有影响关系的邻居新闻集合，新闻传播向量和新闻影响向量分别加权聚合其传播关系和影响关系的另据节点的特征，其显示的表征了新闻间的关系。
[0126]
基于用户全局兴趣迁移感知的用户迁移兴趣表征计算的具体实现算法如下：
[0127]
[0128]
5、联合推荐模型
[0129]
结合步骤(2)得到的候选新闻内容表征、步骤(3)得到的用户内容兴趣表征、步骤(4)得到的用户迁移兴趣表征、新闻表征、迁移表征，构建联合推荐模块并进行新闻推荐，对步骤(3)得到的用户内容兴趣表征与步骤(2)得到的候选新闻内容表征进行相似度计算，得到用户内容兴趣评分，对用户迁移兴趣表征与候选新闻表征、迁移表征进行相似度计算得到用户迁移兴趣评分；将用户内容兴趣评分和用户迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top-k新闻列表；具体包括如下步骤：
[0130]
(5-1)对用户的内容兴趣表征与候选新闻的内容表征进行相似度计算，得到用户内容兴趣评分，对用户的迁移兴趣表征与候选新闻迁移表征进行相似度计算得到用户迁移兴趣评分；用户内容兴趣评分和用户迁移兴趣评分的计算如下：
[0131][0132][0133]
其中fu表示用户的内容兴趣表征，表示候选新闻i的内容表征，gfu表示用户的迁移兴趣表征，表示候选新闻迁移表征，
⊙
表示向量内积；
[0134]
(5-2)将内容兴趣评分和迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，用户u对候选新闻ci的交互概率p
u,ci
的计算公式如下：
[0135][0136][0137][0138]
其中表示归一化计算后的用户u对候选新闻ci的内容兴趣分数，表示归一化计算后的用户u对候选新闻ci的迁移兴趣分数，k为用户u的候选新闻集合长度，θ∈[0,1]代表用户内容兴趣权重的一个超参数，通过θ将内容兴趣概率和迁移兴趣概率进行加权联合得到交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top-k新闻列表。
[0139]
6、系统功能展示
[0140]
基于用户全局兴趣迁移感知的个性化新闻推荐方法的系统功能展示包括数据分析、实验分析和推荐分析的可视化展示，其中，数据分析包括用户浏览新闻的时间分布、新闻的主题与子主题分布的效果图展示，以及文本长度和用户浏览新闻的累积分布效果图展示；实验分析包括算法在公开数据集上进行的对比实验和消融实验结果柱状图展示，以及用户对新闻单词注意力的可视化展示；推荐分析包括在线新闻浏览界面展示、用户点击浏览新闻后进行推荐新闻列表展示、相似用户及其浏览序列展示和新闻迁移关系展示。
[0141]
本发明的一种基于用户全局兴趣迁移感知的个性化新闻推荐方法所运行的基于
用户全局兴趣迁移感知的个性化新闻推荐系统，该系统包括数据处理模块、业务处理模块和可视化分析模块；
[0142]
其中，数据处理模块是线下对数据集进行预处理，分为新闻标题预处理、用户浏览新闻的预处理、用户-新闻图构建和新闻关系图构建，然后将预处理后的数据分类存储；
[0143]
业务处理模块主要对接系统需求，调用预训练模型生成数据，该模块包含三个子模块，分别是用户内容兴趣挖掘模块、用户迁移兴趣挖掘模块和联合推荐模块，其中，用户内容兴趣挖掘模块基于用户浏览的历史新闻数据和新闻标题数据对用户内容兴趣建模；用户迁移兴趣挖掘模块基于用户-新闻图和新闻关系图对用户迁移兴趣建模；联合推荐模块联合用户的内容兴趣和迁移兴趣为可视化层提供推荐服务；
[0144]
可视化分析模块是系统为用户提供服务的交互界面模块，主要是为用户提供数据分析、实验分析和推荐分析的可视化结果，此外，为用户提供交互功能，使得用户可以选择新闻进行浏览，并依据用户浏览进行推荐及推荐分析。