基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统

技术特征：
1.一种基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，该方法包括以下步骤：(1)对用户历史浏览新闻和候选新闻进行数据预处理，构建全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络；(2)候选新闻内容表征计算使用注意力机制分别从文本视角和实体视角两个不同的视角对候选新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算获得候选新闻内容表征；(3)用户内容兴趣表征计算使用注意力机制分别从文本视角和实体视角两个不同的视角对用户历史浏览新闻进行标题文本与实体的自注意表征计算，并计算两个视角表征的交叉注意表征，结合两个视角各自的表征和两个视角之间的交叉注意表征，进行多视角融合计算，获得用户历史浏览新闻内容表征，然后基于注意力机制聚合用户历史浏览新闻内容表征，得到用户内容兴趣的表征；(4)用户迁移兴趣表征计算融合步骤(1)中构建的全局的新闻与新闻的顺序关系网络以及用户和新闻之间的点击关系网络，构建全局新闻迁移图，将全局新闻迁移图中用户节点表征和不同的邻居新闻节点表征作为输入，使用两层迁移感知的图注意网络来进行信息聚合和学习，最后得到用户迁移兴趣表征、新闻表征、迁移表征，所述迁移表征包括传播表征和影响表征；(5)联合推荐模型结合步骤(2)得到的候选新闻内容表征、步骤(3)得到的用户内容兴趣表征、步骤(4)得到的用户迁移兴趣表征、新闻表征、迁移表征，构建联合推荐模块并进行新闻推荐，对步骤(3)得到的用户内容兴趣表征与步骤(2)得到的候选新闻内容表征进行相似度计算，得到用户内容兴趣评分，对用户迁移兴趣表征与候选新闻表征、迁移表征进行相似度计算得到用户迁移兴趣评分；将用户内容兴趣评分和用户迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top-k新闻列表；(6)系统功能展示。2.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(1)的具体方法是，从用户历史浏览新闻和候选新闻中提取新闻标题文本字段以及标题实体字段，分别通过glove词向量和维基百科上训练的实体向量获取对应的新闻标题词向量和实体向量作为初始向量表示；按照用户浏览新闻的时间顺序构建每个用户历史浏览新闻序列，同时构建用户和历史浏览新闻之间的点击关系网络，然后根据用户的历史浏览新闻的序列数据，将点击前后的历史浏览新闻之间连边，构建全局的新闻与新闻的顺序关系网络。3.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(2)包括如下具体步骤：(2-1)对于给定候选新闻n
i
，新闻的标题文本序列表示为其
中t
i
表示第i条新闻的标题文本，w
i,j
即为第i条新闻的标题文本中的第j个单词，|t
i
|为标题文本中单词的总数；新闻的实体序列表示为其中e
i
表示第i条新闻的标题实体，e
i,j
即为第i条新闻的标题中的第j个实体，|e
i
|即为标题中实体的总数；利用自注意力学习新闻的标题文本序列表征矩阵其计算过程如下：程如下：程如下：其中，为单词序列的词向量矩阵，上标t表示矩阵转置操作，d
w
是单词的特征维度，表示单词w
i,j
的向量表示，表示新闻n
i
中第j个单词的自注意力影响权重，exp(
·
)表示以自然常数e为底的指数函数，是新闻n
i
中第j个单词的自注意力表征权重，k是指第k个单词，是单词的自注意力表征，将每个单词依据归一化权重向量进行更新得到文本序列表征矩阵之后，利用自注意力机制计算第i条新闻标题文本自注意表示对于标题中的实体也进行自注意力学习实体序列表示，得到新闻标题的实体序列表征矩阵其中表示第i个新闻的标题中的第j个实体的自注意力表征，以及得到新闻标题中的实体自注意表示(2-2)通过对新闻的标题文本序列表征矩阵和新闻的实体序列表示进行交叉注意得到单词与实体两两之间的关联程度，分别加和行、列作为单词和实体的权重值，再通过加权分别聚合文本集合和实体集合特征得到文本层面交叉学习表示和实体层面交叉学习表示的具体计算过程如下：的具体计算过程如下：的具体计算过程如下：其中表示单词w
i,j
的自注意向量表示，表示实体e
i,k
的自注意向量表
示，表示新闻n
i
中的第j个单词的交叉注意力表征权重，表示新闻n
i
中的第j个单词的交叉注意力影响权重，表示新闻n
i
中的第k个单词的交叉注意力影响权重，表示新闻n
i
中的第k个单词的交叉注意力表征权重，d
w
和d
e
分别是单词和实体特征维度，实体层面交叉学习表示的计算方法同文本层面交叉学习表示(2-3)通过将步骤(2-1)得到的标题文本自注意表示标题实体自注意表示以及步骤(2-2)得到的文本层面交叉学习表示和实体层面交叉学习表示进行相加后进行拼接得到新闻内容表征向量，第i条新闻的多视角表征向量计算如下：其中 表示两个向量对位相加，||表示拼接操作，第i条新闻内容表征向量计算如下：其中是线性层权重，是线性层偏差。4.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(3)包括如下具体步骤：(3-1)进行用户序列内容自注意力提取，通过对用户历史浏览新闻序列进行新闻内容表征计算得到新闻序列矩阵其中作为用户u
i
浏览的第一条新闻n1的内容表征向量，代表该用户历史浏览序列的长度，将自注意力机制应用在新闻序列向量集合构建的矩阵上更新新闻序列之间的信息得到新闻自注意力矩阵再通过的softmax函数进行归一化得到权重矩阵然后将这个权重矩阵与对应的新闻向量集合相乘实现每个新闻与其他新闻之间联系，得到用户历史浏览新闻的自注意力向量矩阵其中是用户u
i
对新闻n
j
的自注意力向量；(3-2)从用户层面使用注意力机制去加权聚合新闻的自注意力向量集合以表征用户的内容兴趣偏好计算如下：计算如下：其中表示用户u
i
对历史浏览序列中的新闻n
j
的偏好程度，是第一层线性层的参数，其维数与新闻内容向量的维数的大小一致，通过tanh激活函数进行非线性变化后送入第二层线性层；则为第二层线性层的参数，用户实现将维数d
n
映射为1，由此每一个新闻向量则对应了一个权值，将所有历史浏览新闻权值进行归一化后即可得到用户对历史浏览新闻序列中的新闻的偏好分布情况，最后通过加权求和新闻自注意力
向量矩阵得到用户内容兴趣表示5.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(4)包括如下具体步骤：(4-1)进行基于序列全局感知的用户迁移兴趣建模，包括全局新闻迁移图的构建和基于迁移感知的迁移兴趣表征两个部分；首先进行全局新闻迁移图的构建：将用户历史浏览新闻序列中新闻按照用户浏览的时间顺序串联成链，通过相同的新闻节点即可将每条链连接构成图，按照新闻原本被浏览的顺序即为新闻的传播顺序，表示从上一条新闻传播到下一条新闻，按照与浏览顺序相反的顺序即为新闻的影响顺序，表示下一条新闻受到上一条新闻的影响；同时，将用户与新闻的关系也加入进图，融合用户与新闻的点击关系，得到全局新闻迁移图其中v
u
代表用户节点集合，v
n
代表新闻节点集合，e
c
表示点击关系的边集合，e
p
表示传播关系的边集合，e
i
表示影响关系的边集合；(4-2)构建全局新闻迁移图后，基于全局新闻迁移图中的多种关系，从宏观上建模用户在浏览新闻中的迁移兴趣，形式化表述为，对于用户u，在全局新闻迁移图述为，对于用户u，在全局新闻迁移图上，根据点击关系得到邻居新闻集合nei(u,click)＝{n|n∈n,(u,n)∈e
c
}；对于新闻n，根据点击关系得到邻居用户集合nei(n,click)＝{u|u∈u,(u,n)∈e
c
}；根据传播关系得到邻居新闻集合nei(n,propagate)＝{n|n∈n,(n,n)∈e
p
}；根据影响关系得到邻居新闻集合nei(n,influence)＝{n|n∈n,(n,n)∈e
i
}；迁移兴趣学习模型通过迁移感知的图注意力网络，即transition-gat，进行信息的聚合和学习，输入的是用户节点表征和不同的邻居新闻节点表征，节点根据其边的关系分别进行聚合，得到用户迁移兴趣表征、新闻表征、迁移表征；在第一个transition-gat中对初始的用户和新闻向量进行收集，在迁移网络上主要是学习新闻与新闻之间的联系，在第二个transition-gat中对上一个学习到的用户和新闻向量进行收集，主要学习用户和新闻之间的迁移关系；transition-gat的输入是用户表征矩阵和新闻表征矩阵其中代表用户u
i
的初始表征向量，代表新闻n
j
的初始表征向量，对于用户u
i
的浏览的新闻nei(u
i
,click)，基于图注意力的机制对其邻居新闻进行加权聚合得到新的用户迁移兴趣表征计算公式如下：计算公式如下：计算公式如下：其中表示邻居新闻节点n
j
对用户u
i
的注意力分数，表示邻居新闻节点n
j
对用户u
i
的影响程度，表示邻居新闻节点n
k
对用户u
i
的注意力分数，是第一层transition-gat中用户特征向量的变换矩阵参数，是第一层transition-gat
中新闻特征向量的变换矩阵参数，d
g
是用户和新闻初始特征向量的维数，||代表拼接操作，是通过注意力权重对nei(u1,click)集合中所有的新闻进行加权聚合得到的用户迁移兴趣表征；对于第i个新闻节点的邻居用户节点，nei(n
i
,click)，其操作与用户收集新闻操作相似，通过计算注意力权重后加权得到新闻表征对于传播关系和影响关系的信息收集，同时进行传播关系和影响关系的的信息收集，再通过计算权重得到对应的新闻迁移表征，针对新闻n
i
，在传播关系和影响关系上分别做类似于上述图聚合的方式可以分别得到新闻传播表征和新闻影响表征通过聚合其影响表征和传播表征得到新闻的迁移表征计算如下：计算如下：计算如下：其中nei(n
i
,propagate)表示与新闻节点n
i
具有传播关系的邻居新闻集合，表示邻居新闻节点n
k
对新闻节点n
i
的注意力分数，nei(n
i
,influence)表示与新闻节点n
i
具有影响关系的邻居新闻集合，新闻传播向量和新闻影响向量分别加权聚合其传播关系和影响关系的另据节点的特征，其显示的表征了新闻间的关系。6.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(5)包括如下具体步骤：(5-1)对用户的内容兴趣表征与候选新闻的内容表征进行相似度计算，得到用户内容兴趣评分，对用户的迁移兴趣表征与候选新闻迁移表征进行相似度计算得到用户迁移兴趣评分；用户内容兴趣评分和用户迁移兴趣评分的计算如下：的计算如下：其中f
u
表示用户的内容兴趣表征，表示候选新闻i的内容表征，gf
u
表示用户的迁移兴趣表征，表示候选新闻迁移表征，
⊙
表示向量内积；(5-2)将内容兴趣评分和迁移兴趣评分进行加权求和，得到最终用户对候选新闻的交互概率，用户u对候选新闻c
i
的交互概率的计算公式如下：的计算公式如下：
其中表示归一化计算后的用户u对候选新闻c
i
的内容兴趣分数，表示归一化计算后的用户u对候选新闻c
i
的迁移兴趣分数，k为用户u的候选新闻集合长度，θ∈[0,1]代表用户内容兴趣权重的一个超参数，通过θ将内容兴趣概率和迁移兴趣概率进行加权联合得到交互概率，最后依据交互概率的排序返回候选新闻集合中推荐的top-k新闻列表。7.根据权利要求1所述的基于用户全局兴趣迁移感知的个性化新闻推荐方法，其特征在于，步骤(6)中系统功能展示包括数据分析、实验分析和推荐分析的可视化展示，其中，数据分析包括用户浏览新闻的时间分布、新闻的主题与子主题分布的效果图展示，以及文本长度和用户浏览新闻的累积分布效果图展示；实验分析包括算法在公开数据集上进行的对比实验和消融实验结果柱状图展示，以及用户对新闻单词注意力的可视化展示；推荐分析包括在线新闻浏览界面展示、用户点击浏览新闻后进行推荐新闻列表展示、相似用户及其浏览序列展示和新闻迁移关系展示。8.一种权利要求1-7之一所述基于用户全局兴趣迁移感知的个性化新闻推荐方法所运行的基于用户全局兴趣迁移感知的个性化新闻推荐系统，其特征在于，该系统包括数据处理模块、业务处理模块和可视化分析模块；其中，数据处理模块是线下对数据集进行预处理，分为新闻标题预处理、用户浏览新闻的预处理、用户-新闻图构建和新闻关系图构建，然后将预处理后的数据分类存储；业务处理模块主要对接系统需求，调用预训练模型生成数据，该模块包含三个子模块，分别是用户内容兴趣挖掘模块、用户迁移兴趣挖掘模块和联合推荐模块，其中，用户内容兴趣挖掘模块基于用户浏览的历史新闻数据和新闻标题数据对用户内容兴趣建模；用户迁移兴趣挖掘模块基于用户-新闻图和新闻关系图对用户迁移兴趣建模；联合推荐模块联合用户的内容兴趣和迁移兴趣为可视化层提供推荐服务；可视化分析模块是系统为用户提供服务的交互界面模块，主要是为用户提供数据分析、实验分析和推荐分析的可视化结果，此外，为用户提供交互功能，使得用户可以选择新闻进行浏览，并依据用户浏览进行推荐及推荐分析。

技术总结
本发明公开了一种基于用户全局兴趣迁移感知的个性化新闻推荐方法及系统，该方法首先从新闻数据中提取新闻标题文本和新闻标题实体文本，并构建用户序列、用户和新闻之间的点击关系网络以及新闻与新闻的顺序关系网络；再进行多视角关联的新闻内容表征计算；之后计算用户内容兴趣表征；接着构建新闻的全局迁移图，卷积用户和新闻间的点击关系以及新闻与新闻间的迁移关系，然后融合得到的两种关系得到用户的迁移兴趣表征；最后，联合用户的内容兴趣表征和迁移兴趣表征，构建最终的用户全局兴趣迁移感知的新闻推荐模型，实现个性化推荐。系统采用web交互技术实现数据分析和推荐结果的可视化展示。本发明可以有效提高个性化推荐的准确性，鲁棒性强。鲁棒性强。鲁棒性强。


技术研发人员：胡明芮 刘波 严辉 孟青 曹玖新
受保护的技术使用者：东南大学
技术研发日：2022.10.10
技术公布日：2022/12/16