一种文本推荐方法、智能终端及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种文本推荐方法、智能终端及计算机可读存储介质。


背景技术：

2.近年来，随着信息技术的发展以及互联网的不断普及，人们获取的信息越来越多，这在一定程度上也会产生信息过载。在商品、新闻领域，推荐系统是一种解决信息过载的手段，文本推荐可以帮助用户和读者从海量的文本信息中发现感兴趣的文本内容，以能够缩短用户的搜索时间，提升读者和用户的阅读体验等。
3.比如，在对新闻信息进行推荐中，虽然新闻推荐近几年快速发展，但其仍然存在很多问题需要解决，比如准确地将用户对新闻的兴趣建模依然存在挑战，用户的兴趣通常比较多式多样且随时间动态演化，需要基于大量的用户反馈行为来进行挖掘和建模。然而新闻平台上往往不具有显式的用户反馈，甚至许多用户的隐式反馈也十分稀疏。
4.目前，新闻推荐系统依照方法来分，总体上可分为基于内容建模的推荐方法、采用协同过滤的新闻推荐方法、结合两者优势的混合模型，基于内容推荐算法主要是指基于用户的新闻阅读兴趣，向用户推荐与喜好相近的新闻；基于协同过滤推荐算法是指基于相近人群兴趣爱好，向用户推荐新闻；混合算法则是综合考虑用户喜好与相近人群的兴趣点为用户推荐新闻。
5.然而，采用上述方式，通常又会因提取出的新闻内容中的位置信息的缺失，导致无法得到准确的新闻的特征信息，也便无法准确的提取出用户的兴趣点，以筛选出代表性文本。


技术实现要素：

6.本技术主要解决的技术问题是提供一种文本推荐方法、智能终端及计算机可读存储介质，能够添加篇章内单词位置编码助力单篇文本待选语义表示，以综合考虑用户的兴趣点，筛选出代表性文本。
7.为了解决上述问题，本技术第一方面提供了一种文本推荐方法，其中，该文本推荐方法包括：获取待选文本对应的第一分词序列和历史文本序列；对第一分词序列进行特征提取处理，以得到待选文本特征向量；其中，待选文本特征向量包括待选文本中每一分词的位置信息；对历史文本序列中的每一历史文本对应的第二分词序列进行特征提取处理，以得到历史特征向量；其中，历史特征向量包括每一第二分词序列中每一分词的位置信息；对历史特征向量进行兴趣特征提取处理，以得到历史文本序列对应的用户兴趣特征表示；基于待选文本特征向量和用户兴趣特征表示，确定待选文本对应的预测概率值；根据预测概率值对用户进行文本推荐。
8.其中，对第一分词序列进行特征提取处理，以得到待选文本特征向量的步骤包括：对第一分词序列进行转换处理，以得到待选文本表示以及位置编码张量；对待选文本表示
及其对应的位置编码张量进行处理，得到待选文本对应的待选语义表示；基于待选语义表示得到待选文本对应的待选文本特征向量。
9.其中，对第一分词序列进行转换处理，以得到待选文本表示以及位置编码张量，包括：对待选文本进行向量转换，以得到待选文本表示；基于待选文本表示得到位置编码张量。
10.其中，基于待选文本表示得到位置编码张量，包括：利用待选文本表示的维度以及待选文本表示中的每一元素在待选文本表示中的位置依次对待选文本表示中的每一元素分别进行位置编码运算，以得到位置编码张量。
11.其中，基于待选语义表示得到待选文本对应的待选文本特征向量，包括：获取待选语义表示中每两个元素之间的相关重要程度值和待选文本表示中每一元素的重要程度值；基于相关重要程度值得到待选语义表示对应的注意力向量表示；基于注意力向量表示和重要程度值得到待选文本特征向量。
12.其中，获取待选语义表示中每两个元素之间的相关重要程度值的步骤包括：通过经训练的第一网络模型对待选语义表示进行处理，以得到待选语义表示中每两个元素之间的相关重要程度值；其中，待选语义表示中的第一元素相对其第二元素的相关重要程度值为第一元素的转置向量与第一网络模型经训练后得到的第一权重系数矩阵及第二元素的乘积。
13.其中，基于相关重要程度值得到待选语义表示对应的注意力向量表示，包括：对相关重要程度值进行归一化运算，以得到待选语义表示中每两个元素之间的相关重要程度表示；通过第一网络模型对相关重要程度表示进行第一特征提取运算，以得到注意力向量表示。
14.其中，基于注意力向量表示和重要程度值得到待选文本特征向量的步骤包括：通过第一网络模型对注意力向量表示和重要程度值进行第二特征提取运算，以得到注意力机制权重系数；对注意力向量表示和注意力机制权重系数进行第一聚合运算，以得到待选文本特征向量。
15.其中，多个历史文本以阅读时间为序组成历史文本序列，对历史特征向量进行兴趣特征提取处理，以得到历史文本序列对应的用户兴趣特征表示的步骤包括：对历史特征向量进行兴趣特征提取运算，以得到每一历史文本对应的权重系数值；基于历史特征向量及每一权重系数值得到用户兴趣特征表示。
16.其中，对历史特征向量进行兴趣特征提取运算，以得到每一历史文本对应的权重系数值，包括：通过经训练的第二网络模型对每一历史文本的阅读时刻及历史特征向量进行兴趣特征提取运算，以得到每一历史文本对应的隐向量输出值；通过第二网络模型对每一隐向量输出值进行重要程度特征提取运算，以得到每一历史文本对应的权重系数值。
17.其中，基于历史特征向量及每一权重系数值得到用户兴趣特征表示的步骤包括：对历史特征向量及每一权重系数值进行第二聚合运算，以得到用户兴趣特征表示。
18.其中，待选文本的数量为多个，根据预测概率值对用户进行文本推荐的步骤包括：将计算得到的多个待选文本中对应预测概率值超过设定阈值的待选文本推荐给用户；或，根据每一待选文本对应的预测概率值的大小对多个待选文本进行排序，并将排列顺序靠前的设定数量的待选文本推荐给用户。
19.其中，文本推荐方法是通过经训练的文本推荐网络模型实现，对文本推荐网络模型进行训练的方法包括：将已阅读文本序列样本和未阅读文本序列样本输入到第一预设网络模型，以通过第一预设网络模型分别对已阅读文本序列样本和未阅读文本序列样本进行文本推荐，以分别相应给出第一预测概率值和第二预测概率值；基于第一预测概率值和第二预测概率值得到已阅读文本序列样本对应的后验概率及后验概率的负似然函数；通过负似然函数对第一预设网络模型中的设定量化参数进行持续优化，从而建立文本推荐网络模型。
20.为了解决上述问题，本技术第二方面提供了一种智能终端，其中，该智能终端包括相互耦接的存储器和处理器，存储器存储有程序数据，处理器用于执行程序数据，以实现如上任一项所述的文本推荐方法。
21.为了解决上述问题，本技术第三方面提供了一种计算机可读存储介质，其中，该计算机可读存储介质存储有程序数据，该程序数据能够被执行以实现如上任一项所述的文本推荐方法。
22.本发明的有益效果是：区别于现有技术的情况，本技术中的文本推荐方法在获取到待选文本对应的第一分词序列和历史文本序列后，对第一分词序列进行特征提取处理，以得到待选文本特征向量；并对历史文本序列中的每一历史文本对应的第二分词序列进行特征提取处理，以得到历史特征向量，且其中的待选文本特征向量包括待选文本中每一分词的位置信息，而历史特征向量包括每一第二分词序列中每一分词的位置信息，从而能够在提取文本内容特征时，充分考虑位置信息等关键因素，以能够有效避免文本序列因在位置信息方面的缺失，导致相应语句的内涵可能发生偏差，甚至截然相反的问题出现；且通过对历史特征向量进行兴趣特征提取处理，以得到历史文本序列对应的用户兴趣特征表示，并基于待选文本特征向量和用户兴趣特征表示，确定待选文本对应的预测概率值，以根据预测概率值对用户进行文本推荐，能够有效依据获取到的预测概率值，确定用户的阅读偏好及其关注点，以筛选出代表性文本推荐给用户，并保证推荐的准确性。
附图说明
23.图1是本技术文本推荐方法一实施例的流程示意图；
24.图2是图1中s12一实施例的流程示意图；
25.图3是图2中s121一实施例的流程示意图；
26.图4是图2中s123一实施例的流程示意图；
27.图5是图4中s1232一实施例的流程示意图；
28.图6是图4中s1233一实施例的流程示意图；
29.图7是图1中s14一实施例的流程示意图；
30.图8是图7中s141一实施例的流程示意图；
31.图9是本技术对待选文本对应的第一分词序列和历史文本序列进行特征提取的一具体应用场景的流程示意图；
32.图10是本技术获取历史文本序列对应的用户兴趣特征表示的一具体应用场景的流程示意图；
33.图11是本技术对文本推荐网络模型进行训练的方法一实施例的示意图；
34.图12是本技术智能终端一实施例的结构示意图；
35.图13是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
36.下面结合说明书附图，对本技术实施例的方案进行详细说明。
37.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
38.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
39.请参阅图1，图1是本技术文本推荐方法一实施例的流程示意图。
40.具体而言，本实施例中的文本推荐方法可以包括如下步骤：
41.s11：获取待选文本对应的第一分词序列和历史文本序列。
42.本技术涉及的待进行推荐的文本具体可以是同类型的新闻、专利文献、专业论文、电影影评、话题评述等中的任一种。则可理解的是，不同的用户通常对同一类型中的不同文本的阅读偏好和兴趣也会不同，且会由用户持续阅读过程中的浏览记录显现出来，从而能够通过深度学习网络模型或特定的算法基于用户的浏览记录进行特征提取，以能够对该用户进行个性化的推荐，进而帮助用户从海量的文本信息中发现感兴趣的文本内容，缩短用户的搜索时间，并提升读者和用户的阅读体验。
43.具体地，获取用户已进行过阅读的历史文本及待推荐给用户进行阅读的待选文本，以分别对该历史文本和待选文本进行分词处理后，得到历史文本序列以及待选文本对应的第一分词序列。
44.可选地，该待选文本的数量可以是一个，也可以是多个，其中，每一待选文本均对应有一第一分词序列；且该历史文本序列也可以是由一篇历史文本对应的第二分词序列，也可以是由多篇历史文本所对应的多个第二分词序列，并以历史阅读时间为序组成的聚合序列。
45.可理解的，该第一分词序列和第二分词序列均是由多个单词向量组成的具有一定顺序的文本序列，以能够通过对原文本内容进行分词处理后，得到相应的文本序列。
46.s12：对第一分词序列进行特征提取处理，以得到待选文本特征向量。
47.在得到第一分词序列后，进一步对该第一分词序列进转换处理，比如，采用预训练语言模型，或glove(global vectors，全局向量)算法，或其他任一合理的向量转化算法，以进而对其进行特征提取，得到相应的待选文本特征向量。
48.进一步地，基于待选文本表示中每一元素的位置信息，对其进行位置编码，比如，采用正余弦位置编码算法，或相对位置编码算法，或其他任一合理的位置编码算法对待选文本表示进行位置编码，以得到待选文本序列对应的位置编码张量。
49.其中，该待选文本特征向量包括待选文本中每一分词的位置信息。比如，在对第一分词序列进行特征提取处理中，还包括基于该第一分词序列所对应的向量表示中每一元素的位置信息，对其进行位置编码，进而得到第一分词序列对应的位置编码张量，以进行提取
得到待选文本特征向量，以使该待选文本特征向量包括有待选文本中每一分词的位置信息。
50.s13：对历史文本序列中的每一历史文本对应的第二分词序列进行特征提取处理，以得到历史特征向量。
51.可理解的，在获取到历史文本序列，并对其中每一历史文本所对应的第二分词序列所进行的特征提取的方式，可同于对第一分词序列所进行的特征提取处理，以依次对每一历史文本对应的第二分词序列进行特征提取处理，并进行全连接后，得到历史文本序列所对应的历史特征向量。
52.由此可知，通过上述方式得到的该历史特征向量也将包括每一第二分词序列中的每一分词的位置信息，以能够基于对历史文本序列进行的特征提取，更准确地获取到用户的阅读偏好及其关注点，进而能够挑选出多个待选文本中更合适的未进行阅读的文本推荐给用户。
53.可理解的是，就文本序列而言，其中的每一单词在句子中的位置以及排列顺序，也即每一单词在文本序列中位置，对于文字内容的理解至关重要，它们不仅是一个句子的语法结构的组成部分，更是影响人们理解句子内容含义的重要因素。而一个单词在句子的位置或排列顺序不同，整个语句的内涵都有可能发生偏差，甚至截然相反。因此在对文本内容进行特征信息提取时，很有必要引入词序信息，以用于记录每个单词的位置信息。
54.由此可知，本技术依次得到的待选文本特征向量及历史特征向量，因包括有相应的位置信息，能够有效地避免因无法考虑到相应文本序列中的单词的位置信息，而导致词序信息丢失所带来的相应语义表示不准确的问题。
55.s14：对历史特征向量进行兴趣特征提取处理，以得到历史文本序列对应的用户兴趣特征表示。
56.进一步地，对历史特征向量进行兴趣特征提取处理，比如，通过合适的循环网络模型对历史特征向量，并结合其对应的历史阅读时刻进行循环函数或卷积处理，以得到历史文本序列对应的用户兴趣特征表示。
57.s15：基于待选文本特征向量和用户兴趣特征表示，确定待选文本对应的预测概率值。
58.具体地，将用户兴趣特征表示与待选文本特征向量进行向量相乘，以基于二者的乘积确定待选文本序列对应的预测概率值；或，在另一实施例中，进一步对二者的乘积进行归一化处理，以将归一化处理的结果得确定为该预测概率值。
59.可理解的，该预测概率值即为用户对待选文本感兴趣程度所对应的概率值，该预测概率值越大，则表明用户对相应的待选文本越感兴趣。
60.s16：根据预测概率值对用户进行文本推荐。
61.进一步地，在获取到待选文本对应的预测概率值时，即可根据该预测概率值获知到相应用户的阅读偏好，进而能够将预测概率值较大，比如，预测概率值超过设定阈值的待选文本推送给用户；或，根据预测概率值的大小对多个待选文本进行排序，以将排列顺序在前的优先推送给用户进行阅读。
62.上述方案，在获取文本序列的特征向量的过程中，通过引入位置信息的方式，能够在提取文本内容的特征时，充分考虑位置信息等关键因素，以能够有效避免文本序列因位
置信息方面的缺失，导致相应语句的内涵可能发生偏差，甚至截然相反的问题，进而能够提取出更有效的用户兴趣特征表示及待选文本特征向量，从而使相应得到的预测概率值的置信度更高，因而推荐也会更准确，也便能够依据相应的预测概率值，获取到用户的阅读偏好及其关注点，以筛选出代表性文本推荐给用户。
63.请继续结合参阅图2，图2是图1中s12一实施例的流程示意图。在一实施例中，本技术的文本推荐方法除了包括上述s11
‑
s16之外，还进一步包括一些更为具体的步骤。具体地，上述s12具体还可以包括如下步骤：
64.s121：对第一分词序列进行转换处理，以得到待选文本表示以及位置编码张量。
65.在得到第一分词序列后，进一步对该第一分词序列进行转换处理，比如，采用预训练语言模型，或glove(global vectors，全局向量)算法，或其他任一合理的向量转化算法将第一分词序列转换为相应的待选文本表示。则可理解的是，该第一分词序列中的每一元素即为第一分词序列对应位置处的单词的向量表示。
66.进一步地，基于待选文本表示中每一元素的位置信息，对其进行位置编码，比如，采用正余弦位置编码算法，或相对位置编码算法，或其他任一合理的位置编码算法对待选文本表示进行位置编码，以得到待选文本序列对应的位置编码张量。
67.s122：对待选文本表示及其对应的位置编码张量进行处理，得到待选文本对应的待选语义表示。
68.进一步地，将待选文本表示中的每一元素与位置编码张量中相应位置处的元素进行相加，也即，对待选文本表示以及位置编码张量进行相加处理，以得到待选文本序列对应的待选语义表示。
69.可理解的是，就文本序列而言，其中的每一单词在句子中的位置，也即句子中多个单词中的排列顺序，对于文字内容的理解至关重要，它们不仅是一个句子的语法结构的组成部分，更是影响人们理解句子内容含义的重要因素。而一个单词在句子的位置或排列顺序不同，整个语句的内涵都有可能发生偏差，甚至截然相反。因此在对文本内容提取特征信息时，有必要引入词序信息，以用于记录每个单词的位置信息。
70.由此可知，本技术在对待选文本对应的第一分词序列进行语义表示时，通过引入相应的位置编码信息，也即将待选文本表示与位置编码张量相加得到待选文本序列对应的待选语义表示，能够有效避免因无法考虑到相应文本序列中的单词的位置信息，而导致词序信息丢失所带来的相应语义表示不准确的问题。
71.s123：基于待选语义表示得到待选文本对应的待选文本特征向量。
72.进一步地，对待选语义表示进行特征提取，比如，将待选语义表示输入到经训练的多头注意力机制网络，或其他任一合理的经训练的深度学习网络模型中，以对待选语义表示进行特征提取；或引入设定权重矩阵，对待选语义表示进行相应的函数运算，以将待选语义表示转换为待选文本序列对应的待选文本特征向量。
73.请继续结合参阅图3，图3是图2中s121一实施例的流程示意图。在一实施例中，上述s121具体还可以包括：
74.s1211：对第一分词序列进行向量转换，以得到待选文本表示。
75.其中，为方便理解，以待进行的文本推荐具体为新闻推荐，且参与推荐的其中一待选文本为新闻d为例，进行说明。则可知，该新闻d具体可以是在s11中获取到的第一分词序
列，也可以是历史文本序列对应的其中一个第二分词序列，且分别对该第一分词序列和第二分词序列进行的特征提取方式相同。
76.此处，假设该新闻d为由m(m为正整数)个单词组成，也即该新闻d中的每个元素即为其中的每个单词对应的识别代号，比如：
77.d＝[w1，w2，w3，...，w
m
]。
[0078]
其中，新闻d中的每一单词均是通过对相应的新闻文本，比如，新闻的标题、摘要以及正文中的一种或多种组合进行分词处理后得到。同理可得，对其他类型的文本进行推荐的方法，在此不再赘述。
[0079]
而在得到新闻d后，进一步采用预训练语言模型对该新闻d进行转换处理，以将新闻d转换为相应的待选新闻表示l。其中，该待选新闻表示l中的每一元素即为新闻d中对应位置处的单词的向量表示：
[0080]
l＝[x1，x2，x3，...，x
m
]。
[0081]
s1212：基于待选文本表示得到所述位置编码张量。
[0082]
进一步地，基于待选新闻表示l中每一元素的位置信息，并采用 sin
‑
cos(正余弦)位置编码方式，对待选新闻表示l进行位置编码，以得到新闻d对应的位置编码张量pe。
[0083]
在一实施例中，上述s1212具体还可以包括：利用待选文本表示的维度以及待选文本表示中的每一元素在待选文本表示中的位置依次对待选文本表示中的每一元素分别进行位置编码运算，以得到位置编码张量。
[0084]
进一步地，通过预训练语言模型根据待选新闻表示l的维度以及待选新闻表示l中的每一元素在待选新闻表示l中的位置，依次对待选新闻表示l中的每一元素分别进行位置编码运算，以得到位置编码张量 pe。
[0085]
其中，对待选新闻表示l进行的位置编码的计算方式具体可以是：
[0086][0087][0088]
其中，2n 1＝(1，2，3，...，m)，pos表示待选新闻表示l中每一元素在待选新闻表示l中的位置，d
model
为预训练语言模型中的向量维度，也即通过该预训练语言模型对待选新闻表示l中每一元素进行建模的维度，而具体可以是d
model
＝300或250等任一合理的数值。
[0089]
相应地，基于待选新闻表示l及位置编码张量pe计算得到的带有位置向量的待选语义表示e1即为：
[0090]
e1＝[e1，e2，e3，...，e
m
]；
[0091]
其中，e
j
＝x
j
pe
j
(j＝1，2，3，...，m)。
[0092]
请继续结合参阅图4，图4是图2中s123一实施例的流程示意图。在一实施例中，上述s123具体可以包括：
[0093]
s1231：获取待选语义表示中每两个元素之间的相关重要程度值和待选文本表示中每一元素的重要程度值。
[0094]
可理解的，新闻中的词汇与词汇之间的内在关联性，有助于新闻的语义表达，换言
之，同一篇新闻中某些关键词可能与多个词都有着重要的内在关联性。而基于上述因素，还需要使用多头注意力机制提取出新闻中每两个词之间的内在关联性。
[0095]
具体地，获取到待选语义表示e1中每两个元素之间的相关重要程度值，比如，通过多头注意力机制对待选语义表示e1中每两个元素之间的相关重要程度，也即待选语义表示e1中的每一元素相对其他元素及其自身的相关重要程度值进行提取，以获取到相应的相关重要程度值。
[0096]
s1232：基于相关重要程度值得到待选语义表示对应的注意力向量表示。
[0097]
进一步地，基于获取到的待选语义表示e1中每两个元素之间的相关重要程度值，比如，通过多头注意力机制对每一相关重要程度值进行 softmax(逻辑回归)归一化操作，以得到待选语义表示对应的注意力向量表示。
[0098]
s1233：基于注意力向量表示和重要程度值得到待选文本特征向量。
[0099]
又进一步地，基于注意力向量表示及待选文本表示中每一元素的重要程度值，比如，通过多头注意力机制对注意力向量表示及待选文本表示中每一元素的重要程度值进行向量连接，以得到相应的待选文本特征向量。
[0100]
在一实施例中，上述s1231中具体还可以包括：通过经训练的第一网络模型对待选语义表示进行处理，以得到待选语义表示中每两个元素之间的相关重要程度值。
[0101]
其中，该第一网络模型具体可以是多头注意力机制网络模型，而待选语义表示e1中的第一元素相对第二元素的相关重要程度值具体为第一元素的转置向量与第一网络模型经训练后得到的第一权重系数矩阵及第二元素的乘积。
[0102]
可理解的，该第一元素和第二元素具体可以是待选语义表示e1中的任意两个元素，且第一元素还可以与第二元素为同一个。
[0103]
具体地，假定新闻d中第i个词与其第j个词的向量编码，也即相应的语义表示分别是一个1
×
300的矩阵e
i
和e
j
，并预定义两个维度大小是300
×
300可通过训练、学习得到的权重系数矩阵和也即可通过对第一网络模型对应的初始多头注意力机制网络模型进行训练，以得到第一网络模型的第一权重系数矩阵和第二权重系数矩阵
[0104]
其中，w仅作为标记符号，不参与计算过程，仅仅用于区分不同的文本向量表示。而在通过第一网络模型中的第k(k为正整数，且为多头注意力机制网络模型中包括的注意力机制网络的具体数量)个注意力机制网络，对e
i
和e
j
进行设定矩阵乘运算，即可得出第i个词与第j个词之间的相关重要程度r(标量):
[0105][0106]
其中，是第i个词汇对应的词向量转置向量，也即，待选语义表示e1中的第i个语义表示的转置向量，e
j
是第j个词汇对应词向量，也即，待选语义表示e1中的第j个语义表示，表示预定义可学习的第k 个self
‑
attention(自注意)注意力机制网络的权重系数。
[0107]
请继续结合参阅图5，图5是图4中s1232一实施例的流程示意图。在一实施例中，上述s1232具体还可以包括：
[0108]
s12321：对相关重要程度值进行归一化运算，以得到待选语义表示中每两个元素之间的相关重要程度表示。
[0109]
其中，考虑到文本序列是由m个词汇组成，为比较第i个词与m 个词之间的相关性，进而衡量出哪些词与第i个词相关性更强，还需将第i个词与m个词之间的相关重要程度值作softmax归一化操作，以计算出待选语义表示e1中第i个词与第j个词之间的相关重要程度(归一化后的权重系数)：
[0110][0111]
由上述过程，可依次计算出第i个词与新闻d中m个词之间的相关系数，也即待选语义表示e1中每两个元素之间的相关重要程度表示：
[0112][0113]
s12322：通过第一网络模型对相关重要程度表示进行第一特征提取运算，以得到注意力向量表示。
[0114]
进一步地，通过第一网络模型对相关重要程度表示进行第一特征提取运算，以能够得到第i个词在与新闻d序列全局信息发生信息交互后的向量表示，即第i个单词通过第k个注意力机制网络学习到的注意力向量表示(self
‑
attention)：
[0115][0116]
其中，用于加强网络模型提取特征的能力，以提高网络模型的泛化能力。
[0117]
进一步地，通过向量连接，将h(超参数，根据实验结果，一般取值h＝16、12或10等任一合理的数值)个注意力机制网络进行特征提取的结果进行向量连接，以得到关于第i个词的注意力向量表示
[0118][0119]
请继续结合参阅图6，图6是图4中s1233一实施例的流程示意图。在一实施例中，上述s1233具体还可以包括：
[0120]
s12331：通过第一网络模型对注意力向量表示和重要程度值进行第二特征提取运算，以得到注意力向量表示对应的注意力机制权重系数。
[0121]
可理解的，在同一篇新闻中，通常每个词的重要性会有所不同。因此，还需要采用第一网络模型中的additive
‑
attention(加性注意力机制网络)评估新闻文本每个词的重要程度，也即对注意力向量表示和重要程度值进行第二特征提取运算，以得到第i个词的注意力机制权重系数
[0122][0123][0124]
其中，o
w
、o
w
分别是预定义的可经训练学习得到的第一网络模型的第三权重系数矩阵、第四权重系数矩阵以及第一偏置矩阵，且具体是基于待选文本表示中每一元素的重要程度值得到，而上述w同样仅仅表示标记符，而不参与计算过程。
[0125]
s12332：对注意力向量表示和注意力机制权重系数进行第一聚合运算，以得到待选文本特征向量。
[0126]
进一步地，对注意力向量表示和注意力机制权重系数进行第一聚合运算，以通过两层注意力网络的特征提取，将新闻d最终的待选文本特征向量d1表示成如下形式：
[0127][0128]
请结合图7，图7是图1中s14一实施例的流程示意图。在一实施例中，上述s14具体可以包括：
[0129]
s141：对历史特征向量进行兴趣特征提取运算，以得到每一历史文本对应的权重系数值。
[0130]
在本实施例中，历史文本序列包括多个历史文本，且多个历史文本以阅读时间为序组成历史文本序列。其中，通过上述对新闻d进行的特征提取的同样方式，可依次对历史文本序列中的每一历史文本所对应的第二分词序列进行特征提取，以得到相应的历史特征向量。具体请参阅上述待选文本对应的第一分词序列的特征提取的相应过程，在此不再赘述。
[0131]
一般地，用户的关注点会随时间的变化而变化，这便有了长期关注点、短期关注点之分。其中，以新闻为例，在根据用户的阅读历史，将新闻文本转化成向量，并利用self
‑
attention注意力机制网络提取新闻内容的特征后，用于分析单篇新闻文章内每个词之间的相互关联程度，再利用additive
‑
attention注意力机制网络筛选出具有代表性的词汇来表征该篇新闻的语义信息。且针对每篇新闻的语义表示，进一步采用 self
‑
attention additive
‑
attention注意力机制在众多的新闻中筛选出重要的新闻用于表示用户兴趣。经过分析，这种新闻信息本质上是一种长期兴趣特征，也即长期关注某领域的新闻肯定会占得多数，因此根据历史新闻纪录筛选出的新闻也必定与该领域相关，而如果近期关注了其他领域的新闻，那么近期关注的新闻便很难被筛选出。因此，在得到每篇新闻语义特征向量后，还需要分别筛选出体现长期和短期关注点的新闻。
[0132]
具体地，进一步对历史特征向量进行兴趣特征提取运算，比如，通过gru(gate recurrent unit，门循环单元)网络，或长短时循环网络等任一合理的循环神经网络，顺序对历史特征向量中的每一元素的重要程序进行提取运算处理，以依次得到每一历史文本对应的权重系数值。
[0133]
s142：基于历史特征向量及每一权重系数值得到用户兴趣特征表示。
[0134]
进一步地，将历史特征向量与其对应的每一权重系数值进行聚合运算处理，以进而能够得到用户的兴趣特征表示。
[0135]
在一具体的实施例中，为方便说明，上述历史文本序列具体可表示为：
[0136]
c＝{c1，c2，...，c
s
}；
[0137]
其中，s表示历史文本序列中包括的历史文本的总数量，此处仍以历史文本为已阅读的新闻为例，则可知，该s具体为新闻篇数。且该历史文本序列c中的每一元素是以阅读时间进行排序的，比如，c1对应的阅读时间较c2早，而c2对应的阅读时间较c3早，依次类推。而在通过上述对新闻d进行特征提取的同样方式，可依次对历史文本序列中的每一历史文本进行特征提取，以组合得到历史特征向量d：
[0138]
d＝{d1，d2，...，d
s
}。
[0139]
进一步地，请结合图8，图8是图7中s141一实施例的流程示意图。在一实施例中，上述s141具体可以包括：
[0140]
s1411：通过经训练的第二网络模型对每一历史文本的阅读时刻及历史特征向量进行兴趣特征提取运算，以得到每一历史文本对应的隐向量输出值。
[0141]
其中，该第二网络模型具体可以与第一网络模型为同一神经网络模型，也可以分别对应为不同的神经网络模型，在此不做限定。历史特征向量d中的元素d
t
对应的运算的公式具体如下：
[0142][0143][0144][0145][0146]
其中，w
r
、w
z
、w分别是第二网络模型经训练后得到的第五至第七权重系数矩阵，t对应为历史文本中的一具体文本的阅读时刻。
[0147]
可理解的，每篇新闻对应一个用户点击阅读时刻，上述有s篇新闻，则可理解为总共有s个时间点。假设当前时间为时刻t，即用户t时刻关注某篇新闻，那么t
‑
1时刻就对应着上一篇阅读新闻的时间点，则通过第二网络模型，比如，gru网络，短期用户兴趣可建模为：
[0148][0149][0150][0151][0152]
其中，r
t
可表示信息重置门，用于将上一时刻的状态重置，z
t
表示信息更新门，用于当前状态的信息更新。d
t
表示当前时刻的新闻特征表示，通过上述gru网络后，输出当前时刻新闻d
t
的隐向量状态不难看出，z
t
越大，说明当下的状态变化较大。因此，当前状态的输出结果有必要参考当前状态值。短期兴趣特征是当前时刻t对应的隐向量输出值
[0153]
可理解的，该隐向量输出值的提取过程因充分考虑了阅读时序的影响，且是以阅读时间为序组成历史文本序列，进而依次循环对历史特征向量中的每一元素进行的处理。因此，该隐向量输出值充分体现出了阅读时刻对处理结果的影响，而可理解为用户的短期兴趣特征表示。
[0154]
具体地，因每一隐向量输出值对应的历史文本自身的关联性和重要性均不同，还需要基于每一隐向量输出值得到每一历史文本对应的权重系数值。比如，通过经训练的网络模型对每一隐向量输出值进行处理，以得到每一历史文本对应的权重系数值。
[0155]
可理解的，该权重系数值即为用户长期阅读记录所对应的历史文本自身内容对用户阅读兴趣造成影响的权重值。
[0156]
s1412：通过第二网络模型对每一隐向量输出值进行重要程度特征提取运算，以得到每一历史文本对应的权重系数值；
[0157]
其中，对i时刻对应的隐向量输出值进行重要程度特征提取运算的公式如下：
[0158][0159][0160]
其中，o
n
、o
n
为第二网络模型经训练后得到的第八、第九权重系数矩阵和第二偏置矩阵，n为标记符不参与计算过程。
[0161]
可理解的，在新闻序列中，每篇新闻都有其内在关联性，且重要性均有不同。而采用additive
‑
attention，也即第二网络模型中的加性注意力机制网络机制评估每篇新闻的重要程度，进一步表征用户的长期兴趣语义特征，则第i篇新闻的权重系数值即为上述的
[0162]
其中，可依次通过以上计算过程得到s篇新闻的重要性权重系数：
[0163][0164]
又进一步地，在一实施例中，上述s142具体还可以包括：对历史特征向量及每一权重系数值进行第二聚合运算，以得到用户兴趣特征表示；
[0165]
其中，第二聚合运算对应公式如下：
[0166][0167]
其中，s为历史文本序列包括的历史文本的数量。
[0168]
可理解的，假设读者在某些领域有热情、有兴趣，我们不难想到该读者可能会长期关注该领域的新闻事件，同时，有可能因为某些热点事件，专门关注某一方面的新闻，因此我们有理由将读者的长期、短期兴趣加以区分，分而治之。此外，读者的阅读习惯往往具有一种时间上的单向性，简而言之，读者大概率不会看一周前、两天前的新闻，因此在对读者的阅读兴趣建模时，理应考虑这种问题。
[0169]
本实施例，通过采用gru在对每篇新闻的特征表示的基础上，对读者的阅读历史记录作进一步分析，试图建立长期、短期历史新闻信息之间的关系来表征该读者在一段时间内的关注点的转移状态，因而能够更有效地模拟出真实用户场景中的用户习惯的性能，从而能够得到更能体现出用户偏好的用户兴趣特征表示。
[0170]
进一步地，在一实施例中，上述s16具体还可以包括：将计算得到的多个待选文本中对应预测概率值超过设定阈值的待选文本推荐给用户。
[0171]
可理解的，该预测概率值即用户对相应的待选文本序列感兴趣程度的大小，也即通过设置一具体的设定阈值，能够有效地将用户感兴趣程度较高的待选文本序列筛选出来，以推荐给用户。
[0172]
可选地，该设定阈值具体可以是0.7或0.8或0.6等任一合理的数值，具体可根据用户的实际需求进行设定，本技术对此不做限定。
[0173]
进一步地，在一实施例中，上述s16具体还可以包括：根据每一待选文本对应的预测概率值的大小对多个待选文本进行排序，并将排列顺序靠前的设定数量的待选文本推荐给用户。
[0174]
同样地，在根据每一待选文本序列对应的预测概率值的大小对多个待选文本序列进行排序，也便是根据用户的感兴趣程度对多个待选文本序列进行排序，以能够将感兴趣程度较高的待选文本序列排在前列，依次推荐给用户，以满足用户的阅读偏好；且通过设置一具体的设定数量可在满足用户阅读兴趣的同时，有效满足用户对阅读时长及效率的控制。
[0175]
可选地，该设定数量具体可以是5或6或8等任一合理的数值，具体可根据用户的实际需求进行设定，本技术对此不做限定。
[0176]
在一个具体的实施例中，请结合参阅图9和图10，其中，图9是本技术对待选文本序列和历史文本序列进行特征提取的一具体应用场景的流程示意图，图10是本技术获取历史文本序列对应的用户兴趣特征表示的一具体应用场景的流程示意图。在本实施例中，具体是通过一经训练的文本推荐网络模型实现相应的文本推荐方法，其中，以进行的文本推荐为新闻推荐，且该文本推荐网络模型具体包括有news encoder (新闻编辑器)和user encoder(用户编辑器)为例，进行说明。
[0177]
由此可知，在获取到参与推荐的每一分词序列，包括待选文本对应的第一分词序列和历史文本序列中的每一历史文本对应的第二分词序列后，均可首先通过news encoder依次每一分词序列进行特征提取。
[0178]
比如，在获取到的其中一篇新闻d由m个单词组成时，则该新闻d 可表示为：
[0179]
d＝[w1，w2，w3，...，w
m
]。
[0180]
以进而能够通过该news encoder首先对该新闻d进行 wordembedding posembedding(向量转换及位置编码)处理，以得到相应的语义表示e1为：
[0181]
e1＝[e1，e2，e3，...，e
m
]。
[0182]
进一步地，通过对该news encoder中集成的注意力机制网络模型对语义表示e1中每两个元素之间的相关重要程度进行提取，以依次得到：注意力向量表示第i个词与新闻d中 m个词之间的相关重要程度表示：最终对相关重要程度表示进行特征提取，以得到相应的文本特征向量:
[0183][0184]
可理解的是，user encoder即是在通过news encoder对每一已阅读的历史文本依照阅读时间组成的历史文本序列c＝{c1，c2，...，c
s
}进行特征提取，以获取到s篇新闻的特征表示d：d＝{d1，d2，...，d
s
}后，对特征表示d依次进行短期特征提取，以获取到语义特征信息后，进而长期兴趣特征提取，以获取到s新闻的重要性权重系数：以在对语义特征信息和重要性权重系数进行全连接后得到用户兴趣特征向量表示为：
[0185][0186]
其中，上述涉及的具体运算方法与如上文本推荐方法所对应的实施例中所涉及的运算方式相同，在此不再赘述。
[0187]
请结合图11，图11是本技术对文本推荐网络模型进行训练的方法一实施例的示意图。在一应用场景中，上述文本推荐方法具体是通过经训练的文本推荐网络模型实现，而在本实施例中，对文本推荐网络模型进行训练的方法具体可以包括：
[0188]
s21：将已阅读文本序列样本和未阅读文本序列样本输入到第一预设网络模型，以通过第一预设网络模型分别对已阅读文本序列样本和未阅读文本序列样本进行文本推荐，以分别相应给出第一预测概率值和第二预测概率值。
[0189]
具体地，将已阅读文本序列样本记为正例集合d，并随机采样u个未阅读文本序列样本作为负样本，以按照发行时间顺序进行排列，并依次输入到第一预设网络模型，以通过第一预设网络模型分别对已阅读文本序列样本和未阅读文本序列样本分别进行文本推荐，而分别相应给出第一预测概率值和第二预测概率值。
[0190]
s22：基于第一预测概率值和第二预测概率值得到已阅读文本序列样本对应的后验概率及后验概率的负似然函数。
[0191]
进一步地，通过第一预设网络模型对第一预测概率值和第二预测概率值进行相应的函数处理，以得到已阅读文本序列样本对应的后验概率及后验概率的负似然函数。
[0192]
具体地，假设每个正例的模型预测分值，也即第一预测概率值为y

， u个负样本对应的模型预测概率值，也即第二预测概率值为应的模型预测概率值，也即第二预测概率值为为例，进行说明，则通过softmax归一化后，可得出第i个正例的后验概率为：
[0193][0194]
而该训练过程的目标函数即为上述后验概率的负似然函数：
[0195]
loss＝
‑
∑
i∈d
log(p
i
)。
[0196]
s23：通过负似然函数对第一预设网络模型中的设定量化参数进行持续优化，从而建立文本推荐网络模型。
[0197]
又进一步的，通过负似然函数对第一预设网络模型中的设定量化参数进行持续优化，也即持续调整第一预设网络模型中的设定量化参数，比如，上述实施例中相应提到的权重矩阵和偏置矩阵，以在负似然函数达到稳定状态时，停止优化，以建立可进行文本推荐的文本推荐网络模型。
[0198]
请参阅图12，图12是本技术智能终端一实施例的结构示意图。智能终端31包括相互耦接的存储器311和处理器312，存储器311存储有程序数据，处理器312用于执行存储器311中存储的程序数据，以实现上述任意一种文本推荐方法。
[0199]
可选地，智能终端31为微型计算机、服务器、手机、平板电脑、智能手表等任一合理的智能电子设备中的一种，本技术对此不做限定。
[0200]
具体而言，处理器312用于控制其自身以及存储器311以实现上述任意一种文本推荐方法实施例的步骤。处理器312还可以称为cpu (central processing unit，中央处理单元)。处理器312可能是一种集成电路芯片，具有信号的处理能力。处理器312还可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现场可编程门阵列 (field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用
处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器312可以由集成电路芯片共同实现。
[0201]
请参阅图13，图13是本技术计算机可读存储介质一实施例的结构示意图。其中，该计算机可读存储介质41存储有能够被处理器运行的程序数据411，该程序数据411能够被执行以实现上述任意一种文本推荐方法。
[0202]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0203]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0204]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0205]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)或处理器(processor) 执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。