一种基于分层注意力机制的知识图谱补全方法及装置

1.本发明属于人工智能技术领域，具体涉及一种基于分层注意力机制的知识图谱补全方法及装置。


背景技术：

2.随着互联网技术的不断发展，短视频应用利用推荐系统将网络上的信息由被动展示给用户转变为主动地为用户提供信息服务。但在实际应用中，当用户历史信息较少时，就会面临冷启动和数据稀疏两大问题，因此需要尽可能挖掘用户和物品深层次信息以提高推荐性能，而知识图谱通过结构化的组织、管理海量互联网数据信息，将互联网信息表示为更易被人类理解的知识形式，包含了不同领域中的实体信息和实体间的关系信息，从而可以有效缓解协同过滤中数据稀疏的问题。
3.现有技术中，基于知识图谱的研究多基于已存在的知识图谱，将知识图谱视作静态的，忽视了知识图谱的不完善性，并且关于基于注意力机制的知识图谱补全方法只是利用注意力机制获得更好的嵌入表示，也没有产生新的实体进行知识图谱补全。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种基于分层注意力机制的知识图谱补全方法及装置。本发明要解决的技术问题通过以下技术方案实现：
5.第一方面，本发明提供一种基于分层注意力机制的知识图谱补全方法，包括：
6.构建初始知识图谱，所述初始知识图谱包括多个“实体-关系-实体”三元组；
7.从交互日志中确定用户交互的实体集合，根据所述实体集合确定其中每个交互实体的初始向量；
8.针对每个所述交互实体，确定用户的行为，并根据各个行为的量化结果对所述初始向量进行优化，得到优化向量；
9.从所述交互日志中获取用户行为序列，并对所述行为序列进行分层，得到第一集合和第二集合；所述用户行为序列包括用户在当前时刻之前的交互行为分布，所述第一集合包括用户在当前时刻之前的所有交互行为，所述第二集合包括用户在当前时刻之前的预设时间段内的交互行为；
10.对所述第一集合中所有交互行为的时间信息进行编码，得到用户的注意力分布；
11.分别根据所述第一集合获取用户的第一类兴趣、根据所述第二集合获取用户的第二类兴趣，并在将所述第一类兴趣与所述第二类兴趣确定为实体后，更新所述初始知识图谱。
12.在本发明的一个实施例中，所述实体集合包括用户交互的所有交互实体、以及每个交互实体对应的实体标签；
13.所述从交互日志中确定用户交互的实体集合，根据所述实体集合确定其中每个交互实体的初始向量的步骤，包括：
14.从用户的交互日志中确定交互实体集合；
15.根据所述交互实体集合，统计每个交互实体对应的实体标签的数量；
16.根据所述实体标签的数量，确定每个交互实体的初始向量。
17.在本技术的一个实施例中，所述针对每个所述交互实体，确定用户的行为，并根据各个行为的量化结果对所述初始向量进行优化，得到优化向量的步骤，包括：
18.确定用户对于每个所述交互实体的行为；
19.根据预设的第一类反馈行为、预设的第二类反馈行为以及预设量化规则，对每个所述行为进行量化；
20.根据量化结果对所述初始向量进行优化，得到优化向量。
21.在本发明的一个实施例中，所述第一类反馈行为是间接表明用户兴趣的行为，所述第二类反馈行为是直接表明用户兴趣的行为；
22.所述预设的第一类反馈行为包括浏览行为、点击行为和交易行为，所述预设的第二类反馈行为包括评分行为。
23.在本技术的一个实施例中，所述根据预设的第一类反馈行为、预设的第二类反馈行为以及预设量化规则，对每个所述行为进行量化的步骤，包括：
24.分别判断用户针对交互实体是否发生浏览行为、点击行为和/或交易行为；
25.若是，则将对应的浏览行为、点击行为和/或交易行为量化为1；若否，则将对应的浏览行为、点击行为和/或交易行为量化为0；
26.分别判断用户针对交互实体行为是否发生评分行为；
27.若是，则按照如下公式量化所述评分行为：
[0028][0029]
其中，v
u，i
表示用户对交互实体的评分，v
min
表示该交互实体预设的最低评分，v
max
表示该交互实体预设的最高评分，表示评分行为的量化结果。
[0030]
在本技术的一个实施例中，当用户针对交互实体发生浏览行为、点击行为和/或交易行为时，所述根据量化结果对所述初始向量进行优化，得到优化向量的步骤，包括：
[0031]
获取所述浏览行为、所述点击行为和/或所述交易行为的预设权重；
[0032]
根据所述预设权重以及所述浏览行为、所述点击行为和/或所述交易行为的量化结果，按照如下公式对初始向量进行优化：
[0033][0034]
其中，ea表示所述浏览行为、所述点击行为和/或所述交易行为的量化结果，w
t
表示所述浏览行为、所述点击行为和/或所述交易行为的预设权重，ei表示初始向量，表示优化向量。
[0035]
在本技术的一个实施例中，当用户针对交互实体发生评分行为时，按照如下公式对初始向量进行优化：
[0036][0037]
式中，ei表示所述评分行为的量化结果，表示优化向量。
[0038]
在本技术的一个实施例中，按照如下公式对所述第一集合中所有交互行为的时间
信息进行编码：
[0039][0040]
其中，s表示行为序列中距离当前时刻最远的时刻，mf表示时间编码矩阵，|d
i,j
|表示和交互行为i对应第一的时刻与交互行为j对应的第二时刻的时间位置距离。
[0041]
第二方面，本发明还提供一种基于分层注意力机制的知识图谱补全装置，包括：
[0042]
构建单元，用于构建初始知识图谱，所述初始知识图谱包括多个“实体-关系-实体”三元组；
[0043]
确定单元，用于从交互日志中确定用户交互的实体集合，根据所述实体集合确定其中每个交互实体的初始向量；
[0044]
优化单元，用于针对每个所述交互实体，确定用户的行为，并根据各个行为的量化结果对所述初始向量进行优化，得到优化向量；
[0045]
分层单元，用于从所述交互日志中获取用户行为序列，并对所述行为序列进行分层，得到第一集合和第二集合；所述用户行为序列包括用户在当前时刻之前的交互行为分布，所述第一集合包括用户在当前时刻之前的所有交互行为，所述第二集合包括用户在当前时刻之前的预设时间段内的交互行为；
[0046]
编码单元，用于对所述第一集合中所有交互行为的时间信息进行编码，得到用户的注意力分布；
[0047]
更新单元，用于分别根据所述第一集合获取用户的第一类兴趣、根据所述第二集合获取用户的第二类兴趣，并在将所述第一类兴趣与所述第二类兴趣确定为实体后，更新所述初始知识图谱。
[0048]
与现有技术相比，本发明的有益效果在于：
[0049]
本发明提供一种基于分层注意力机制的知识图谱补全方法及装置，由于第一集合包括用户在当前时刻之前的所有交互行为、第二集合包括用户在当前时刻之前的预设时间段内的交互行为，因此可通过分层注意力机制从用户行为序列中获取用户的第一类兴趣及第二类兴趣，其中，第一类兴趣为用户的长期兴趣，第二类兴趣为用户的短期兴趣，进而将用户兴趣视作知识图谱的实体，并定义相应关系以完善知识图谱，使知识图谱不断演化完善。
[0050]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0051]
图1是本发明实施例提供的基于分层注意力机制的知识图谱补全方法的一种流程图；
[0052]
图2是本发明实施例提供的基于分层注意力机制的知识图谱补全装置的一种结构
示意图；
[0053]
图3是本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
[0054]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0055]
图1是本发明实施例提供的基于分层注意力机制的知识图谱补全方法的一种流程图。本发明实施例提供一种基于分层注意力机制的知识图谱补全方法，包括：
[0056]
s1、构建初始知识图谱，初始知识图谱包括多个“实体-关系-实体”三元组；
[0057]
s2、从交互日志中确定用户交互的实体集合，根据实体集合确定其中每个交互实体的初始向量；
[0058]
s3、针对每个交互实体，确定用户的行为，并根据各个行为的量化结果对初始向量进行优化，得到优化向量；
[0059]
s4、从交互日志中获取用户行为序列，并对行为序列进行分层，得到第一集合和第二集合；用户行为序列包括用户在当前时刻之前的交互行为分布，第一集合包括用户在当前时刻之前的所有交互行为，第二集合包括用户在当前时刻之前的预设时间段内的交互行为；
[0060]
s5、对第一集合中所有交互行为的时间信息进行编码，得到用户的注意力分布；
[0061]
s6、分别根据第一集合获取用户的第一类兴趣、根据第二集合获取用户的第二类兴趣，并在将第一类兴趣与第二类兴趣确定为实体后，更新初始知识图谱。
[0062]
本实施例中，初始知识图谱的基本组成单位是“实体
‑‑
关系
‑‑
实体”三元组，具体地，根据用户交互日志获取用户实体u、关系r和尾实体i，其中，(uj,rj,ij)表示第j个三元组，j＝1,2,
…
。在上述步骤s2中，获取用户的交互日志，并从交互日志中获取用户交互的实体，得到交互实体集合i。可选地，交互实体集合i包括用户交互的所有交互实体、以及每个交互实体对应的实体标签，例如：从用户观看的电影数据集中，获取用户观看过的所有电影，每部电影即为一个交互实体，所有交互实体构成的集合即为交互实体集合i。
[0063]
进一步地，获取用户在当前时刻之前的所有交互行为、以及用户在当前时刻之前的预设时间段内的交互行为，得到第一集合与第二集合，再通过分层注意力机制从用户行为序列、即第一集合和第二集合中获取用户的第一类兴趣及第二类兴趣，可以理解的是，第一类兴趣为用户的长期兴趣，第二类兴趣为用户的短期兴趣，进而将用户兴趣视作知识图谱的实体，并定义相应关系以完善知识图谱，使知识图谱不断演化完善。
[0064]
可选地，从交互日志中确定用户交互的实体集合，根据实体集合确定其中每个交互实体的初始向量的步骤，包括：
[0065]
s201、从用户的交互日志中确定交互实体集合；
[0066]
s202、根据交互实体集合，统计每个交互实体对应的实体标签的数量；
[0067]
s203、根据实体标签的数量，确定每个交互实体的初始向量。
[0068]
具体地，获取交互实体集合后，确定每个交互实体对应的实体标签的数量；仍以交互日志为用户观看过的电影数据集为例，获取交互实体集合后，每部电影都有对应的实体标签即为该电影的标签集(k1，k2，k3，
…
)，k1、k2、k3可以为科幻、灾难、喜剧、爱情、动作等
标签，而后统计每部电影的所有标签数量d，d表示电影实体的维度。
[0069]
本实施例中，结合one-hot编码机制和分布式表示，把初始向量表示为ei＝{0,0,0,
…
,1,
…
,0}d，其中，d表示第i个交互实体的维度，显然，每个维度都映射相应的实体标签。例如，一个电影实体的实体标签包括科幻和动作，则科幻和动作对应的向量特征值为1，其他均为0。
[0070]
针对每个交互实体，用户的不同行为表示了用户对该交互实体不同的感兴趣程度，不同行为表示用户对交互实体的不同的感兴趣程度，为了消除不同行为的影响，对初始向量进行优化。可选地，在上述步骤s3中，针对每个交互实体，确定用户的行为，并根据各个行为的量化结果对初始向量进行优化，得到优化向量的步骤，包括：
[0071]
确定用户对于每个交互实体的行为；
[0072]
根据预设的第一类反馈行为、预设的第二类反馈行为以及预设量化规则，对每个行为进行量化；
[0073]
根据量化结果对初始向量进行优化，得到优化向量。
[0074]
具体而言，对于用户u，给定交互实体i，在t时刻用户u与交互实体i之间发生交互，称为行为a
u,it
。可以理解的是，针对每个交互实体，用户的行为通常是异构的，也就是说用户对于各交互实体的行为有多种。本实施例中，预设的第一类反馈行为是指能够间接表明用户兴趣的行为，如浏览行为、点击行为和交易行为，而预设的第二类反馈行为是指能够直接表明用户兴趣的行为，如评分行为。
[0075]
可选地，根据预设的第一类反馈行为、预设的第二类反馈行为以及预设量化规则，对每个行为进行量化的步骤，包括：
[0076]
分别判断用户针对交互实体是否发生浏览行为、点击行为和/或交易行为；
[0077]
若是，则将对应的浏览行为、点击行为和/或交易行为量化为1；若否，则将对应的浏览行为、点击行为和/或交易行为量化为0；
[0078]
判断用户针对交互实体行为是否发生评分行为；
[0079]
若是，则按照如下公式量化评分行为：
[0080][0081]
其中，v
u,i
表示用户对交互实体的评分，v
min
表示用户对交互实体的最低评分，v
max
表示用户对交互实体的最高评分，表示评分行为的量化结果。
[0082]
本实施例中，以判断大用户针对交互实体是否发生点击行为为例，按照下式进行量化：
[0083][0084]
也就是说，如果用户在t时刻发生点击行为，那么就将点击行为量化为1，反之，则将点击行为量化为0。
[0085]
需要说明的是，浏览行为和交易行为的量化过程与点击行为的量化过程相同，此处不再赘述进；并且，除上述浏览行为、点击行为和交易行为之外，实际场景中还包括大量
可以间接表明用户兴趣的隐式反馈行为，应该根据实际需求预设第一类反馈行为，本发明对此不作限定。
[0086]
可以理解的是，对每个交互实体来说，用户的不同行为表示了用户对该交互实体不同的感兴趣程度，因此，本实施例给每种行为赋予预设权重。当用户针对交互实体发生浏览行为、点击行为和/或交易行为时，根据量化结果对初始向量进行优化，得到优化向量的步骤，包括：
[0087]
获取浏览行为、点击行为和/或交易行为的预设权重；
[0088]
根据预设权重以及浏览行为、点击行为和/或交易行为的量化结果，按照如下公式对初始向量进行优化：
[0089][0090]
其中，ea表示浏览行为、点击行为和/或交易行为的量化结果，w
t
表示浏览行为、点击行为和/或交易行为的预设权重，w
t
的维度与ea相同，ei表示初始向量，表示优化向量。示例性地，用户针对交互实体发生了浏览行为、点击行为和交易行为，则ea＝{1，1，1}、w
t
＝{0.3，0.4，0.3}。
[0091]
另一方面，判断用户针对交互实体行为是否发生评分行为；若是，则按照如下公式量化评分行为：
[0092][0093]
其中，v
u，i
表示用户对交互实体的评分，v
min
表示该交互实体预设的最低评分，v
max
表示该交互实体预设的最高评分，表示评分行为的量化结果。
[0094]
当用户针对交互实体发生评分行为时，按照如下公式对初始向量进行优化：
[0095][0096]
式中，ei表示所述评分行为的量化结果，表示优化向量。
[0097]
需要说明的是，预设的第二类反馈行为为显式反馈行为，不同于隐式反馈行为，显式反馈能够直接表明用户的兴趣，除上述评分行为外，实际场景中还包括其他显式反馈行为，应该当根据实际需求灵活预设第二了反馈行为，本技术对此不作限定。
[0098]
用户兴趣在实际生活中通常会受到多重因素的影响，例如季节、环境、年龄甚至经历等，随时间呈现动态变化特性。从时间演变以及因果关系上看，用户兴趣与可变的短期兴趣有着密切的联系，并且用户稳定的、静态的长期兴趣也会影响用户当前的选择。一般来说，用户的长期兴趣反映了用户过去较长时间内的总体兴趣偏好，对于用户来说较为稳定，而在某个具体时间段内，用户近期的短期兴趣会对用户当前选择产生很大的影响，比如一个电影爱好者，在春节期间可能会对喜剧类电影感兴趣，但是在平时该用户更加倾向于观看科幻电影。
[0099]
为了从第一集合与第二集合包含的用户行为序列中获取用户兴趣以完善初始知识图谱，需要提取用户可变的短期兴趣与稳定的长期兴趣。因此，本实施例对用户行为序列su＝{u1，u2，...，un}进行分层，定义第一集合slu＝{u1，u2，...，un}表示用户当前交互行为之前的所有历史行为，并定义第二集合ssu＝{u1，u2，...，um}表示用户当前时刻之前的预设时间段内的交互行为，其中m∈n。
[0100]
进一步地，基于用户行为序列的时间顺序信息和时间依赖关系，利用位置编码矩阵对时间信息进行编码，以构造动态依赖关系。
[0101]
可选地，在上述步骤s5中，按照如下公式对所述第一集合中所有交互行为的时间信息进行编码：
[0102][0103]
其中，s表示行为序列中距离当前时刻最远的时刻，mf表示时间编码矩阵，|d
i，j
|表示和交互行为i对应第一的时刻与交互行为j对应的第二时刻的时间位置距离。
[0104]
根据注意力分布，本实施例可以采用一种“软性”的信息选择机制对输入信息进行汇总，获取用户长短期兴趣。
[0105][0106][0107]
对第一集合和第二集合中的用户行为序列应用上述公式获取用户兴趣表示，选择预设数量个最大的对应的实体标签作为用户兴趣，其中，从第一集合的用户行为序列中获得用户长期兴趣lis，从第二集合的用户行为序列中获得用户短期兴趣sis。
[0108]
进一步地，把获得的用户长期兴趣和短期兴趣定义为实体，并根据用户兴趣在初始知识图谱上定义两种关系li和si，li表示用户对某一实体语义有长期的兴趣，si表示用户最近的兴趣关注点。最后根据用户兴趣实体和相应关系完善知识图谱。
[0109]
图2是本发明实施例提供的基于分层注意力机制的知识图谱补全装置的一种结构示意图。如图2所示，本发明实施例还提供一种基于分层注意力机制的知识图谱补全装置，包括：
[0110]
构建单元210，用于构建初始知识图谱，初始知识图谱包括多个“实体-关系-实体”三元组；
[0111]
确定单元220，用于从交互日志中确定用户交互的实体集合，根据所述实体集合确定其中每个交互实体的初始向量；
[0112]
优化单元230，用于针对每个所述交互实体，确定用户的行为，并根据各个行为的量化结果对所述初始向量进行优化，得到优化向量；
[0113]
分层单元240，用于从所述交互日志中获取用户行为序列，并对所述行为序列进行分层，得到第一集合和第二集合；所述用户行为序列包括用户在当前时刻之前的交互行为分布，所述第一集合包括用户在当前时刻之前的所有交互行为，所述第二集合包括用户在当前时刻之前的预设时间段内的交互行为；
[0114]
编码单元250，用于对所述第一集合中所有交互行为的时间信息进行编码，得到用户的注意力分布；
[0115]
更新单元260，用于分别根据所述第一集合获取用户的第一类兴趣、根据所述第二集合获取用户的第二类兴趣，并在将所述第一类兴趣与所述第二类兴趣确定为实体后，更新所述初始知识图谱。
[0116]
本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
[0117]
存储器303，用于存放计算机程序；
[0118]
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
[0119]
构建初始知识图谱，所述初始知识图谱包括多个“实体-关系-实体”三元组；
[0120]
从交互日志中确定用户交互的实体集合，根据所述实体集合确定其中每个交互实体的初始向量；
[0121]
针对每个所述交互实体，确定用户的行为，并根据各个行为的量化结果对所述初始向量进行优化，得到优化向量；
[0122]
从所述交互日志中获取用户行为序列，并对所述行为序列进行分层，得到第一集合和第二集合；所述用户行为序列包括用户在当前时刻之前的交互行为分布，所述第一集合包括用户在当前时刻之前的所有交互行为，所述第二集合包括用户在当前时刻之前的预设时间段内的交互行为；
[0123]
对所述第一集合中所有交互行为的时间信息进行编码，得到用户的注意力分布；
[0124]
分别根据所述第一集合获取用户的第一类兴趣、根据所述第二集合获取用户的第二类兴趣，并在将所述第一类兴趣与所述第二类兴趣确定为实体后，更新所述初始知识图谱。
[0125]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0126]
通信接口用于上述电子设备与其他设备之间的通信。
[0127]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0128]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0129]
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
[0130]
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0131]
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述基于分层注意力机制的知识图谱补全方法的装置、电子设备及存储介质，则上述基于分层注意力机制的知识图谱补全方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
[0132]
应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。
[0133]
该终端设备以多种形式存在，包括但不限于：
[0134]
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
[0135]
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等，例如ipad。
[0136]
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0137]
(4)其他具有数据交互功能的电子装置。
[0138]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0139]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0140]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0141]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。