预测实体关系的方法和关系预测模型的训练方法、装置与流程

1.本公开涉及人工智能领域，具体涉及深度学习和知识图谱领域，更具体地涉及一种预测实体关系的方法和关系预测模型的训练方法、装置、电子设备和存储介质。


背景技术：

2.实体关系预测为人工智能应用领域的研究热点。相关技术中，在预测实体关系时，通常采用最近距离法或随机游走法等来预测实体关系。该些方法均存在预测精度低，预测结果不全面的问题。


技术实现要素：

3.提供了一种提高预测精度的预测实体关系的方法、装置、电子设备和存储介质。
4.本公开的一个方面提供了一种预测实体关系的方法，包括：确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每个实体关系的第二嵌入特征；以及基于第一嵌入特征、第二嵌入特征和第一知识图谱，采用包括图神经网络的关系预测模型确定第一知识图谱中没有实体关系的两个目标实体之间的实体关系。
5.本公开的另一个方面提供了一种关系预测模型的训练方法，包括：确定第二知识图谱中每个实体的第三嵌入特征和第二知识图谱中每个实体关系的第四嵌入特征；基于第二知识图谱中的多个实体和实体间的实体关系，确定针对包括图神经网络的关系预测模型的样本数据，样本数据包括第二知识图谱中的两个实体的第三嵌入特征和两个实体的实际实体关系；基于样本数据和第二知识图谱，采用包括图神经网络的关系预测模型确定两个实体之间的预测实体关系；以及基于预测实体关系和实际实体关系，对包括图神经网络的关系预测模型进行训练。
6.本公开的另一个方面提供了一种预测实体关系的装置，包括：第一特征确定模块，用于确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每个实体关系的第二嵌入特征；以及第一关系确定模块，用于基于第一嵌入特征、第二嵌入特征和第一知识图谱，采用包括图神经网络的关系预测模型确定第一知识图谱中没有实体关系的两个目标实体之间的实体关系。
7.本公开的另一个方面提供了一种关系预测模型的训练装置，包括：第二特征确定模块，用于确定第二知识图谱中每个实体的第三嵌入特征和第二知识图谱中每个实体关系的第四嵌入特征；样本数据确定模块，用于基于第二知识图谱中的多个实体和实体间的实体关系，确定针对包括图神经网络的关系预测模型的样本数据，样本数据包括第二知识图谱中的两个实体的第三嵌入特征和两个实体的实际实体关系；第二关系确定模块，用于基于样本数据和第二知识图谱，采用包括图神经网络的关系预测模型确定两个实体之间的预测实体关系；以及模型训练模块，用于基于预测实体关系和实际实体关系，对包括图神经网络的关系预测模型进行训练。
8.本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一
个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的预测实体关系的方法和/或关系预测模型的训练方法。
9.根据本公开的另一个方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的预测实体关系的方法和/或关系预测模型的训练方法。
10.根据本公开的另一个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的预测实体关系的方法和/或关系预测模型的训练方法。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是根据本公开实施例的预测实体关系的方法和关系预测模型的训练方法、装置的应用场景示意图；
14.图2是根据本公开实施例的预测实体关系的方法的流程示意图；
15.图3是根据本公开实施例的确定两个目标实体之间的实体关系的原理示意图；
16.图4是根据本公开另一实施例的确定两个目标实体之间的实体关系的原理示意图；
17.图5是根据本公开实施例的确定每个三元组的上下文信息的原理示意图；
18.图6是根据本公开实施例的关系预测模型的训练方法的流程示意图；
19.图7是根据本公开实施例的预测实体关系的装置的结构框图；
20.图8是根据本公开实施例的关系预测模型的训练装置的结构框图；以及
21.图9是用来实施本公开实施例的预测实体关系的方法和/或关系预测模型的训练方法的电子设备的结构框图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
23.本公开提供了一种预测实体关系的方法，该方法包括特征确定阶段和关系确定阶段。在特征确定阶段中，确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每个实体关系的第二嵌入特征。在关系确定阶段中，基于第一嵌入特征、第二嵌入特征和第一知识图谱，采用包括图神经网络的关系预测模型确定第一知识图谱中没有实体关系的两个目标实体之间的实体关系。
24.以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
25.图1是根据本公开实施例的预测实体关系的方法和关系预测模型的训练方法、装
置的应用场景示意图。
26.如图1所示，该实施例的应用场景100可以包括电子设备110。该电子设备110可以为具有处理功能的各种设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
27.例如，该电子设备110可以安装有各种客户端应用，包括但不限于即时通信类应用、关系预测类应用、新闻类应用等(仅为示例)。
28.如图1所示，该电子设备110例如可以存储有知识图谱120，该知识图谱120中包括多个实体和实体之间的实体关系。其中，在该知识图谱120中，多个实体分别由多个节点表示，实体之间的实体关系由节点之间的连接边表示。该电子设备110例如可以对知识图谱120中没有实体关系的两个实体，进行实体关系130的挖掘。该电子设备110例如还可以根据挖掘的实体关系130来扩展知识图谱120。通过该方式，可以使得扩展后的知识图谱能够更好的反映实体之间的关联关系。
29.在一实施例中，例如可以采用最近距离法或随机游走法来挖掘知识图谱中没有连接的两个实体的实体关系。也可以先采用嵌入算法来对知识图谱中的元素(实体和实体关系)进行嵌入表示，随后采用关系预测模型来根据嵌入表示进行实体关系的挖掘。其中，嵌入算法例如可以为转换嵌入算法(translating embedding，transe)、超平面转换算法(translating on hyperplanes，transh)等算法。
30.在一实施例中，如图1所示，该应用场景100还可以包括有服务器140，该服务器140可以为向电子设备110中运行的客户端应用提供支持的后台管理服务器。该服务器140可以预先训练有关系预测模型150，并可以响应于电子设备110的模型获取请求，将关系预测模型150发送给电子设备110。例如，该服务器140中也可以存储有知识图谱120，并根据知识图谱120中实体及实体间的关联关系，来确定关系预测模型的样本数据，以根据该样本数据对关系预测模型150进行训练。
31.在一实施例中，服务器140中可以维护有知识图谱120。电子设备110可以向服务器140发送关系预测请求。该关系预测请求中可以包括有两个目标实体。该服务器140可以响应于关系预测请求，基于知识图谱120和关系预测模型150，来预测两个目标实体之间的实体关系。该服务器140还可以将预测的实体关系反馈给电子设备110，以供电子设备使用或展示。
32.需要说明的是，本公开提供的预测实体关系的方法可以由电子设备110或服务器140执行。相应地，本公开提供的预测实体关系的装置可以设置于电子设备110或服务器140中。本公开提供的关系预测模型的训练方法可以由服务器140执行。相应地，本公开提供的关系预测模型的训练装置可以设置于服务器140中。
33.可以理解的是，图1中的电子设备、知识图谱和服务器的类型仅仅是示意性的。根据实现需要，可以具有任意类型的电子设备、知识图谱和服务器。
34.以下将结合图1，通过图2～图5对本公开提供的预测实体关系的方法进行详细描述。
35.图2是根据本公开实施例的预测实体关系的方法的流程示意图。
36.如图2所示，该实施例的预测实体关系的方法200可以包括操作s210～操作s220。
37.在操作s210，确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每
个实体关系的第二嵌入特征。
38.根据本公开的实施例，第一知识图谱可以表示多个实体及实体间的实体关系。例如，第一知识图谱可以通过多个节点来表示多个实体，通过连接节点的边表示两个实体之间的实体关系。其中，实体例如可以为药物、疾病、医生、症状等，也可以为演员、电影名、导演、电影题材等。可以理解的是，该实体可以根据实际需求进行设定，相应地，可以根据实体来确定实体关系的类型，本公开对此不做限定。例如，若第一知识图谱中的实体包括药物和疾病，则实体关系可以包括治疗关系。
39.根据本公开的实施例，可以通过从专业书籍、权威报道、杂志等多媒体信息中提取实体及实体间关系，从而得到多个三元组，随后基于该多个三元组可以构建得到第一知识图谱。其中，具有实体关系的两个实体及该两个实体之间的实体关系可以构成一个三元组。例如，一个三元组可以包括头实体h和尾实体t，该两个实体之间的实体关系可以用r来表示，在知识图谱中，表示r的连接边由表示h的节点指向表示t的节点。
40.根据本公开的实施例，可以采用transe算法等来确定第一嵌入特征和第二嵌入特征。其中，在transe算法中，实体及实体关系被映射到向量空间，实体和实体关系均可以采用向量表示。transe算法的主要思想是将三元组(h，r，t)中的关系等价于从表示头实体的向量到表示尾实体的向量的操作过程，该操作过程称为翻译。该transe算法通过衡量表示h的向量h与表示实体关系r的向量r相加得到的和，与表示t的向量t之间的距离，来使得三元组成立的可能性最大化，从而得到实体的嵌入特征和实体关系的嵌入特征。其中，h r与t之间的距离例如可以采用l1距离或l2距离。可以理解的是，该实施例还可以采用transh算法、transr算法等来得到实体的嵌入特征和实体关系的嵌入特征。
41.在操作s220，基于第一嵌入特征、第二嵌入特征和第一知识图谱，采用包括图神经网络的关系预测模型确定第一知识图谱中没有实体关系的两个目标实体之间的实体关系。
42.根据本公开的实施例，在第一知识图谱中表示该两个目标实体的两个节点之间没有连接边。该两个目标实体例如可以为两种不同类型的实体，也可以为相同类型的实体。例如，若第一知识图谱中的实体可以包括药物和疾病，则该两个目标实体中的一个实体可以为药物，另一个实体可以为疾病。
43.根据本公开的实施例，关系预测模型例如可以包括图神经网络和分类网络。该实施例可以将两个目标实体中每个目标实体的第一嵌入特征和第一知识图谱的结构信息输入图神经网络中，得到根据第一知识图谱中该每个目标实体的邻居实体表示的该每个目标实体的特征数据。即该图神经网络用于从第一知识图谱中提取该每个目标实体的特征。从而可以得到表示两个目标实体的两个特征数据。随后该实施例可以将该两个特征数据作为分类网络的输入，由分类网络输出两个目标实体具有实体关系的概率。若该概率大于阈值，则可以确定该两个目标实体具有实体关系。其中，第一知识图谱的结构信息可以通过以下方式得到：先为第一知识图谱中的各实体进行顺序编码，然后将顺序编码的实体采用第一嵌入特征表示，从而可以得到嵌入特征矩阵。嵌入特征矩阵中的每一行表示一个实体的一个第一嵌入特征。设定第一嵌入特征为n维的向量，第一知识图谱中的实体个数为m，则得到的嵌入特征矩阵的尺寸为n
×
m。随后可以根据顺序编码的实体中任意两个实体之间的实体关系，得到关系矩阵a，该关系矩阵a的尺寸为m
×
m。其中，关系矩阵中的元素a
ij
表示顺序编码的m个实体中，第i个实体与第j个实体之间的实体关系。若没有实体关系，则a
ij
为0。若第
一知识图谱中的实体关系有多种类型的情况下，可以通过为元素赋予不同的取值来表示不同类型的实体关系。
44.在一实施例中，若预测的实体关系有多种，则分类网络输出的概率为与多种实体关系一一对应的多个概率。该实施例可以从该多个概率中选择大于阈值的概率，并将大于阈值的概率对应的实体关系作为两个目标实体之间的实体关系。
45.例如，在两个目标实体中包括药物和疾病时，预测的实体关系可以包括治疗关系和反作用关系等。在药物重定向场景中，该预测的实体关系可以为治疗关系，通过该实体关系的预测，可以为已有的上市药物挖掘出潜在的药效，以使用旧药来治疗新疾病。这是由于上市药物已经具备完整的安全性和药代动力学数据，可以降低该新药效的开发风险。
46.根据本公开的实施例，图神经网络例如可以为图卷积神经网络，分类网络例如可以根据两个特征数据之间的相似度来确定两个目标实体是否存在实体关系。或者，该分类网络可以采用由多层感知器和softmax层相连接的结构等，本公开对此不做限定。
47.本公开实施例通过将知识图谱的嵌入表示和图神经网络相结合，可以在得到实体和实体关系的嵌入特征的基础上，经由图神经网络学习到实体的邻居实体的特征。相较于相关技术中的随机游走算法或最近距离法，通过该方式可以在预测实体关系时考虑多角度的信息，因此能够在一定程度上提高实体关系的预测精度，利于有效挖掘出实体之间的潜在关系。
48.图3是根据本公开实施例的确定两个目标实体之间的实体关系的原理示意图。
49.根据本公开的实施例，在进行关系预测时，例如可以仅预测两个目标实体之间是否具有目标实体关系。相应地，可以先根据该目标实体关系来从第一知识图谱中初筛出至少一个目标实体对，每个目标实体对中包括的两个实体可能具有目标实体关系。
50.例如，如图3所示，该实施例300在确定第一知识图谱中没有实体关系的两个目标实体之间的实体关系时，可以先从第一知识图谱中实体关系的第二嵌入特征310中挑选出目标实体关系的嵌入特征，并将该查找到的嵌入特征作为目标嵌入特征。例如，该实施例中，第一知识图谱中目标实体关系可以添加有标注。在得到第二嵌入特征310后，可以将第二嵌入特征中与添加有标识的实体关系对应的嵌入特征作为目标嵌入特征。
51.在得到目标嵌入特征320后，可以基于第一知识图谱中实体的第一嵌入特征和目标嵌入特征，确定第一知识图谱中的至少一个目标实体对。
52.例如，该实施例300可以针对表示每个实体的节点331，先从第一知识图谱330中挑选出与该节点没有通过边连接的其他节点，将该其他节点表示的实体作为候选实体332。然后将该每个实体的第一嵌入特征与目标嵌入特征相加，计算相加得到的特征和与每个候选实体的第一嵌入特征之间的距离。将与特征和的距离小于预定距离的第一嵌入特征所对应的每个候选实体作为与该每个实体可能具有目标实体关系的目标实体333，并与该每个实体构成一个目标实体对。其中，特征和与第一嵌入特征之间的距离可以采用l1距离或l2距离等表示。对于知识图谱中的每个实体，均可以通过上述流程，确定与该每个实体可能具有目标实体关系的目标实体。最终，该实施例可以对得到的所有目标实体对进行去重操作，得到至少一个目标实体对340。该至少一个目标实体对340中的每个目标实体对包括在第一知识图谱330中没有实体关系的两个目标实体。
53.在得到至少一个目标实体对后，可以基于该至少一个目标实体对和第一知识图
谱，采用关系预测模型确定每个目标实体对是否具有目标实体关系。
54.例如，在该实施例中，可以将第一知识图谱330的结构信息和每个目标实体对340的两个第一嵌入特征350输入关系预测模型360，由该关系预测模型360输出该每个目标实体对340中的两个实体具有目标实体关系的概率370。如此，针对至少一个目标实体对可以得到至少一个概率。在至少一个目标实体对为多个的情况下，该实施例可以将多个概率中取值较大的若干个概率对应的目标实体对作为具有实体关系的目标实体对。
55.图4是根据本公开另一实施例的确定两个目标实体之间的实体关系的原理示意图。
56.根据本公开的实施例，在得到至少一个目标实体对后，例如还可以基于该至少一个目标实体对来对第一知识图谱进行扩展，并基于扩展后的知识图谱来确定目标实体对是否具有目标实体关系。
57.例如，如图4所示，该实施例400中，第一知识图谱410中可以包括实体411～实体415，实体411与实体413之间具有实体关系，实体412与实体414之间、实体412与实体413之间及实体412与实体415之间均具有实体关系，实体414与实体415之间具有实体关系。
58.通过前述实施例得到的至少一个目标实体对中，包括由实体411与实体415构成的实体对、由实体411与实体412构成的实体对、由实体411与实体414构成的实体对、由实体413与实体414构成的实体对及由实体413与实体415构成的实体对。通过在第一知识图谱410中，添加连接表示每个实体对中两个实体的两个节点的边，可以完成对第一知识图谱410的扩展，得到扩展后的知识图谱420。
59.在得到扩展后的知识图谱420后，可以将每个目标实体对包括的两个目标实体的第一嵌入特征和扩展后的知识图谱420的结构信息输入到关系预测模型，由关系预测模型输出每个目标实体对中的两个目标实体具有目标实体关系的概率。
60.需要说明的是，在扩展后的知识图谱中，可以为表示实体关系的边添加权重。例如，对于第一知识图谱中存在的第一实体关系，表示该第一实体关系的边的权重可以为1。对于通过扩展第一知识图谱得到的第二实体关系，表示该第二实体关系的边(如图4中的虚线表示的边)的权重为小于1的预定值。该预定值可以为0.8、0.6等任意值，本公开对此不做限定。
61.该实施例通过扩展第一知识图谱，可以提高图神经网络提取的目标实体的特征的精度，并因此利于提高确定的目标实体关系的准确性。
62.根据本公开的实施例，可以基于构成第一知识图谱的每个三元组在第一知识图谱中的上下文信息，确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每个实体关系的第二嵌入特征。以此提高嵌入特征的表达能力，便于提高后续确定的实体关系的准确性。
63.该实施例可以根据每个三元组中两个实体在知识图谱中的位置，来确定每个三元组的上下文信息。
64.例如，可以将知识图谱中与头实体h连接的其他实体及与尾实体t连接的其他实体作为三元组的上下文信息。
65.例如，可以以头实体h为中心点，确定与该中心点连接的第一实体，然后以该第一实体为中心点，确定在远离实体h的方向上与第一实体连接的多个第二实体。将多个第二实
体连接围成的范围内所有的实体和实体关系作为每个三元组的上下文信息。可以理解的是，每次以实体为中心点确定连接的实体的过程为一次知识传播过程。该实施例可以将以头实体h为中心点，经过m次知识传播过程得到的实体和实体关系作为头实体h所属三元组的上下文信息。其中，m可以为根据实际需求设定的任意正整数。在知识传播过程中，例如可以仅沿连接边的指向方向传播，本公开对此不做限定。
66.在一实施例中，可以先采用前文描述的transe算法等来得到知识图谱中每个实体的初始嵌入特征和每个实体关系的初始嵌入特征。随后，可以将头实体h连接的其他实体的初始嵌入特征与头实体h的初始嵌入特征的加权特征，作为头实体h的第一嵌入特征。类似地，可以得到尾实体t的第一嵌入特征。实体关系的第二嵌入特征可以采用transe算法得到的初始嵌入特征。
67.在一实施例中，在得到每个三元组的上下文信息后，可以先根据该上下文信息，来确定每个三元组的成立概率。然后基于成立概率，最大化与成立概率相关联的目标函数，得到每个实体的第一嵌入特征和每个实体关系的第二嵌入特征。
68.例如，设定三元组(h，r，t)的上下文信息为c(h，r，t)，则可以采用以下分数函数(即公式(1))来表示该三元组的成立概率，该分数函数是给定上下文信息和知识图谱中所有元素的嵌入表示的条件概率。
69.f(h，r，t)＝p((h，r，t)|c(h，r，t)；θ)。
ꢀꢀꢀ
公式(1)
70.其中，f(h，r，t)为成立概率，θ为模型的参数，即所有实体与实体关系的向量。
71.在得到每个三元组的成立概率后，该实施例可以通过最大化以下目标函数(即公式(2))，来得到每个实体的嵌入特征和每个实体关系的嵌入特征：
72.p(k|θ)＝π
(h，r，t)∈k
f(h，r，t)。
ꢀꢀꢀꢀꢀꢀ
公式(2)
73.其中，p(k|θ)为目标函数，k为第一知识图谱中三元组的合集。
74.可以理解的是，上述基于成立概率和目标函数仅作为示例以利于理解本公开，本公开对此不做限定。
75.图5是根据本公开实施例的确定每个三元组的上下文信息的原理示意图。
76.根据本公开的实施例，在确定每个三元组的上下文信息时，可以先针对每个三元组中的头实体，确定第一知识图谱中头实体的目标邻居实体。同时，针对每个三元组中的两个实体，确定第一知识图谱中连接两个实体的路径集合。最后，基于目标邻居实体和所述路径集合，采用预定嵌入算法得到每个三元组的上下文信息。其中，预定嵌入算法可以为前文描述的transe算法等。
77.其中，对于第一知识图谱中连接表示头实体的节点的至少一个边中，自该表示头实体的节点引出的边所指向的节点为目标节点，该目标节点表示的实体即为该头实体的目标邻居实体。其中，连接两个实体的路径集合中，每个路径可以包括能够将两个实体联系起来的一个或多个实体关系。
78.根据本公开的实施例，如图5所示，在该实施例500，设定第一知识图谱中具有11个实体，即实体501～实体511，该第一知识图谱中有14个实体关系，即实体关系r1～实体关系r
14
。其中，14个实体关系中，可以具有多个相同的实体关系。
79.对于以实体504作为头实体，以实体501作为尾实体的三元组{实体504，r3，实体501}，确定的目标邻居实体可以包括实体501和实体509。为了避免路径集合过多，可以为将
两个实体联系起来的多个实体关系限定个数阈值，例如个数阈值为l。设定该l为3，则对于三元组{实体504，r3，实体501}，确定的路径集合可以包括路径r3、路径r
7-r
8-r4。
80.例如，实体h的目标邻居实体cn(e)可以采用以下公式(3)来表示：
[0081][0082]
例如，连接头实体h和尾实体t的路径集合可以采用以下公式(4)来表示：
[0083][0084]
其中，c
p
(h，t)为路径集合，g为第一知识图谱，pi为实体关系的序列，表示路径集合中每个路径所关联的实体。例如，对于前文描述的路径r
7-r
8-r4，所关联的实体包括实体505和实体506。
[0085]
在得到目标邻居实体和路径集合后，可以确定三元组、目标邻居实体和路径集合的并集。随后，该实施例可以采用预定嵌入算法来得到并集中每个实体的嵌入特征和每个边的嵌入特征。将用嵌入特征表示的并集作为三元组的上下文信息。
[0086]
基于本公开提供的预测实体关系的方法，本公开还提供了一种关系预测模型的训练方法，以下将结合图6对该方法进行详细描述。
[0087]
图6是根据本公开实施例的关系预测模型的训练方法的流程示意图。
[0088]
如图6所示，该实施例的关系预测模型的训练方法600可以包括操作s610～操作s640。
[0089]
在操作s610，确定第二知识图谱中每个实体的第三嵌入特征和第二知识图谱中每个实体关系的第四嵌入特征。
[0090]
根据本公开的实施例，该第二知识图谱可以与前文描述的第一知识图谱为同一知识图谱，或者可以为包括前文描述的目标实体关系的任意知识图谱。该操作s610的实现方式与前文描述的操作s210类似，在此不再赘述。
[0091]
在操作s620，基于第二知识图谱中的多个实体和实体间的实体关系，确定针对包括图神经网络的关系预测模型的样本数据。
[0092]
其中，该样本数据包括第二知识图谱中的两个实体的第三嵌入特征和两个实体的实际实体关系。
[0093]
根据本公开的实施例，可以根据需要预测的实体关系，从第二知识图谱中查找具有该预测的实体关系的两个实体，随后将该两个实体的两个第三嵌入特征和该预测的实体关系构成一个第一样本数据。该得到的第一样本数据为正样本。
[0094]
在一实施例中，还可以从第二知识图谱中查找不具有该预测的实体关系的两个实体，将该两个实体的两个第三嵌入特征构成一个第二样本数据，该第二样本数据中的实际实体关系为空。该得到的第二样本数据为负样本。或者，可以从第二知识图谱中查找具有除该预测的实体关系外其他实体关系的两个实体，将该两个实体的两个第三嵌入特征和其他实体关系构成一个第三样本数据，该得到的第三样本数据为负样本。
[0095]
通过同时设置正样本和负样本，可以提高关系预测模型的学习能力。
[0096]
在操作s630，基于样本数据和第二知识图谱，采用包括图神经网络的关系预测模型确定两个实体之间的预测实体关系。
[0097]
根据本公开的实施例，该操作s630具体可以是根据样本数据中的两个第三嵌入特征和第二知识图谱，采用包括图神经网络的关系预测模型确定两个实体之间的预测实体关系。该操作s630与前文描述的确定两个目标实体之间的实体关系的方法类似，在此不再赘述。确定的样本数据中两个实体之间的实体关系即为预测实体关系。
[0098]
在操作s640，基于预测实体关系和实际实体关系，对包括图神经网络的关系预测模型进行训练。
[0099]
根据本公开的实施例，可以基于预测实体关系和实际实体关系，确定关系预测模型的损失。通过最小化损失来对关系预测模型进行训练。其中，关系预测模型的损失例如可以采用交叉熵损失函数来表示。
[0100]
例如，交叉熵损失函数可以采用以下公式(5)来表示：
[0101][0102]
其中，f(si)为基于样本数据中的正样本，关系预测模型得到的具有实体关系的概率。f(sj)为基于样本数据中的负样本，关系预测模型得到的具有实体关系的概率。其中，around(si)为负样本的集合。
[0103]
基于本公开提供的预测实体关系的方法，本公开还提供了一种预测实体关系的装置。以下将结合图7对该装置进行详细描述。
[0104]
图7是根据本公开实施例的预测实体关系的装置的结构框图。
[0105]
如图7所示，该实施例的预测实体关系的装置700可以包括第一特征确定模块710和第一关系确定模块720。
[0106]
第一特征确定模块710用于确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每个实体关系的第二嵌入特征。在一实施例中，第一特征确定模块710可以用于执行前文描述的操作s210，在此不再赘述。
[0107]
第一关系确定模块720用于基于第一嵌入特征、第二嵌入特征和第一知识图谱，采用包括图神经网络的关系预测模型确定第一知识图谱中没有实体关系的两个目标实体之间的实体关系。在一实施例中，第一关系确定模块720可以用于执行前文描述的操作s220，在此不再赘述。
[0108]
根据本公开的实施例，上述第一关系确定模块720可以包括目标特征确定子模块、目标实体确定子模块和关系确定子模块。目标特征确定子模块用于确定第二嵌入特征中目标实体关系的嵌入特征，作为目标嵌入特征。目标实体确定子模块用于基于第一嵌入特征和目标嵌入特征，确定第一知识图谱中的至少一个目标实体对，其中，至少一个目标实体对中的每个目标实体对包括在第一知识图谱中没有实体关系的两个目标实体。关系确定子模块用于基于至少一个目标实体对和第一知识图谱，采用关系预测模型确定至少一对目标实体中的每个目标实体对是否具有目标实体关系。
[0109]
根据本公开的实施例，关系确定子模块可以包括图谱扩展单元和关系确定单元。图谱扩展单元用于基于至少一个目标实体对扩展第一知识图谱，得到扩展后的知识图谱。关系确定单元用于基于每个目标实体对包括的两个目标实体的第一嵌入特征和扩展后的
知识图谱，确定每个目标实体对是否具有目标实体关系。
[0110]
根据本公开的实施例，上述第一特征确定模块710具体可以用于基于构成第一知识图谱的每个三元组在第一知识图谱中的上下文信息，确定第一知识图谱中每个实体的第一嵌入特征和第一知识图谱中每个实体关系的第二嵌入特征。
[0111]
根据本公开的实施例，预测实体关系的装置700还可以包括邻居实体确定模块、路径集合确定模块和信息确定模块。邻居实体确定模块用于针对每个三元组中的头实体，确定第一知识图谱中头实体的目标邻居实体。路径集合确定模块用于针对每个三元组中的两个实体，确定第一知识图谱中连接两个实体的路径集合。路径集合确定模块用于针对每个三元组中的两个实体，确定第一知识图谱中连接两个实体的路径集合。
[0112]
根据本公开的实施例，上述第一特征确定模块710可以包括概率确定子模块和特征确定子模块。概率确定子模块用于基于每个三元组的上下文信息，确定每个三元组的成立概率。特征确定子模块用于基于成立概率，最大化与成立概率相关联的目标函数，得到每个实体的第一嵌入特征和每个实体关系的第二嵌入特征。
[0113]
基于本公开提供的关系预测模型的训练方法，本公开还提供了一种关系预测模型的训练装置。以下将结合图8对该装置进行详细描述。
[0114]
图8是根据本公开实施例的关系预测模型的训练装置的结构框图。
[0115]
如图8所示，该实施例的关系预测模型的训练装置800可以包括第二特征确定模块810、样本数据确定模块820、第二关系确定模块830和模型训练模块840。
[0116]
第二特征确定模块810用于确定第二知识图谱中每个实体的第三嵌入特征和所述第二知识图谱中每个实体关系的第四嵌入特征。在一实施例中，第二特征确定模块810可以用于执行前文描述的操作s610，在此不再赘述。
[0117]
样本数据确定模块820用于基于第二知识图谱中的多个实体和实体间的实体关系，确定针对包括图神经网络的关系预测模型的样本数据。该样本数据包括第二知识图谱中的两个实体的第三嵌入特征和两个实体的实际实体关系。在一实施例中，样本数据确定模块820例如可以用于执行前文描述的操作s620，在此不再赘述。
[0118]
第二关系确定模块830用于基于样本数据和第二知识图谱，采用包括图神经网络的关系预测模型确定两个实体之间的预测实体关系。在一实施例中，第二关系确定模块830可以用于执行前文描述的操作s630，在此不再赘述。
[0119]
模型训练模块840可以用于基于预测实体关系和实际实体关系，对包括图神经网络的关系预测模型进行训练。在一实施例中，模型训练模块840可以用于执行前文描述的操作s640，在此不再赘述。
[0120]
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0121]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0122]
图9示出了可以用来实施本公开实施例的预测实体关系的方法和/或关系预测模型的训练方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字
处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0123]
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0124]
设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0125]
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如预测实体关系的方法和/或关系预测模型的训练方法。例如，在一些实施例中，预测实体关系的方法和/或关系预测模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的预测实体关系的方法和/或关系预测模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预测实体关系的方法和/或关系预测模型的训练方法。
[0126]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0127]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0128]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0129]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0130]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0131]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(
″
virtual private server
″
，或简称
″
vps
″
)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0132]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0133]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。