一种路径的向量化表征方法、装置、计算设备及存储介质与流程

1.本技术实施例涉及知识图谱领域，尤其涉及一种路径的向量化表征方法、装置、计算设备及存储介质。


背景技术：

2.知识图谱是一种基于有向图结构的知识库，可以描述真实世界中存在的各种实体及其关系。知识图谱嵌入技术(即知识的向量化表征)，将知识中的实体和关系映射到向量空间，从而应用于各种任务中，例如：可采用知识图谱支撑问答引擎。
3.相关技术中，通过提取用户输入的路径(知识)中实体和关系维度的语义信息，得到该路径所对应的向量，用该向量来表征输入路径(进行知识图谱嵌入)。
4.然而，上述方案仅提取路径中实体和关系这一维度的语义信息，得到的向量难以精准表示对应的路径的语义。


技术实现要素：

5.本技术实施例提供了一种路径的向量化表征方法、装置、计算设备及存储介质，用以精准地对路径进行向量化表征。
6.第一方面，本技术实施例提供了一种路径的向量化表征方法，该方法包括：
7.确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码；其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的；
8.将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量。
9.上述技术方案中，通过确定待嵌入路径的字段维度的第一输入编码以及字符维度的第二输入编码；进而通过双流架构的嵌入模型融合字段和字符两个维度的特征，基于上述两个维度进行语义提取，所得到的目标向量能够精准地表征待嵌入路径的语义。
10.可选地，所述嵌入模型包括m层图谱嵌入注意力编码器；将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量，包括：
11.通过第n层图谱嵌入注意力编码器，将第(n
‑
1)个字段维度的向量以及第(n
‑
1)个字符维度的向量进行特征融合，得到第n个字段维度的向量以及第n个字符维度的向量；若n＝1，则第(n
‑
1)个字段维度的向量为所述第一输入编码，第(n
‑
1)个字符维度的向量为所述第二输入编码；
12.若n为1到(m
‑
1)之间的正整数，则将所述第n个字段维度的向量以及第n个字符维度的向量输出至第(n 1)层图谱嵌入注意力编码器；若n＝m，则从所述第n个字段维度的向量中选择目标位置的子向量作为所述目标向量。
13.上述技术方案中，通过设置多层图谱嵌入注意力编码器，每一层图谱嵌入注意力编码器均会对字段维度的向量与字符维度的向量之间进行特征融合，充分基于上述两个维度进行语义提取，从而使最后一层图谱嵌入注意力编码器输出的字段维度的向量的目标位置的子向量，能够更加精准地表征待嵌入路径的语义。
14.可选地，将第(n
‑
1)个字段维度的向量以及第(n
‑
1)个字符维度的向量进行特征融合，得到第n个字段维度的向量以及第n个字符维度的向量，包括：
15.将第(n
‑
1)个字符维度的向量经过注意力层运算，得到第n个字符维度的中间特征；对第n个字符维度的中间特征进行全连接层运算，得到第n个字符维度的向量；以及
16.基于对第(n
‑
1)个字符维度的向量进行降维处理得到的降维向量，对第(n
‑
1)个字段维度的向量进行调整，得到第n个调整向量；对第n个调整向量进行注意力层运算，得到第n个字段维度的中间特征；对第n个字段维度的中间特征进行全连接层运算，得到第n个字段维度的向量。
17.上述技术方案中，各层图谱嵌入注意力编码器通过对该层接收的字符维度的向量进行注意力层以及全连接层运算，得到输出至下一层的字符维度的向量；通过对该层接收的字符维度的向量进行降维处理，得到与字段维度的向量维数匹配的降维向量，并基于该降维向量对该层接收的字段维度的向量进行调整，从而对实现了特征融合的调整向量，进行注意力层以及全连接层运算，得到特征融合后的字段维度的向量。
18.可选地，通过以下方式得到所述待嵌入路径中的任一字段的输入编码：
19.根据预设的字段与编码的对应关系，确定所述字段所对应的字段编码；
20.根据所述字段的字段编码，以及表征所述字段在所述待嵌入路径中位置的编码，得到所述字段的输入编码。
21.上述技术方案中，由于各字段的字段编码表征了对应字段的语义，各字段的位置的编码表征了对应字段在待嵌入路径中的位置，因此，通过上述方式得到字段的输入编码，同时表征了该字段的语义以及在待嵌入路径中位置，从而使后续较好地学习该字段的特征。
22.可选地，通过以下方式得到所述待嵌入路径中的任一字符的输入编码：
23.根据所述字符在自然语言中的编码，以及表征所述字符在所述待嵌入路径中位置的编码，得到所述字符的输入编码。
24.上述技术方案中，由于各字符在自然语言中的编码表征了对应字符的语义，各字符的位置的编码表征了对应字符在待嵌入路径中的位置，因此，通过上述方式得到字符的输入编码，同时表征了该字符的语义以及在待嵌入路径中位置，从而使后续较好地学习该字符的特征。
25.可选地，所述待嵌入路径为单跳路径或者多跳路径。
26.上述技术方案中，待嵌入路径既可以为单跳路径，也可以为多跳路径，从而更加灵活地嵌入不同形式的路径。
27.可选地，在得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量之后，还包括：
28.在确定所述目标向量与目标图谱中已有的各路径的语义向量的相似度均低于相似度阈值后，将所述待嵌入路径加入所述目标图谱。
29.上述技术方案中，在得到上述目标向量后就完成了待嵌入路径的嵌入过程，由于目标向量表征了待嵌入路径的语义，因此，在目标图谱需要添加该路径时，先确定该路径对应的目标向量与目标图谱中已有的各路径的语义向量的相似度均低于相似度阈值，即确定上述待嵌入路径的语义与目标图谱中已有的各路径的语义均不相似，才会将该路径加入目标图谱，避免了将语义相似的路径重复加入到目标图谱中。
30.第二方面，本技术实施例还提供了一种路径的向量化表征装置，包括：
31.编码确定模块，用于确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码；其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的；
32.向量确定模块，用于将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量。
33.第三方面，本技术实施例提供一种计算设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述第一方面任一所述的路径的向量化表征方法。
34.第四方面，本技术实施例提供一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述第一方面任一所述的路径的向量化表征方法。
35.另外，第二至四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
附图说明
36.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例提供的第一种路径的向量化表征方法的流程示意图；
38.图2为本技术实施例提供的嵌入模型的输入输出示意图；
39.图3为本技术实施例提供的嵌入模型的架构示意图；
40.图4为本技术实施例提供的第二种路径的向量化表征方法的流程示意图；
41.图5为本技术实施例提供的图谱嵌入注意力编码器的架构示意图；
42.图6为本技术实施例提供的路径的向量化表征装置的结构示意图；
43.图7为本技术实施例提供的计算设备的结构示意图。
具体实施方式
44.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
45.本技术实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
46.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个器件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
47.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
48.本实施例中的术语“路径”指代知识；
49.本实施例中的术语“向量化表征”就是对应路径/知识的嵌入；
50.本实施例中的术语“待嵌入路径”，也就是需要进行向量化表征的路径/知识。
51.知识图谱嵌入技术(即知识的向量化表征)，将知识中的实体和关系映射到向量空间，从而应用于各种任务中，例如：可采用知识图谱支撑问答引擎。
52.一些实施例中，通过提取用户输入的路径(知识)中实体和关系维度的语义信息，得到该路径所对应的向量，用该向量来表征路径(进行知识图谱嵌入)。如用户输入单跳路径(三元组)“太阳
‑
星体属性
‑
恒星”，通过提取“太阳”、“星体属性”以及“恒星”的语义信息，得到该路径所对应的向量。
53.然而，上述方案仅提取路径中实体和关系这一维度的语义信息，得到的向量难以精准表示对应的路径的语义。
54.鉴于此，本技术实施例提出一种路径的向量化表征方法、装置、计算设备及存储介质，该方法包括：确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码；其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的；将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量。通过双流架构的嵌入模型融合字段和字符两个维度的特征，基于上述两个维度进行语义提取，所得到的目标向量能够精准地表征待嵌入路径的语义。
55.下面将结合附图及具体实施例，对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
56.本技术实施例提供第一种路径的向量化表征方法，如图1所示，包括以下步骤：
57.步骤s101：确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码。
58.其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的。
59.本实施例，对上述待嵌入路径的具体实现形式不做限定，示例性的：
60.1)待嵌入路径可以为单跳路径，即待嵌入路径的实现形式为三元组，由头部的实体字段、中间的关系字段以及尾部的实体字段组成。例如路径为“太阳(实体字段)
‑
星体属性(关系字段)
‑
恒星(实体字段)”。
61.2)待嵌入路径也可以为多跳路径，即待嵌入路径的实现形式为五元组、七元组、九元组等，由头部的实体字段、中间的多个关系字段、中间的由关系字段连接的实体字段以及尾部的实体字段组成。以五元组为例，路径结构为“实体1
‑
关系1
‑
实体2
‑
关系2
‑
实体3”；以七元组为例，路径结构为“实体1
‑
关系1
‑
实体2
‑
关系2
‑
实体3
‑
关系3
‑
实体4”，此处不再一一举例说明。
62.上述第一输入编码是根据待嵌入路径中的所有字段的输入编码确定的，也就是说将待嵌入路径以字段维度进行拆分(将待嵌入路径拆分为多个字段)，根据所有字段的输入编码确定第一输入编码，如：将各字段的输入编码按照在待嵌入路径中位置排列，得到第一输入编码。
63.上述第二输入编码是根据待嵌入路径中的所有字符的输入编码确定的，也就是说将待嵌入路径以字符维度进行拆分(将待嵌入路径拆分为多个字符)，根据所有字符的输入编码确定第二输入编码，如：将各字符的输入编码按照在待嵌入路径中位置排列，得到第二输入编码。
64.步骤s102：将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量。
65.参阅图2所示，本实施例中采用的嵌入模型为双流架构的模型，将第一输入编码作为该嵌入模型的一流输入，第二输入编码作为该嵌入模型的另外一流输入，通过该嵌入模型融合字段和字符两个维度的特征，输出的表征待嵌入路径语义的目标向量。
66.本实施例对上述嵌入模型的具体实现不做限定，如可采用双流架构的transformer模型。
67.上述技术方案中，通过确定待嵌入路径的字段维度的第一输入编码以及字符维度的第二输入编码；进而通过双流架构的嵌入模型融合字段和字符两个维度的特征，基于上述两个维度进行语义提取，所得到的目标向量能够精准地表征待嵌入路径的语义。
68.本实施例对上述得到待嵌入路径的字段和字符的方式不做具体限定，以待嵌入路径的实现形式为三元组(“实体1
‑
关系1
‑
实体2)，实体1包含字符11以及字符12，关系1包含字符21、字符22、字符23以及字符24，实体2包含字符31以及字符32为例：
69.使用第一分隔符[seg1]对“实体
‑
关系”进行分隔，使用第二分隔符[seg2]对“关系
‑
实体”进行分隔，通过这种方式将上述三元组转化为“实体1[seg1]关系1[seg2]实体2”形式的字符串，该字符串记作p；
[0070]
通过定位p中的第一分隔符的位置以及第二分隔符的位置，依次提取字段得到实体1、关系1以及实体2，在头部位置插入[cls]token，在末尾插入[sep]token，得到包含待嵌入路径的各字段，且字段有序排列的集合e；
[0071]
通过定位p中的第一分隔符的位置以及第二分隔符的位置，将p按字符顺序进行切分，依次提取字符得到字符11、字符12、字符21、字符22、字符23、字符24、字符31以及字符32，在头部位置插入[cls]token，在末尾插入[sep]token，得到包含待嵌入路径的各字符，
且字符有序排列的集合s。
[0072]
一些可选的实施方式中，可通过但不限于以下方式得到上述待嵌入路径中的任一字段的输入编码：
[0073]
根据预设的字段与编码的对应关系，确定所述字段所对应的字段编码；
[0074]
根据所述字段的字段编码，以及表征所述字段在所述待嵌入路径中位置的编码，得到所述字段的输入编码。
[0075]
本实施例对表征字段在待嵌入路径中位置的编码的具体实现方式不做限定，例如该编码为与字段编码维数相同，且包含对应字段在待嵌入路径中的次序。实施中，可以根据实际应用场景，根据上述两个编码得到对应字段的输入编码。示例性的：
[0076]
预先抽取图谱中所有的路径的字段，建立字段与编码的对应关系；基于该对应关系，确定待嵌入路径中的字段所对应的字段编码，将字段所对应的字段编码与其位置的编码相加，得到该字段的输入编码，将待嵌入路径的各字段的输入编码按照在待嵌入路径中位置排列，得到第一输入编码e0。
[0077]
上述实施例，由于各字段的字段编码表征了对应字段的语义，各字段的位置的编码表征了对应字段在待嵌入路径中的位置，因此，通过上述方式得到字段的输入编码，同时表征了该字段的语义以及在待嵌入路径中位置，从而使后续较好地学习该字段的特征。
[0078]
一些可选的实施方式中，可通过但不限于以下方式得到所述待嵌入路径中的任一字符的输入编码：
[0079]
根据所述字符在自然语言中的编码，以及表征所述字符在所述待嵌入路径中位置的编码，得到所述字符的输入编码。
[0080]
本实施例对表征字符在待嵌入路径中位置的编码的具体实现方式不做限定，例如该编码为与字符编码维数相同，且包含对应字符在待嵌入路径中的次序。实施中，可以根据实际应用场景，根据上述两个编码得到对应字符的输入编码。示例性的：
[0081]
获取自然语言中的字符与编码的对应关系；基于该对应关系，确定待嵌入路径中的字符所对应的字符编码，将字符所对应的字符编码与其位置的编码相加，得到该字符的输入编码，将待嵌入路径的各字符的输入编码按照在待嵌入路径中位置排列，得到第二输入编码s0。
[0082]
上述实施例，由于各字符在自然语言中的编码表征了对应字符的语义，各字符的位置的编码表征了对应字符在待嵌入路径中的位置，因此，通过上述方式得到字符的输入编码，同时表征了该字符的语义以及在待嵌入路径中位置，从而使后续较好地学习该字符的特征。
[0083]
一些实施例中，嵌入模型包括多层图谱嵌入注意力编码器，图3所示的嵌入模型包括m层图谱嵌入注意力编码器。基于该嵌入模型，本技术实施例提供了第二种路径的向量化表征方法，如图4所示，包括以下步骤：
[0084]
步骤s401：确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码。
[0085]
其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的。
[0086]
该步骤s401的具体实现方式可参照上述实施例，此处不再赘述。
[0087]
步骤s402：将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，通过第n层图谱嵌入注意力编码器，将第(n
‑
1)个字段维度的向量以及第(n
‑
1)个字符维度的向量进行特征融合，得到第n个字段维度的向量以及第n个字符维度的向量。
[0088]
若n＝1，则第(n
‑
1)个字段维度的向量为所述第一输入编码，第(n
‑
1)个字符维度的向量为所述第二输入编码。
[0089]
也就是说，第一输入编码作为第一层图谱嵌入注意力编码器中字段维度的输入，第二输入编码作为第一层图谱嵌入注意力编码器中字符维度的输入；第一层图谱嵌入注意力编码器将第一输入编码以及第二输入编码进行特征融合，得到第1个字段维度的向量以及第1个字符维度的向量；
[0090]
第二层图谱嵌入注意力编码器将上述第1个字段维度的向量以及第1个字符维度的向量进行特征融合，得到第2个字段维度的向量以及第2个字符维度的向量；
[0091]
其余的图谱嵌入注意力编码器与上述处理方式类似，此处不再赘述。
[0092]
一些可选的实施方式中，第n层图谱嵌入注意力编码器可通过但不限于如下方式进行特征融合：
[0093]
将第(n
‑
1)个字符维度的向量经过注意力层运算，得到第n个字符维度的中间特征；对第n个字符维度的中间特征进行全连接层运算，得到第n个字符维度的向量；以及
[0094]
基于对第(n
‑
1)个字符维度的向量进行降维处理得到的降维向量，对第(n
‑
1)个字段维度的向量进行调整，得到第n个调整向量；对第n个调整向量进行注意力层运算，得到第n个字段维度的中间特征；对第n个字段维度的中间特征进行全连接层运算，得到第n个字段维度的向量。
[0095]
任一层图谱嵌入注意力编码器均为双流架构，具体架构可参阅图5所示，第n层图谱嵌入注意力编码器包含字符维度对应的第二注意力层以及第二全连接层；以及字段维度对应的融合全连接层、第一注意力层以及第一全连接层。
[0096]
下面基于图5所示的架构，对第n层图谱嵌入注意力编码器进行特征融合的过程进行示例性说明：
[0097]
字符维度
[0098]
1)通过第二注意力层对第(n
‑
1)个字符维度的向量s
n
‑1经过注意力层运算，得到第n个字符维度的中间特征s
′
n
。具体的，s
′
n
＝s
n
‑1 norm[selfatt(s
n
‑1)]；其中，selfatt为注意力运算，norm为归一化运算。
[0099]
2)通过第二全连接层对s
′
n
进行全连接层运算，得到第n个字符维度的向量s
n
。具体的，s
n
＝s
′
n
norm[fc(s
′
n
)]；其中，fc为全连接运算(多层感知运算)，norm为归一化运算。
[0100]
字段维度
[0101]
1)通过融合全连接层，基于对s
n
‑1进行降维处理得到的降维向量，对第(n
‑
1)个字段维度的向量e
n
‑1进行调整，得到第n个调整向量e
n
。具体的，e
n
＝e
n
‑1 vec(s
n
‑1)*w
n
b
n
；其中，vec(s
n
‑1)为上述降维向量，w
n
为第n层图谱嵌入注意力编码器对应的权重矩阵，b
n
为第n层图谱嵌入注意力编码器对应的偏置矩阵。
[0102]
由于待嵌入路径中每个字段都对应了一个或者多个字符，因此字段维度的向量与字符维度的向量维数不匹配，无法直接进行特征融合。基于此，本实施例通过对字符维度的
向量进行降维处理，使字段维度的向量与字符维度的向量维数匹配，从而实现字段维度的向量与字符维度的向量的特征融合。
[0103]
2)通过第一注意力层对e
n
进行注意力层运算，得到第n个字段维度的中间特征e
′
n
。具体的，e
′
n
＝e
n
norm[selfatt(e
n
)]。
[0104]
3)通过第一全连接层对e
′
n
进行全连接层运算，得到第n个字段维度的向量e
n
。具体的，e
n
＝e
′
n
norm[fc(e
′
n
)]。
[0105]
上述对第n层图谱嵌入注意力编码器进行特征融合的过程只是示例性说明，本技术并不以此为限。
[0106]
步骤s403：若n为1到(m
‑
1)之间的正整数，则将所述第n个字段维度的向量以及第n个字符维度的向量输出至第(n 1)层图谱嵌入注意力编码器；若n＝m，则从所述第n个字段维度的向量中选择目标位置的子向量作为所述目标向量。
[0107]
如上所述，除第一层图谱嵌入注意力编码器之外的图谱嵌入注意力编码器，会将上一层图谱嵌入注意力编码器所得到的字段维度的向量以及字符维度的向量进行特征融合，基于此，除最后一层图谱嵌入注意力编码器之外的图谱嵌入注意力编码器，需要将经过特征融合所得到的字段维度的向量以及字符维度的向量输出至下一层图谱嵌入注意力编码器。
[0108]
另外，最后一层图谱嵌入注意力编码器中，经过特征融合得到字段维度的向量，基于此，从最后一层图谱嵌入注意力编码器输出的字段维度的向量中选择目标位置的子向量，该子向量能够精准地表征待嵌入路径的语义。
[0109]
示例性的，第一输入编码作为第一层图谱嵌入注意力编码器中字段维度的输入，第二输入编码作为第一层图谱嵌入注意力编码器中字符维度的输入；第一层图谱嵌入注意力编码器将第一输入编码以及第二输入编码进行特征融合，得到第1个字段维度的向量以及第1个字符维度的向量，并将该第1个字段维度的向量以及第1个字符维度的向量输出至第二层图谱嵌入注意力编码器；
[0110]
第二层图谱嵌入注意力编码器将上述第1个字段维度的向量以及第1个字符维度的向量进行特征融合，得到第2个字段维度的向量以及第2个字符维度的向量，并将该第2个字段维度的向量以及第2个字符维度的向量输出至第三层图谱嵌入注意力编码器；
[0111]
其余的图谱嵌入注意力编码器与上述处理方式类似，直到第m层图谱嵌入注意力编码器将第(m
‑
1)个字段维度的向量以及第(m
‑
1)个字符维度的向量进行特征融合，得到第m个字段维度的向量。第m个字段维度的向量为m*n矩阵，选择目标位置的子向量(如[cls]token对应的子向量，为1*n矩阵)，作为目标向量。
[0112]
可以理解，上述第m层图谱嵌入注意力编码器可以与其他层图谱嵌入注意力编码器架构相同；也可以只设置字段维度对应的融合全连接层、第一注意力层以及第一全连接层，不设置字符维度对应的第二注意力层以及第二全连接层，本实施例对此不做具体限定。
[0113]
上述技术方案中，通过设置多层图谱嵌入注意力编码器，在每一层图谱嵌入注意力编码器均会对字段维度的向量与字符维度的向量之间进行特征融合，充分基于上述两个维度进行语义提取，从而使最后一层图谱嵌入注意力编码器输出的字段维度的向量的目标位置的子向量，能够更加精准地表征待嵌入路径的语义。
[0114]
在得到上述目标向量后就完成了待嵌入路径的嵌入过程，一些可选的实施方式
中，可将上述目标向量返回前端界面或应用程序接口(application programming interface，api)。
[0115]
另外，在完成了路径的嵌入后，可以基于嵌入的路径应用于各种任务中，下面以三个具体的实施例进行说明。
[0116]
实施例1、目标图谱扩充：
[0117]
在确定所述目标向量与目标图谱中已有的各路径的语义向量的相似度均低于相似度阈值后，将所述待嵌入路径加入所述目标图谱。
[0118]
示例性的，目标图谱为需要扩充知识(路径)的图谱，完成了待嵌入路径的嵌入后，如果需要将上述待嵌入路径加入目标图谱，先对比目标图谱中已有路径的语义向量和目标向量的相似度，判断该路径是否与已有路径重复。例如目标图谱中已有“糖尿病
‑
症状
‑
消瘦”，需要引入“糖尿病
‑
症状
‑
体重下降”，两者语义向量的相似度超过了相似度阈值；为了避免将语义相似的路径重复加入到目标图谱中，不再将“糖尿病
‑
症状
‑
体重下降”引入目标图谱。
[0119]
上述技术方案中，在得到上述目标向量后就完成了待嵌入路径的嵌入过程，由于目标向量表征了待嵌入路径的语义，因此，在目标图谱需要添加该路径时，先确定该路径对应的目标向量与目标图谱中已有的各路径的语义向量的相似度均低于相似度阈值，即确定上述待嵌入路径的语义与目标图谱中已有的各路径的语义均不相似，才会将该路径加入目标图谱，避免了将语义相似的路径重复加入到目标图谱中。
[0120]
实施例2、基于图谱知识进行路径的真假判断：
[0121]
通过上述嵌入模型确定待判定路径的语义向量，将待判定路径的语义向量输入到全连接层和softmax层，进行0/1分类，直接确定该待判定路径的真假；或者将待判定路径的语义向量输入到评分函数，得到待判定路径的置信度，基于待判定路径的置信度以及置信度阈值可以确定待判定路径的真假，例如待判定路径的置信度超过置信度阈值，确定待判定路径为真；待判定路径的置信度低于置信度阈值，确定待判定路径为假。
[0122]
实施例3、基于图谱知识进行知识推断：
[0123]
对于待补全路径，缺失部分实体字段或者关系字段，将待补全路径添加到图谱知识中，得到缺失的实体字段或者关系字段。
[0124]
基于相同的发明构思，本技术实施例提供一种路径的向量化表征装置，参阅图6所示，路径的向量化表征装置600包括：
[0125]
编码确定模块601，用于确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码；其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的；
[0126]
向量确定模块602，用于将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量。
[0127]
可选地，所述嵌入模型包括m层图谱嵌入注意力编码器；向量确定模块602，具体用于：
[0128]
通过第n层图谱嵌入注意力编码器，将第(n
‑
1)个字段维度的向量以及第(n
‑
1)个字符维度的向量进行特征融合，得到第n个字段维度的向量以及第n个字符维度的向量；若n
＝1，则第(n
‑
1)个字段维度的向量为所述第一输入编码，第(n
‑
1)个字符维度的向量为所述第二输入编码；
[0129]
若n为1到(m
‑
1)之间的正整数，则所述向量确定模块602还用于：
[0130]
将所述第n个字段维度的向量以及第n个字符维度的向量输出至第(n 1)层图谱嵌入注意力编码器；
[0131]
若n＝m，则所述向量确定模块602还用于：
[0132]
从所述第n个字段维度的向量中选择目标位置的子向量作为所述目标向量。
[0133]
可选地，向量确定模块602，具体用于：
[0134]
将第(n
‑
1)个字符维度的向量经过注意力层运算，得到第n个字符维度的中间特征；对第n个字符维度的中间特征进行全连接层运算，得到第n个字符维度的向量；以及
[0135]
基于对第(n
‑
1)个字符维度的向量进行降维处理得到的降维向量，对第(n
‑
1)个字段维度的向量进行调整，得到第n个调整向量；对第n个调整向量进行注意力层运算，得到第n个字段维度的中间特征；对第n个字段维度的中间特征进行全连接层运算，得到第n个字段维度的向量。
[0136]
可选地，编码确定模块601用于通过以下方式得到所述待嵌入路径中的任一字段的输入编码：
[0137]
根据预设的字段与编码的对应关系，确定所述字段所对应的字段编码；
[0138]
根据所述字段的字段编码，以及表征所述字段在所述待嵌入路径中位置的编码，得到所述字段的输入编码。
[0139]
可选地，编码确定模块601用于通过以下方式得到所述待嵌入路径中的任一字符的输入编码：
[0140]
根据所述字符在自然语言中的编码，以及表征所述字符在所述待嵌入路径中位置的编码，得到所述字符的输入编码。
[0141]
可选地，所述待嵌入路径为单跳路径或者多跳路径。
[0142]
可选地，所述向量确定模块602在得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量之后，还用于：
[0143]
在确定所述目标向量与目标图谱中已有的各路径的语义向量的相似度均低于相似度阈值后，将所述待嵌入路径加入所述目标图谱。
[0144]
由于该装置即是本技术实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
[0145]
基于相同的技术构思，本技术实施例还提供了一种计算设备700，如图7所示，包括至少一个处理器701，以及与至少一个处理器连接的存储器702，本技术实施例中不限定处理器701与存储器702之间的具体连接介质，图7中处理器701和存储器702之间通过总线703连接为例。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0146]
其中，处理器701是计算设备的控制中心，可以利用各种接口和线路连接计算设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，从而实现数据处理。可选的，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序
等，调制解调处理器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
[0147]
处理器701可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合路径的向量化表征方法实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0148]
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
[0149]
在本技术实施例中，存储器702存储有计算机程序，当该程序被处理器701执行时，使得处理器701执行：
[0150]
确定待嵌入路径的字段维度的第一输入编码，以及所述待嵌入路径的字符维度的第二输入编码；其中，所述第一输入编码是根据所述待嵌入路径中的所有字段的输入编码确定的，所述待嵌入路径中的字段包括实体字段和/或关系字段；所述第二输入编码是根据所述待嵌入路径中的所有字符的输入编码确定的；
[0151]
将所述第一输入编码以及所述第二输入编码输入双流架构的嵌入模型，得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量。
[0152]
可选地，所述嵌入模型包括m层图谱嵌入注意力编码器；所述处理器701具体执行：
[0153]
通过第n层图谱嵌入注意力编码器，将第(n
‑
1)个字段维度的向量以及第(n
‑
1)个字符维度的向量进行特征融合，得到第n个字段维度的向量以及第n个字符维度的向量；若n＝1，则第(n
‑
1)个字段维度的向量为所述第一输入编码，第(n
‑
1)个字符维度的向量为所述第二输入编码；
[0154]
若n为1到(m
‑
1)之间的正整数，则处理器701具体执行：
[0155]
将所述第n个字段维度的向量以及第n个字符维度的向量输出至第(n 1)层图谱嵌入注意力编码器；
[0156]
若n＝m，则处理器701具体执行：
[0157]
从所述第n个字段维度的向量中选择目标位置的子向量作为所述目标向量。
[0158]
可选地，所述处理器701具体执行：
[0159]
将第(n
‑
1)个字符维度的向量经过注意力层运算，得到第n个字符维度的中间特
征；对第n个字符维度的中间特征进行全连接层运算，得到第n个字符维度的向量；以及
[0160]
基于对第(n
‑
1)个字符维度的向量进行降维处理得到的降维向量，对第(n
‑
1)个字段维度的向量进行调整，得到第n个调整向量；对第n个调整向量进行注意力层运算，得到第n个字段维度的中间特征；对第n个字段维度的中间特征进行全连接层运算，得到第n个字段维度的向量。
[0161]
可选地，所述处理器701还执行：
[0162]
根据预设的字段与编码的对应关系，确定所述字段所对应的字段编码；
[0163]
根据所述字段的字段编码，以及表征所述字段在所述待嵌入路径中位置的编码，得到所述字段的输入编码。
[0164]
可选地，所述处理器701还执行：
[0165]
根据所述字符在自然语言中的编码，以及表征所述字符在所述待嵌入路径中位置的编码，得到所述字符的输入编码。
[0166]
可选地，所述待嵌入路径为单跳路径或者多跳路径。
[0167]
可选地，所述处理器701在得到所述嵌入模型输出的表征所述待嵌入路径语义的目标向量之后，还执行：
[0168]
在确定所述目标向量与目标图谱中已有的各路径的语义向量的相似度均低于相似度阈值后，将所述待嵌入路径加入所述目标图谱。
[0169]
由于该计算设备即是本技术实施例中的方法中的计算设备，并且该计算设备解决问题的原理与该方法相似，因此该计算设备的实施可以参见方法的实施，重复之处不再赘述。
[0170]
基于相同的技术构思，本技术实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述路径的向量化表征方法的步骤。
[0171]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0172]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0173]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0174]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0175]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0176]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。