一种超关系知识图谱的条件双视图特征融合补全方法

本发明属于知识图谱数据处理，具体涉及一种超关系知识图谱的条件双视图特征融合补全方法。

背景技术：

1、知识图谱通常以三元组的形式记录事实，一条三元组由头实体、关系与尾实体构成。知识图谱补全的任务是在给定其中两个成分的条件下为缺失成分的候选排序，例如给定头实体与关系后为候选尾实体排序。transe、distmult、complex与rotate等模型分别从向量平移、双线性分解、复数空间与关系旋转的角度建立三元组打分函数。这类模型的输入只有主三元组，不含事实成立所依赖的附加条件。

2、现实知识具有明显的条件性。人物任职关系受任期起止时间限制，组织隶属关系受行政区划与年代约束，实验结论依赖测量条件与信息来源。若只保留主三元组，同一头实体与同一主关系在不同条件下成立的多条事实会被压缩为同一份结构表示，模型对同一查询只能给出一份候选排序，条件信息完全不参与决策，由此产生语义混淆。超关系知识图谱在主三元组之外附加若干由限定符关系与限定符值构成的限定符对，把一条事实表示为主三元组与限定符集合的组合，限定符集合用于描述时间、地点、角色、方式或者来源等补充信息。现有的限定符感知方法主要沿图结构编码、局部交互建模与几何约束三个方向展开。图结构编码方向中，stare把限定符聚合到关系表示之后再用于图消息传递，quad同时建模主三元组到限定符与限定符到主三元组两个方向的信息流；局部交互建模方向中，hyperformer强化实体、关系与限定符之间的局部交互，hinge把超关系事实拆解为主三元组与若干限定符对并由卷积网络逐对打分后聚合为整体分数；几何约束方向中，shrinke以几何收缩表达限定符的单调性、蕴含与互斥模式。

3、上述方法证明了限定符感知建模的价值，但在工程实现与数据处理层面仍存在以下不足。

4、其一，上述方法依赖图神经网络或者transformer的稠密嵌入，模型参数量随实体词表与限定符值词表的规模线性增长，训练需要图形处理器且耗时长；实体词表与限定符值词表在训练之前固定，新实体或者新限定符值出现时必须重建词表并重新训练全部参数；决策由高维稠密向量的内积给出，无法追溯到具体的限定符及其组合，不便于人工核验。

5、其二，把限定符线性化为文本再附加到查询上，是引入条件信息的一种直接做法，但同一查询的全部候选实体共享同一份条件文本，由该条件文本得到的特征在查询内完全相同，对全部候选实体的分数只产生相同的平移量，不改变候选实体之间的相对次序。因此条件信息仅在跨查询的层面影响截距，对同一查询内的排序不起作用。

6、其三，限定符既可以保留键与值的边界供结构化使用，也可以线性化之后供文本化使用。若两种视图各自独立地对原始限定符作规范化，则大小写、首尾空白、日期精度与数值形式的处理差异会使同一条件在两个视图中对应到不同的取值，两路证据互相矛盾而无法互补。此外，把模板前缀与字段分量直接以分隔符拼接为特征串时，若字段内容本身含有分隔符、等号或者引号，则会与模板边界混淆，使语义完全不同的两个特征串退化为同一个字符串。

7、其四，多路特征共用同一个哈希空间时，来自不同通道的特征会因取模而落入同一坐标并相互叠加，通道语义混叠且事后无法分辨；若特征取值采用二值化，则同一条事实中重复出现的条件词项的多重度信息被丢弃。

8、其五，训练数据只给出成立的事实而没有显式负例，需要通过替换实体的方式构造负例。若采样时查询验证事实或者测试事实以判断候选负例的真伪，则验证与测试的标签会泄漏到训练过程中；若在判断一条候选事实是否已知时只比较主三元组而忽略条件，则同一主三元组在不同条件下成立的多条事实会被误判为同一条事实，条件敏感性在数据环节即被破坏。

9、因此，需要一种既能使条件证据参与查询内候选排序，又不依赖稠密嵌入与封闭词表，且每一维特征均可追溯的超关系知识图谱补全方法。

技术实现思路

1、本发明的主要目的在于提供一种超关系知识图谱的条件双视图特征融合补全方法，以解决现有技术中条件文本在查询内为常量而无法改变候选排序、结构化视图与文本化视图规范化不一致、特征串的模板边界与字段内容混淆、多通道共用哈希空间造成语义混叠，以及负采样与过滤缺乏条件敏感性的问题。

2、为了解决上述问题，本发明的技术方案是这样实现的：

3、一种超关系知识图谱的条件双视图特征融合补全方法，包括以下步骤：

4、步骤1，读取超关系知识图谱中已知成立的事实集合并划分训练事实集合，每条超关系事实包括主三元组与若干由限定符关系与限定符值组成的限定符对；对各限定符对作一次确定性规范化，得到规范化限定符序列；

5、步骤2，由同一规范化限定符序列同源生成保留键值边界的结构化视图、经可逆分量编码线性化得到的文本化视图即条件文本，以及完整条件签名；

6、步骤3，将候选实体代入待补全查询的尾实体位置得到候选事实，构造基础三元组通道、条件文本交互通道与结构化限定符通道的原始特征串集合，后两个通道均含候选实体分别与条件文本各词项、与条件文本整体及与各限定符对的组合；

7、步骤4，以统一的特征串编码函数将模板前缀与字段分量序列化为特征串；

8、步骤5，将各特征串按其哈希值对所在通道哈希维数取模的余数计入相应的桶并按生成次数累加；三个通道分别占用互不重叠的坐标块并首尾相接为联合稀疏向量；

9、步骤6，以主三元组与完整条件签名共同构成事实键；对训练事实集合中的每条事实替换尾实体生成负事实，按事实键排除其中已知成立者，得到训练样本集；

10、步骤7，按步骤3至步骤5构造训练样本的联合稀疏向量，以带类别平衡权重与正则项的加权二元交叉熵为目标训练线性判别模型；

11、步骤8，由所述线性判别模型对候选事实的联合稀疏向量给出条件分数，移除事实键已见于所述事实集合者，按分数降序输出其余候选实体。

12、进一步地，步骤1中，所述确定性规范化为：剔除限定符关系或者限定符值为空的无效项，去除规范化后完全相同的重复限定符对，并按规范化后的限定符关系、限定符值的unicode码点序作稳定升序排列，同一限定符关系对应不同限定符值时保留为不同的限定符对；限定符关系与限定符值按其取值类型分别规范化：标识符去除首尾空白、作unicodenfkc规范化并转为大写；普通标签与原始字面量作unicode nfkc规范化、去除首尾空白并将连续空白折叠为一个空格，且不作翻译与同义词合并；带语言标签的字面量保留规范化后的词项并将语言标签转为小写；日期按其原始精度规范为年、年月、年月日、年月日时分秒四种形式之一；数值采用十进制定点形式并删除正号、指数与尾随零。

13、进一步地，步骤2中，所述可逆分量编码函数分别对限定符关系与限定符值编码，对只含预定义安全字符集内字符的分量原样输出，对含预定义安全字符集以外字符的分量按json字符串转义并加双引号后输出；同一限定符对的两个编码结果之间以等值标记连接，不同限定符对之间以分号连接，连接结果记为条件文本c(q)，简记为c；所述完整条件签名取规范化限定符序列本身的有序元组，两个完整条件签名相等当且仅当元组长度相同且对应位置的限定符关系与限定符值分别相等，限定符集合为空时完整条件签名取空元组。

14、进一步地，步骤3中，基础三元组通道的原始特征串集合由头实体、主关系、候选实体，以及头实体与主关系的组合、主关系与候选实体的组合、头实体与候选实体的组合、头实体与主关系与候选实体的组合构成；条件文本交互通道的原始特征串集合由条件文本c的词项序列w(c)中的各条件词项，各条件词项分别与主关系、头实体、候选实体的组合，以及主关系与完整条件文本的组合、候选实体与完整条件文本的组合构成；结构化限定符通道的原始特征串集合由各限定符关系、各限定符值、各限定符对，以及主关系与各限定符对的组合、候选实体与各限定符对的组合构成；由不同条件词项或者不同限定符对生成的相同原始特征串按其生成次数分别计入而不作去重；上述原始特征串的模板前缀与字段分量的对应关系为：基础三元组通道中，前缀h、r、t的字段分量依次为头实体、主关系、候选实体，前缀hr、rt、ht、hrt的字段分量依次为头实体与主关系、主关系与候选实体、头实体与候选实体、头实体与主关系与候选实体；条件文本交互通道中，前缀cond_text的字段分量为条件词项，前缀r_text、h_text、t_text的字段分量依次为主关系与条件词项、头实体与条件词项、候选实体与条件词项，前缀r_fulltext、t_fulltext的字段分量依次为主关系与条件文本、候选实体与条件文本；结构化限定符通道中，前缀rule_key、rule_value、rule_pair的字段分量依次为限定符关系、限定符值、限定符关系与限定符值，前缀r_rule、t_rule的字段分量依次为主关系与限定符关系与限定符值、候选实体与限定符关系与限定符值。

15、进一步地，步骤4中，全部字段分量均只含预定义安全字符集内的字符时，将各字段分量按预定的字段顺序以字段分隔符依次连接，再与模板前缀连接输出；任一字段分量含字段分隔符、引号、反斜线、空白字符或者预定义安全字符集以外的字符时，将全部字段分量按字段顺序整体编码为不含多余空白的json数组，再与模板前缀连接输出；所述预定义安全字符集由字母、数字、下划线以及符号“<”“>”“℃”“.”“-”“+”“/”“@”构成。

16、进一步地，步骤5中，所述哈希值为以0为种子的murmurhash3 32位哈希值并按无符号整数解释；特征取值采用计数累加而非二值化，同一坐标块内不同特征串发生哈希冲突时其计数直接相加，且不执行用于冲突消解的二次哈希、开放寻址与冲突回退；三个通道的哈希维数分别按该通道在训练集上出现次数不小于预设频次阈值的去重特征串数量与预设装载因子上限之比确定，各取不小于该比值的最小的2的整数次幂。

17、进一步地，步骤6中，每条训练正事实生成η条负事实，η为预设的负例倍率，候选实体与负采样所替换的尾实体均取自实体词表，所述实体词表由各数据划分中出现的实体标识符的并集确定；还包括建立三套逐级包含的已知事实键集合：训练事实键集合由训练事实的事实键构成，验证事实键集合为训练事实键集合与验证事实的事实键的并集，评价事实键集合为验证事实键集合与测试事实的事实键的并集；步骤6的负采样只查询训练事实键集合，验证阶段的过滤排序查询验证事实键集合，测试阶段的过滤排序查询评价事实键集合，且验证阶段与测试阶段的过滤排序均保留当前查询的真实尾实体所对应的候选实体。

18、进一步地，还包括：为三个通道分别训练一个线性判别器并各输出一个通道分数，再分别按下述三种融合方式得到综合分数，并将其中在验证集上平均倒数排名最高的融合方式用于测试；第一种融合方式为分数均值融合，取三个通道分数的算术平均；第二种融合方式为特征直接拼接，即在联合稀疏向量上直接训练统一的线性判别模型；第三种融合方式为学习式后融合，即将带正负标签的训练样本集按类别比例划分为五个互斥子集，第l个子集上的三个通道分数由仅在其余四个子集上训练的通道模型给出，五个子集的折外分数按原样本索引合并为折外分数矩阵，由该折外分数矩阵估计逐维均值与总体标准差并在元分类器训练与测试推理中固定，元分类器在标准化后的折外分数上训练，元分类器训练完成后三个通道模型再在完整训练样本集上重新训练。

19、进一步地，还包括条件存在性门控：判断规范化限定符序列是否为空；为空时，将联合稀疏向量中条件文本交互通道与结构化限定符通道对应的两个坐标块整体置零，并将条件存在性指示特征置0；不为空时，保留该两个坐标块的取值，将条件存在性指示特征置1，并按限定符个数所属的分档置相应的限定符数量分档指示特征，所述分档为1个、2个、3个、4个与不少于5个共五档；所述条件存在性指示特征与限定符数量分档指示特征附加于联合稀疏向量之后一并参与训练与打分。

20、进一步地，还包括以下至少一项：第一项为条件词项逆频率加权，即统计各条件词项在训练事实的条件文本中出现的文档频率，将条件文本交互通道中含该条件词项的特征串的计数乘以由该文档频率确定的逆文档频率权重后再累加计入对应的桶；第二项为双种子哈希，即对每个特征串分别以两个互不相同的种子计算哈希值，得到同一坐标块内的两个桶索引，并向这两个桶各计入该特征串计数的二分之一；第三项为两阶段召回与重排，即先由仅在基础三元组通道的坐标块上按步骤7的训练目标训练的线性判别器对全部候选实体打分，保留分数最高的前k个候选实体，k为预设的召回数，再由所述线性判别模型在联合稀疏向量上对该k个候选实体重新打分并排序；第四项为类型相容特征，即由各限定符值所属的类型集合与候选实体所属的类型集合构造类型相容特征串，并将其计入结构化限定符通道的坐标块；第五项为增量更新，即新的超关系事实到达时，在维数固定的哈希坐标空间上直接由新样本以随机梯度更新所述线性判别模型的参数，不重建特征词表且不重新训练全部模型。

21、本发明的一种超关系知识图谱的条件双视图特征融合补全方法，具有以下有益效果：第一，在条件文本交互通道与结构化限定符通道中显式构造候选实体与条件词项、候选实体与完整条件文本、候选实体与限定符对的耦合项，使同一查询的不同候选实体获得互不相同的条件特征，条件证据由仅影响截距的常量转变为改变查询内排序的变量，克服了条件文本附加式做法对候选排序不起作用的缺陷；第二，结构化视图、文本化视图与完整条件签名均由同一次确定性规范化的结果同源生成，两路证据在大小写、空白、日期精度与数值形式上严格一致，因而能够互补而不互相矛盾；第三，统一的特征串编码在字段分量含分隔符、引号、反斜线或者空白字符时整体回退为json数组，使字段内容不与模板边界混淆，避免了语义不同的特征串退化为同一字符串；第四，三个通道分别占用互不重叠的哈希坐标块，跨通道不发生哈希冲突，通道语义不混叠，并且特征取值按生成次数累加而非二值化，保留了重复条件词项的多重度信息；第五，以包含完整条件签名的事实键标识事实唯一性，并把训练、验证与评价三套已知事实键集合分离使用，使负采样不接触验证与测试标签，同时使过滤只排除相同完整条件下的已知事实，条件敏感性在数据环节即得到保证；第六，模型为定义在固定维哈希空间上的线性判别模型，参数量与实体规模无关，训练与推理均只需中央处理器，新实体与新限定符值出现时无须重建词表即可增量更新，且每一维特征均可追溯到具体的实体、限定符及其组合，便于人工核验。