一种可微的挖掘常量规则的方法与流程

1.本发明属于知识图谱推理的技术领域，尤其是涉及可微的挖掘常量规则的方法。


背景技术：

2.传统的知识图谱嵌入表示学习方法多为输入的包含的头实体、关系以及尾实体的三元组，通过一定的假设如h r＝t进行三元组得分计算并优化模型嵌入向量，计算过程一步到位，连接预测结果仅给出尾实体而没有步骤，因此多数为黑盒模型，可解释性较差。如公开号为cn113377968a的中国专利文献公开了一种采用融合实体上下文的知识图谱链路预测方法。
3.传统的知识图谱规则挖掘模型大多基于图上的搜索和匹配，进行规则挖掘，是一个搜索统计的过程而非计算的过程，在大型的知识图谱上搜索空间急剧增大，消耗的时间及硬件资源也同样如此。同时他们仅考虑关系到关系的关联，并未注意到中间实体所连接的属性也会对规则本身造成影响。如公开号为cn111126828a的中国专利文献公开了一种基于知识图谱的多层资金异常流向监控方法。
4.同时传统的知识图谱嵌入表示学习模型只能完成预测任务，推理过程为黑盒，无法为预测结果提供解释，也无法将预测的规则解析出来。而传统的规则挖掘模型以产出符号化规则为目标，但无法对节点对应属性进行约束，如一个人的父母这个关系，若性别为男则对应父亲关系，性别为女则为母亲关系。考虑到属性可以将关系本身细粒化。
5.现有需求中，知识图谱推理不仅仅需要准确率较高，也需要算法为预测结果提供解释并生成符号化规则。这样不仅可以帮助专家判断预测结果的合理性，发现目前并未发现的关系，还可以避免由于新增实体导致重新计算、多次开发，以拓宽模型的适用范围。


技术实现要素：

6.鉴于上述，本发明提供了一种可微的挖掘常量规则的方法，适用于需要考虑常量来提升准确率的预测应用场景。该方法同时提供符号化规则的解释，避免由于新增实体导致重新计算，进而可以降低计算开销。
7.实施例提供的技术方案为：
8.一种可微的挖掘常量规则的方法，包括以下步骤：
9.步骤1，获取知识图谱，依据知识图谱为每种关系构建路径操作符，表示每种关系在实体中的连接情况，依据知识图谱为每种关系与实体的组合构建常量操作符，表示通过关系与实体相连的所有可能常量情况；
10.步骤2，将目标三元组的目标关系初始化为关系向量后，依据预期的规则长度t，重复输入关系向量2t次至双向长短期记忆模型中，得到2t个长度固定的向量序列；
11.步骤3，提取t个长度固定的向量序列进行第一注意力机制处理，得到t步规则提取时路径操作符的第一注意力参数，提取剩下的t个长度固定的向量序列进行第二注意力机制处理，得到t步规则提取时常量操作符的第二注意力参数；
12.步骤4，针对每步规则提取，首先根据路径操作符进行规则路径的拓展，即根据路径操作符和对应的第一注意力参数预测节点实体，然后根据常量操作符对规则是否需要常量进行判断，即以预测的节点实体为基准，采用常量操作符和对应的第二注意力参数进行考虑常量的节点实体预测；
13.步骤5，依据第一注意力参数和第二注意力参数，和步骤4规则提取过程中的预测中间参数解析生成每个目标关系的多条规则；
14.步骤6，对多个目标关系的所有规则进行筛选以确定提最终提取规则并输出。
15.与现有技术相比，本发明具有的有益效果至少包括：
16.实施例提供的一种可微的挖掘常量规则的方法是目前唯一能够同时拥有较高预测准确率、提供约束常量解释的能力以及解析为符号化规则的能力的技术方案，该方法采用了融合注意力机制，利用注意力值评估规则所经过的关系，同时对每步的尾节点聚合周围属性及对应的属性值分别计算注意力，并用属性的注意力增强规则中的关系的选择，特别适合需要对常量进行约束的可解析为符号化规则、需要较高预测准确度的拥有复合推理需求的应用场景，例如商品属性之于电商场景，如果能够根据属性解析出带有常量的规则，就可以根据这种规则将每种商品的推荐场景直接推理得到，省去人工进行标记的步骤，同时对于没有购物或者搜索记录的新用户，也可以根据其用户画像中具有的属性直接推荐具体的商品从而避免冷启动问题。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
18.讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
19.图1是本发明实施例提供的可微的挖掘常量规则的方法的流程图；
20.图2是本发明实施例提供的根据常量操作符对规则是否需要常量进行判断过程示意图；
21.图3是本发明实施例提供的不同数据集规则解析数量统计。
22.图4是本发明实施例提供的规则解析具体样例。
具体实施方式
23.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
24.图1是本发明实施例提供的可微的挖掘常量规则的方法的流程图。如图1所示，实施例提供的可微的挖掘常量规则的方法，包括以下步骤：
25.步骤1，获取知识图谱，依据知识图谱构建路径操作符和常量操作符。
26.实施例中，获取的知识图谱的三元组信息(h，r，t)，形成关系集合r和实体集合e，依据关系集合r和实体结合e，为每种关系ri构建的路径操作符。为了方便构建路径操作符，
将知识图谱构造以关系为键值、指向头节点为键值对应的尾节点列表的字典，基于该字典为每种关系ri构建的路径操作符。该路径操作符表示每种关系在实体中的邻接情况，也即是邻接矩阵，用于拓展规则的整体长度，路径操作符表示为是邻接矩阵，用于拓展规则的整体长度，路径操作符表示为中的元素值为1或0，其中，1表示两个实体之间存在关系ri，0表示两个实体之间不存在关系ri，需要注意的是，还定义了对角线上为1的特殊路径操作符，表示实体通向自身的关系，该关系一般不在知识图谱中直接显式描述。因此，共有|r| 1个路径操作符。
27.实施例中，依据知识图谱为每种关系与实体的组合构建常量操作符，表示通过关系与实体相连的其他可能常量情况，该常量操作符用来定义规则中间步骤需要的常量约束，实施例中常量即是实体，为了区分便于描述，叫做常量。对于关系ri和第k个实体ek的组合，构建的常量操作符表示为每个元素值为1或0，1表示实体ek通过关系ri与其他可能常量e相连，0表示实体ek通过关系ri找不到与其相连的其他可能常量e，由于整个知识图谱中存在|e|*|r|个这样的组合，所以共有|e|*|r|个常量操作符。
28.步骤2，利用双向长短期记忆模型提取目标三元组中关系的向量序列。
29.实施例中，预设预期的规则长度t，随机初始化目标三元组的关系向量，该关系向量与所有关系一一对应，即关系向量维度与关系集合r中的关系个数相等。
30.依据预期的规则长度t，重复输入关系向量2t次至双向长短期记忆模型(bilstm)中，得到2t个长度固定的向量序列，具体过程为：
31.h0,h
′
2t
＝bilstm(r)
32.h
t
,h
′
2t-t-1
＝bilstm(r,h
t-1
,h
′
2t-t
),t》1
33.其中，t为步数索引，r为关系向量，h表示正向计算得到的向量序列，h
′
表示逆向计算得到的向量序列。
34.步骤3，依据双向长短期记忆模型中提取的向量序列进行注意力机制处理，得到路径操作符和常量操作符对应的注意力参数。
35.实施例中，提取t个长度固定的向量序列进行第一注意力机制处理，得到t步规则提取时路径操作符的第一注意力参数，提取剩下的t个长度固定的向量序列进行第二注意力机制处理，得到t步规则提取时常量操作符的第二注意力参数。
36.在一种可能实施方式中，采用全连接层对向量序列进行注意力机制处理，具体过程为：
37.α
t
＝softmax(wa(h
t
h
′
t
) ba),t＝1,3,...,2t-1
38.β
t
＝softmax(wb(h
t
h
′
t
) bb),t＝2,4,...,2t
39.其中，t为步数的索引，α
t
表示路径操作符的第一注意力参数，β
t
表示常量操作符的第二注意力参数，h
t
、h
′
t
分别表示第t步时双向长短期记忆模型输出的两个向量序列，wa、ba分别表示第一注意力处理过程中的权重参数和偏置参数，wb、bb分别表示第二注意力处理过程中的权重参数和偏置参数，softmax(
·
)为softmax函数。参数wa、ba和wb、bb是需要经过优化的，上述公式表示，提取奇数步的向量序列计算路径操作符的第一注意力参数α
t
，提取偶数步的向量序列计算常量操作符的第二注意力参数β
t
。
40.步骤4，依据第一注意力参数、第二注意力参数、路径操作符以及常量操作符进行规则推理。
41.实施例中，对于最大长度为t的规则来说，每一步规则提取，均需要利用路径操作符和规则操作符来进行两步操作，包括：首先根据路径操作符进行规则路径的拓展，即根据路径操作符和对应的第一注意力参数预测节点实体，然后根据常量操作符对规则是否需要常量进行判断，即以预测的节点实体为基准，采用常量操作符和对应的第二注意力参数进行考虑常量的节点实体预测。
42.在一个可能的实施方式中，根据路径操作符进行规则路径的拓展过程包括：
43.依据路径操作符和对应的第一注意力参数预测节点实体：
[0044][0045]
其中，z
t-1
表示第t-1步时考虑常量预测的节点实体，表示第i个关系ri的路径操作符，表示在第t步关系ri的路径操作符的第一注意力参数，z
t
′
表示规则路径的拓展结果，也就是预测的节点实体，为预测关系，当t＝1时，z
t-1
为目标三元组中目标头实体向量。
[0046]
规则路径的拓展过程实质是通过路径操作符找到预测结果的z
t-1
的邻居实体，因为路径操作符的第一注意力参数不同，形成的邻居实体的权重也会有所不同的。由于采用路径操作符的第一注意力参数加权求和的方式来构造邻居实体的权重，这样充分考虑了知识图谱中的所有关系，实现了对规则路径的拓展，可以得到规则提取的多路径。
[0047]
在一个可能的实施方式中，如图2所示，根据常量操作符对规则是否需要常量进行判断过程包括：
[0048]
首先，对于第i个关系ri对应的常量操作符u
ik
，将其与第t步的节点实体预测结果z
t
′
相乘，得到常量的第三注意力参数即
[0049]
第三注意力参数作为常量的注意力，关注的是每步的节点实体与常量的关联程度，用于选择常量，实现对常量限制。
[0050]
然后，利用第三注意力参数对第i个关系ri对应的所有常量操作符u
ik
进行聚合加权计算，得到聚合的常量操作符即：
[0051][0052]
其中，k为常量的索引，scale(
·
)的目的是将加权后的向量的每个值控制在(0,1)之间；常量聚合过程是用于筛选比较强的常量关系。
[0053]
最后，基于节点实体预测结果z
t
′
，依据常量操作符的第二注意力参数和聚合的常量操作符进行考虑常量的节点实体预测，即：
[0054][0055]
其中，z
t
表示考虑常量的节点实体，
⊙
代表的是哈达姆积，即两个向量按位相乘，同时当i＝0时，将设为全1向量，表示这一步不需要考虑任何常量。
[0056]
因为规则长度的最大值为t，所以以上步骤3-步骤4需要重复t次，从头实体向量h得到常量预测结果z
t
，这个常量预测结果z
t
就是推测出来的实体的概率分布，每个位置的值代表在对应位置的实体的可能性。
[0057]
需要说明的是，步骤2中的双向长短期记忆模型和步骤3中的注意力机制在进行挖掘常量规则前，需要进行参数优化，具体参数优化过程为：
[0058]
对于样本三元组(h,r,t)，将样本三元组中实体和关系进行向量初始化后，利用步骤2-步骤4的过程得到常量预测结果后，依据预测结果z
t
与样本三元组中真实的尾实体向量t计算推理结果的评价分数score(t|h,r)，即：
[0059]
score(t|h,r)＝t
·
log[z
t
,τ]

[0060]
其中，τ表示设置好的过滤门槛，将z
t
中小于τ的值过滤掉，以一个训练批次中所有样本三元组的评价分数之和作为损失函数，并以损失函数最大为目标进行参数优化。
[0061]
步骤5，依据第一注意力参数、第二注意力参数和第三注意力参数解析生成每个目标关系的多条规则。
[0062]
在完成规则提取任务基础上，需要由上述第一注意力参数、第二注意力参数以及第三注意力参数解析生成符号化的规则。如前所述，利用α来选择路径，β来选择常量关系，b来选择具体的常量，基于此，解析生成每个目标关系的多条规则的过程为：
[0063]
针对每步规则提取，依据预设的第一阈值从第一注意力参数中筛选数值大于第一阈值对应的关系作为当前步确定的关系，依据预设的第二阈值从第二注意力参数中筛选数值大于第二阈值对应的关系作为当前步确定的常量关系，依据预设的第三阈值从第三注意力参数中筛选数值大于第三阈值对应的常量作为当前步确定的常量；以此得到在目标三元组中所有可能经过的具体路径(由关系和常量关系按照步顺序形成)和约束常量，注意在此对于一条路径来说有可能存在多条能够推出结果的规则，因此，所有步确定的关系、常量关系以及常量按照步顺序形成多条规则。
[0064]
实施例中，对于目标三元组，形成的长度为t的路径解释表示为：
[0065]
r1∧r2…
∧r
t
→r[0066]
其中每个ri表示为ri,attributej(value
jz
)其中，attributej(
·
)表示节点实体与常量之间的常量关系，j为常量关系的索引，value
jz
表示通过常量关系attributej确定的常量，z为常量的索引，即上一跳通过关系r连接到下一跳节点实体，该节点实体要求有属性attributej，同时该属性具有属性值value
jz
，这里的value即常量，在规则中需要是一个确定的实体。
[0067]
步骤6，对多个目标关系的多条规则进行筛选以确定提最终提取规则并输出。
[0068]
对于每个目标三元组，采用步骤2-步骤5的过程生成多条规则，最后将整体解析出的所有规则进行统计，挑选出在所有三元组推理过程中应用次数较多的规则作为最后的提
取规则。
[0069]
实施例中，对多个目标关系的多条规则进行筛选以确定提最终提取规则并输出的过程为：
[0070]
对于所有目标关系的每条规则，依据每步的第一注意力参数、第二注意力参数、第三注意力参数计算置信度，筛选置信度高的规则作为最终提取规则。作为优选，可以筛选置信度高于设定阈值的规则作为出现次数较高的规则并输出。
[0071]
其中，每条规则的置信度计算公式为：
[0072][0073]
其中，其中i为步数索引，t为预设的规则长度，也就是步数，α
ir
为第i步时路径操作符中关系r的第一注意力参数，β
ir
为第i步时常量操作符中常量关系a的第二注意力参数，u
ia
为第i步时在常量关系a下具体所有超过超参数阈值的常量的第三注意力参数的平均值。
[0074]
上述可微的挖掘常量规则的方法首先能够利用神经网络对三元组进行推理，其次能够将由模型参数解析出符号化的规则，最后整体的框架是在可微的方式下进行，为利用神经网络进行推理提供基础。
[0075]
不同于以往的对较为简单的链式的规进行可微推理的规则学习推理方法，本发明实施例提供的方法考虑了一种形式更加复杂的规则形式，将常量作为一种约束条件引入了规则之中，利用注意力值来对整体的规则路径进行模拟并以便生成解释，可以为每个三元组的预测生成至少一条规则，同时，本方法的框架也向下兼容了不含常量的规则形式。本方法特别适合需要较高预测准确度、为预测提供解释以及需要沉淀推理规则的拥有复合推理需求的应用场景。
[0076]
实施例提供的一种可微的挖掘常量规则的方法，适用于需要考虑常量来提升准确率的预测应用场景，在应用在电商场景下，知识图谱对应为适用于电商场景的商品知识图谱，其中实体表示商品、属性，关系表示商品与属性之间的关系，规则挖掘的目标是找到具备某些属性的商品适用于哪些场景或者人群，电商场景下商品属性对于规则推理就有很强的作用，此场景下的属性值就可以视为常量，例如可以认为一个具有真皮属性的包更适用于商务场景，而且电商场景中不同商品之间的关系种类很少，反而是可以视为常量的属性非常多，导致在此场景下，本发明定义的带常量的规则的应用价值远大于传统方法定义的规则形式。
[0077]
为验证上述实施例提供的可微的挖掘常量规则的方法的技术效果，进行了如下具体试验：
[0078]
在训练过程中，使用了adam优化器进行优化，进行了4次的训练迭代，每个迭代的批次大小设置为14，bilstm和全连接函数的维度均设置为256，学习率设置0.0001。模型的性能用mrr、hit@10、hit@3以及hit@1评估，并且将除预测实体以外也正确的实体排除在评分范围之内。
[0079]
其中，mrr代表的是正确实体在预测结果概率中排名的倒数均值。hit@10、hit@3以及hit@1代表的是正确实体在预测结果概率中排名前十、前三和第一的概率。
[0080]
在以fb15k-237数据集为目标的连接预测效果如下表1所示：
[0081]
表1
[0082][0083][0084]
其中，conve模型出自《convolutional 2d knowledge graph embeddings》，complex模型出自《complex embeddings for simple link prediction》，distmult模型出自《embedding entities and relations for learning and inference in knowledge bases》，rotate模型出自《rotate:knowledge graph embedding by relational rotation in complex space》，neural-lp模型出自《differentiable learning of logical rules for knowledge base reasoning》，drum模型出自《drum:end-to-end differentiable rule mining on knowledge graphs》，通过分析表1可得，在所有模型中，本发明实施例提供的方法在mrr、hit@10、hit@3以及hit@1四个参数的值均高于其他模型，表明本发明实施例提供的方法具有较高的预测准确率。
[0085]
为了验证本发明实施例提供的可微的挖掘常量规则的方法能够提供解释能力，对模型提供的解释质量和数量进行了评估，在constant、family-gender、umls以及fb15k-237四个数据集上挖掘出的规则，评估结果如图3所示，图3中，横轴表示了挖掘出的规则的置信度区间，而纵轴代表了在置信区间内的规则数量。分析图3可以得出，本发明实施例提供的方法在每个数据集上挖掘的处于高置信度区间的规则数量都比较多，表明能够挖掘出合适数量的规则。
[0086]
为了对规则进行质量评价，实施例采用标准置信度来进行质量评价，标准置信度表示的是在满足规则体的情况下头关系确实存在的概率，标准置信度提升表示的是不考虑该规则中的常量的置信度和考虑常量时的标准置信度提升。以有关医疗和生物学概念的umls数据集为例，图4所示的是在umls数据集上的规则结果样例，图4中，带有c、c1、c2表记圆圈表示通过常量操作符预测得到的常量实体，剩下的圆圈表示通过路径操作符预测得到的节点实体，实心箭头表示两个实体之间的关系，空心箭头以及uses表示通过多个关系，且经过多个实体得到的规则，分析图4可得，标准置信度sc均有提升，如针对第一条规则，通过预测常量实体，规则的标准置信度sc从0.818提升到1.00，这足表明本发明实施例提供的方法能够提升规则质量。
[0087]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。