分数引导的低秩混合专家知识图谱遗忘方法及系统

本发明涉及人工智能、知识图谱、图神经网络和机器学习模型遗忘。更具体地说，本发明涉及一种分数引导的低秩混合专家知识图谱遗忘方法及系统。

背景技术：

1、随着人工智能和大数据技术的发展，知识图谱已广泛应用于生物医学、学术检索、智能推荐和百科知识服务等领域。知识图谱通常以头实体-关系-尾实体形式的知识三元组描述实体之间的语义关联，并持续从数据库、业务系统、公开知识库及互联网资源中吸收新的知识。然而，随着数据来源、业务规则和应用环境不断变化，知识图谱中的部分知识事实可能因信息更新而失效，也可能存在标注错误、数据偏差、隐私泄露或者不符合法律法规要求等问题，因此需要从已训练的知识图谱模型中删除指定知识三元组及其对模型产生的影响。知识图谱遗忘并非简单地从数据库中移除三元组，因为被删除知识的影响可能已经保留在模型的消息传播过程和预测结果中。

2、图神经网络能够通过邻域消息传递机制聚合知识图谱中的实体、关系和结构信息，并已成为知识图谱表示学习、知识补全和链路预测的重要技术手段。在关系图神经网络中，不同关系类型通常对应不同的消息传播参数和特征变换方式；模型在获得实体表示后，还会通过关系特定的解码器计算知识三元组成立的可能性。因此，将某一知识三元组从原始知识图谱数据中直接删除，并不能保证该三元组对模型的影响被充分消除。一方面，所删除三元组的信息可能已经通过多层消息传递传播至相邻实体的表示中；另一方面，关系特定解码器仍可能对该三元组输出较高的预测分数。由此，待删除知识可能同时残留在关系图神经网络的编码表示空间和知识图谱解码器的输出空间中。

3、传统的知识删除方式通常需要从训练集中移除相关知识三元组，并利用剩余知识数据重新训练整个知识图谱模型。该方式虽然能够在一定程度上削弱指定知识的影响，但知识图谱通常具有实体数量大、关系类型多、三元组规模大和结构关联复杂等特点，重新训练模型需要消耗大量计算资源和时间成本，难以满足频繁知识更新、用户隐私删除请求以及实时知识纠错等应用需求。为解决上述问题，机器遗忘技术被引入知识图谱处理领域，形成知识图谱遗忘技术。知识图谱遗忘的目标是在不进行完整重新训练的情况下，对已训练的关系图神经网络进行局部调整，使调整后的模型尽可能接近未使用待删除知识三元组训练所得模型的状态，同时保持其在保留知识上的表示能力和链路预测性能。

4、现有知识图谱遗忘方法主要包括完整或部分重训练方法、图划分方法、梯度更新或影响函数方法、可认证遗忘方法以及删除算子方法。完整重训练能够作为较强的参照基准，但在大规模、多关系知识图谱上计算和时间成本较高，难以适应连续到达的删除请求。图划分方法通过将图拆分为若干子图并仅重训练受影响部分来降低单次遗忘成本，但图划分本身会切断跨分区结构依赖和语义联系，模型效用依赖于分片质量及聚合策略；对于关系高度耦合的知识图谱，这种先分割后遗忘的处理方式容易以牺牲原始关系结构为代价换取计算效率。梯度上升、梯度修正及影响函数类方法直接作用于原模型参数，能够避免完整重训练，但参数更新会通过共享权重影响大量未删除知识，并且影响函数近似通常依赖局部线性化、hessian或特定模型假设，在深层非线性关系图神经网络中存在近似误差和计算负担。可认证方法能够提供理论边界或删除保证，但常需满足特定模型结构、凸性或传播形式，其适用范围与复杂知识图谱主干之间仍存在限制。

5、删除算子方法通过冻结原始关系图神经网络，在待删除知识相关的局部区域插入少量可训练模块，仅更新新增参数，因而较适合大规模知识图谱的近似遗忘。gnndelete是其中具有代表性的方法，其在各图神经网络层后设置删除算子，并通过deleted edgeconsistency和neighborhood influence两类表示空间目标进行优化。具体而言，deletededge consistency将待删除边端点表示向随机选取节点对的表示靠近，neighborhoodinfluence则约束删除邻域内非目标表示尽量保持原状。该设计在同构图和一般图遗忘中具有通用性，但其删除决策主要依赖共享算子及表示空间距离，并未针对知识图谱中关系类型、关系组成和关系特定解码器的特点建立请求级适配机制。

6、在此基础上，scgu进一步面向异构图和知识图谱中的高风险复合物-蛋白质相互作用遗忘，在gnndelete框架上引入关系特定的低秩删除算子，使不同关系能够获得差异化的参数变换。该方案在一定程度上改善了gnndelete中不同关系完全共用同一删除矩阵的问题，但其关系特定化仍主要体现为按照关系类型分别配置或调用相应的删除参数，尚未同时解决以下相互关联的问题。

7、第一，现有方法对动态遗忘请求的适配能力仍然不足。实际知识图谱中的删除请求并非始终对应单一固定关系，而可能由多个关系类型的三元组共同构成，并且不同请求中的关系数量、关系比例和语义组合会随时间变化。gnndelete使用共享删除算子，无法根据当前请求的关系组成改变删除方向；scgu虽然针对不同关系提供差异化参数，但仍缺少一个由当前完整遗忘请求统一生成的请求级路由变量，因而难以根据单关系、多关系混合、关系比例变化以及连续到达的不同删除请求即时重组删除能力。

8、第二，现有gnndelete式损失存在明显的训练空间与评价空间不一致问题，scgu在沿用该类表示匹配遗忘目标时同样面临这一限制。gnndelete的deleted edgeconsistency主要通过待删除边端点的中间表示与随机节点对表示之间的距离构造删除信号，而知识图谱链路预测最终并非依据实体表示之间的欧氏距离判断三元组是否成立，而是由distmult等关系特定解码器针对头实体、关系和尾实体共同计算预测logit或概率。关系参数、实体向量范数以及具体评分函数均会影响实体表示变化到三元组预测分数变化之间的映射。因此，即使待删除三元组相关实体在编码空间中已经发生明显位移，也不能保证该三元组经过关系解码器后所得预测分数必然降低至足够低的水平。现有方法实质上是在编码表示空间中优化一个间接代理目标，却在解码器评分空间中评价最终遗忘效果，优化对象与实际需要实现的技术效果之间存在明显间隔。

9、第三，scgu式按关系设置删除变换的方式仍不足以利用语义相关关系之间可共享的遗忘模式。知识图谱中的不同关系虽然具有不同名称、不同预测语义甚至不同端点类型，但其判别过程并非完全相互独立，而可能依赖部分共同的实体属性、结构模式或者潜在表示。如果主要按照关系类型将删除参数彼此分离，相当于在较大程度上将关系不同直接转化为删除能力分别学习，使多个关系中原本可以复用的基础遗忘变换被重复学习。当一次遗忘请求同时包含多个语义相关关系时，现有方法也缺乏从一组共享删除能力中进行联合选择、组合和动态融合的机制。

10、第四，scgu通过关系特定化增强关系区分能力的同时，还存在参数规模随关系复杂度增加而扩张的问题。关系特定删除算子的基本思路需要针对不同关系维护相应的关系条件参数或者参数路径，即使采用低秩分解能够降低单个删除变换的参数规模，当知识图谱中的关系类型持续增加时，仍需要为大量关系保存相应的关系特定参数，导致遗忘模块总体参数量随关系数量明显增长。特别是在包含数十乃至数百种关系的大规模知识图谱中，不同关系之间即使具有相似的实体类型、结构作用或者语义模式，其删除参数仍难以得到充分复用，从而造成重复参数和存储开销。

11、因此，现有技术面临的核心问题可以归纳为四个在同一遗忘请求中相互耦合、需要统一解决的技术问题：动态遗忘请求的请求级适配问题、编码表示空间与链路预测评价空间不一致问题、多关系知识图谱中关系特异性与语义共享性难以兼顾的问题，以及关系特定删除参数随关系数量增加产生的参数冗余及可扩展性问题。

技术实现思路

1、本发明提供一种分数引导的低秩混合专家知识图谱遗忘方法及系统，其以请求级门控组合共享低秩专家并直接以解码器分数驱动遗忘优化，缓解了删除算子难适配多关系请求、目标与评价空间不一致及参数随关系数扩张的问题，在保持保留知识性能的同时实现可控高效遗忘。。

2、为了实现根据本发明的这些目的和其它优点，提供了一种分数引导的低秩混合专家知识图谱遗忘方法，针对已训练的知识图谱模型执行知识三元组遗忘，已训练的知识图谱模型包括实体嵌入、个编码器层以及关系解码器，方法包括：

3、获取待处理知识图谱、已训练的知识图谱模型、关系集合以及待遗忘知识三元组集合，每个待遗忘知识三元组表示为，其中为头实体、为关系类型、为尾实体；冻结实体嵌入参数、编码器参数和关系解码器参数，并保留编码器和关系解码器针对输入实体状态的梯度反向传播路径；以待遗忘知识三元组的头实体和尾实体为中心执行k跳邻域扩展，得到k跳删除子图，将k跳删除子图中除头实体和尾实体之外的实体确定为非端点实体集合；利用冻结的模型对知识图谱执行原始前向传播，保存各编码器层输出的原始实体表示；

4、确定当前遗忘条件，统计当前遗忘条件中每种关系类型的经验频率；在编码器各层分别设置残差删除算子，残差删除算子包括：跨关系共享的低秩下投影矩阵，个跨关系共享的专家上投影矩阵，，个专家上投影矩阵不按关系类型分别设置；残差删除算子还包括门控网络参数、以及门控关系嵌入，门控关系嵌入与冻结的关系解码器参数相互独立；按计算关系类型的潜在门控，按生成第层的请求级统一门控向量，请求级统一门控向量在同一次前向传播中作为k跳删除子图内全部实体共同采用的删除控制量，其中；按组合得到有效上投影矩阵，仅对k跳删除子图内的实体表示施加残差更新：，

5、其中，为缩放系数、为低秩维度，上标表示转置；经残差更新后的实体状态输入下一冻结编码器层，最后一层输出的实体状态输入冻结的关系解码器，由关系解码器输出知识三元组的预测分数；

6、以待遗忘知识三元组为负类样本构造绝对抑制项，并构造待遗忘知识三元组与其同关系保留知识三元组之间的相对排序约束，得到分数引导遗忘损失，其中同关系保留知识三元组的预测分数通过停止梯度操作与计算图分离；按局部性约束使非端点实体集合中实体的表示逼近对应的原始实体表示，得到局部性损失；

7、由分数引导遗忘损失与局部性损失加权形成总体训练目标，将总体训练目标的梯度经梯度反向传播路径反向传递，仅更新低秩下投影矩阵、专家上投影矩阵、门控网络参数以及门控关系嵌入，不更新已冻结的实体嵌入参数、编码器参数与关系解码器参数；将更新后的参数用于下一轮前向传播中的请求级统一门控生成与残差更新，迭代执行直至满足训练轮数或收敛条件，输出完成待遗忘知识三元组集合对应遗忘的知识图谱模型。

8、优选的是，当前遗忘条件的确定方式为：在优化阶段，取当前删除三元组小批次作为当前遗忘条件；在验证阶段和测试阶段，取完整的待遗忘知识三元组集合作为当前遗忘条件。

9、优选的是，门控网络参数满足、，门控关系嵌入满足，其中为门控关系嵌入维度。

10、优选的是，当当前遗忘条件中仅包含单一关系类型时，请求级统一门控向量等于该关系类型的潜在门控向量，即。

11、优选的是，个专家上投影矩阵初始化为零矩阵，使残差删除算子在训练初始时等效于恒等映射，使模型从原始模型状态开始训练。

12、优选的是，第层残差删除算子的可训练参数量为：

13、，

14、随关系类型数量增加，新增的可训练参数仅为与门控关系嵌入相关的参数，跨关系共享的低秩下投影矩阵与专家上投影矩阵不随关系类型数量重复扩张。

15、优选的是，绝对抑制项按构造，其中，目标值0为固定锚点，为知识三元组的预测分数；

16、相对排序约束按构造，其中为第个待遗忘知识三元组、为与具有相同关系类型的保留知识三元组，为陡峭度参数、为间隔参数、为每个待遗忘知识三元组所对应的同关系保留知识三元组的数量；

17、分数引导遗忘损失为绝对抑制项与相对排序约束之和，即。

18、优选的是，局部性损失按构造；

19、总体训练目标为：，

20、其中，为分数引导遗忘损失、为局部性损失、为权重系数。

21、优选的是，k跳删除子图之外的实体的实体表示不经残差更新，保持为对应的原始实体表示；关系解码器为distmult解码器，编码器为关系图卷积网络r-gcn、关系图注意力网络r-gat、异构图transformerhgt、异构图注意力网络han或组合式图卷积网络compgcn。

22、知识图谱遗忘系统，用于实现所述的分数引导的低秩混合专家知识图谱遗忘方法，所述系统包括：

23、遗忘请求获取与条件生成单元，用于获取待处理知识图谱、具有l个编码器层的已训练知识图谱模型、关系集合以及待遗忘知识三元组集合，并确定当前遗忘条件，当前遗忘条件在优化阶段为当前删除三元组小批次、在验证阶段和测试阶段为完整的待遗忘知识三元组集合；

24、局部删除域构建与保持对象确定单元，用于以待遗忘知识三元组的头实体和尾实体为中心执行k跳邻域扩展，得到k跳删除子图及非端点实体集合；

25、冻结主干与状态接口单元，用于冻结实体嵌入参数、编码器参数和关系解码器参数，保留编码器和关系解码器针对输入实体状态的梯度反向传播路径，保存各编码器层输出的原始实体表示，并输出冻结的关系解码器根据输入实体状态计算的知识三元组预测分数；

26、请求级关系组成决策与共享低秩专家执行单元，用于统计当前遗忘条件中各关系类型的经验频率，生成请求级统一门控向量，按请求级统一门控向量对跨关系共享的专家上投影矩阵加权组合得到有效上投影矩阵，并仅对k跳删除子图内的实体表示施加残差更新；

27、解码器分数反馈与局部保持约束生成单元，用于根据知识三元组预测分数构造以待遗忘知识三元组为负类样本的绝对抑制项和同关系相对排序约束，得到分数引导遗忘损失，并基于原始实体表示构造局部性损失；

28、闭环联合优化单元，用于由分数引导遗忘损失与局部性损失加权形成总体训练目标，将总体训练目标的梯度经梯度反向传播路径反向传递，仅更新低秩下投影矩阵、专家上投影矩阵、门控网络参数与门控关系嵌入，并将更新后的参数返回请求级关系组成决策与共享低秩专家执行单元，直至满足训练轮数或收敛条件，输出完成指定知识遗忘的知识图谱模型。

29、本发明至少包括以下有益效果：

30、第一、本发明通过请求级统一门控依据当前遗忘请求的关系组成聚合决策，并在同一次前向传播中作为删除子图内全部实体共同采用的删除控制量，实现了对单关系、多关系混合及关系比例变化等动态遗忘请求的自适应适配，兼顾关系特异性与跨关系语义共享。

31、第二、本发明通过冻结原始主干并保留针对输入实体状态的梯度反向传播路径，仅更新低秩下投影矩阵、专家上投影矩阵、门控网络参数与门控关系嵌入，避免了对原模型的完整重新训练，显著降低遗忘过程的时间与存储成本。

32、第三、本发明以关系解码器输出的预测分数为直接优化对象，通过以待遗忘三元组为负类样本的绝对抑制项与同关系相对排序约束驱动门控与专家参数更新，并将保留三元组预测分数经停止梯度操作从计算图分离，缓解了编码表示空间与链路预测评价空间不一致的问题，并避免了模型通过抬高锚点分数获得平凡解。

33、第四、本发明通过跨关系共享的低秩专家池与仅随关系数量线性增长的低维门控关系嵌入，使共享删除能力不随关系类型重复扩张，抑制了多关系知识图谱中删除模块的参数冗余，改善了方法在大规模知识图谱中的可扩展性。

34、第五、本发明通过将删除算子作用限制在待删除三元组相关的k跳删除子图内，并以逐层局部性损失约束非端点实体表示逼近原始表示，减少了遗忘操作对无关实体、保留知识三元组及整体知识结构的干扰，在实现充分遗忘的同时保持了保留知识上的预测性能。

35、本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。