一种基于多层图注意力网络的双阶段知识注入方法与流程
本发明涉及自然语言处理与知识工程领域,特别涉及一种基于多层图注意力网络的双阶段知识注入方法。
背景技术:
1、大语言模型在垂直领域应用中面临领域知识不足导致生成“幻觉”、推理过程缺乏可解释性、跨领域泛化能力受限等核心问题。以下分析现有技术方向在这些场景中的局限性:
2、(1)基于检索增强生成(rag)的方法把知识图谱当成外部知识库,推理时检索相关三元组拼接至输入上下文,代表方法有graphrag、lightrag 等。这类方法只在推理时临时注入知识,没有用图谱数据训练模型权重,对复杂多跳推理的理解能力不足。同时检索效果取决于检索算法和知识库质量,检索引入的噪声会直接干扰生成结果,加重幻觉。
3、(2)基于知识图谱增强微调的方法在微调时引入完整图谱数据,通过图神经网络让知识图谱和语言模型一起训练。但这类方法只在训练阶段注入知识,推理阶段无法适用动态更新、增量新增的图谱信息。而且微调阶段输出的图编码嵌入和推理阶段检索得到的文本表征属于两套不同的语义空间,存在知识表示不一致、语义漂移的问题。
4、(3)基于图注意力网络的知识图谱嵌入方法用gat、gcn等图神经网络把知识图谱的实体和关系编码成向量,常见的融合方式是把图谱嵌入和文本表征直接拼接,或者增设独立的交叉注意力层实现特征交互。这类方法有两个短板:第一,多数方案只在输入层做特征融合,缺少以图谱嵌入为先验、引导模型权重更新并固化领域知识的标准化机制;第二,未设计基于图谱节点嵌入的推理约束机制,无法在生成token的过程中校正模型自注意力分布、约束输出逻辑。
技术实现思路
1、本技术实施例提供了一种基于多层图注意力网络的双阶段知识注入方法,用以解决背景技术中的问题。
2、本技术的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本技术的实践而习得。
3、根据本技术实施例的第一方面,提供了一种基于多层图注意力网络的双阶段知识注入方法,包括:
4、构建目标领域的知识图谱,将所述知识图谱按粒度分解为多个层次结构,通过多层图注意力编码网络分别对所述多个层次结构进行编码,并对各层次的编码结果进行融合,生成统一的知识图谱嵌入空间;
5、微调注入阶段:将所述知识图谱嵌入空间中的节点嵌入映射为大语言模型的lora适配器的初始化参数,基于所述初始化参数对所述大语言模型进行微调训练,以将所述目标领域的领域知识写入所述大语言模型的模型权重;
6、推理注入阶段:在大语言模型的推理过程中,通过知识感知头选择机制动态选择将所述知识图谱嵌入空间中的节点嵌入作为大语言模型的注意力层的偏置项,以动态约束所述大语言模型的生成方向。
7、根据本技术的一个实施例,所述构建目标领域的知识图谱,所述将所述知识图谱按粒度分解为多个层次结构,具体包括:
8、从目标领域的结构化数据源中抽取知识构建知识图谱,所述知识图谱包括实体类别集合、实体关系集合、知识概念集合和识别实例集合;所述知识图谱中的知识以知识三元组表示;
9、将所述知识图谱分解为实例-概念层、关系路径层和类别子图层;其中,所述实例-概念层以识别实例和知识概念为节点、以实体关系为边;所述关系路径层以预设长度的实体-关系路径为基本单元,节点为所述实体-关系路径的起止节点,边为所述实体-关系路径的关系序列;所述类别子图层以按照实体类别聚类得到的语义子图为节点、以类别间的关系为边。
10、根据本技术的一个实施例,所述多层图注意力编码网络包括级联的第一编码层、第二编码层和第三编码层;
11、所述第一编码层对所述实例-概念层应用图注意力网络,基于关系类型嵌入计算节点对其邻居节点的注意力系数,并通过多头注意力机制聚合所述邻居节点的特征,得到实例-概念级嵌入;
12、所述第二编码层以所述实例-概念级嵌入为输入,对所述关系路径层中节点之间的多跳路径进行序列编码得到路径嵌入,并通过路径级注意力机制对各节点的可达路径的路径嵌入进行聚合,得到路径级嵌入;
13、所述第三编码层通过图池化操作将同一实体类别下各节点的路径级嵌入聚合为类别子图嵌入,并基于图注意力机制对各类别子图嵌入进行聚合,得到类别子图级嵌入。
14、根据本技术的一个实施例,所述对各层次的编码结果进行融合,具体包括:
15、通过门控融合机制对维度统一的所述实例-概念级嵌入、所述路径级嵌入和所述类别子图级嵌入进行逐元素加权融合,得到节点的最终嵌入,全部节点的最终嵌入构成所述知识图谱嵌入空间;其中,所述门控融合机制的门控权重在三个编码层之间共享参数。
16、根据本技术的一个实施例,所述将所述知识图谱嵌入空间中的节点嵌入映射为大语言模型的lora适配器的初始化参数,具体包括:
17、对所述知识图谱中的每个节点,将对应节点的嵌入通过可学习的投影网络独立映射为一组初始化参数;所述lora适配器将大语言模型中线性变换的增量权重分解为低秩矩阵a与低秩矩阵b的乘积,所述一组初始化参数包括所述低秩矩阵a的初始值和所述低秩矩阵b的初始值;
18、在所述微调训练中,若输入序列中的token对应所述知识图谱中的节点,则所述token所在位置的lora适配器采用由对应节点的嵌入映射得到的初始化参数;若输入序列不包含所述知识图谱中的节点,则所述lora适配器采用标准随机初始化参数。
19、根据本技术的一个实施例,所述微调训练的总损失函数包括交叉熵损失和知识对齐损失;所述知识对齐损失用于约束所述lora适配器的参数更新方向与所述知识图谱嵌入空间的语义方向一致。
20、根据本技术的一个实施例,所述通过知识感知头选择机制动态选择将所述知识图谱嵌入空间中的节点嵌入作为大语言模型的注意力层的偏置项,具体包括:
21、计算输入序列与所述知识图谱的语义相关性得分;当所述语义相关性得分大于预设相关性阈值时,从所述注意力层的全部注意力头中选取与所述知识图谱嵌入空间相关性最高的k个注意力头施加所述偏置项,k随所述语义相关性得分的增大而增大,其余注意力头保持标准自注意力计算。
22、根据本技术的一个实施例,在推理注入阶段,还包括动态知识图谱查询机制:
23、对于输入序列中未被所述知识图谱覆盖的文本片段,通过实体链接模型计算所述文本片段与所述知识图谱中节点的语义相似度,当所述语义相似度超过预设相似度阈值时,建立所述文本片段与对应节点之间的临时映射关系,并为所述文本片段分配临时嵌入向量,以参与所述注意力偏置矩阵的计算;
24、当输入序列不包含能够映射到所述知识图谱的文本片段时,所述注意力偏置矩阵为零矩阵,所述大语言模型以标准注意力方式运行。
25、根据本技术的一个实施例,在所述微调训练的过程中,冻结知识图谱嵌入空间,并引导lora适配器的初始化并作为知识对齐损失的约束目标;在所述推理过程中,偏置项基于冻结的知识图谱嵌入空间计算得到。
26、根据本技术的一个实施例,还包括增量知识更新过程:
27、将新增知识三元组加入所述知识图谱;
28、对新增节点执行所述多层图注意力编码网络的前向传播,生成新增节点嵌入;
29、为新增知识分配新的lora适配器,所述新的lora适配器与已有的lora适配器并行工作;在推理阶段将注意力偏置矩阵的维度自动扩展,以包含所述新增节点嵌入。
30、与现有技术相比,采用上述技术方案的有益效果为:
31、1、现有方法在微调和推理阶段都用交叉注意力融合知识,两个阶段本质上是同一套机制重复使用。本发明微调阶段用lora适配器把领域知识写进模型权重,推理阶段用注意力偏置动态约束生成方向,两种机制原理不同、功能互补。
32、2、现有方法微调阶段用gnn嵌入,推理阶段用文本检索,两套表示分属不同语义空间。本发明用一套冻结的嵌入空间,微调时用它初始化lora适配器参数,推理时用它计算注意力偏置,从根源上消除了语义漂移。
33、3、现有方法通过交叉注意力层把知识图谱的整体嵌入和文本表示做交互,每个token能感知的知识比较粗。本发明保留每个节点的独立嵌入,在注意力层逐位置施加节点级偏置,每个token都能精确感知相关节点的语义约束。
34、4、现有rag方法把知识拼到输入文本里,受上下文窗口长度限制,检索质量不好时还会引入噪声。本发明将知识嵌入直接注入注意力计算,不占用上下文窗口,通过可学习的缩放系数自适应调节注入强度,避免了检索噪声。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com