基于领域知识图谱的大模型训练数据增强方法、系统、设备及介质与流程
本技术涉及数据增强,特别是涉及一种基于领域知识图谱的大模型训练数据增强方法、系统、设备及介质。
背景技术:
1、在以人工智能为代表的新一轮科技革命深入推进的大背景下,数据正日益成为关键性生产要素。高质量训练数据作为大模型发展的基础支撑,其重要地位不断上升,成为推动大模型技术创新的重要抓手。当前,高质量训练数据主要依赖人工标注、机器辅助标注、数据合成等方式构成,而领域训练数据更依赖人工经验,一方面效率低下,另一方面质量不高,无法同时满足数据量大、质量高的需求。如何通过已有少量标注数据增强扩展得到更多高质量训练数据是一个热门话题。
2、领域知识图谱在各个行业和应用中扮演着至关重要的角色,它通过将分散在不同来源、格式不一的领域知识进行整合,通过三元组的形式进行关联组织,使得复杂的信息变得更加易于理解和管理。领域知识图谱作为领域知识的载体,承载着领域共性基础知识和领域业务专家经验。因而,领域知识图谱通常是经过人为校核过的严谨的领域知识,具备一定的正确性、严谨性和全面性。
技术实现思路
1、对大模型训练数据不足且现有数据增强方法难以保证逻辑严谨性与推理深度的问题,本技术提供一种基于领域知识图谱的大模型训练数据增强方法、系统、设备及介质,借力强大的领域知识图谱,基于现有少量标注数据开展样本增强的研究,从而得到更多高质量的训练样本数据。
2、本技术公开了一种基于领域知识图谱的大模型训练数据增强方法,其包括:
3、步骤1:从训练数据问答对中提取核心实体;
4、步骤2:基于提取得到的核心实体信息,在领域知识图谱中检索候选节点,采用基于上下文感知的实体消歧策略,计算实体提及的上下文向量与图谱候选节点的语义相似度,将问答对数据中的实体与领域知识图谱中的唯一权威节点进行对齐,完成实体的关联映射;
5、步骤3:检索领域知识图谱中已建立关联映射的实体对应的属性与属性值,将属性及属性值构造为提示词输入大模型,通过大模型生成属性问答对;
6、步骤4:依据领域知识图谱的本体层级结构,检索已建立关联映射的实体所属本体下并列的同类型实体列表,对训练数据问答对中的已建立关联映射的实体执行同类型实体替换得到待处理问答文本,输入大模型生成同类型属性问答对;
7、步骤5:获取训练数据问答对中的具体对象实体,将所述具体对象实体上位替换为对应的上位本体概念以生成改写后文本;将所述改写后文本输入大模型,生成统计型问题和比较型问题;查询领域知识图谱,对上位本体概念下的实体集合执行聚合统计计算,将领域知识图谱输出的统计计算结果作为问题的答案,组装得到统计型问答对、比较型问答对;
8、步骤6:获取领域知识图谱中实体之间的关联关系,所述关联关系包括一跳关系以及多跳关系路径;引入关联实体,将实体的关联关系输入大模型,分别基于一跳关系、对多跳关系的语义信息,生成对应新文本;基于各所述新文本分别构建一跳关系问答对和多跳关系问答对;
9、步骤7:依据实体类型和关系类型选择匹配的句式模板,将属性问答对、同类型属性问答对、统计型问答对、比较型问答对、一跳关系问答对和多跳关系问答对对应的语义信息自动填充至预设句式模板中,生成可直接用于大模型训练的文本样本。
10、进一步地,所述步骤1包括:
11、采用命名实体识别或大模型信息抽取能力解析训练数据问答对内容,剔除训练数据问答对内的修饰词汇;所述训练数据问答对为由成对匹配的问题与答案构成、用于大模型微调的原始领域训练数据;
12、从剔除修饰词汇后的训练数据问答对中提取核心实体。
13、进一步地,所述步骤2包括:
14、依据所述核心实体信息,在领域知识图谱内检索得到若干候选节点;
15、获取核心实体提及对应的上下文向量;
16、计算所述上下文向量与各个图谱候选节点之间的语义相似度;
17、基于语义相似度执行基于上下文感知的实体消歧,从候选节点中确定唯一权威节点;
18、将问答对数据中的实体与所述领域知识图谱中的唯一权威节点准确对齐;
19、其中,所述基于上下文感知的实体消歧策略,是指利用核心实体提及所在上下文向量的语义相似度,消除实体一词多义歧义,匹配领域知识图谱唯一权威节点的处理策略。
20、进一步地,所述步骤4包括:
21、依据领域知识图谱的本体层级结构,查询已建立关联映射的实体所属本体下并列的同类型实体列表;
22、保持训练数据问答对的句子结构不变,使用该同类型实体列表内各同类型实体替换训练数据问答对中的已建立关联映射的实体,得到替换后的待处理问答文本;
23、将所述待处理问答文本输入大模型,生成同类型属性问答对。
24、进一步地,所述步骤5包括:
25、获取训练数据问答对中包含的具体对象实体;
26、将所述具体对象实体上位替换为领域知识图谱中对应的上位本体概念,生成改写后文本;
27、将所述改写后文本输入大模型,由大模型生成统计型问题以及比较型问题;
28、基于所述上位本体概念查询领域知识图谱,对该上位本体概念下的实体集合进行聚合统计计算,得到统计计算结果;
29、将所述统计计算结果作为对应问题的答案,进行配对组装,得到统计型问答对与比较型问答对。
30、进一步地,所述步骤6包括:
31、从领域知识图谱中获取实体之间的关联关系,所述关联关系包括一跳关系以及多跳关系路径;
32、引入关联实体,将实体的关联关系输入大模型;
33、通过大模型基于所述一跳关系的语义信息,生成对应新文本;
34、通过大模型基于所述多跳关系的语义信息,生成对应新文本;
35、基于一跳关系对应的新文本构建一跳关系问答对,基于多跳关系路径对应的新文本构建多跳关系问答对,得到一跳关系问答对和多跳关系问答对。
36、进一步地,所述步骤7包括:
37、预定义若干领域适配的句式模板;
38、识别属性问答对、同类型属性问答对、统计型问答对、比较型问答对、一跳关系问答对和多跳关系问答对所对应的实体类型以及关系类型;
39、根据所述实体类型和关系类型,从预设句式模板中选择相匹配的句式模板;
40、将属性问答对、同类型属性问答对、统计型问答对、比较型问答对、一跳关系问答对和多跳关系问答对对应的语义信息自动填充至预设句式模板中,生成标准化文本,得到格式统一、符合领域表达习惯、可直接用于大模型训练的文本样本;所述语义信息包括实体、属性、属性值、实体关联关系;
41、其中,所述预设句式模板为预先设计、适配目标领域表达习惯,用于填充实体、属性、关系语义信息以生成标准化训练文本的通用句式框架。
42、本技术还公开了一种基于领域知识图谱的大模型训练数据增强系统,实现上述所述的方法,其包括:
43、实体提取模块,用于从训练数据问答对中提取核心实体;
44、关联映射模块,用于基于提取得到的核心实体信息,在领域知识图谱中检索候选节点,采用基于上下文感知的实体消歧策略,计算实体提及的上下文向量与图谱候选节点的语义相似度,将问答对数据中的实体与领域知识图谱中的唯一权威节点进行对齐,完成实体的关联映射;
45、属性问答对生成模块,用于检索领域知识图谱中已建立关联映射的实体对应的属性与属性值,将属性及属性值构造为提示词输入大模型,通过大模型生成属性问答对;
46、同类型属性问答对生成模块,用于依据领域知识图谱的本体层级结构,检索已建立关联映射的实体所属本体下并列的同类型实体列表,对训练数据问答对中的已建立关联映射的实体执行同类型实体替换得到待处理问答文本,输入大模型生成同类型属性问答对;
47、统计比较问答对生成模块,用于获取训练数据问答对中的具体对象实体,将所述具体对象实体上位替换为对应的上位本体概念以生成改写后文本;将所述改写后文本输入大模型,生成统计型问题和比较型问题;查询领域知识图谱,对上位本体概念下的实体集合执行聚合统计计算,将领域知识图谱输出的统计计算结果作为问题的答案,组装得到统计型问答对、比较型问答对;
48、关系问答对生成模块,用于获取领域知识图谱中实体之间的关联关系,所述关联关系包括一跳关系以及多跳关系路径;引入关联实体,将实体的关联关系输入大模型,分别基于一跳关系、多跳关系路径的语义信息,生成对应新文本;基于各所述新文本分别构建一跳关系问答对和多跳关系问答对;
49、文本样本生成模块,用于依据实体类型和关系类型选择匹配的句式模板,将属性问答对、同类型属性问答对、统计型问答对、比较型问答对、一跳关系问答对和多跳关系问答对对应的语义信息自动填充至预设句式模板中,生成可直接用于大模型训练的文本样本。
50、本技术还公开了一种电子设备,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被所述处理器执行时实现上述所述的方法。
51、本技术还公开了一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序或指令,当所述计算机程序或指令在计算机上运行时,使得所述计算机执行上述所述的方法。
52、由于采用了上述技术方案,本技术具有如下的优点:
53、1、保障增强数据的严谨性与准确性:本技术以经过人工校核、具备高可靠性的领域知识图谱为锚点,所有增强数据均基于图谱中真实存在的属性、关系和本体生成,避免了单纯依赖大模型幻觉导致的数据失真问题,极大提升了训练数据的质量。
54、2、显著提升数据增强的多样性与规模:从属性补充、同类替换、本体抽象统计、一跳/多跳关系组合四个维度对原始数据进行深度语义拓展,突破了传统数据增强仅停留在字词替换层面的局限,能够从少量种子数据裂变出海量、多维度的高质量训练样本。
55、3、提高数据构建效率并降低人工成本:全流程结合领域知识图谱的结构化检索与大模型的自然语言生成能力,实现了训练数据的自动化、批量化生产,摆脱了对人工经验的严重依赖,大幅降低了领域大模型训练数据的构建成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com